[go: up one dir, main page]

KR101679744B1 - 단말기에서 데이터 처리 방법 및 그를 수행하는 장치 - Google Patents

단말기에서 데이터 처리 방법 및 그를 수행하는 장치 Download PDF

Info

Publication number
KR101679744B1
KR101679744B1 KR1020090107908A KR20090107908A KR101679744B1 KR 101679744 B1 KR101679744 B1 KR 101679744B1 KR 1020090107908 A KR1020090107908 A KR 1020090107908A KR 20090107908 A KR20090107908 A KR 20090107908A KR 101679744 B1 KR101679744 B1 KR 101679744B1
Authority
KR
South Korea
Prior art keywords
data
information
minutia
feature point
extraction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020090107908A
Other languages
English (en)
Other versions
KR20110051374A (ko
Inventor
정철호
박재선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090107908A priority Critical patent/KR101679744B1/ko
Priority to US12/942,388 priority patent/US9081495B2/en
Publication of KR20110051374A publication Critical patent/KR20110051374A/ko
Application granted granted Critical
Publication of KR101679744B1 publication Critical patent/KR101679744B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치 스크린을 구비한 단말기에서 데이터를 처리하는 방법 및 그를 수행하는 장치에 관한 것으로, 한 화면에 표시된 적어도 하나의 데이터를 저장할 수 있는 데이터 저장 모드 시, 상기 표시된 데이터별로 특징점 정보를 추출하기 위한 특징점 추출 방법을 선택할 수 있는 특징점 추출 방법 선택창을 표시하는 과정과, 상기 특징점 추출 방법 선택창을 통해 선택되는 상기 특징점 추출 방법을 이용하여 상기 데이터별로 특징점 정보를 추출하는 과정과, 적어도 하나의 상기 데이터별로 추출된 상기 특징점 정보를 그룹 특징점 정보로 저장하는 과정을 포함한다. 이러한 과정을 통해 한 화면에 입력된 다수 개의 데이터에 대한 정보를 각각 저장할 수 있으므로, 저장된 데이터가 다시 표시되는 경우에 사용자가 원하는 각각의 데이터를 편집할 수 있다.
터치 스크린, 단말기, 데이터, 특징점

Description

단말기에서 데이터 처리 방법 및 그를 수행하는 장치{APPARATUS AND METHOD FOR PROCESSING DATA IN TERMINAL HAVING TOUCH SCREEN}
본 발명은 터치 스크린을 구비한 단말기에서 데이터 처리 방법 및 그를 수행하는 장치에 관한 것으로, 특히 터치 패드, 터치 스크린, 태블릿과 같이 입력된 데이터를 표시할 수 있는 장치를 구비한 단말기에서 사용자에 의해 입력된 데이터를 처리할 수 있는 방법 및 장치에 관한 것이다.
근래에는 주로 휴대 단말기, PDA(Personal Digital Assistants), 전자수첩, PMP(Portable Multimedia Player) 등의 단말기가 많이 사용되고 있다. 이러한 단말기에 어떠한 데이터를 입력하기 위해서 키패드, 키보드 등이 부착되거나, 터치 패드나 터치 스크린 등이 구비된다. 이중 터치 스크린은 이미지의 입력이나, 자유로운 모양의 입력이 가능하며, 입력부와 표시부가 하나의 장치로 구현되었다는 장점이 있어, 많은 단말기에 장착되고 있다.
터치 스크린을 통해 입력되는 데이터들은 주로 이미지 파일 형태로 저장된다. 또는 입력된 데이터가 온라인 문자 인식 기법 등을 통해 문자 정보로 변환되어 저장되거나, 메시지 입력과 같은 특정 기능에 사용된다.
터치 스크린을 통해 입력된 데이터를 저장하는 방식은 크게 두 가지로 나누어질 수 있다.
첫 번째는 사용자가 입력한 획, 선, 점 등과 같은 데이터를 픽셀 단위 정보로 변환하여 저장하는 방식이다. 이 방식은 사용자에 의해 입력된 데이터가 거의 손실없이 저장되므로 입력된 데이터의 원형이 유지될 수 있다. 그러나, 데이터가 입력되는 배경 화면과 같이 불필요한 정보들도 함께 저장되므로 저장 공간이 많이 필요하다는 단점이 있다. 또한 불필요한 획 삐침, 손 흔들림 등으로 인한 잡영 정보들도 함께 저장됨으로써, 데이터를 표시할 때 불분명하거나 읽기 어려울 수 있다는 문제점이 있다.
두 번째는 온라인 문자 인식 기법을 사용하여 저장하는 방식이다. 이 방식은 사용자에 의해 입력되는 데이터를 스트로크 정보화하고, 특징점 분석, Dynamic Matching, 자소간 상대 위치 관계 분석, 입력 위치 판별, 신경망 기법, 퍼지 추론, 유전자 알고리즘, 마르코프 추론 모델 방법 등의 기법을 통해 가장 유사한 자소 또는 문자 후보군으로 분류한다. 그리고 분류된 문자 후보군 또는 가장 유사한 자소를 통해 입력된 데이터를 가장 확률이 높은 문자, 기호 정보로 변환함으로써 단말기가 인식할 수 있는 문자열 형태로 저장하는 방법이다. 그러나 온라인 문자 인식 기법은 입력된 데이터를 인식이 가능한 문자 및 기호로만 변환이 가능하므로, 기호나 도형, 이미지와 같은 데이터를 원형 그대로 저장할 수 없다는 문제점이 있다. 특히 손으로 그린 그림이나 도형의 경우, 원형 그대로 복원될 수 없으며, 가장 유사하다고 판단되는 문자로 강제 변환되기 때문에 입력된 이후의 결과가 실제 데이터와 달라진다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위해 본 발명은 터치 스크린을 구비한 단말기에서 데이터를 처리하는 방법 및 그를 수행하는 장치를 제안한다.
상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 데이터 처리 방법은 한 화면에 표시된 적어도 하나의 데이터를 저장할 수 있는 데이터 저장 모드 시, 상기 표시된 데이터별로 특징점 정보를 추출하기 위한 특징점 추출 방법을 선택할 수 있는 특징점 추출 방법 선택창을 표시하는 과정과, 상기 특징점 추출 방법 선택창을 통해 선택되는 상기 특징점 추출 방법을 이용하여 상기 데이터별로 특징점 정보를 추출하는 과정과, 적어도 하나의 상기 데이터별로 추출된 상기 특징점 정보를 그룹 특징점 정보로 저장하는 과정을 포함한다.
또한 상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 데이터 처리 장치는 사용자에 의해 선택된 적어도 하나의 데이터를 한 화면에 표시하고, 상기 데이터별로 특징점 정보를 추출하기 위한 특징점 추출 방법을 선택할 수 있는 특징점 추출 방법 선택창을 표시하는 표시부와, 사용자에 의해 선택된 데이터를 저장할 수 있는 데이터 저장 모드 시, 상기 특징점 추출 방법 선택창을 통해 선택되는 상기 특징점 추출 방법을 이용하여 적어도 하나의 상기 데이터별 특징점 정보를 추출하는 제어부와, 상기 제어부의 제어 하에 적어도 하나의 상기 데이터별로 추출된 상기 특징점 정보를 그룹 특징점 정보로 저장하는 저장부를 포함한다.
본 발명에 따르면, 터치 스크린, 터치 패드 등과 같은 포인팅 장치를 이용하여 스트로크 정보가 입력되는 경우, 이미지 파일 형태가 아닌 특징점 정보로 저장 및 관리기 가능하므로 저장 공간을 절약할 수 있다. 따라서 단말기는 보다 많은 데이터를 저장할 수도 있고, 다른 단말기와 데이터를 송수신할 때에도 전송 속도가 빨라진다. 그리고 하나의 화면에 데이터 저장 방식을 복수개로 설정함으로써, 데이터별로 적합한 방식으로 특징점을 추출할 수 있다.
그리고 단말기는 각 데이터가 입력된 순서 및 속성을 기억하므로, 다음에 데이터별로 색상, 크기, 위치, 선의 종류, 선의 두께와 같은 속성 정보를 이용하여 편집할 수 있다.
'단말기'는 터치 스크린을 구비하며, 외부 단말기로부터 다운로드된 데이터나, 사용자에 의해 입력되는 데이터를 처리할 수 있는 정보 처리 장치를 의미한다. 여기서 단말기는 디지털 액자, 텔레비전, e-book, 휴대 단말기, 노트북, 컴퓨터 등이 포함될 수 있다.
'데이터'는 데이터에서 처리될 수 있는 이미지, 그림, 문자 등과 같은 모든 데이터를 의미한다.
'특징점 정보'는 스트로크 정보, 픽셀 정보, 데이터가 표시된 위치 정보 등과 같이 데이터를 구성하는 정보 중에서 데이터를 특정지을 수 있는 정보이며, 데 이터를 단말기에 재표시될 때 사용될 수 있다.
'스트로크 정보'는 데이터의 입력이 시작되어 끝날 때까지 터치 스크린을 통해 감지되는 정보를 의미하며, 시작점과 끝점, 그 사이에 입력된 순차적인 점들에 대한 정보로 이루어진다. 또한 스트로크 정보는 색상 값과 좌표 값으로 이루어진 픽셀 정보로 흔히 표시되지만, 스트로크를 이루는 점들 간의 거리, 각도, 선 두께 등의 정보를 함께 포함한다. 그리고 스크로크 정보는 상대적 방향 벡터 정보도 함께 포함할 수 있다. 예를 들어 스트로크 정보를 이용한 특징점 정보는 스트로크 정보를 구성하는 점들 중에서 특정될 수 있는 중요한 점들에 대한 정보가 될 수 있다. 예를 들어 시작점, 끝점, 각도가 일정 각도 이상 변화하는 곳에 위치한 점 등 해당 스트로크 정보의 특징을 나타낼 수 있는 점들이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 실시예에 따른 단말기의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 단말기는 터치 스크린(110), 저장부(120), 제어부(130)로 구성된다.
터치 스크린(110)은 터치 센서(115)와 표시부(117)로 구성되며, 사용자로부터 입력되는 데이터를 표시하는 기능을 수행한다. 좀 더 상세히 설명하면, 터치 센 서(115)는 표시부(117)에 부착되며, 사용자의 손가락 또는 스타일러스와 같은 입력 도구가 터치 스크린(110)의 표면에 접촉되었다가 해제되는 터치 이벤트를 감지할 수 있다. 그리고 터치 센서(115)는 접촉이 감지된 영역에 해당하는 좌표와 해제가 감지된 영역에 해당하는 좌표를 확인하고, 확인된 좌표를 제어부(130)로 전달할 수 있다. 이렇게 전달된 접촉이 감지된 영역과 해제가 감지된 영역의 좌표를 이용하여 제어부(130)는 사용자로부터 입력되는 데이터로 인식하여, 표시부(117)에 표시할 수 있다.
표시부(117)는 제어부(130)의 제어 하에 단말기의 상태 및 동작에 관련된 각종 정보들을 표시한다. 그리고 표시부(117)는 터치 스크린(110)을 통해 입력되는 데이터를 표시할 수 있다. 또한 표시부(117)는 입력된 데이터를 저장하기 위한 방법을 선택할 수 있는 선택창을 표시한다. 여기서 선택창은 입력된 데이터를 특징점 정보로 변환하기 위한 특징점 추출 방법들을 표시할 수 있다. 특징점 추출 방법에 대하여 도 2 내지 3에서 후술하도록 한다.
저장부(120)는 단말기에서 수행되는 기능과 관련된 응용 프로그램 및 각종 정보들을 저장할 수 있다. 특히 저장부(120)는 제어부(130)의 제어 하에 특징점 추출 방법을 통해 데이터 별로 추출된 특징점 정보(125)를 저장한다. 특징점 정보(125)는 터치 스크린(110)을 통해 입력된 데이터를 구성하는 각종 정보들을 의미한다. 예를 들어 특징점 정보(125)는 데이터를 구성하는 선 성분과 관련된 스트로크 정보, 데이터를 구성하는 색상 성분과 관련된 픽셀 정보, 표시부(117)에서 데이터가 표시된 위치와 관련된 위치 정보 등이 될 수 있다. 그리고 저장부(120)는 제 어부(130)의 제어 하에 한 화면에 표시되었던 다수 개의 데이터별 특징점 정보를 그룹으로 저장할 수 있다. 이하에서 그룹으로 저장된 특징점 정보를 그룹 특징점 정보라 칭한다.
제어부(130)는 단말기를 구성하는 각 구성들의 전반적인 상태 및 동작을 제어한다. 여기서 제어부(130)는 터치 스크린(110)을 통해 사용자에 의해 선택 또는 입력되는 데이터를 표시부(117)에 표시한다. 표시부(117)에 표시될 수 있는 데이터는 메시지 입력 기능, 메모 기능, 다이어리 기능, 사진 또는 그림과 같은 이미지를 편집할 수 있는 이미지 편집 기능, 이미지 표시 기능 등을 통해 선택 또는 입력되는 데이터를 포함한다.
데이터 저장 모드 시, 제어부(130)는 사용자에 의해 선택되는 특징점 추출 방법을 통해 표시부(117)에 표시된 데이터에서 특징점 정보를 추출한다. 그리고 제어부(130)는 저장부(120)를 제어하여 추출된 특징점 정보를 저장한다. 이때 제어부(130)는 한 화면에 표시되는 적어도 두 개의 데이터별 특징점 정보를 그룹 특징점 정보로 묶어서 저장부(120)에 저장한다. 이때 데이터 저장 모드는 데이터가 입력 또는 선택되어 표시부(117)에 표시되는 기능을 수행하는 모드로, 메시지 입력 기능, 메모 기능, 다이어리 기능, 이미지 편집 기능 등을 수행할 수 있는 모든 모드를 의미한다.
또한 데이터 표시 모드 시, 제어부(130)는 사용자에 의해 선택되는 저장부(120)에 저장된 적어도 하나의 그룹 특징점 정보를 복원하여 표시부(117)에 표시할 수 있다. 즉 제어부(130)는 그룹 특징점 정보에 포함된 데이터별 특징점 정보를 복원하여 각각의 데이터를 하나의 화면에 표시할 수 있다. 여기서 데이터 표시 모드는 저장된 이미지를 표시할 수 있는 기능, 저장된 문자를 표시할 수 있는 기능 등을 수행할 수 있는 모든 모드를 의미한다. 그리고 특징점 추출 방법은 도 2 내지 도 3을 참조하여 후술하도록 한다.
데이터에서 특징점 정보를 추출하여 저장하고, 저장된 특징점 정보를 이용하여 데이터로 복원하기 위해 제어부(130)는 특징점 추출 방법 설정부(143), 특징점 정보 추출부(145) 및 데이터 복원부(147)를 포함한다.
특징점 추출 방법 설정부(143)는 데이터 저장 모드 시 표시부(117)에 표시된 데이터 별로 사용자에 의해 선택되는 특징점 추출 방법을 확인하는 기능을 수행한다. 그리고 특징점 추출 방법 설정부(143)는 표시부(117)에 표시된 적어도 하나의 데이터별 영역을 확인하는 기능을 수행한다.
특징점 정보 추출부(145)는 표시부(117)에 표시된 데이터별로 특징점 추출 방법 설정부(143)를 통해 확인된 특징점 추출 방법을 이용하여 특징점 정보를 추출하는 기능을 수행한다.
데이터 복원부(147)는 데이터 표시 모드 시, 저장부(120)에 저장된 데이터별 특징점 정보를 데이터로 복원하는 기능을 수행한다. 이때 데이터 복원부(147)는 저장부(120)에 저장된 특징점 정보가 어떠한 특징점 추출 방법을 통해 추출되었는지 확인하고, 확인된 특징점 추출 방법에 해당하는 특징점 복원 방법을 통해 특징점 정보를 데이터로 복원한다. 다시 말해 데이터 복원부(147)는 특징점 정보를 이용한 데이터 복원을 위해서는 저장된 특징점 정보들이 어떠한 방법으로 추출되었는지를 판별하고 이로부터 복원 방법을 설정하여야 한다. 그러기 위해 특징점 정보가 저장될 때, 특징점 타입 정보, 예를 들어 스트로크, 경계선 등의 정보를 함께 저장하는 것이 바람직하다. 그래서 데이터 복원 시 데이터 복원부(147)가 이를 참조하여 복원 방법을 설정할 수 있다. 예를 들어 단순히 특징점 정보만 있는 경우에 데이터 복원부(147)는 저장된 특징점 정보들의 구조를 분석하여, 복원 방법을 비교적 쉽게 유추할 수 있다. 한 예로 경계선 추적 방식에서 run-based method는 같은 y 좌표를 가지는 픽셀들의 짝을 관찰할 수 있으며, Miyatake의 방법은 RD code라는 경계선 픽셀들 간의 연결 관계 정보가 들어 있다. 그리고 픽셀 기반이나 꼭짓점 기반 경계선 추출 기법은 외곽선과 내곽선의 구분 정보가 들어있는 경우가 대부분이므로, 적용 시점에 해당 방법들이 선별되어 있다면, 데이터 복원부(147)는 저장된 특징점 정보들로부터 이들 방법간의 차이는 쉽게 알 수 있다. 이러한 방법으로 복원된 데이터는 화면 출력, 인쇄 등을 통해 다양한 방식으로 표시될 수 있다.
제어부(130)는 데이터 저장 모드 시, 특징점 추출 방법 설정부(143)를 통해 확인된 특징점 추출 방법을 통해 특징점 정보 추출부(145)가 추출한 데이터별 특징점 정보를 저장부(120)를 제어하여 저장한다. 그리고 제어부(130)는 데이터 표시 모드 시, 데이터 복원부(147)를 통해 저장부(120)에 저장된 데이터별 특징점 정보를 복원하여 표시부(117)에 표시할 수 있다. 이렇게 데이터별로 특징점 정보가 저장됨에 따라 한 화면에 다수개의 데이터가 표시되어도, 각각의 데이터별로 편집이 가능하다.
도면에 도시되지 않았지만, 단말기는 통신부를 더 구비하여 저장된 특징점 정보를 외부 단말기로 전송하거나, 외부 단말기로부터 수신되는 특징점 데이터를 저장할 수 있다. 이외에도 단말기는 디지털 방송 데이터를 수신할 수 있는 디지털 방송 수신부, 음성 통화, 화상 통화와 같은 통신 기능을 수행할 수 있는 RF부 등과 같이 다양한 구성들을 구비할 수 있다.
이와 같은 구성을 구비한 단말기에서 데이터 저장 모드 시, 제어부(130)는 사용자에 의해 입력되거나, 선택되는 적어도 하나의 데이터를 표시부(117)에 표시할 수 있다. 그리고 사용자에 의해 데이터별로 선택되는 특징점 추출 방법에 따라 제어부(130)는 데이터별 특징점 정보를 추출할 수 있다. 그리고 제어부(130)는 데이터별로 추출된 특징점 정보를 저장부(120)에 저장한다.
또한 데이터 표시 모드 시, 제어부(130)는 사용자에 의해 선택되는 적어도 하나의 데이터를 표시부(117)에 표시할 수 있다. 이때 제어부(130)는 사용자에 의해 선택되는 데이터별 특징점 정보를 확인하고, 확인된 특징점 정보를 데이터로 복원한다. 이렇게 복원되는 데이터는 각각의 특징점 정보를 통해 편집될 수 있으며, 특징점 추출 방법에 따라 데이터는 문자로 인식될 수도 있고, 하나의 이미지로 인식될 수 있다.
데이터별 특징점 정보를 추출하는 방법은 크게 스트로크 정보의 특징점 정보들을 추출하는 방법 및 경계선의 특징점 정보들을 추출하는 방법이 있을 수 있다. 각 방법을 통해 특징점 정보를 추출하는 과정은 도 2 내지 도 3을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 스트로크 정보를 추출하기 위한 특징점 추 출 방법을 도시한 도면이다.
우선 스트로크 정보에서 특징점 정보를 추출하는 방법에 대하여 설명한다.
표시부(117)에 표시되는 데이터는 다수 개의 점으로 구성된다. 데이터를 구성하는 각각의 점이 스트로크 정보가 될 수 있으며, 색상 값과 픽셀 값을 포함한다. 이러한 스트로크 정보 중에서 데이터를 특정지을 수 있는 특징점 정보가 추출될 수 있다.
특징점 정보란 스트로크 정보 중에서 데이터 입력의 시작점, 끝점, 각도가 일정 각도이상 변화하는 곳에 위치한 점 등과 같은 정보를 포함하는 스트로크 정보를 의미한다. 이러한 특징점 정보를 추출하기 위해서는 다양한 기법이 사용되는데, 평활화 기법(smoothing), 훅 제거 기법(hook elimination), 거리 여과(distance filter), 각도 여과 기법(angle filter) 등이 대표적이다.
평활화란 터치 입력속도가 늦을 경우 일어나는 현상 중에서 손떨림 등에 의해 구불구불하게 입력되는 선분을 하나의 직선이나 곡선으로 바꾸는 기법이다. 그리고 훅 제거 기법은 선분이 시작될 때, 손의 미끄러짐이나 습관, 혹은 입력장치 오류 등으로 발생하는 삐침 정보를 제거하는 것이다. 또한 거리 여과란 같은 방향으로 연속된 점들의 길이에 따라 이에 따라 중간의 점들을 제거하거나 일부 점들만 남기는 기법이다. 그리고 각도 여과란 특정 각도 이상 변화하는 점들에 대한 정보를 특징점으로 선택하는 기법이다.
특징점 정보가 추출될 때, 이러한 기법들은 여러 개가 함께 사용된다. 예를 들어 거리 여과와 각도 여과가 함께 사용되면, 거리와 각도에 따른 특징점이 추출 된다. 이러한 기법들을 통해 데이터가 직선 성분으로 이루어져있을 경우, 이를 구성하는 특징점이 두 개(직선의 시작점과 끝점) 추출되며, 곡선부의 경우에는 각도에 따라 좀더 많은 특징점들이 추출될 수 있다. 특히 본 발명의 특징점 정보 추출부(145)에서는 이러한 기법들을 통해 스트로크 정보로부터 잡영을 제거하고, 특징점을 추출할 수 있다.
스트로크 기반 특징점 정보들은 입력된 순서에 따라 저장이 가능하며, 각각의 특징점 정보들은 좌표, 색상, 굵기 등의 정보를 가진 픽셀 정보로 저장될 수 있다. 또는 특징점 정보는 하나의 점으로부터 다음 점까지의 방향, 길이, 색상, 굵기, 선분의 종류 등의 정보를 가진 벡터 정보로도 저장이 가능하다.
또한 스트로크 기반 특징점 추출 기법은 온라인상의 문자, 기호, 제스처, 스케치 등의 영상 인식 등의 기법을 사용하는데 적절하다. 그림 2는 이러한 스트로크 기반 특징점 추출 기법의 결과를 보여준다.
도 2를 참조하면, 도면 부호 210은 사용자에 의해 문자 '기'가 입력되었음을 나타낸다. 그리고 도면 부호 220은 입력된 '기'를 구성하는 스트로크 정보 중에서 추출된 특징점 정보를 나타낸다. 예를 들어 데이터 입력의 시작점인 220a, 선의 방향이 변경되는 점인 220b, 데이터 입력의 끝점인 220c가 특징점이 될 수 있다. 다음으로 도면 부호 230은 '기'에서 추출된 스트로크 정보인 특징점 정보가 저장부(120)에 저장되는 형태를 나타낸다. 여기서 도면 230단계를 통해 각 특징점인 220a, 220b, 220c 위치에 대한 정보가 저장부(120)에 저장됨을 알 수 있다.
다음으로 경계선 기반으로 특징점을 추출하는 방식에 대하여 도 3을 참조로 설명한다.
도 3은 본 발명의 실시예에 따른 경계선 기반을 특징점을 추출하는 특징점 추출 방법을 도시한 도면이다.
우선 경계선 기반으로 특징점을 추출하는 방식에 대하여 설명한다.
경계선(contour) 기반 특징점을 추출하는 방식은 데이터를 구성하는 각각의 스트로크 정보에서 특징점 정보를 추출하지 않고, 문자, 숫자, 도형, 그림 등의 데이터 외곽선과 내곽선 (outer-contour, inner-contour)으로부터 특징점을 추출하는 방식이다. 예를 들어 손으로 터치 스크린(110) 위에 그림을 그리고, 스트로크 입력을 통해 그림에 색칠을 하는 경우가 있다. 이러한 경우, 스트로크 정보를 이용하여 특징점을 추출할 수 있으나, 경계선 기반 특징점을 추출하는 방식을 통해 하나의 이미지 정보로 처리하는 것이 바람직하다.
데이터를 구성하는 경계선은 외곽선과 내곽선으로 구분될 수 있으며, 이들을 구성하는 픽셀 정보들 전체가 특징점으로 사용될 수 있다. 그리고 이중 가장 바람직한 방법은 동일한 색상으로 이루어진 물체의 외곽선과 내곽선 정보들을 구한 후 이로부터 특징점을 구하는 방법이다. 이때 각각의 경계선 정보들이 하나의 스트로크 정보로 간주되며, 이로부터 스트로크 기반 특징점 추출 기법이 사용되어 특징점 정보가 추출된다. 그러나 이러한 방식으로 특징점 정보가 추출될 때, 데이터를 구성하는 세부 픽셀 정보의 손상을 방지하기 위해 Miyatake의 run-based 기법(Takafumi Miyatake, Hitoshi Matsushima and Masakazu Ejiri, "Contour representation of binary images using run-type direction codes," Machine Vision and Applications archive, Vol. 9, Iss. 4, Pages: 193 - 200, 1997)이나 픽셀/꼭지점 기반 contour tracing 기법이 이용될 수 있다.
경계선 기반 특징점 추출 방법을 통해 추출된 특징점 정보들은 일반적인 상황에서 이를 구성하는 데이터량이 이미지 파일 방식에 비해 매우 적으므로 저장시 저장 공간을 적게 소요하는 장점이 있다.
그림 3은 경계선 기반 특징점 추출 기법들의 예를 표시한 것이다.
도면 부호 310은 사용자에 의해 입력된 데이터를 구성하는 스트로크 정보를 나타낸다. 그리고 도면 부호 320은 run-based 기법의 특징점 추출 기법을 통해 추출된 특징점 정보를 나타낸다. 좀 더 상세히 특징점 정보를 추출하기 위해, 원본 데이터가 각 행단위로 좌에서 우로 검색된 다음, 해당 데이터의 좌측과 우측 경계선 픽셀을 특징점 정보로 추출한다.
도면 부호 330은 Miyatake의 기법을 이용하여 데이터의 꼭지점(representative point)을 추출한 결과를 표시한 것이다. Miyatake의 기법을 이용하면 꼭지점으로 이루어진 tree 구조로 데이터 구조가 형성되며 이를 이용하여 RD 데이터라고 하는 복원 방법을 알 수 있는 정보를 산출할 수 있다.
이와 같이 픽셀 기반 혹은 꼭지점 기반 경계선 추적 기법의 경우에는 외곽선과 내곽선 픽셀 정보들을 모두 얻을 수도 있고, 코너 픽셀들을 이용하여 특징점을 얻을 수도 있다. 이를 이용한 구조는 매우 다양하지만, 각각의 기법을 구분할 수 있는 데이터를 함께 저장하여 복원이 용이토록 하는 것이 바람직하다.
그리고 경계선 기반 특징점 추출 기법을 적용하는 경우에는 스트로크 정보와 같은 온라인 정보뿐만 아니라 일반 이미지나 텍스트와 같은 오프라인 정보의 저장을 위해 사용할 수도 있다. 본래 경계선 추출 기법 중 run-based 기법의 경우에는 OCR과 같이 문자 인식을 위한 전처리 단계 혹은 문서 저장과 같은 용도를 위해 데이터에 적용되어, 저장시 손실을 되도록 줄이거나 무손실 저장이 가능하도록 설계되어 있다. 이러한 특성을 사용하여 이미지나 텍스트 정보 등을 쉽게 저장할 수 있기 때문이다. 다만, 색상 변화가 많은 물체보다는 단일 혹은 색상 개수가 제한된 물체에 적용하는 것이 바람직하다. 이러한 경계선 정보는 색상이 동일한 경계선을 하나의 물체로 처리하는 것이 일반적이기 때문이다.
이와 같이 데이터가 스트로크 정보 기반 혹은 경계선 기반으로 한 특징점 추출 방법들을 통해 저장되는 경우, 데이터별 정보량이 적으므로 통신부를 통해 다른 PC, 휴대폰, 스마트폰, HA(Home automation) 기기 등과 같은 단말기들과 데이터를 송수신하기 편리하다.
그리고 저장부(120)에 저장된 데이터별 특징점 정보들을 이용하여, 데이터가 표시되는 경우, 단말기는 특징점 정보를 원본 데이터로 복원할 수 있다. 다시 말해 특징점 정보들은 데이터를 구성하는 스크로크 정보 또는 픽셀 정보의 일부 정보에 해당하므로, 인접한 특징점 정보들 간에 비어있는 정보들을 복원해주어야 하는 것이다.
만약 특징점 정보들이 스트로크 기반 특징점들인 경우, 특징점 정보는 spline, interpolation 기법 등을 통해 보다 자연스럽게 보이도록 복구될 수 있다. 스트로크 기반 특징점 정보를 이용하여 데이터로 복원되는 경우에 삐침이나 미세한 흔들림 등에 의한 잡영 정보들이 제거된 상태로 복원되므로, 데이터의 가시성과 가독성이 보다 높아진다.
경계선 기반 특징점 추출 방법으로 추출된 특징점 정보들의 경우에는 각각 사용한 기법에 따라 대응하는 복원 알고리즘을 이용하여 내외곽선을 복구하고, 그 사이를 특징점 정보의 색상으로 칠함으로써 데이터의 이미지를 복구할 수 있다. 물론 외곽선만 있거나 내곽선만 있는 경우에도 그 종류에 따라 색상이 복원될 수 있다. 그리고 경계선 기반으로 추출된 특징점 정보의 경우는 데이터가 정확히 복원 가능하므로 데이터 저장될 때의 사용자 의도가 그대로 반영된다.
이외에도 특징점 추출 방법은 문자에 해당하는 데이터를 인식하는 방법도 함께 포함될 수 있다. 문자를 인식하는 방법은 크게 온라인 문자 인식 방법과 오프라인 문자 인식 방법이 있다.
온라인 문자 인식은 스트로크 정보로부터 특징점을 추출한 후에 특징점 분석, dynamic matching, 자소간 상대 위치 관계 분석, 입력 위치 판별, 신경망 기법, 퍼지 추론, 유전자 알고리즘, 마르코프 추론 모델 방법 등의 기법을 통해 가장 유사한 자소 혹은 문자 후보군으로 분류하고 이를 통해 가장 확률이 높은 문자, 기호 정보로 변환함으로써 인식을 수행한다. 오프라인 문자 인식은 일반적으로 OCR로 대표되며 픽셀로 구성된 이미지를 읽어 들여서 이의 필기체, 혹은 인쇄체 문자 정보를 인식하는 기법이다. 여기서 온라인 문자 인식은 일반적인 OCR에 비해 전처리가 간단하고, 필기 순서 등의 정보 등이 있어서 연산이 빠르고 간단하다. 문자 인식을 수행한 결과는 문자열 형태로 구조화될 수 있으므로 매우 적은 저장 공간만을 필요로 하는 장점이 있다.
이러한 특징점 추출 방법을 통해 데이터를 저장하는 방법에 대하여 도 4 내지 도 7을 참조하여 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 다수 개의 데이터가 표시된 화면을 예시한 화면 예시도이다.
도 4를 참조하면, 단말기는 사용자의 선택에 따라 이미지(410)를 표시부(117)에 표시한다. 그리고 단말기는 표시부(117)에 표시된 이미지(410) 위에 터치 스크린(110)을 통해 입력되는 문자 Hi(420)와 주사위 이미지(430)를 표시한다. 이렇게 한 화면에 함께 표시된 다수 개의 데이터는 특징점 추출 방법을 통해 데이터별로 특징점 정보가 추출된다. 그리고 추출된 특징점 정보들은 그룹 특징점 정보로 저장부(120)에 저장된다. 저장부(120)에 저장되는 데이터별 특징점 정보는 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시예에 따른 저장부에 저장되는 특징점 정보의 형태를 도시한 도면이다.
도 5를 참조하면, 저장부(120)는 제어부(130)의 제어하에 도 4에 표시된 세 개의 데이터인 이미지(410), 문자(420), 주사위 이미지(430)에 해당하는 각각의 특징점 정보를 그룹핑하고, 그룹핑된 특징점 정보를 트리 형태로 저장한다. 즉 하나의 화면에 함께 표시되었던 적어도 두 개의 데이터별 특징점 정보는 그룹 특징점 정보로 저장된다.
여기서 그룹 특징점 정보로 저장된 각 데이터별 특징점 정보는 다음과 같이 예시될 수 있다. 이미지(410)에 해당하는 특징점 정보는 데이터의 종류, 이미지를 구성하는 색상, 저장 경로 및 이미지의 위치에 대한 정보 및 특징점 정보를 추출시 사용되었던 특징점 추출 방법에 대한 정보를 포함한다. 그리고 문자(420)에 해당하는 특징점 정보는 데이터 종류, 색상, 굵기, 선의 종류, 위치에 대한 정보를 포함한다. 또한 주사위 이미지(430)는 데이터의 종류, 이미지 색상, 색상 모델, 위치에 대한 정보를 포함한다.
데이터 표시 모드 시, 그룹 특징점 정보로 저장된 특징점 정보를 이용하여 데이터가 표시될 수 있으며, 사용자의 선택에 따라 데이터 편집이 가능하다. 즉 한 화면에 표시된 다수개의 데이터가 하나의 이미지로 저장되는 것이 아니라, 각각의 데이터별로 특징점 정보가 저장됨으로써, 데이터가 표시되었을 때, 데이터별로 편집이 가능하다.
다음으로 데이터별로 특징점 추출 방법을 선택하는 방법에 대하여 도 6 내지 도 7을 참조로 설명한다.
도 6은 본 발명의 실시예에 따른 데이터별 특징점 추출 방법을 선택하는 화면을 예시한 화면 예시도이다.
도 6을 참조하면, 도면 부호 610에서 도시된 화면은 사용자에 의해 입력된 데이터인 문자 'sketch memo'(615)와 주사위 이미지(617)가 표시된 화면을 나타낸다. 다음으로 사용자의 선택에 따라, 도면 부호 620에서 도시된 화면과 같이 각각 입력된 데이터별로 저장(save)할 것인지, 인식(recognition)할 것인지를 선택할 수 있는 선택창(625, 627)을 표시한다.
이중 저장이 선택되면, 도면 부호 630에서 도시된 화면과 같이 각각 입력된 데이터별로 특징점 추출 방법 선택창(635, 637)을 표시한다. 이때 특징점 추출 방법 선택창(635, 637)에는 스트로크 정보를 이용한 특징점 추출 방법인 'stroke'와 경계선 기반 특징점 추출 방법인 'contour'가 표시된다. 도면 부호 630에서 도시된 바와 같이 문자 'sketch memo'의 특징점 정보를 추출하기 위한 특징점 추출 방법으로 'stroke'가, 주사위 이미지(617)의 특징점 정보를 추출하기 위한 특징점 추출 방법으로'contour'가 선택되었다고 가정한다.
선택된 특징점 추출 방법으로 각 데이터별로 특징점 정보가 추출되어 저장부(120)에 저장된다. 그런 다음 데이터 표시 모드에서 저장부(120)에 저장된 특징점 정보를 이용하여 데이터가 표시될 수 있다. 즉 도면 부호 640에 도시된 화면과 같이 문자 'sketch memo'(615) 및 주사위 이미지(617)는 입력되었던 원본 데이터 그대로 복원되어 표시될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 데이터별 특징점 추출 방법을 선택하는 화면을 예시한 화면 예시도이다.
도 7은 영역 설정 방식에 의해 문자인식 기능을 적용한 예를 보여 준다. 도면 부호 710에 도시된 화면은 사용자에 의해 입력된 데이터인 문자 'sketch memo'(715)와 주사위 이미지(717)가 표시된 화면을 나타낸다. 만약 사용자의 선택에 따라, 도면 부호 720에서 도시된 바와 같이 도면 부호 720에서 도시된 화면과 같이 각각 입력된 데이터별로 저장(save)할 것인지, 인식(recognition)할 것인지를 선택할 수 있는 선택창(725, 727)을 표시한다.
만약 문자 'sketch memo'(725)의 선택창(725)에서 인식이 선택되고, 주사위 이미지(717)의 선택창(727)에서 저장이 선택되면, 도면 부호 730에 도시된 화면과 같이 특징점 추출 방법을 선택할 수 있는 선택창(735, 737)을 표시한다. 이때 문자 'sketch memo'(715)에 표시되는 선택창(735)에는 숫자(number), 영어(english), 한국말(korean), 심벌(symbol)이 표시되며, 주사위 이미지(717)에 표시되는 선택창(737)에는 스트로크 정보를 이용한 특징점 추출 방법인 'stroke'와 경계선 기반 특징점 추출 방법인'contour'가 표시된다.
만약 문자 'sketch memo'(715)에 표시되는 선택창(735)에서 영어가 선택되고, 주사위 이미지(717)에 표시되는 선택창(737)에서 경계선 기반 특징점 추출 방법인 'contour'가 선택되었다면, 단말기는 문자 'sketch memo'(715)를 온라인 문자 인식 방법으로 문자를 인식하고, 인식된 문자에 해당하는 특징점 정보를 추출한다. 또한 단말기는 주사위 이미지(717)의 특징점 정보를 추출한다. 다음으로 단말기는 각각 데이터별로 추출된 특징점 정보를 저장부(120)에 저장한다. 이러한 방법으로 저장된 특징점 정보를 이용하여 데이터 표시 시, 도면 부호 740에서 도시된 바와 같이 단말기는 문자 'sketch memo'(745)를 단말기용 문자로 표시할 수 있다. 또한 단말기는 주사위 이미지(747)를 원본 이미지 그대로 표시할 수 있다.
특징점 추출 방법을 통해 문자를 인식하는 방법은 휴대 단말기와 같은 소형 단말기에서 유용하게 사용될 수 있는 방법이다. 왜냐하면, 소형 단말기에서 필기 입력을 하는 경우, 좁은 영역에서 이루어지기 때문에 글자 입력이 어렵다. 뿐만 아니라 휴대단말기의 특성상 입력장치의 해상도가 높지 않으므로 글자도 거칠고 크게 입력되는 경우가 많다. 따라서 본발명에서 적용되는 특징점 추출 방법을 통해 인식되는 데이터로 문자 입력을 대신할 수 있다.
좀 더 상세히 온라인 정보 입력을 위해 사용자가 데이터 입력시, 단말기는 데이터가 입력되는 영역/위치상을 크게 설정하여 주고, 해당 영역에 필기한 결과를 데이터가 표시될 본래의 영역/위치에 맞는 크기로 인식하여 표시할 수 있다. 그리고 필요하다면 미리 입력 결과의 크기를 옵션 등의 항목으로 설정하여 데이터가 크게 입력되어도 미리 설정된 크기에 맞도록 자동으로 변환되도록 할 수 있다.
도 8은 본 발명의 실시예에 따른 데이터를 처리하는 방법을 도시한 도면이다.
도 8을 참조하면, 단말기는 810단계에서 발명자의 선택에 따라 특징점 정보에 따른 데이터 처리 모드를 수행한다. 여기서 데이터 처리 모드는 데이터 저장 모드 및 데이터 표시 모드가 될 수 있다. 단말기는 820단계에서 데이터 처리 모드가 데이터 저장 모드인지 판단한다.
만약 데이터 처리 모드가 데이터 저장 모드이면, 단말기는 830단계에서 특징점 정보를 이용한 데이터를 저장한다. 여기서 830단계는 도 9를 참조하여 상세히 설명한다. 반면에 수행되는 데이터 처리 모드가 데이터 저장 모드가 아니면, 단말기는 840단계에서 특징점 정보에 따른 데이터 표시 모드인지 판단한다. 데이터 저장 모드이면, 단말기는 850단계에서 특징점 정보를 이용하여 복원된 데이터를 표시부(117)에 표시한다. 여기서 850단계는 도 10을 참조로 하여 상세히 설명한다.
다음으로 830단계의 특징점 정보를 추출하여 데이터를 저장하는 방법에 대하 여 도 9를 참조로 하여 설명한다.
도 9는 본 발명의 실시예에 따른 데이터 저장 방법을 나타낸 흐름도이다.
도 9를 참조하면, 830단계에서 데이터 처리 모드가 데이터 저장 모드이면, 단말기는 910단계에서 사용자에 의해 선택되는 적어도 하나의 데이터를 표시부(117)에 표시한다. 여기서 사용자에 의해 선택되는 데이터는 특정 입력 모드를 통해 입력되는 문자 또는 이미지와 같은 데이터 또는 특정 데이터 표시 모드를 통해 선택되는 문자 또는 이미지와 같은 데이터가 될 수 있다.
다음으로 단말기는 920단계에서 표시부(117)에 표시된 데이터 저장이 선택되는지 판단한다. 만약 표시된 데이터 저장이 선택되면, 단말기는 930단계에서 표시부(117)에 표시된 데이터별로 특징점 추출 방법 선택창을 표시한다. 그리고 단말기는 940단계에서 표시된 특징점 추출 방법 선택창에서 특징점 추출 방법이 선택되는지 판단한다.
940단계에서 특징점 추출 방법이 선택되면, 단말기는 950단계에서 선택된 특징점 추출 방법에 따라 데이터별 특징점 정보를 추출한다. 그리고 단말기는 960단계에서 추출된 특징점 정보를 저장부(120)에 저장한다. 이때 단말기는 한 화면에 표시되는 다수개의 데이터별 특징점 정보를 그룹 특징점 정보로 설정하여 저장부(120)에 저장한다. 그리고 이렇게 그룹 특징점 정보를 이용하여, 단말기는 하나의 화면에 표시되었던 다수개의 데이터들을 그대로 복원하여 표시할 수 있다. 그리고 단말기는 사용자의 선택에 따라 한 화면에 표시되었던 각각의 데이터들을 편집하여 표시할 수 있다.
이상에서는 특징점 정보를 추출하여 데이터를 저장하는 방법에 대하여 설명하였다. 다음으로 특징점 정보을 복원하여 데이터로 표시하는 방법에 대하여 도 10을 참조하여 설명한다.
도 10은 본 발명의 실시예에 따른 데이터 표시 방법을 도시한 도면이다.
도 10을 참조하면, 840단계에서 수행되는 데이터 처리 모드가 데이터 표시 모드이면, 단말기는 1010단계에서 저장부(120)에 저장된 모든 데이터를 표시부(117)에 표시한다. 여기서 표시되는 데이터는 썸네일 형태로, 원본 데이터가 아닌 표시부(117)에 표시되기 위해 생성된 데이터가 표시되는 것이다.
다음으로 단말기는 1020단계에서 사용자에 의해 표시될 데이터가 선택되는지 판단한다. 표시될 데이터가 선택되면, 단말기는 1030단계에서 저장부(120)에 저장된 특징점 정보 중에서 선택된 데이터에 해당하는 그룹 특징점 정보를 확인한다. 그리고 단말기는 1040단계에서 확인된 특징점 정보를 복원할 특징점 복원 방법을 확인한다. 다음으로 단말기는 1050단계에서 특징점 복원 방법을 이용하여 특징점 정보를 데이터로 복원한다. 그리고 단말기는 1060단계에서 복원된 데이터를 표시부(117)에 표시한다. 이때 단말기는 특징점을 추출하여 저장하기 전에 한 화면에 표시되었던 다수 개의 데이터를 그대로 복원하여 표시한다.
복원된 데이터를 표시부(117)에 표시한 단말기는 1070단계에서 데이터 편집이 선택되는지 판단한다. 만약 데이터 편집이 선택되면, 단말기는 1080단계에서 편집에 따른 데이터 표시 및 변경된 특징점 정보를 저장부(120)에 저장한다. 예를 들어 특징점 정보를 통해 이미지가 복원되었다고 가정한다. 그리고 사용자가 편집 기 능을 통해 복원된 이미지의 크기를 변경했다면, 단말기는 변경된 이미지의 특징점 정보를 다시 추출한다. 그리고 단말기는 추출된 특징점 정보로 저장부(120)에 업데이트한다.
이상에서는 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기서 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시예에 따른 단말기의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 스트로크 정보를 추출하기 위한 특징점 추출 방법을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 경계선 기반을 특징점을 추출하는 특징점 추출 방법을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 다수 개의 데이터가 표시된 화면을 예시한 화면 예시도이다.
도 5는 본 발명의 실시예에 따른 저장부에 저장되는 특징점 정보의 형태를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 데이터별 특징점 추출 방법을 선택하는 화면을 예시한 화면 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 데이터별 특징점 추출 방법을 선택하는 화면을 예시한 화면 예시도이다.
도 8은 본 발명의 실시예에 따른 데이터를 처리하는 방법을 도시한 도면이다.
도 9는 본 발명의 실시예에 따른 데이터 저장 방법을 나타낸 흐름도이다.
도 10은 본 발명의 실시예에 따른 데이터 표시 방법을 도시한 도면이다.

Claims (8)

  1. 단말기의 데이터 처리 방법에 있어서,
    한 화면에 표시된 적어도 하나의 데이터를 저장할 수 있는 데이터 저장 모드 시, 상기 표시된 각각의 데이터마다 특징점 정보를 추출하기 위한 특징점 추출 방법을 선택할 수 있는 특징점 추출 방법 선택창을 표시하는 과정과,
    상기 특징점 추출 방법 선택창을 통해 상기 각각의 데이터마다 선택된 특징점 추출 방법을 이용하여 상기 각각의 데이터마다 상기 데이터의 특징점 정보를 추출하는 과정과,
    상기 각각의 데이터마다 추출된 적어도 하나의 상기 데이터의 특징점 정보를 그룹 특징점 정보로 저장하는 과정과,
    상기 저장된 특징점 정보에 해당하는 데이터를 표시하는 데이터 표시 모드 시, 데이터를 표시하기 위한 상기 그룹 특징점 정보 및 상기 데이터의 특징점 정보를 상기 데이터로 복원하기 위한 특징점 복원 방법을 확인하는 과정과,
    상기 확인된 특징점 복원 방법을 통해 상기 그룹 특징점 정보에 포함되는 데이터별 그룹 정보를 상기 데이터로 복원하는 과정을 포함하는 것을 특징으로 하는 데이터 처리 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 데이터로 복원하는 과정은
    상기 복원된 데이터를 편집하기 위한 데이터 편집이 선택되면, 사용자의 선택에 따라 상기 데이터를 편집하는 과정과,
    상기 편집된 데이터에서 변경된 특징점 정보를 추출하고, 상기 추출된 특징점 정보로 업데이트하는 과정을 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
  4. 제1항에 있어서, 상기 특징점 추출 방법은
    상기 데이터를 구성하는 점들에 해당하는 스트로크 정보를 기반으로 하는 특징점 추출 방법, 상기 데이터를 구성하는 경계선을 기반으로 하는 특징점 추출 방법 및 문자를 인식하기 위한 온라인 문자 인식 방법 중 적어도 하나임을 특징으로 하는 데이터 처리 방법.
  5. 적어도 하나의 데이터를 한 화면에 표시하고, 각각의 상기 데이터마다 특징점 정보를 추출하기 위한 특징점 추출 방법을 선택할 수 있는 특징점 추출 방법 선택창을 표시하는 표시부와,
    상기 적어도 하나의 데이터를 저장할 수 있는 데이터 저장 모드 시, 상기 표시된 특징점 추출 방법을 선택창을 통해 각각의 상기 데이터마다 상기 특징점 추출 방법을 선택하고, 각각의 상기 데이터마다 선택된 특징점 추출 방법을 이용하여 각각의 상기 데이터마다 상기 데이터의 특징점 정보를 추출하는 제어부와,
    상기 제어부의 제어 하에 각각의 상기 데이터마다 추출된 적어도 하나의 상기 데이터의 특징점 정보를 그룹 특징점 정보로 저장하는 저장부를 포함하고,
    상기 제어부는,
    상기 저장된 특징점 정보에 해당하는 데이터를 표시하는 데이터 표시 모드 시, 데이터를 표시하기 위한 상기 그룹 특징점 정보 및 상기 데이터의 특징점 정보를 상기 데이터로 복원하기 위한 특징점 복원 방법을 확인하고, 상기 확인된 특징점 복원 방법을 통해 상기 그룹 특징점 정보에 포함되는 데이터별 그룹 정보를 상기 데이터로 복원하는 것을 특징으로 하는 데이터 처리 장치.
  6. 삭제
  7. 제5항에 있어서, 상기 제어부는
    상기 복원된 데이터를 편집하기 위한 데이터 편집이 선택되면, 사용자의 선택에 따라 해당 데이터를 편집하고, 상기 편집된 데이터에서 변경된 특징점 정보를 추출하여, 상기 저장부에 저장된 특징점 정보를 상기 추출된 특징점 정보로 업데이트함을 특징으로 하는 데이터 처리 장치.
  8. 제5항에 있어서, 상기 특징점 추출 방법은
    상기 데이터를 구성하는 점들에 해당하는 스트로크 정보를 기반으로 하는 특징점 추출 방법, 상기 데이터를 구성하는 경계선을 기반으로 하는 특징점 추출 방법 및 문자를 인식하기 위한 온라인 문자 인식 방법 중 적어도 하나임을 특징으로 하는 데이터 처리 장치.
KR1020090107908A 2009-11-10 2009-11-10 단말기에서 데이터 처리 방법 및 그를 수행하는 장치 Expired - Fee Related KR101679744B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090107908A KR101679744B1 (ko) 2009-11-10 2009-11-10 단말기에서 데이터 처리 방법 및 그를 수행하는 장치
US12/942,388 US9081495B2 (en) 2009-11-10 2010-11-09 Apparatus and method for processing data in terminal having touch screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090107908A KR101679744B1 (ko) 2009-11-10 2009-11-10 단말기에서 데이터 처리 방법 및 그를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20110051374A KR20110051374A (ko) 2011-05-18
KR101679744B1 true KR101679744B1 (ko) 2016-12-06

Family

ID=43975095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090107908A Expired - Fee Related KR101679744B1 (ko) 2009-11-10 2009-11-10 단말기에서 데이터 처리 방법 및 그를 수행하는 장치

Country Status (2)

Country Link
US (1) US9081495B2 (ko)
KR (1) KR101679744B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877209A (zh) * 2009-04-28 2010-11-03 英华达(上海)电子有限公司 字符显示方法、显示装置和计算机系统
KR101898202B1 (ko) * 2012-02-09 2018-09-12 삼성전자주식회사 필기 인식을 위한 필기 입력 가이드 장치 및 방법
KR20140111171A (ko) 2013-03-08 2014-09-18 삼성전자주식회사 컨텐츠의 스크롤 시 대표 정보를 표시하는 전자 장치 및 그 제어 방법
US20140253462A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Sync system for storing/restoring stylus customizations
CN106325627B (zh) * 2015-07-01 2019-01-01 奇景光电股份有限公司 用于内嵌式触控屏幕及其驱动方法
KR102594951B1 (ko) * 2016-06-03 2023-10-27 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102003318B1 (ko) * 2017-12-28 2019-07-24 (주)이즈커뮤니케이션즈 콘텐츠 데이터의 생성 방법 및 콘텐츠 데이터 구조
US10997402B2 (en) * 2018-07-03 2021-05-04 Fuji Xerox Co., Ltd. Systems and methods for real-time end-to-end capturing of ink strokes from video
KR102149105B1 (ko) * 2019-09-18 2020-08-27 세종대학교산학협력단 혼합현실 기반 3차원 스케치 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189985A (ja) * 2000-12-20 2002-07-05 Sharp Corp 手書文字処理装置および方法、ならびに手書文字処理プログラムを記録した機械読取可能な記録媒体
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930008770B1 (ko) 1990-06-11 1993-09-15 최승렬 복합메모리 수첩
JP3360513B2 (ja) 1996-01-16 2002-12-24 三菱電機株式会社 オンライン文字認識方法およびオンライン文字認識装置
WO1999022314A1 (fr) * 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
US7251365B2 (en) * 2002-07-03 2007-07-31 Vadim Fux Scalable stroke font system and method
US7797331B2 (en) 2002-12-20 2010-09-14 Nokia Corporation Method and device for organizing user provided information with meta-information
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
US7606421B2 (en) * 2004-12-08 2009-10-20 Ctb/Mcgraw-Hill Llc Data extraction from temporal image data
WO2006132564A1 (en) * 2005-06-10 2006-12-14 Intel Corporation A cognitive control framework for automatic control of application programs exposing a graphical user interface
KR100737998B1 (ko) 2005-06-17 2007-07-10 노키아 코포레이션 사용자가 제공한 정보를 메타 정보와 함께 체계화시키는방법 및 장치
EP1753210A3 (en) 2005-08-12 2008-09-03 LG Electronics Inc. Mobile communication terminal providing memo function
KR100685975B1 (ko) 2005-08-12 2007-02-26 엘지전자 주식회사 이동통신단말기에서의 통화 중 메모 작성 방법 및 이를구현할 수 있는 이동통신단말기
US7653218B1 (en) * 2006-05-02 2010-01-26 Orbimage Si Opco, Inc. Semi-automatic extraction of linear features from image data
TW200743993A (en) 2006-05-26 2007-12-01 Uniwill Comp Corp Input apparatus and input method thereof
KR20080019875A (ko) 2006-08-29 2008-03-05 박길용 터치스크린상의 픽셀 변동정보 조합을 이용한 필기식문자입력이 가능한 이동통신단말기 및 필기식 문자입력방법
US8315482B2 (en) * 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8213719B2 (en) * 2008-09-24 2012-07-03 Microsoft Corporation Editing 2D structures using natural input
US8504624B2 (en) * 2009-09-08 2013-08-06 Ricoh Co., Ltd. Stroke and image aggregation and analytics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189985A (ja) * 2000-12-20 2002-07-05 Sharp Corp 手書文字処理装置および方法、ならびに手書文字処理プログラムを記録した機械読取可能な記録媒体
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置

Also Published As

Publication number Publication date
KR20110051374A (ko) 2011-05-18
US20110113366A1 (en) 2011-05-12
US9081495B2 (en) 2015-07-14

Similar Documents

Publication Publication Date Title
KR101679744B1 (ko) 단말기에서 데이터 처리 방법 및 그를 수행하는 장치
US5737443A (en) Method of joining handwritten input
US7013046B2 (en) Apparatus, method, and program for handwriting recognition
US20030179214A1 (en) System and method for editing electronic images
EP0727754A2 (en) Handwritten character recognition apparatus with an improved feature of correction to stroke segmentation and method for correction to stroke segmentation for recognition of handwritten character
EP1564675B1 (en) Apparatus and method for searching for digital ink query
KR102347554B1 (ko) 디지털 잉크를 뷰티파잉하기 위한 시스템 및 방법
CN108701215B (zh) 用于识别多对象结构的系统和方法
US10579868B2 (en) System and method for recognition of objects from ink elements
JP4817297B2 (ja) 文字検索装置
CN110147785B (zh) 图像识别方法、相关装置和设备
US9323726B1 (en) Optimizing a glyph-based file
JP4686502B2 (ja) オンライン文字認識装置
Kiyko Recognition of objects in images of paper based line drawings
Razzak et al. Combining offline and online preprocessing for online urdu character recognition
US20240231582A9 (en) Modifying digital content including typed and handwritten text
Da et al. MediaPipe to Recognise the Hand Gestures
JP6575116B2 (ja) 文字認識装置、文字認識処理システム、およびプログラム
CN115019323A (zh) 手写擦除方法、装置、电子设备及存储介质
KR20050003075A (ko) 문자인식기능과 전자사전을 구비하는 휴대통신장치및 문자인식기능을 구비하는 전자사전
Munggaran et al. Handwritten pattern recognition using Kohonen neural network based on pixel character
CN112527128A (zh) 手写输入文本定位方法及装置
KR20060096208A (ko) 문자인식 시스템의 필기체 표시방법
JPH1049624A (ja) 手書き文字認識方法及び装置
JP2633523B2 (ja) 手書き画入力装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091110

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20141017

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091110

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160106

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160720

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160106

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20160720

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160304

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20160908

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20160809

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20160720

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20160304

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161121

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161122

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20190719

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210312

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee