[go: up one dir, main page]

KR102242154B1 - 필기 및 메모기능을 가지는 디지털 펜 시스템 - Google Patents

필기 및 메모기능을 가지는 디지털 펜 시스템 Download PDF

Info

Publication number
KR102242154B1
KR102242154B1 KR1020190064770A KR20190064770A KR102242154B1 KR 102242154 B1 KR102242154 B1 KR 102242154B1 KR 1020190064770 A KR1020190064770 A KR 1020190064770A KR 20190064770 A KR20190064770 A KR 20190064770A KR 102242154 B1 KR102242154 B1 KR 102242154B1
Authority
KR
South Korea
Prior art keywords
document
digital pen
unit
pen
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190064770A
Other languages
English (en)
Other versions
KR20200138572A (ko
Inventor
임수철
이동한
김영진
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190064770A priority Critical patent/KR102242154B1/ko
Publication of KR20200138572A publication Critical patent/KR20200138572A/ko
Application granted granted Critical
Publication of KR102242154B1 publication Critical patent/KR102242154B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 필기 및 메모기능을 가지는 디지털 펜 시스템에 관한 것이다.
본 발명에 따르면, 필기 및 메모기능을 가지는 디지털 펜에 있어서, 출력이 가능한 문서파일을 저장하는 문서 저장부, 상기 문서파일이 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영하는 촬영부, 상기 촬영 영상이 입력되면, 기 학습된 문서 영상을 이용하여 상기 디지털 펜이 가리키는 문서의 현재 필기 위치를 판단하는 필기 위치 판단부, 사용자가 상기 디지털 펜을 이용하여 필기를 할 경우, 상기 디지털 펜의 움직임을 인식하는 IMU 센서부, 상기 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 인식하는 필기 인식부, 그리고 상기 문서 상에 필기된 필기 기록을 상기 문서 파일에 적용하여 저장하는 제어부를 포함한다.
이와 같이 본 발명에 따르면, 닷 코드와 리시버와 같은 부가 장비 없이 디지털 펜만을 이용하여 프린터된 문서상에 기록하는 내용을 전자파일에 저장함으로써 기록물 및 메모의 보관에 편의성을 증대 시킬 수 있다.

Description

필기 및 메모기능을 가지는 디지털 펜 시스템{SYSTEM FOR DIGITAL PEN WITH HANDWRITING AND MEMO FUNCTION}
본 발명은 필기 및 메모기능을 가지는 디지털 펜 시스템에 관한 것으로, 사용자가 작성한 필기 또는 메모를 인식하여 기 저장된 문서파일에 적용하여 저장하는 필기 및 메모기능을 가지는 디지털 펜 시스템에 관한 것이다.
디지털 펜 시스템은 일반적으로 영상을 출력할 수 있는 디스플레이를 중앙에 설치하고, 디스플레이 상의 디지털 펜의 궤적을 감지할 수 있는 터치스크린 방식이나 외부에 감지 센서를 장착하여 디지털 펜의 궤적을 감지할 수 있는 디지털 펜 기술들이 사용되고 있다.
하지만, 터치 스크린 방식이나, 외부 감지 센서를 이용하는 방식은 디스플레이의 크기가 커질수록 디스플레이의 단가가 올라가고, 전력소비가 급증하며, 디지털 펜 궤적 인식의 정확도가 떨어진다. 이에 따라, 디스플레이 표 면에 표면의 위치정보를 포함하는 인코딩 패턴을 인간의 시각으로 판단이 어려울 정도로 미세하게 형성하고, 광학 센서를 가지는 디지털 펜을 이용하여 디지털 펜의 궤적을 인코딩 패턴을 감지하여 위치를 결정할 수 있도록 하는 기술이 상용화되고 있다.
또한, 닷 코드(dat code)를 이용한 디지털 펜의 경우 정확한 위치를 인식할 수 있지만, 특정 패턴이 미리 기록된 용지를 활용해야 한다는 단점이 있으며, 초음파 방식의 디지털 펜은 초음파를 수신할 리시버가 필요하며, 상대적으로 부정확한 위치인식 및 메모인식 기능이 떨어지는 단점이 있다.
이러한 단점을 극복하고자 영상기반의 디지털 펜이 고안되었는데. 이는 기록하기 어렵고 원하는 파일에 원하는 기록을 저장하기 어려운 단점이 있었다.
따라서, 이러한 단점을 극복하고 리시버 또는 특정 패턴이 기 기록된 용지를 사용하지 않는 디지털 펜이 필요하게 되었다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-1359662호(2014.02.07.)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 사용자가 작성한 필기 또는 메모를 인식하여 기 저장된 문서파일에 적용하여 저장하기 위한 필기 및 메모기능을 가지는 디지털 펜 시스템을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 필기 및 메모기능을 가지는 디지털 펜에 있어서, 출력이 가능한 문서파일을 저장하는 문서 저장부, 상기 문서파일이 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영하는 촬영부, 상기 촬영 영상이 입력되면, 기 학습된 문서 영상을 이용하여 상기 디지털 펜이 가리키는 문서의 현재 필기 위치를 판단하는 필기 위치 판단부, 사용자가 상기 디지털 펜을 이용하여 필기를 할 경우, 상기 디지털 펜의 움직임을 인식하는 IMU 센서부, 상기 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 인식하는 필기 인식부, 그리고 상기 문서 상에 필기된 필기 기록을 상기 문서 파일에 적용하여 저장하는 제어부를 포함한다.
상기 IMU 센서부는, 파티클 필터(Particle filter)를 이용하여 상기 디지털 펜의 움직임을 인식할 수 있다.
상기 제어부는, 상기 문서 파일에 저장된 필기 기록의 색, 글꼴 및 크기 중에서 어느 하나를 변환시킬 수 있다.
상기 디지털 펜의 본체에 부착된 터치 센서를 이용하여 사용하고자 하는 펜의 종류, 글씨의 굵기 및 색상 중에서 어느 하나를 변경할 수 있다.
상기 필기 위치 판단부는, 문서 영상을 미리 학습을 시킨 후, 기 학습된 문서 영상과 입력된 촬영 영상을 이용하여 확률 분포에 따라 상기 디지털 펜의 현재 필기 위치를 판단할 수 있다.
본 발명의 다른 실시예에 따르면, 필기 및 메모기능을 가지는 디지털 펜 시스템에 있어서, 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영된 영상을 통하여 현재 필기 위치를 판단하며, IMU 센서를 이용하여 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 획득하고, 상기 획득된 필기 기록을 전송하는 디지털 펜, 그리고 상기 출력된 문서에 대응하는 문서 파일을 저장하며, 상기 디지털 펜으로부터 수신된 필기 기록을 상기 문서파일에 적용하여 저장하는 사용자 단말기를 포함한다.
이와 같이 본 발명에 따르면, 닷 코드(dat code) 및 리시버(receiver)와 같은 부가 장비 없이 디지털 펜만을 이용하여 프린터된 문서상에 기록하는 내용을 전자파일에 저장함으로써 기록물 및 메모의 보관에 편의성을 증대시킬 수 있다.
도 1은 본 발명의 제1 실시예에 따른 디지털 펜의 구성을 나타낸 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 디지털 펜을 설명하기 위한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 디지털 펜 시스템의 구성을 나타낸 도면이다.
도 4는 본 발명의 제2 실시예에 따른 디지털 펜의 구성을 나타낸 구성도이다.
도 5는 본 발명의 제1 및 제2 실시예에 따른 디지털 펜을 이용하여 출력된 문서상의 위치 및 메모를 인식하는 것을 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1 및 도 2를 이용하여 본 발명의 제1 실시예에 따른 디지털 펜을 설명한다.
도 1은 본 발명의 제1 실시예에 따른 디지털 펜의 구성을 나타낸 도면이고, 도 2는 본 발명의 제1 실시예에 따른 디지털 펜을 설명하기 위한 도면이다.
먼저, 도 1에서 나타낸 것처럼, 본 발명의 제1 실시예에 따른 디지털 펜(100)은 문서 저장부(110), 촬영부(120), 필기 위치 판단부(130), IMU 센서부(140), 필기 인식부(150) 및 제어부(160)를 포함한다.
먼저 문서 저장부(110)는 출력이 가능한 문서 파일을 저장한다.
여기서, 문서 파일은 한글, 워드 및 PDF와 같은 파일 형식으로 저장되며 연결된 프린트를 이용하여 출력이 가능한 파일을 말한다.
이때, 사용자는 문서 저장부(110)에 저장된 문서 파일을 출력하기 위해 프린터와 직접 연결하여 출력할 수 있으며, 무선 네트워크를 이용하여 문서 파일을 출력할 수 있다.
다음으로, 촬영부(120)는 소형 카메라가 내장된 형태로 구현되며, 문서파일이 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영한다.
도 2에서 나타낸 것처럼, 촬영부(120)는 디지털 펜(100)의 본체 부분에 부착된다.
이때, 촬영부(120)의 크기나 부착 위치는 설계에 따라 변경될 수 있다.
다음으로, 필기 위치 판단부(130)는 촬영 영상이 입력되면, 기 학습된 문서 영상을 이용하여 디지털 펜이 가리키는 문서의 현재 필기 위치를 판단한다.
즉, 문서 영상이 미리 학습이 되면, 필기 위치 판단부(130)는 기 학습된 문서 영상과 입력된 촬영 영상을 이용하여 확률 분포에 따라 사용자가 디지털 펜(100)을 통해 문서상에 필기하고 있는 현재 필기 위치를 판단한다.
이때, 필기 위치 판단부(130)는 머신 러닝(Machine Learning) 알고리즘을 이용하여 문서의 영상을 미리 학습시킬 수 있다.
여기서, 머신 러닝 알고리즘은 컴퓨터를 이용하여 데이터를 학습시켜 미래의 행동을 예측하는 AI기술중에 하나로, 본 발명의 실시예에서는 필기 위치를 판단하기 위해 사용된다.
다음으로, IMU 센서부(140)는 사용자가 디지털 펜(100)을 이용하여 필기를 할 경우, 디지털 펜(100)의 움직임을 인식한다.
여기서, IMU 센서는 관성 측정장치(Inertial Measurement Unit)로서, 이동물체의 속도, 방향, 중력 및 가속도를 측정하기 위한 센서로 자이로스코프, 가속도계 및 지자계 센서로 구성되며, 본 발명의 실시예에서는 디지털 펜(100)의 움직임을 인식하기 위해 사용된다.
그리고, IMU 센서부(140)는 IMU 센서를 이용하여 측정된 데이터를 칼만 필터(Kalman filter)에 적용하여 잡음을 제거하고, 잡음이 제거된 데이터를 파티클 필터(Particle filter)에 적용하여 디지털 펜(100)의 움직임을 인식한다.
또한, 파티클 필터는 시뮬레이션에 기반을 둔 예측기술의 하나로 난수를 이용하여 함수의 값을 확률적으로 연산하며, 연산하려는 값이 복잡한 경우에 사용되며, 본 발명의 실시예에서는 디지털 펜(100)의 움직임을 인식하기 위해 사용된다.
그리고, 필기 인식부(150)는 인식된 디지털 펜의 움직임을 통하여 사용자가 문서에 필기한 필기 기록을 인식한다.
이때, 필기 인식부(150)는 필기 기록의 글씨 크기 및 펜의 종류를 인식한다.
그리고, 제어부(160)는 문서 상에 필기된 필기 기록을 문서 파일에 적용하여 저장한다.
여기서, 제어부(160)는 출력된 문서의 비율에 따라 필기된 필기 기록을 변경하여 문서 파일에 저장한다.
예를 들어, 사용자가 한 면에 2개의 페이지가 출력된 문서에 필기를 하면, 제어부(160)는 필기 기록의 글자 크기, 글자 밑줄에 그은 선 등의 사이즈를 2배로 증가시켜 본 문서 파일에 적용한다.
또한, 제어부(160)는 사용자의 선택에 따라 필기 기록의 색, 글꼴 및 크기 중에서 어느 하나를 변환시켜 문서 파일에 저장할 수 있다.
그리고, 사용자는 디지털 펜(100)의 본체 부분에 설치된 터치 센서(미도시 함)를 이용하여 사용하고자 하는 펜의 종류, 글씨의 굵기 및 색상 중에서 어느 하나를 변경시킬 수 있다.
이하에서는 도 3 및 도 4를 이용하여 본 발명의 제2 실시예에 대하여 설명한다.
도 3은 본 발명의 제2 실시예에 따른 디지털 펜 시스템의 구성을 나타낸 도면이고, 도 4는 본 발명의 제2 실시예에 따른 디지털 펜의 구성을 나타낸 구성도이다.
도 3에서 나타낸 것처럼, 디지털 펜 시스템은 디지털 펜(310) 및 사용자 단말기(320)를 포함한다.
여기서, 디지털 펜(310)은 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영된 영상을 통하여 현재 필기 위치를 판단하며, IMU 센서를 이용하여 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 획득하고, 상기 획득된 필기 기록을 전송한다.
사용자 단말기(320)는 출력된 문서에 대응하는 문서 파일을 저장하며, 디지털 펜(310)으로부터 수신된 필기 기록을 문서파일에 적용하여 저장한다.
여기서, 사용자 단말기(320)는 데이터 처리 시스템과 교신하기 위한 입출력 장치로 노트북 컴퓨터, 워크스테이션, 팜톱(palmtop) 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant: PDA), 웹 패드, 이동 통신 단말기 등과 같이 유선 또는 무선으로 네트워크에 접속하여 정보를 주고받을 수 있는 기기로 구현될 수 있다.
도 4에서 나타낸 것처럼, 디지털 펜(310)은 촬영부(311), 필기 위치 판단부(312), IMU 센서부(313), 인식부(314) 및 통신부(315)를 포함한다.
본 발명의 제2 실시예에 따른 디지털 펜(310)은 제1 실시예에 따른 디지털 펜(100)과 비교할 때, 문서 저장부(110)와 제어부(160)가 구비되지 않으며, 통신부(315)가 더 포함된다.
여기서, 도 4에 도시한 촬영부(311), 필기 위치 판단부(312), IMU 센서부(313), 인식부(314)는 본 발명의 제1 실시예에서 설명한 촬영부(120), 필기 위치 판단부(130), IMU 센서부(140), 필기 인식부(150)와 실질적으로 동일한 바, 중복되는 설명은 생략한다.
먼저, 통신부(315)는 인식된 필기 기록을 연동된 사용자 단말기(320)에 전송한다.
이때, 통신부(315)는 근거리 통신 방법을 이용하여 인식된 필기 기록을 사용자 단말기(320)에 전송한다.
여기서, 근거리 통신 방법은 0 ~ 20m 사이의 무선 통신을 말하며, 블루투스(Bluetooth), 지그비(Zigbee) 및 WIFI와 같은 방법을 이용하여 통신을 유지한다.
즉, 통신부(315)는 근거리 통신으로 연결된 사용자 단말기(320)에 실시간으로 필기기록을 전송할 수 있으며, 디지털 펜(310)과 사용자 단말기(320) 사이에 유선으로 연결하여 필기기록을 전송할 수 있다.
사용자 단말기(320)는 출력된 문서에 대응하는 문서 파일에 필기기록을 저장하며, 디지털 펜으로부터 수신된 필기 기록을 문서 파일에 적용하여 저장한다.
즉, 디지털 펜(310)으로부터 수신한 필기기록에 대응되는 문서에 필기 기록을 적용한다.
또한, 사용자 단말기(320)는 문서 파일에 저장된 필기 기록의 색, 글꼴 및 크기 중에서 어느 하나를 변환할 수 있다.
그리고, 사용자 단말기(320)는 디지털 펜(310)으로부터 획득한 메모의 내용을 정정하여 저장할 수 있다.
도 5는 본 발명의 제1 및 제2 실시예에 따른 디지털 펜을 이용하여 출력된 문서상의 위치 및 메모를 인식하는 것을 나타낸 도면이다.
도 5에서 나타낸 것처럼, 촬영부(120, 311)는 소형 카메라를 이용하여 이미지를 촬영하고, IMU 센서부(140, 313)는 IMU 센서를 이용하여 디지털 펜(100, 310)의 이동 데이터를 획득한다.
그러면, 인식부(150, 314)는 획득된 이미지와 이동 데이터를 파티클 필터에 적용하여 문서상의 위치와 필기 기록을 인식한다.
여기서, 파티클 필터를 이용하여 문서상의 위치와 필기 기록을 인식하는 것은 다른 필터를 이용하여 문서상의 위치와 필기 기록을 인식하는 것보다 정확하게 인식할 수 있기 때문이다.
그리고, 본 발명의 제1 실시예에서는 저장부(160)를 이용하여 필기 기록을 문서 파일에 저장하고, 본 발명의 제2 실시예에서는 사용자 단말기(320)를 이용하여 필기 기록을 문서 파일에 저장한다.
이와 같이 본 발명의 실시예에 따르면, 닷 코드와 리시버와 같은 부가 장비 없이 디지털 펜만을 이용하여 프린터된 문서상에 기록하는 내용을 전자파일에 저장함으로써 기록물 및 메모의 보관에 편의성을 증대 시킬 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 디지털 펜, 110: 문서 저장부,
120: 촬영부, 130: 필기 위치 판단부,
140: IMU 센서부, 150: 필기 인식부,
160: 제어부, 170: 통신부,
300: 디지털 펜 시스템, 310: 디지털 펜,
311: 촬영부, 312: 필기 위치 판단부,
313: IMU 센서부, 314: 인식부,
315: 통신부, 320: 사용자 단말기

Claims (12)

  1. 필기 및 메모기능을 가지는 디지털 펜에 있어서,
    출력이 가능한 문서파일을 저장하는 문서 저장부,
    상기 문서파일이 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영하는 촬영부,
    촬영 영상이 입력되면, 기 학습된 문서 영상을 이용하여 상기 디지털 펜이 가리키는 문서의 현재 필기 위치를 판단하는 필기 위치 판단부,
    사용자가 상기 디지털 펜을 이용하여 필기를 할 경우, 상기 디지털 펜의 움직임을 인식하는 IMU 센서부,
    상기 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 인식하는 필기 인식부, 그리고
    상기 문서 상에 필기된 필기 기록을 상기 문서 파일에 적용하여 저장하는 제어부를 포함하고,
    상기 IMU 센서부는,
    파티클 필터(Particle filter)를 이용하여 상기 디지털 펜의 움직임을 인식하고,
    상기 필기 위치 판단부는,
    문서 영상을 미리 학습을 시킨 후, 기 학습된 문서 영상과 입력된 촬영 영상을 이용하여 확률 분포에 따라 상기 디지털 펜의 현재 필기 위치를 판단하며,
    상기 제어부는,
    상기 문서 파일에 저장된 필기 기록의 색, 글꼴 및 크기 중에서 어느 하나를 변환시키고,
    상기 디지털 펜의 본체에 부착된 터치 센서를 이용하여 사용하고자 하는 펜의 종류, 글씨의 굵기 및 색상 중에서 어느 하나를 변경하는 디지털 펜.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 필기 및 메모기능을 가지는 디지털 펜 시스템에 있어서,
    출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영된 영상을 통하여 현재 필기 위치를 판단하며, IMU 센서를 이용하여 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 획득하고, 상기 획득된 필기 기록을 전송하는 디지털 펜, 그리고
    상기 출력된 문서에 대응하는 문서 파일을 저장하며, 상기 디지털 펜으로부터 수신된 필기 기록을 상기 문서파일에 적용하여 저장하는 사용자 단말기를 포함하고,
    상기 디지털 펜은,
    문서파일이 출력된 문서 상에 사용자가 디지털 펜을 파지한 상태에서 필기를 할 경우, 펜 끝 부분이 가리키는 문서의 필기 지점을 촬영하기 위한 촬영부,
    상기 촬영부에 의해 촬영한 영상이 입력되면, 기 학습된 문서 영상을 이용하여 상기 디지털 펜이 가리키는 문서의 현재 필기 위치를 판단하는 필기 위치 판단부,
    사용자가 상기 디지털 펜을 이용하여 필기를 할 경우, 상기 디지털 펜의 움직임을 인식하는 IMU 센서부,
    상기 인식된 디지털 펜의 움직임을 통하여 사용자가 상기 문서에 필기한 필기 기록을 인식하는 인식부,
    상기 저장된 필기 기록을 연동된 사용자 단말기에 전송하는 통신부를 포함하며,
    상기 IMU 센서부는,
    파티클 필터(Particle filter)를 적용하여 상기 디지털 펜의 움직임을 인식하고,
    상기 필기 위치 판단부는,
    문서 영상을 미리 학습을 시킨 후, 기 학습된 문서 영상과 입력된 촬영 영상을 이용하여 확률 분포에 따라 상기 디지털 펜의 현재 필기 위치를 판단하며,
    상기 사용자 단말기는,
    상기 문서 파일에 저장된 필기 기록의 색, 글꼴 및 크기 중에서 어느 하나를 변환할 수 있으며,
    상기 디지털 펜은,
    중간 부분에 부착된 센서를 이용하여 펜의 종류 및 색상 중에서 어느 하나를 변경하고,
    상기 통신부는,
    상기 사용자 단말기와 근거리 이동통신 방법을 이용하여 연결되는 디지털 펜 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020190064770A 2019-05-31 2019-05-31 필기 및 메모기능을 가지는 디지털 펜 시스템 Active KR102242154B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190064770A KR102242154B1 (ko) 2019-05-31 2019-05-31 필기 및 메모기능을 가지는 디지털 펜 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190064770A KR102242154B1 (ko) 2019-05-31 2019-05-31 필기 및 메모기능을 가지는 디지털 펜 시스템

Publications (2)

Publication Number Publication Date
KR20200138572A KR20200138572A (ko) 2020-12-10
KR102242154B1 true KR102242154B1 (ko) 2021-04-21

Family

ID=73790373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190064770A Active KR102242154B1 (ko) 2019-05-31 2019-05-31 필기 및 메모기능을 가지는 디지털 펜 시스템

Country Status (1)

Country Link
KR (1) KR102242154B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429558B1 (ko) 2021-09-29 2022-08-04 정상원 페이지 인식 기반 메모 기록 방법, 장치 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359919B (zh) * 2021-12-30 2025-02-14 科大讯飞股份有限公司 书写文字的识别方法、计算机设备及存储介质
KR102747341B1 (ko) * 2022-07-01 2024-12-30 주식회사 다비다 필기펜을 위한 머신 러닝을 이용한 실시간 획 분석 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231441A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 筆記情報処理装置及びプログラム
KR101484916B1 (ko) * 2014-08-25 2015-01-22 주식회사 트레이스 위치 확인의 정확도를 높인 디지타이저

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102259434B1 (ko) * 2015-01-27 2021-06-02 엘지이노텍 주식회사 다기능 터치 펜
KR20180096408A (ko) * 2017-02-21 2018-08-29 엘지전자 주식회사 전자 펜 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231441A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 筆記情報処理装置及びプログラム
KR101484916B1 (ko) * 2014-08-25 2015-01-22 주식회사 트레이스 위치 확인의 정확도를 높인 디지타이저

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429558B1 (ko) 2021-09-29 2022-08-04 정상원 페이지 인식 기반 메모 기록 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20200138572A (ko) 2020-12-10

Similar Documents

Publication Publication Date Title
CN103744541B (zh) 书写笔、电子终端及书写系统
US8340476B2 (en) Electronic acquisition of a hand formed expression and a context of the expression
KR102242154B1 (ko) 필기 및 메모기능을 가지는 디지털 펜 시스템
US6686910B2 (en) Combined writing instrument and digital documentor apparatus and method of use
US7342575B1 (en) Electronic writing systems and methods
US20070075989A1 (en) Electronic acquisition of a hand formed expression and a context of the expression
JP7086116B2 (ja) アナログストロークの生成及びアナログストロークのデジタル記録のための電子装置並びにアナログ記録のデジタル化のための入力システム及び方法
JP2004227563A (ja) 慣性センサの積分
US20230394721A1 (en) Information processing apparatus, program, and system
US20150116285A1 (en) Method and apparatus for electronic capture of handwriting and drawing
US20060087497A1 (en) Digital pen for capturing hand-drawn data
US20210345913A1 (en) System and Method for Detecting Handwriting Problems
JP4325332B2 (ja) ペン型データ入力装置及び該プログラム
JP4292927B2 (ja) ペン型データ入力装置及び該プログラム
US20060097997A1 (en) Method and system for capturing data using a digital pen
US12118168B2 (en) Pen state detection circuit, method, and device, and parameter supply device
WO2005076115A2 (en) A digital pen
KR20160097879A (ko) 복합기능 필기장치
KR102613361B1 (ko) 디지털 필적에 대한 진정성 감정방법
CN113971807B (zh) 一种笔迹信息的获取方法和设备
US12265668B2 (en) Pen state detection circuit and method, and input system
US8028898B2 (en) Double conversion cheque-clearing process and system
KR20030072988A (ko) 전자펜 및 그 동작방법
Takahashi et al. WeC-4-4 Digital Operation through Pen based Interface System
JP2009015811A (ja) デジタル拓本装置及び方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190531

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200914

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210210

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200914

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20210210

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20201116

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210412

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210316

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20210210

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20201116

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210414

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210415

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240325

Start annual number: 4

End annual number: 4