[go: up one dir, main page]

KR102234688B1 - 노트를 관리하기 위한 시스템 및 방법 - Google Patents

노트를 관리하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102234688B1
KR102234688B1 KR1020157030931A KR20157030931A KR102234688B1 KR 102234688 B1 KR102234688 B1 KR 102234688B1 KR 1020157030931 A KR1020157030931 A KR 1020157030931A KR 20157030931 A KR20157030931 A KR 20157030931A KR 102234688 B1 KR102234688 B1 KR 102234688B1
Authority
KR
South Korea
Prior art keywords
notes
note
visual representation
scene
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020157030931A
Other languages
English (en)
Other versions
KR20150138293A (ko
Inventor
빌렘 브이. 바스티엔스
가브리엘 에이. 빌러
크리스토퍼 더블유. 클로버
브라이언 알. 해커슨
마수마 더블유. 헨리
스테픈 엠. 준
브라이언 엘. 린지
로버트 디. 로렌츠
데이비드 엠. 말리
리차드 제이. 무어
크리스틴 이. 모란
마이클 이. 오'브라이언
스캇 디. 피어슨
데나드 제이. 포웰
올렌 로닝
구루프라사드 소마순다람
브라이언 제이. 스탄키비츠
다이앤 알. 워크
Original Assignee
쓰리엠 이노베이티브 프로퍼티즈 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리엠 이노베이티브 프로퍼티즈 컴파니 filed Critical 쓰리엠 이노베이티브 프로퍼티즈 컴파니
Publication of KR20150138293A publication Critical patent/KR20150138293A/ko
Application granted granted Critical
Publication of KR102234688B1 publication Critical patent/KR102234688B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 적어도 일부 태양은 노트를 관리하기 위한 시스템 및 방법을 특징으로 한다. 노트 관리 시스템은 노트 소스, 노트 인식 모듈, 노트 추출 모듈, 및 노트 라벨링 모듈을 포함한다. 노트 소스는 노트를 갖는 장면의 시각적 표현이다. 노트 인식 모듈은 시각적 표현을 수신하도록 그리고 노트의 대체적인 경계를 시각적 표현으로부터 결정하도록 구성된다. 노트 추출 모듈은 결정된 대체적인 경계에 기초하여 시각적 표현으로부터 노트의 콘텐트를 추출하도록 구성된다. 노트 라벨링 모듈은 노트를 카테고리에 따라 라벨링하도록 구성된다.

Description

노트를 관리하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR MANAGING NOTES}
본 발명은 노트 캡처링(capturing), 인식, 추출, 및/또는 관리 툴(tool) 및 시스템에 관한 것이다.
노트들은 아이디어들 및 정보를 기록, 공유, 및 전달하는 데 널리 사용되어 왔다. 예를 들어, 협업 세션(collaboration session)(예컨대, 브레인스토밍(brainstorming) 세션) 동안, 참가자들은 아이디어를 포스트-잇(Post-It)® 노트들, 화이트보드, 또는 종이에 써 내려가고, 이어서 서로 공유한다. 더욱이, 사람들은 통상 개인이 잊어버리기를 원하지 않는 정보나 콘텐트(content)를 기억하기 위하여 하루 내내 노트들을 사용한다. 추가의 예로서, 사람들은, 전화 통화를 위해서, 문서를 수정하기 위해서, 또는 타임 시트(time sheet)를 채우기 위해서와 같이 미래에 있을 행동 또는 사건의 리마인더(reminder)로서 노트를 자주 이용한다.
많은 상황에서, 사람들은 전통적으로, 포스트-잇® 노트들과 같은 종이-기반 노트들에 적절한 정보를 적어 내려가곤 했다. 종이 포스트-잇® 노트들은 후방 점착식 종이 포스트-잇® 노트들의 디스펜서 패드(dispenser pad)로부터 간단히 제거되어, 문서, 책상의 상부, 전화기 등과 같은 다양한 표면들에 적용된다. 종이 포스트-잇® 노트들이 그들의 디스펜서 패드로부터 제거되거나 또는 그들의 타깃 표면들에 부착되기 전 또는 후에 종이 포스트-잇® 노트들 상에 정보가 기록될 수 있다. 종이 포스트-잇® 노트들은 하나의 표면으로부터 다른 표면으로, 예컨대 문서들 사이에서 또는 문서와 책상의 상부 사이에서 용이하게 이동될 수 있고, 이들은 문서의 에지들 또는 경계들과 중첩될 수 있고, 이들은 층을 이룰 수 있고, 이들은 이들이 부착된 객체들과 함께 이동될 수 있다.
본 발명의 적어도 일부 태양은 센서에 의해 복수의 노트들을 갖는 장면의 시각적 표현을 캡처하는 단계; 프로세싱 유닛에 의해 복수의 노트들 중 하나를 시각적 표현으로부터 인식하는 단계; 및 프로세싱 유닛에 의해 복수의 노트들 중 하나의 콘텐트를 추출하는 단계를 포함하는 노트들의 콘텐트를 수집하는 방법을 특징으로 한다.
본 발명의 적어도 일부 태양은 센서, 노트 인식 모듈, 및 노트 추출 모듈을 포함하는 노트 인식 시스템을 특징으로 한다. 센서는 복수의 노트들을 갖는 장면의 시각적 표현을 캡처하도록 구성된다. 노트 인식 모듈은 센서에 결합된다. 노트 인식 모듈은 캡처된 시각적 표현을 수신하도록 그리고 복수의 노트들 중 하나의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된다. 노트 추출 모듈은 복수의 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 노트들 중 하나의 콘텐트를 캡처된 시각적 표현으로부터 추출하도록 구성된다.
첨부 도면은 본 명세서에 포함되어 그의 일부를 구성하며, 발명의 상세한 설명과 함께 본 발명의 이점 및 원리를 설명한다. 도면에서,
도 1a는 이동식 디바이스 상의 이미지 캡처 디바이스를 이용하여 노트들을 갖는 작업공간의 이미지를 사용자가 캡처하는 일례를 도시하는 도면이다.
도 1b는 이동식 디바이스의 일례를 도시하는 블록도이다.
도 1c는 노트 인식 시스템의 일 실시 형태를 도시한다.
도 1d는 노트 관리 시스템의 일 실시 형태를 도시한다.
도 2a 내지 도 2c는 마크(mark)들을 갖는 노트들의 일부 예를 도시한다.
도 3a는 노트 인식 및/또는 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 3b는 노트들의 콘텐트를 추출하는 일 실시 형태의 흐름도를 도시한다.
도 3c는 노트를 인증하는 일 실시 형태의 흐름도를 도시한다.
도 4a 내지 도 4d는 마크를 갖는 노트의 콘텐트 추출 프로세스의 일례를 도시한다.
도 5a 내지 도 5d는 재귀반사성 마크들을 갖는 복수의 노트들의 콘텐트 추출의 일 실시 형태를 도시한다.
도 6은 노트 인식 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
도 7a는 노트 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 7b는 시스템이 노트를 어떻게 라벨링할 수 있는가의 예를 도시한다.
도 8은 노트 관리 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
노트는 아이디어 및 정보를 기록, 공유, 및 전달하는 데 널리 사용되어 왔다. 예를 들어, 협업 세션(예컨대, 브레인스토밍 세션) 동안, 참가자들은 아이디어를 포스트-잇® 노트들, 화이트보드, 종이에 써 내려가고, 이어서 서로 공유한다. 본 발명의 적어도 일부 태양은 다수의 노트들을 캡처하고 노트들의 콘텐트를 추출하는 시스템 및 방법에 관한 것이다. 일부 실시 형태에서, 노트들 중 적어도 일부는 노트들의 인식 및 추출을 용이하게 하도록 마크를 포함한다. 일부 경우에, 노트들은 장면의 하나의 시각적 표현으로 캡처되고 식별/인식된다. 장면의 시각적 표현은, 예를 들어, 노트(들) 및 주변 환경의 디지털 사진일 수 있다. 게다가, 본 발명의 적어도 일부 태양은 다수의 노트들을 관리하는, 예컨대 노트들을 보관 및 검색하는, 노트들을 분류 및 그룹화하는, 등의 시스템 및 방법에 관한 것이다. 일부 경우에, 노트 관리 시스템은 많은 수의 노트들로부터의 노트 콘텐트의 캡처링 및 추출 시 효율을 개선할 수 있다. 더욱이, 노트 관리 시스템은 노트들의 그룹화 및 관리 시 효율을 개선할 수 있다.
노트들은 물리적인 노트들 및 디지털 노트들을 포함할 수 있다. 물리적 노트들은 일반적으로, 대체적인 경계 및 인식가능 콘텐트를 갖는 객체들을 말한다. 물리적 노트들은 사람들이 다른 유형의 입력들을 통하여 객체들, 예를 들어, 종이, 화이트보드, 또는 입력들을 수용하는 다른 객체들 상에 쓰거나, 그리거나, 기입한 후의 생성된 객체들을 포함할 수 있다. 예로서, 물리적 노트들은 손으로 쓴 포스트-잇® 노트들, 종이, 또는 필름, 그림들이 있는 화이트보드, 포스터들, 및 표지판들을 포함할 수 있다. 일부 경우에, 하나의 객체는 여러 개의 노트들을 포함할 수 있다. 예를 들어, 몇몇 아이디어들이 포스터 종이 한 장 또는 하나의 화이트보드 상에 써질 수 있다. 일부 구현예에서, 이들 노트의 인식을 용이하게 하기 위하여, 마크들, 예컨대 라인들, 마커들, 스티커들이 노트들의 에지들에 적용될 수 있다. 물리적 노트들은 2차원 또는 3차원일 수 있다. 물리적 노트들은 다양한 형상들 및 크기들을 가질 수 있다. 예를 들어, 물리적 노트는 3 인치 × 3 인치 노트일 수 있고; 물리적 노트는 26 인치 × 39 인치 포스터일 수 있고; 물리적 노트는 삼각형 금속 표지판일 수 있다. 일부 경우에, 물리적 노트들은 기지의 형상들 및/또는 크기들을 갖는다. 디지털 노트들은 일반적으로 정보 및/또는 아이디어들을 갖는 디지털 객체들을 말한다. 디지털 노트들은 디지털 입력들을 이용하여 생성될 수 있다. 디지털 입력들은, 예를 들어, 키보드들, 터치 스크린들, 디지털 카메라들, 디지털 기록 디바이스들, 스타일러스, 디지털 펜들, 등을 포함할 수 있다.
일부 경우에, 노트들은 협업 공간에서 사용된다. 협업 공간은 일반적으로 한 사람보다 많은 사람들이 아이디어들 및 생각들을 서로 공유하게 하는 모임 영역을 말한다. 협업 공간은 모임 영역 이외에, 한 그룹의 사람들이 아이디어들 및 생각들을 원격으로 공유하게 하는 가상 공간을 포함할 수 있다.
도 1a는 노트 인식 환경(10)의 일례를 도시한다. 도 1a의 예에서, 환경(10)은 작업공간(20)으로부터 하나 이상의 노트(22)를 캡처하고 인식하는 이동식 디바이스(15)를 포함한다. 본 명세서에서 설명되는 바와 같이, 이동식 디바이스는, 설명되는 바와 같이, 작업공간(20)으로부터 노트(22)를 수집하는 것과 같이 다수의 물리적 노트들로부터 콘텐트를 효율적으로 캡처하고 추출할 수 있는 하나 이상의 소프트웨어 애플리케이션에 대한 실행 환경을 제공한다. 본 예에서, 노트(22)들은 다수의 참가자들이 있는 협업적 브레인스토밍 세션의 결과일 수 있다. 설명되는 바와 같이, 이동식 디바이스(15) 및 그에서 실행되는 소프트웨어는, 작업공간(20)의 물리적 노트(22)들을 나타내는 디지털 노트들의 자동 생성을 포함하여, 다양한 노트-관련 동작들을 수행할 수 있다.
예시적인 구현예에서, 이동식 디바이스(15)는, 다른 구성요소들 중에서도 특히, 이미지 캡처 디바이스(18) 및 프레젠테이션 디바이스(28)를 포함한다. 더욱이, 도 1a에 도시되어 있지 않지만, 이동식 디바이스(15)는 하나 이상의 프로세서, 마이크로프로세서들, 내부 메모리 및/또는 데이터 저장장치, 및 본 명세서에서 설명되는 기능을 제공하도록 소프트웨어 또는 펌웨어를 실행하기 위한 다른 전자 회로를 포함할 수 있다.
대체적으로, 이미지 캡처 디바이스(18)는 카메라, 또는 작업공간(20) 및 그에 위치된 노트(22)들을 나타내는 이미지 데이터를 캡처하도록 구성된 다른 구성요소이다. 다시 말해서, 이미지 데이터는 복수의 시각적 노트들을 갖는 작업공간(20)과 같은 환경의 시각적 표현을 캡처한다. 이동식 디바이스(15)의 카메라로서 논의되지만, 이미지 캡처 디바이스(18)는 이미지 데이터를 캡처할 수 있는 다른 구성요소들, 예컨대 비디오 레코더, 적외선 카메라, CCD(전하 결합 소자) 어레이, 레이저 스캐너, 등을 포함할 수 있다. 더욱이, 캡처된 이미지 데이터는 이미지, 비디오, 일련의 이미지들(즉, 일정 시간 간격 내에 그리고/또는 순서대로 촬영된 다수의 이미지들), 이미지들의 집합, 등 중 적어도 하나를 포함할 수 있고, 용어 "입력 이미지"는 다양한 예시적인 유형의 이미지 데이터를 말하는 것으로 본 명세서에서 사용된다.
프레젠테이션 디바이스(28)는 전자적 어드레스가능 디스플레이, 예컨대 이동식 디바이스(28)와 함께 사용하기 위한 액정 디스플레이(LCD) 또는 다른 유형의 디스플레이 디바이스를 포함할 수 있지만 이로 제한되지 않는다. 일부 구현예에서, 이동식 디바이스(15)는 콘텐트를 생성하여 다양한 포맷들로, 예를 들어, 행 및/또는 열로 그룹화된 목록, 흐름도, 등으로 노트들에 대해 프레젠테이션 디바이스(28) 상에 표시한다. 일부 경우에, 이동식 디바이스(15)는 다른 디바이스들, 예컨대 태블릿 컴퓨터, 프로젝터, 전자 게시판 또는 다른 외부 디바이스에 의한 프레젠테이션을 위한 디스플레이 정보를 전달할 수 있다.
본 명세서에서 설명되는 바와 같이, 이동식 디바이스(15) 및 그에서 실행되는 소프트웨어는 물리적 노트(22)들을 나타내는 디지털 노트들을 생성하고 조작하기 위한 플랫폼을 제공한다. 예를 들어, 대체적으로, 이동식 디바이스(15)는 작업공간(20) 내에 위치된 물리적 노트(22)들 중 적어도 하나를 검출 및 인식하기 위해 이미지 캡처 디바이스(18)에 의해 생성된 이미지 데이터를 프로세싱하도록 구성된다. 일부 예에서, 이동식 디바이스(15)는 노트(들)의 대체적인 경계를 결정함으로써 노트(들)를 인식하도록 구성된다. 노트가 인식된 후, 이동식 디바이스(15)는 하나 이상의 노트 중 적어도 하나의 콘텐트를 추출하는데, 여기서 콘텐트는 노트(22)의 시각적 정보이다.
아래에서 추가로 설명되는 바와 같이, 이동식 디바이스(15)는 물리적 노트(22)들의 자동 검출 및 인식, 및 정보, 콘텐트 또는 물리적 노트들의 각각과 연관된 다른 특징들의 추출을 위한 기술을 구현할 수 있다.
도 1a의 예에서, 이동식 디바이스(15)는 이동식 전화기로서 도시되어 있다. 그러나, 다른 예에서, 이동식 디바이스(15)는 태블릿 컴퓨터, 개인 정보 단말기(PDA), 랩톱 컴퓨터, 미디어 플레이어, e-북 리더, 웨어러블 컴퓨팅 디바이스(예컨대, 시계, 안경, 장갑), 또는 본 명세서에서 설명된 기술들을 수행하기에 적합한 임의의 다른 유형의 이동식 또는 비이동식 컴퓨팅 디바이스일 수 있다.
도 1b는 본 명세서에서 설명된 기술에 따라 동작하는 이동식 디바이스의 일례를 도시하는 블록도를 도시한다. 예시를 목적으로, 도 1b의 이동식 디바이스는 도 1a의 이동식 디바이스(15)에 대해 설명될 것이다.
본 예에서, 이동식 디바이스(15)는 디바이스의 작동을 위한 핵심 기능을 제공하는 다양한 하드웨어 구성요소들을 포함한다. 예를 들어, 이동식 디바이스(15)는 정적 랜덤 액세스 메모리(SRAM) 디바이스 또는 플래시 메모리 디바이스와 같은 컴퓨터-판독가능 매체 또는 데이터 저장장치(68)에 전형적으로 저장되는 실행가능 명령어들(즉, 프로그램 코드)에 따라 작동하도록 구성된 하나 이상의 프로그램가능 프로세서(70)들을 포함한다. I/O(76)는, 도 1a에서 설명되는 바와 같이, 하나 이상의 디바이스들, 예컨대, 키보드, 카메라 버튼, 전원 버튼, 볼륨 버튼, 홈 버튼, 뒤로가기 버튼, 메뉴 버튼, 또는 프레젠테이션 디바이스(28)를 포함할 수 있다. 송신기(72) 및 수신기(74)는, 고주파 무선 주파수(RF) 신호와 같지만 그로 제한되지 않는 도 1a에서 설명된 바와 같은 무선 통신 인터페이스를 통하여, 다른 디바이스들, 예컨대, 도 1a에서 설명된 바와 같은, 클라우드 서버(12), 컴퓨터 시스템(14), 또는 다른 이동식 디바이스(16)와의 무선 통신을 제공한다. 이동식 디바이스(15)는 도 1b에 도시되지 않은 부가적인 별개의 디지털 로직 또는 아날로그 회로를 포함할 수 있다.
대체적으로, 운영 체제(64)가 프로세서(70) 상에서 실행되고 노트 관리 애플리케이션(78)을 비롯한 하나 이상의 사용자 애플리케이션(77)(통상 "앱"이라고 함)을 위한 운영 환경을 제공한다. 사용자 애플리케이션(77)은, 예를 들어, 프로세서(70)에 의한 실행을 위해 컴퓨터-판독가능 저장 디바이스(예컨대, 데이터 저장장치(68))에 저장된 실행가능 프로그램 코드를 포함할 수 있다. 다른 예로서, 사용자 애플리케이션(77)은 펌웨어를 포함할 수 있거나, 일부 예에서, 별개의 로직에서 구현될 수 있다.
작동 시, 이동식 디바이스(15)는 입력 이미지 데이터를 수신하고 본 명세서에서 설명된 기술에 따라 입력 이미지 데이터를 프로세싱한다. 예를 들어, 이미지 캡처 디바이스(18)는 복수의 노트들을 갖는 환경, 예컨대 노트(22)들을 갖는 도 1a의 작업공간(20)의 입력 이미지를 캡처할 수 있다. 다른 예로서, 이동식 디바이스(15)는 외부 소스들, 예컨대, 클라우드 서버(15), 컴퓨터 시스템(14) 또는 이동식 디바이스(16)로부터 수신기(74)를 통하여 이미지 데이터를 수신할 수 있다. 대체적으로, 이동식 디바이스(15)는, 노트 관리 애플리케이션(78) 및/또는 다른 사용자 애플리케이션(77)에 의한 액세스 및 프로세싱을 위해 이미지 데이터를 데이터 저장장치(68)에 저장한다.
도 1b에 도시된 바와 같이, 사용자 애플리케이션(77)은 정보를 이동식 디바이스의 사용자에게 제시하기 위해 그래픽 사용자 인터페이스(GUI)(79)를 출력하는 운영 체제(64)의 커널 기능들을 호출할 수 있다. 아래에서 추가로 설명되는 바와 같이, 노트 관리 애플리케이션(78)은 GUI(79)를 구성하고 제어하여 물리적 노트(22)들을 나타내는 대응하는 디지털 노트들을 생성하고 조작하기 위한 개선된 전자 환경을 제공할 수 있다.
본 발명을 더 잘 이해하기 위하여, 도 1c는 노트 인식 시스템(100A)의 일 실시 형태를 도시한다. 시스템(100A)은 프로세싱 유닛(110), 하나 이상의 노트(120), 센서(130), 및 노트 콘텐트 저장소(140)를 포함할 수 있다. 프로세싱 유닛(110)은 하나 이상의 프로세서, 마이크로프로세서, 컴퓨터, 서버, 및 기타 컴퓨팅 디바이스를 포함할 수 있다. 센서(130), 예를 들어 이미지 센서는, 하나 이상의 노트(120)를 갖는 장면의 시각적 표현을 캡처하도록 구성된다. 센서(130)는 카메라, 비디오 레코더, 적외선 카메라, CCD(전하 결합 소자) 어레이, 스캐너, 등 중 적어도 하나를 포함할 수 있다. 시각적 표현은 이미지, 비디오, 일련의 이미지들(즉, 일정 시간 간격 내에 그리고/또는 순서대로 촬영된 다수의 이미지들), 이미지들의 집합, 등 중 적어도 하나를 포함할 수 있다. 프로세싱 유닛(110)은 센서(130)에 결합되어 시각적 표현을 수신하도록 구성된다. 일부 경우에, 프로세싱 유닛(110)은 센서(130)에 전자적으로 결합된다. 프로세싱 유닛(110)은 하나 이상의 노트(120) 중 적어도 하나를 시각적 표현으로부터 인식하도록 구성된다. 일부 실시 형태에서, 프로세싱 유닛(110)은 노트(들)의 대체적인 경계를 결정함으로써 노트(들)를 인식하도록 구성된다. 노트가 인식된 후, 프로세싱 유닛(110)은 노트의 콘텐트를 추출한다. 일부 경우에, 프로세싱 유닛(110)은 하나 초과의 노트의 콘텐트를 이들 노트들을 갖는 장면의 시각적 표현으로부터 인식하고 추출하도록 구성된다.
일부 경우에, 프로세싱 유닛(110)은 시스템(100A)을 위한 다양한 프로세스들을 구현하도록 (예컨대, 노트들을 인식하도록, 노트들을 추출하도록, 등) 비일시적 컴퓨터-판독가능 매체에 저장된 소프트웨어 또는 펌웨어를 실행할 수 있다. 노트 콘텐트 저장소(140)는 단일 컴퓨터, 서버, 저장 디바이스, 클라우드 서버 등에서 실행될 수 있다. 일부 다른 경우에, 노트 콘텐트 저장소(140)는 일련의 네트워크-접속 컴퓨터들, 서버들, 또는 디바이스들에서 실행될 수 있다. 일부 구현예에서, 노트 콘텐트 저장소(140)는 국부, 광역, 및 중심 계층들을 포함한, 데이터 저장 디바이스들의 계층(tier)들을 포함한다. 노트(120)들은 협업 공간에서 순서있게 또는 무작위로 배열된 물리적 노트들을 포함할 수 있고, 센서(130)는 협업 공간 내의 노트(120)들의 시각적 표현을 생성한다.
일부 실시 형태에서, 하나 이상의 노트(120) 중 적어도 일부는 노트의 식별, 인식, 및/또는 인증을 용이하게 할 수 있는 마크를 포함한다. 일부 실시 형태에서, 마크는 바코드, 컬러 블록, 컬러 코드, 기준 마크(fiduciary mark), 상표 로고, 점, 구멍, 등 중 적어도 하나를 포함한다. 노트 자체의 형상 및/또는 컬러는 노트의 식별, 인식, 및/또는 인증을 용이하게 하도록 마크로서 사용될 수 있다. 일부 경우에, 마크는 일정 패턴으로 배열된 복수의 요소들, 예를 들어, 직사각형 노트의 네 개의 코너에 있는 기준 마크들을 포함할 수 있다. 일부 다른 경우에, 마크는, 적어도 일부가 인증 정보를 제공하도록 사용될 수 있는 비가시적 요소들, 예를 들어 RFID(무선 주파수 식별) 태그(tag)들인, 복수의 요소들을 포함할 수 있다. 예로서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크(watermark), 광택 재료, 훈색(iridescent) 재료, 다층 광학 필름, 콜로이드 결정, 천공된 마크, 구조화된 컬러, 플로팅(floating) 이미지, 윈도우 스레드(window thread), 등 중 적어도 하나를 이용하여 만들어질 수 있다. 일부 실시 형태에서, 프로세싱 유닛(110)은 먼저 노트 상의 마크를 시각적 표현으로부터 인식하고, 시각적 표현 상의 마크의 위치를 결정하고, 이어서 인식된 마크에 기초하여 노트의 콘텐트를 추출한다. 일부 경우에, 프로세싱 유닛(110)은 인식된 마크, 노트의 기지의 형상, 및 노트 상의 마크의 기지의 상대 위치에 기초하여 노트의 콘텐트를 추출한다. 일부 구현예에서, 프로세싱 유닛(110)은 노트의 콘텐트를 시각적 표현으로부터, 시각적 표현을 비일시적 저장장치에 저장하지 않고서 실시간으로 추출한다(즉, 데이터를 일시적 저장장치에서 프로세싱한다).
일부 구현예에서, 노트 인식 시스템(100A)은 어느 노트들이 인식되어 있는가 그리고/또는 어느 노트들의 콘텐트가 추출되었는가를 사용자에게 보여주기 위한 프레젠테이션 디바이스(도 1c에 도시되지 않음)를 포함할 수 있다. 게다가, 노트 인식 시스템(100A)은 프레젠테이션 디바이스를 통하여 추출된 콘텐트를 제시할 수 있다. 일부 실시 형태에서, 프로세싱 유닛(110)은 노트의 콘텐트를 추출하기 전에 노트를 인증할 수 있다. 노트가 인증된 경우, 콘텐트는 추출되어 노트 콘텐트 저장소(140)에 저장될 것이다. 일부 경우에, 프로세싱 유닛은 인증 정보를 노트 상의 마크로부터 추출할 수 있다. 그러한 경우에, 인증 정보는 마크 상에서 가시적 또는 비가시적일 수 있다. 예를 들어, 노트 상의 마크는 심벌, 예를 들어, 회사 로고, 매트릭스 코드, 바코드, 컬러 코드, 등을 포함할 수 있다. 다른 예로서, 노트 상의 마크는 적합한 판독기로 검색될 수 있는 정보를 저장하기 위한 태그를 포함할 수 있다. 예를 들어, 마크는 RFID 태그, 근접장 통신(NFC) 태그, 등을 포함할 수 있다.
일부 실시 형태에서, 센서(130)는 몇몇 노트(120)들을 갖는, 예를 들어 주변 환경과 함께 노트들의 사진 또는 비디오 클립을 촬영한, 장면의 제1 시각적 표현을 생성할 수 있다. 노트들의 각각은 마크를 갖는다. 프로세싱 유닛(110)은 마크들을 식별하고, 마크들의 위치를 결정하고, 마크들의 위치를 사용하여 노트(120)들을 갖는, 예를 들어 노트들의 확대된 이미지를 촬영한, 장면의 제2 시각적 표현을 생성하도록 센서(130)를 제어한다. 프로세싱 유닛(110)은 추가로 노트들의 콘텐트를 제2 시각적 표현으로부터 인식하고 추출할 수 있다.
도 1d는 노트 관리 시스템(100B)의 일 실시 형태를 도시한다. 본 실시 형태에서, 노트 관리 시스템(100B)은 프로세싱 유닛(110), 하나 이상의 노트(120), 하나 이상의 노트 소스(150), 및 노트 콘텐트 저장소(140)를 포함한다. 일부 경우에, 시스템(100B)은 프레젠테이션 디바이스(160)를 포함한다. 프로세싱 유닛(110), 노트(120), 및 노트 콘텐트 저장소(140)는 도 1a에 도시된 바와 같은 노트 인식 시스템(100A)을 위한 구성요소들과 유사하다. 노트 소스(150)는 물리적 노트들의 콘텐트를 제공하는 소스들, 예컨대 하나 이상의 노트를 갖는 장면의 시각적 표현, 및 디지털 노트들의 콘텐트를 제공하는 소스들, 예컨대 키보드로부터 입력된 데이터 스트림을 포함할 수 있다. 일부 실시 형태에서, 노트 관리 시스템(100B)은 제1 소스 및 제2 소스를 포함하고, 제1 소스는 하나 이상의 노트(120)를 갖는 장면의 시각적 표현이다. 제1 소스 및 제2 소스는 상이한 디바이스들에 의해 생성된다. 제2 소스는 텍스트 스트림, 이미지, 비디오, 파일, 및 데이터 입력 중 적어도 하나를 포함한다. 프로세싱 유닛(110)은 노트들 중 적어도 하나를 제1 소스로부터 인식하고 노트의 콘텐트를 추출하는데, 이는 노트 인식 시스템(100A)에서 논의된 바와 같다. 일부 경우에, 프로세싱 유닛(110)은 노트를 카테고리에 따라 라벨링한다. 프로세싱 유닛(110)은 노트를, 그의 특정 형상, 컬러, 콘텐트, 및/또는 노트의 다른 정보에 기초하여, 라벨링할 수 있다. 예를 들어, 각 그룹의 노트는 상이한 컬러(예컨대, 적색, 녹색, 황색, 등)를 가질 수 있다. 일부 경우에, 노트(120)는 하나 이상의 요소를 갖는 마크를 포함할 수 있고, 프로세싱 유닛(110)은 마크로부터 추출된 정보에 기초하여 노트를 라벨링할 수 있다.
일부 실시 형태에서, 노트 관리 시스템(100B)은 노트(120)의 콘텐트를 사용자에게 보여주도록 하나 이상의 프레젠테이션 디바이스(160)를 포함할 수 있다. 프레젠테이션 디바이스(160)는 전자적 어드레스가능 디스플레이, 예컨대 액정 디스플레이(LCD), 태블릿 컴퓨터, 프로젝터, 전자 게시판, 셀룰러 전화기, 랩톱, 등을 포함할 수 있지만 이로 제한되지 않는다. 일부 구현예에서, 프로세싱 유닛(110)은 콘텐트를 생성하여 다양한 포맷들로, 예를 들어, 행 및/또는 열로 그룹화된 목록, 흐름도, 등으로 노트들에 대해 프레젠테이션 디바이스(160) 상에 표시한다.
노트 인식 시스템 및 노트 관리 시스템의 다양한 구성요소들, 예컨대 프로세싱 유닛, 이미지 센서, 및 노트 콘텐트 저장소는 통신 인터페이스를 통하여 통신할 수 있다. 통신 인터페이스는 임의의 유선 또는 무선 단거리 및 장거리 통신 인터페이스들을 포함하지만 이로 제한되지 않는다. 단거리 통신 인터페이스는 예를 들어, 근거리 통신망(LAN), 공지된 통신 표준에 부합하는 인터페이스, 예컨대 블루투스(Bluetooth) 표준, IEEE 802 표준(예컨대, IEEE 802.11), 지그비(ZigBee) 또는 유사한 규격, 예컨대 IEEE 802.15.4 표준에 기초한 것들, 또는 다른 공개 또는 독점 무선 프로토콜일 수 있다. 장거리 통신 인터페이스는, 예를 들어, 광역망(WAN), 셀룰러 네트워크 인터페이스, 위성 통신 인터페이스 등일 수 있다. 통신 인터페이스는 사설 컴퓨터 네트워크, 예컨대 인트라넷(intranet) 내에, 또는 공공 컴퓨터 네트워크, 예컨대 인터넷 상에 있을 수 있다.
도 2a 내지 도 2c는 마크들을 갖는 노트들의 일부 예를 도시한다. 도 2a에 도시된 바와 같이, 노트(200A) 상의 마크는 2개의 요소들, 즉 요소(210A) 및 요소(220A)를 갖는다. 요소들(210A, 220A)은 상이한 크기, 형상, 상대 위치 및/또는 재료 조성을 가질 수 있다. 예를 들어, 요소(210A)는 노트에 대한 식별자로서 바코드이고, 요소(220A)는 노트의 경계를 결정하는 데 사용될 수 있는 재귀반사성 잉크의 작은 직사각형이다. 도 2b에 도시된 바와 같이, 노트(200B) 상의 마크는 4개의 요소들(210B, 220B, 230B, 240B)을 가질 수 있다. 4개의 요소들은 유사하거나 상이한 크기, 형상, 및 재료 조성을 가질 수 있다. 마크는 콘텐트 추출 및 향상에 사용될 수 있는 노트의 크기, 위치, 배향, 왜곡, 및 다른 특징들을 인식하는 데 사용될 수 있다. 도 2c에 도시된 바와 같이, 노트(200C) 상의 마크는 하나의 요소(210C)를 갖는다. 노트(200C)는 비직사각형 형상을 갖는다. 일부 실시 형태에서, 요소(210C)는, 예를 들어, 노트에 대한 유형 및 그룹화를 식별하기 위해 식별자를 포함한다. 일부 경우에, 식별자는 고유의 식별자이다.
도 3a는 노트 인식 및/또는 관리 시스템의 일 실시 형태의 흐름도를 도시한다. 초기에, 시스템은 복수의 노트들의 시각적 표현을 캡처한다(단계(310A)). 일부 실시 형태에서, 노트들은 물리적 노트들이고 하나 초과의 노트들을 한 번에 캡처하는 것이 더 효율적이다. 다음으로, 시스템은 복수의 노트들 중 하나를 시각적 표현으로부터 인식한다(단계(320A)). 예를 들어, 시스템은 노트 상의 특정 마크를 인식하고 이어서 노트의 대체적인 경계를 결정할 수 있다. 시스템은 복수의 노트들 중 하나의 콘텐트를 추출한다(단계(330A)). 일부 실시 형태에서, 시스템은 콘텐트를 추출하기 전에 이미지 변환을 시각적 표현의 적어도 일부에 적용할 수 있다. 일부 다른 실시 형태에서, 시스템은 이미지 향상 또는 다른 이미지 프로세싱 기술을 적용하여 추출된 콘텐트의 품질을 개선시킬 수 있다. 또 다른 실시 형태에서, 시스템은 추출된 콘텐트로부터 텍스트 및 도형을 추가로 인식할 수 있다.
도 3b는 노트들의 콘텐트를 추출하는 일 실시 형태의 흐름도를 도시한다. 먼저, 시각적 표현이 시스템에 의해 수신된다(단계(310B)). 시스템은 노트 상의 마크를 시각적 표현으로부터 인식한다(단계(320B)). 마크의 위치 및/또는 형상이 결정된 후, 시스템은 시각적 표현에 대한 기하학적 보정 및 크로핑(cropping)을 선택적으로 수행할 수 있다(단계(330B)). 노트 상의 마크의 인식된 위치 및/또는 형상에 기초하여, 노트의 대체적인 경계는 시각적 표현 상에서 인식된다(단계(340B)). 일부 실시 형태에서, 시스템은, 각각이 마크를 갖는 노트들의 동일한 세트의 2개의 시각적 표현들을 수신할 수 있다. 제1 시각적 표현은 노트들 상의 마크들을 캡처하기에 적합한 광원을 사용하여 취해진다. 예를 들어, 광원은 적외선 감응형 잉크를 이용한 마크들에 대한 적외선 광일 수 있다. 마크들은 제1 시각적 표현에서 인식되고, 마크들의 위치들이 결정된다. 제2 시각적 표현은 노트들의 세트를 캡처할 수 있고, 시스템은 각각의 노트의 대체적인 경계를 그의 마크에 기초하여 각각 결정할 수 있다. 노트의 대체적인 경계가 결정된 후, 시스템은 노트의 콘텐트를 추출한다(단계(350B)). 예를 들어, 시각적 표현이 이미지인 경우, 시스템은 노트의 결정된 대체적인 경계에 따라서 이미지를 크로핑할 수 있다. 선택적으로, 시스템은, 예를 들어 콘트라스트, 휘도를 변경함으로써 그리고/또는 다른 이미지 프로세싱 기술을 이용함으로써, 노트의 콘텐트를 향상할 수 있다(단계(360B)). 일부 경우에, 시스템은 노트를 그의 추출된 콘텐트를 표시하는 상태로 갱신할 수 있다.
도 3c는 노트를 인증하는 일 실시 형태의 흐름도를 도시한다. 먼저, 인증 신호를 노트 또는 한 더미의 노트들로부터 획득한다(단계(310C)). 일 실시 형태에서, 인증 정보는 노트 상의 마크의 시각적 구성요소(예컨대, 홀로그램)이고, 인증 신호는 노트를 캡처한 시각적 표현으로부터 시각적 구성요소를 추출함으로써 획득될 수 있다. 다른 실시 형태에서, 인증 정보는 노트 상의 마크의 전자 구성요소(예컨대, RFID 태그)에 포함되고, 인증 신호는 적합한 판독기(예컨대, RFID 판독기)를 사용하여 획득될 수 있다. 다음으로, 시스템은 인증 신호를 확인한다(단계(320C)). 시스템은 노트(들)가 인증되는 경우 노트 관리 애플리케이션을 시작하거나 노트(들)를 사용할 수 있다(단계(330C)).
도 4a 내지 도 4d는 마크를 갖는 노트의 콘텐트 추출 프로세스의 일례를 도시한다. 먼저, 도 4a에 도시된 바와 같이, 노트(410)의 시각적 표현(400)이 캡처된다. 노트(410)는 바코드, 컬러 코드, 매트릭스 코드, 컬러 블록, 등일 수 있는 마크(420)를 갖는다. 다음으로, 도 4b에 도시된 바와 같이, 시스템은 시각적 표현 상의 마크의 대체적인 경계(430)를 결정하고 마크(420)를 인식한다. 일부 경우에, 노트(410)는, 도 4c에 도시된 바와 같이, 시각적 표현(400)에서 경사져 있을 수 있다. 일부 다른 경우에, 시각적 표현(400)은 기하학적으로 왜곡되어 있을 수 있다. 시스템은 마크(420)의 결정된 대체적인 경계 또는 마크(420)의 일부를 사용하여 시각적 표현(400)에 대한 필요한 이미지 변환 및 보정을 결정하여 노트 콘텐트를 획득할 수 있다. 도 4d는 시스템이 사전 분석 및/또는 이미지 프로세싱 후에 노트(410)의 콘텐트를 추출하는 것을 도시한다.
도 5a 내지 도 5d는 재귀반사성 마크들을 갖는 복수의 노트들의 콘텐트 추출의 일 실시 형태를 도시한다. 노트 인식/관리 시스템은 3개의 노트(510A)들을 캡처하는 시각적 표현(500A)을 수신하고, 각각의 노트(510A)는 2개의 요소들 ― 상부 좌측 코너 및 하부 우측 코너에 있는 2개의 재귀반사성 직사각형 태그 - 을 갖는 마크(520)를 갖는다. 재귀반사성 재료의 광학적 특성 때문에, 마크(520)는 노트의 나머지 부분보다 실질적으로 더 밝다. 도 5b는 마크(520)들이 노트들(510A) 및 배경보다 더욱 더 밝은 것을 도시한다. 일부 실시 형태에서, 시스템은 이미지 프로세싱을 이용하여 도 5a에 도시된 바와 같은 시각적 표현(500A)을 도 5b에 도시된 바와 같은 시각적 표현(500B)으로 변환시킬 수 있다. 일부 대안적인 실시 형태에서, 시스템은 상이한 광원, 예를 들어 섬광(flash light)으로 3개의 노트(510A)들의 다른 시각적 표현(500B)을 생성할 수 있다. 시스템은 시각적 표현(500B)으로부터 마크(520)들을 용이하게 식별할 수 있다. 마크(520)들이 식별된 후, 시스템은, 도 5c에 도시된 바와 같이, 노트(510C)들의 콘텐트를 추출할 수 있다. 일부 경우에, 시스템은 이미지 프로세싱 기술 (예컨대, 적응형 히스토그램 등화법(adaptive histogram equalization))을 이용하여, 도 5d에 도시된 바와 같이, 추출된 콘텐트(510D)를 개선시킬 수 있다.
도 6은 노트 인식 시스템(600)의 일 실시 형태의 모듈 다이어그램을 도시한다. 도시된 바와 같은 실시 형태에서, 시스템(600)은 노트 캡처링 모듈(620), 노트 인식 모듈(630), 및 노트 추출 모듈(640)을 포함한다. 노트 인식 시스템(600)의 다양한 구성요소들은 회로, 컴퓨터, 프로세서, 프로세싱 유닛, 마이크로프로세서, 및/또는 태블릿 컴퓨터를 포함하지만 그로 제한되지 않는 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있다. 일부 경우에, 노트 인식 시스템(600)의 다양한 구성요소들은 공유된 컴퓨팅 디바이스 상에서 구현될 수 있다. 대안적으로, 시스템(600)의 구성요소는 다수의 컴퓨팅 디바이스들 상에서 구현될 수 있다. 일부 구현예에서, 시스템(600)의 다양한 모듈들 및 구성요소들은 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로서 구현될 수 있다. 일부 경우에, 노트 인식 시스템(600)의 다양한 구성요소들은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수 있다. 추가적으로, 시스템(600)의 다양한 구성요소들은 통신 인터페이스, 예를 들어 유선 또는 무선 인터페이스를 통하여 통신할 수 있거나 또는 그에 결합될 수 있다. 노트 캡처링 모듈(620)은 복수의 물리적 노트들의 시각적 표현을 캡처하도록 구성된다. 일부 실시 형태에서, 노트 캡처링 모듈(620)은 이미지 센서를 포함한다. 노트 인식 모듈(630)은 노트 캡처링 모듈(620)에 결합되고, 노트 인식 모듈은 캡처된 시각적 표현을 수신하도록 그리고 복수의 물리적 노트들 중 하나의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된다. 일부 경우에, 노트 인식 모듈(630)은 인식된 물리적 노트를 나타내는 디지털 노트를 생성하도록 구성된다. 노트 추출 모듈(640)은 복수의 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 노트들 중 하나의 콘텐트를 캡처된 시각적 표현으로부터 추출하도록 구성된다. 일부 경우에, 노트 추출 모듈(640)은 추출된 콘텐트를 대응하는 디지털 노트와 연관시키도록 구성된다.
일부 실시 형태에서, 노트 인식 시스템(600)은 복수의 노트들을 인증하도록 구성된 노트 인증 모듈(650)을 포함한다. 일부 경우에, 복수의 노트들 중 적어도 일부는 마크를 갖는다. 마크는 노트의 인식, 추출 및 인증을 용이하게 하는 데 이용될 수 있다. 예를 들어, 노트 인증 모듈(650)은 인증 신호를 노트의 마크로부터 획득할 수 있고 인증 신호에 기초하여 인증을 확인할 수 있다. 일부 경우에, 노트 인증 모듈(650)은 노트 인식 모듈(630)에 결합되어 인증 정보를 노트 인식 모듈(630)에 제공한다. 일부 실시 형태에서, 노트 인식 모듈(630) 및 노트 추출 모듈(640)은 도 3b 및 관련 논의에서 예시된 단계들을 수행할 수 있다.
일부 실시 형태에서, 노트 인식/관리 시스템은, 컬러 인식, 형상 인식, 및 패턴 인식과 같은, 다수의 인식 알고리즘들을 이용하여 노트들을 인식할 수 있고 노트들의 콘텐트를 추출할 수 있다. 예를 들어, 시스템은 컬러 인식을 위해 노트들에 대응하는 관심 대상의 영역들을 식별하도록 RGB, HSV, CIELAB, 등과 같은 컬러 공간들을 이용할 수 있다. 일부 경우에, 형상 인식 알고리즘(예컨대, 허프 변환(Hough transform), 형상 컨텍스트(shape context) 등) 및 패턴 인식 알고리즘(예컨대, 서포트 벡터 머신(Support Vector Machine), 교차 상관(cross-correlation), 템플릿 매칭(template matching) 등)에 의해 각각 검출된 고유의 패턴들의 존재로 인해 노트들은 그들 형상이 추가로 구별된다. 이들 알고리즘은 노트들의 콘텐트의 다른 소스들 또는 시각적 표현에서 원하지 않는 객체들을 필터링하고 노트들에 대응하는 관심 대상의 이들 영역만을 남기는 것을 돕는다.
일 실시 형태에서, 노트는 형광 재료들, 예컨대 인쇄가능 잉크 또는 코팅가능 염료를 사용하여 만들어진 마크를 포함할 수 있다. 예를 들어, 로고와 같은 기준 마크는 노트의 기록 표면 상에 형광 잉크로 인쇄될 수 있다. 적절한 광원이 형광 재료를 여기할 것이다. 예를 들어, 이동식 핸드헬드 디바이스의 백색 LED(발광 다이오드)가, LED 출력 스펙트럼의 유의한 청색 파장 성분을 이용하여 형광발색단(fluorophore)을 여기시킬 수 있다. 일 실시 형태에서, 형광 염료가 노트들의 기록 표면 상에 코팅될 수 있거나 노트들을 제조하는 재료들 내에 포함될 수 있다. 본 실시 형태에서, 형광 염료는 브랜드 상품의 확인을 제공할 수 있을뿐만 아니라 노트 상의 기록 정보와 노트 자체의 배경 사이의 콘트라스트를 개선시킬 수도 있다. 그러한 마크는 이미지 센서에 의해 생성된 시각적 표현 상에서 노트들의 인식 및 분할(segmentation)을 용이하게 할 수 있다. 형광 염료를 갖는 종이로 제조된 노트들의 경우에, 캡처된 시각적 표현은 더 나은 가독성을 가질 수 있다. 형광 재료들에 대한 형광 파장 범위 및 여기 파장 범위에 따라서, 필터와 같은 부가적인 광학 기기가 검출을 개선시키기 위하여 이미지 센서(예컨대, 카메라)와 함께 사용될 수 있다.
도 7a는 노트 관리 시스템의 일 실시 형태의 흐름도를 도시한다. 먼저, 시스템은 복수의 노트들을 다수의 소스들로부터 수신한다(단계(710A)). 예를 들어, 노트 관리 시스템은 다수의 노트들의 이미지들의 세트를 카메라 또는 스마트폰으로부터 수신할 수 있고 원격 위치로부터 취해진 다수의 노트들의 이미지들의 다른 세트를 수신할 수 있다. 다른 예로서, 노트 관리 시스템은 비디오 기록 디바이스에 의해 취해진 다수의 노트들의 시각적 표현(예컨대, 비디오) 및 랩톱을 통하여 입력된 노트들의 텍스트 스트림을 수신할 수 있다. 일부 실시 형태에서, 다수의 소스들은 상이한 디바이스들, 예를 들어, 카메라들, 스캐너들, 컴퓨터들, 등으로부터 취해진 노트들의 콘텐트의 소스들이다. 이어서, 시스템은 복수의 노트들 중 하나를 인식한다(단계(720A)). 일부 경우에, 시스템은 복수의 물리적 노트들 중 하나를 나타내는 디지털 노트를 생성한다. 시스템은 복수의 노트들의 콘텐트를 추출한다(단계(730A)). 일부 경우에, 시스템은 추출된 콘텐트를 물리적 노트들을 나타내는 대응하는 디지털 노트들과 연관시킨다. 일부 실시 형태에서, 일부 노트들은 노트 상에 마크들(예컨대, 컬러 블록, 컬러 코드, 바코드, 등)을 포함하고, 노트들의 하나의 소스는 노트들 중 일부의 시각적 표현이다. 일부 경우에, 인식하는 단계는 노트들 상의 마크들을 시각적 표현으로부터 인식하는 단계를 포함하고, 이어서 인식된 마크들에 기초하여 노트들의 대체적인 경계들을 결정한다. 이들 경우들 중 일부에서, 추출하는 단계는 인식된 마크들, 노트들의 기지의 형상들, 및 노트들 상의 마크들의 기지의 상대 위치들에 기초하여 콘텐트를 추출하는 단계를 포함한다. 복수의 노트들의 콘텐트가 추출된 후, 일부 경우에, 시스템은 복수의 디지털 노트들의 각각을 고유의 식별자와 연관시킬 수 있다(단계(740A)). 시스템은 복수의 디지털 노트들의 각각을 카테고리에 따라 라벨링할 수 있다(단계(750A)). 라벨링 단계는 아래에서 더 상세히 논의된다. 추가로, 시스템은 노트들을 인식하기 전에 노트들을 먼저 인증할 수 있다. 선택적으로, 시스템은 복수의 노트들의 콘텐트를 디스플레이 상에 제시할 수 있다(단계(760A)). 일부 실시 형태에서, 시스템은 복수의 노트들의 추출된 콘텐트를 노트들의 카테고리들을 표시하는 출력 필드와 함께 제시할 수 있다. 일부 구현예에서, 시스템은 디지털 노트들을 제시할 때 디지털 노트들의 카테고리 정보를 사용할 수 있다(예컨대, 하나의 카테고리에 있는 노트들을 그룹으로 보여줄 수 있다).
도 7b는 시스템이 디지털 노트를 어떻게 라벨링할 수 있는가의 예를 도시한다. 일 실시 형태에서, 노트 관리 시스템은 검출된 신호에 기초하여 노트를 라벨링할 수 있다(710B). 예를 들어, 노트는 바코드를 포함하는 마크를 가질 수 있고; 시스템은 바코드를 판독할 수 있고 바코드에 기초하여 노트를 라벨링할 수 있다. 일부 경우에, 시스템은 인식된 마크에 기초하여 노트를 라벨링할 수 있다(720B). 예를 들어, 마크는 특정 그룹을 표시하는 아이콘, 로고, 또는 다른 그래픽 심벌을 포함할 수 있다. 시스템은 노트를 그의 콘텐트에 기초하여 추가로 라벨링할 수 있다(730B). 일부 경우에, 시스템은 이력 데이터 및/또는 예측 모델링에 기초하여 노트를 라벨링할 수 있다(740B). 일부 다른 경우에, 시스템은 사용자 입력에 의해 노트를 라벨링할 수 있다(750B). 노트 관리 시스템은 노트를 라벨링하기 위한 하나 이상의 접근법을 사용할 수 있다. 시스템은 또한, 도 7b에 나열되지 않은 노트를 라벨링하기 위한, 예를 들어 노트의 형상에 기초하여 노트를 라벨링하기 위한, 다른 접근법을 이용할 수 있다. 게다가, 일부 경우에, 노트는 하나 초과의 카테고리와 연관될 수 있다.
도 8은 노트 관리 시스템(800)의 모듈 다이어그램을 도시한다. 도시된 바와 같은 실시 형태에서, 시스템(800)은 하나 이상의 노트 소스(820), 노트 인식 모듈(830), 노트 추출 모듈(840), 및 노트 라벨링 모듈(860)을 포함한다. 노트 관리 시스템(800)의 다양한 구성요소들은 회로, 컴퓨터, 프로세서, 프로세싱 유닛, 마이크로프로세서, 및/또는 태블릿 컴퓨터를 포함하지만 그로 제한되지 않는 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있다. 일부 경우에, 노트 관리 시스템(800)의 다양한 구성요소들은 공유된 컴퓨팅 디바이스 상에서 구현될 수 있다. 대안적으로, 시스템(800)의 구성요소는 다수의 컴퓨팅 디바이스들 상에서 구현될 수 있다. 일부 구현예에서, 시스템(800)의 다양한 모듈들 및 구성요소들은 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로서 구현될 수 있다. 일부 경우에, 노트 관리 시스템(800)의 다양한 구성요소들은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수 있다. 추가적으로, 시스템(800)의 다양한 구성요소들은 통신 인터페이스, 예를 들어 유선 또는 무선 인터페이스를 통하여 통신할 수 있거나 또는 그에 결합될 수 있다. 노트 소스(들)(820)는 복수의 노트들을 제공하도록 구성된다. 일부 실시 형태에서, 노트 소스(820)들 중 하나는 하나 이상의 물리적 노트들을 갖는 장면의 시각적 표현이다. 일부 경우에, 노트 소스(820)들은 노트들을 제공하기 위한 복수의 상이한 소스들, 예를 들어, 이미지들, 텍스트 스트림, 비디오 스트림, 등을 포함한다. 노트 인식 모듈(830)은 노트 소스(820)들에 결합되고, 노트 인식 모듈은 시각적 표현을 수신하도록, 물리적 노트의 대체적인 경계를 시각적 표현으로부터 결정하도록, 그리고 물리적 노트를 나타내는 디지털 노트를 생성하도록 구성된다. 노트 추출 모듈(840)은 복수의 물리적 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 물리적 노트들 중 하나의 콘텐트를 시각적 표현으로부터 추출하도록 그리고 추출된 콘텐트를 대응하는 디지털 노트들과 연관시키도록 구성된다. 노트 라벨링 모듈(860)은 복수의 디지털 노트들 중 하나를 카테고리에 따라 라벨링하도록 구성된다.
일부 실시 형태에서, 노트 관리 시스템(800)은 복수의 노트들을 인증하도록 구성된 노트 인증 모듈(850)을 포함한다. 일부 경우에, 복수의 노트들 중 적어도 일부는 마크를 갖는다. 마크는 노트의 인식, 추출 및 인증을 용이하게 하도록 이용될 수 있다. 예를 들어, 노트 인증 모듈(850)은 인증 신호를 노트의 마크로부터 획득할 수 있고 인증 신호에 기초하여 인증을 확인할 수 있다. 일부 경우에, 노트 인증 모듈(850)은 노트 인식 모듈(830)에 결합되어 인증 정보를 노트 인식 모듈(830)에 제공한다. 일부 실시 형태에서, 노트 인식 모듈(830) 및 노트 추출 모듈(840)은 도 3b 및 관련 논의에서 예시된 단계들을 수행할 수 있다. 일부 실시 형태에서, 노트 라벨링 모듈(860)은 도 7b 및 관련 논의에서 예시된 하나 이상의 라벨링 접근법을 사용할 수 있다. 일부 경우에, 노트가 하나 초과의 카테고리와 연관될 수 있다.
일부 실시 형태에서, 노트 관리 시스템(800)은 노트 프레젠테이션 모듈(870)을 포함할 수 있는데, 이는 복수의 디지털 노트들의 콘텐트를 모으도록 그리고 노트들의 카테고리에 따라서 복수의 노트들의 적어도 일부를 제시하도록 구성된다. 예를 들어, 노트 프레젠테이션 모듈(870)은 복수의 디지털 노트들을 동일한 카테고리를 갖는 그룹들로 정리할 수 있다. 다른 예로서, 노트 프레젠테이션 모듈(870)은 디지털 노트들의 상이한 그룹들의 연결 라인들 및/또는 화살표들을 부가할 수 있다.
예시적인 실시 형태
실시 형태 1. 노트들을 관리하는 방법으로서,
상이한 디바이스들로부터 생성되는 제1 소스 및 제2 소스로부터 복수의 노트들을 제공하는 단계 - 제1 소스는 복수의 노트들 중 하나 이상을 갖는 장면의 시각적 표현임 -;
프로세싱 유닛에 의해, 복수의 노트들 중 하나를 제1 소스로부터 인식하는 단계;
프로세싱 유닛에 의해, 복수의 노트들 중 하나의 콘텐트를 추출하는 단계;
프로세싱 유닛에 의해, 각각이 복수의 노트들 중 하나를 나타내는 복수의 디지털 노트들을 생성하는 단계; 및
제1 소스 및 제2 소스에 의해 제공되는 디지털 노트를 카테고리에 따라 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 2. 실시 형태 1에 있어서, 제2 소스는 텍스트 스트림, 이미지, 비디오, 파일, 및 데이터 입력 중 적어도 하나를 포함하는, 노트들을 관리하는 방법.
실시 형태 3. 실시 형태 1 또는 실시 형태 2에 있어서,
디지털 노트를 고유의 식별자와 연관시키는 단계를 추가로 포함하는, 노트들을 관리하는 방법.
실시 형태 4. 실시 형태 1 내지 실시 형태 3 중 어느 한 실시 형태에 있어서, 라벨링하는 단계는 추출된 콘텐트에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 5. 실시 형태 1 내지 실시 형태 4 중 어느 한 실시 형태에 있어서, 라벨링하는 단계는 사용자에 의해 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 6. 실시 형태 3에 있어서, 라벨링하는 단계는 고유의 식별자에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 7. 실시 형태 1 내지 실시 형태 6 중 어느 한 실시 형태에 있어서, 복수의 노트들 중 하나는 마크를 포함하는, 노트들을 관리하는 방법.
실시 형태 8. 실시 형태 7에 있어서, 마크는 바코드, 컬러 블록, 컬러 코드, 패턴, 기준 마크, 상표 로고, 점, 및 구멍 중 적어도 하나를 포함하는, 노트들을 관리하는 방법.
실시 형태 9. 실시 형태 7 또는 실시 형태 8에 있어서, 인식하는 단계는 복수의 노트들 중 하나의 마크를 시각적 표현으로부터 인식하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 10. 실시 형태 9에 있어서, 인식하는 단계는 인식된 마크에 기초하여 복수의 노트들 중 하나의 대체적인 경계를 결정하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 11. 실시 형태 9에 있어서, 인식하는 단계는 인식된 마크, 복수의 노트들 중 하나의 기지의 형상, 및 복수의 노트들 중 하나 상의 마크의 기지의 상대 위치에 기초하여 복수의 노트들 중 하나의 대체적인 경계를 결정하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 12. 실시 형태 7에 있어서, 마크는 심벌을 포함하는, 노트들을 관리하는 방법.
실시 형태 13. 실시 형태 12에 있어서, 추출하는 단계는 심벌을 시각적 표현으로부터 추출하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 14. 실시 형태 13에 있어서,
추출된 심벌에 기초하여 복수의 노트들 중 하나를 인증하는 단계를 추가로 포함하는, 노트들을 관리하는 방법.
실시 형태 15. 실시 형태 9에 있어서, 라벨링하는 단계는 인식된 마크에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 16. 실시 형태 13에 있어서, 라벨링하는 단계는 추출된 심벌에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 17. 실시 형태 1 내지 실시 형태 16 중 어느 한 실시 형태에 있어서, 복수의 노트들은 물리적 노트들, 디지털 노트들, 및 이들의 조합을 포함하는, 노트들을 관리하는 방법.
실시 형태 18. 실시 형태 1 내지 실시 형태 17 중 어느 한 실시 형태에 있어서, 프로세싱 유닛은 프로세서, 마이크로프로세서, 마이크로제어기, 컴퓨터, 및 컴퓨팅 디바이스 중 적어도 하나를 포함하는, 노트들을 관리하는 방법.
실시 형태 19. 실시 형태 1 내지 실시 형태 18 중 어느 한 실시 형태에 있어서,
프레젠테이션 디바이스에 의해, 추출된 콘텐트를 사용자에게 제시하는 단계를 추가로 포함하는, 노트들을 관리하는 방법.
실시 형태 20. 실시 형태 19에 있어서, 제시하는 단계는 추출된 콘텐트를 디지털 노트의 카테고리를 표시하는 출력 필드와 함께 제시하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 21. 실시 형태 7에 있어서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크, 광택 재료, 훈색 재료, 천공된 마크, 구조화된 컬러, 플로팅 이미지, 및 윈도우 스레드 중 적어도 하나를 이용하여 만들어지는, 노트들을 관리하는 방법.
실시 형태 22. 실시 형태 1 내지 실시 형태 21 중 어느 한 실시 형태에 있어서,
프로세싱 유닛에 의해, 복수의 노트들 중 하나를 인증하는 단계를 추가로 포함하고,
추출하는 단계는 복수의 노트들 중 하나가 인증된 경우 복수의 노트들 중 하나의 콘텐트를 추출하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 23. 실시 형태 1 내지 실시 형태 22 중 어느 한 실시 형태에 있어서, 시각적 표현은 이미지 또는 비디오인, 노트들을 관리하는 방법.
실시 형태 24. 실시 형태 1 내지 실시 형태 23 중 어느 한 실시 형태에 있어서, 라벨링하는 단계는 추출된 콘텐트 및 이력 데이터에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 25. 실시 형태 1 내지 실시 형태 24 중 어느 한 실시 형태에 있어서, 라벨링하는 단계는 추출된 콘텐트, 이력 데이터, 및 예측 모델링에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
실시 형태 26. 노트 관리 시스템으로서,
복수의 노트들을 제공하도록 구성되고 상이한 디바이스들로부터 생성되는 제1 노트 소스 및 제2 노트 소스 - 제1 노트 소스는 복수의 노트들 중 하나 이상을 갖는 장면의 시각적 표현임 -;
시각적 표현을 수신하고 복수의 노트들 중 하나의 대체적인 경계를 시각적 표현으로부터 결정하도록 구성된 노트 인식 모듈;
복수의 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 노트들 중 하나의 콘텐트를 시각적 표현으로부터 추출하도록 그리고 추출된 콘텐트 및 복수의 노트들 중 하나와 연관된 디지털 노트를 생성하도록 구성된 노트 추출 모듈; 및
디지털 노트를 카테고리에 따라 라벨링하도록 구성된 노트 라벨링 모듈을 포함하는, 노트 관리 시스템.
실시 형태 27. 실시 형태 26에 있어서, 제2 노트 소스는 텍스트 스트림, 이미지, 비디오, 파일, 및 데이터 입력 중 적어도 하나를 포함하는, 노트 관리 시스템.
실시 형태 28. 실시 형태 26 또는 실시 형태 27에 있어서, 노트 추출 모듈은 디지털 노트를 고유의 식별자와 연관시키도록 추가로 구성되는, 노트 관리 시스템.
실시 형태 29. 실시 형태 26 내지 실시 형태 28 중 어느 한 실시 형태에 있어서, 노트 라벨링 모듈은 추출된 콘텐트에 기초하여 디지털 노트를 라벨링하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 30. 실시 형태 26 내지 실시 형태 29 중 어느 한 실시 형태에 있어서, 라벨링하는 단계는 사용자에 의해 디지털 노트를 라벨링하는 단계를 포함하는, 노트 관리 시스템.
실시 형태 31. 실시 형태 28에 있어서, 라벨링하는 단계는 고유의 식별자에 기초하여 디지털 노트를 라벨링하는 단계를 포함하는, 노트 관리 시스템.
실시 형태 32. 실시 형태 26 내지 실시 형태 31 중 어느 한 실시 형태에 있어서, 복수의 노트들 중 하나는 마크를 포함하는, 노트 관리 시스템.
실시 형태 33. 실시 형태 32에 있어서, 마크는 바코드, 컬러 블록, 컬러 코드, 패턴, 기준 마크, 상표 로고, 점, 및 구멍 중 적어도 하나를 포함하는, 노트 관리 시스템.
실시 형태 34. 실시 형태 33에 있어서, 노트 인식 모듈은 복수의 노트들 중 하나의 마크를 시각적 표현으로부터 인식하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 35. 실시 형태 34에 있어서, 노트 인식 모듈은 인식된 마크에 기초하여 복수의 노트들 중 하나의 대체적인 경계를 결정하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 36. 실시 형태 34에 있어서, 노트 인식 모듈은 인식된 마크, 복수의 노트들 중 하나의 기지의 형상, 및 복수의 노트들 중 하나 상의 마크의 기지의 상대 위치에 기초하여 복수의 노트들 중 하나의 대체적인 경계를 결정하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 37. 실시 형태 32에 있어서, 마크는 심벌을 포함하는, 노트 관리 시스템.
실시 형태 38. 실시 형태 37에 있어서, 노트 추출 모듈은 심벌을 시각적 표현으로부터 추출하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 39. 실시 형태 38에 있어서,
추출된 심벌에 기초하여 복수의 노트들 중 하나를 인증하도록 구성된 노트 인증 모듈을 추가로 포함하는, 노트 관리 시스템.
실시 형태 40. 실시 형태 34에 있어서, 노트 라벨링 모듈은 인식된 마크에 기초하여 디지털 노트를 라벨링하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 41. 실시 형태 38에 있어서, 노트 라벨링 모듈은 추출된 심벌에 기초하여 디지털 노트를 라벨링하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 42. 실시 형태 26 내지 실시 형태 41 중 어느 한 실시 형태에 있어서, 복수의 노트들은 물리적 노트들, 디지털 노트들, 및 이들의 조합을 포함하는, 노트 관리 시스템.
실시 형태 43. 실시 형태 26 내지 실시 형태 42 중 어느 한 실시 형태에 있어서, 프로세싱 유닛은 프로세서, 마이크로프로세서, 마이크로제어기, 컴퓨터, 및 컴퓨팅 디바이스 중 적어도 하나를 포함하는, 노트 관리 시스템.
실시 형태 44. 실시 형태 26 내지 실시 형태 43 중 어느 한 실시 형태에 있어서,
추출된 콘텐트를 사용자에게 제시하도록 구성된 노트 프레젠테이션 모듈을 추가로 포함하는, 노트 관리 시스템.
실시 형태 45. 실시 형태 44에 있어서, 노트 프레젠테이션 모듈은 추출된 콘텐트를 추출된 콘텐트와 연관된 디지털 노트의 카테고리를 표시하는 출력 필드와 함께 제시하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 46. 실시 형태 32에 있어서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크, 광택 재료, 훈색 재료, 천공된 마크, 구조화된 컬러, 플로팅 이미지, 및 윈도우 스레드 중 적어도 하나를 이용하여 만들어지는, 노트 관리 시스템.
실시 형태 47. 실시 형태 26 내지 실시 형태 46 중 어느 한 실시 형태에 있어서,
노트 관리 시스템은 복수의 노트들 중 하나를 인증하도록 구성된 노트 인증 모듈을 추가로 포함하고,
노트 추출 모듈은 복수의 노트들 중 하나가 인증된 경우 복수의 노트들 중 하나의 콘텐트를 추출하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 48. 실시 형태 26 내지 실시 형태 47 중 어느 한 실시 형태에 있어서, 시각적 표현은 이미지 또는 비디오인, 노트 관리 시스템.
실시 형태 49. 실시 형태 26 내지 실시 형태 48 중 어느 한 실시 형태에 있어서, 노트 라벨링 모듈은 추출된 콘텐트 및 이력 데이터에 기초하여 디지털 노트를 라벨링하도록 추가로 구성된, 노트 관리 시스템.
실시 형태 50. 실시 형태 26 내지 실시 형태 49 중 어느 한 실시 형태에 있어서, 노트 라벨링 모듈은 추출된 콘텐트, 이력 데이터, 및 예측 모델링에 기초하여 디지털 노트를 라벨링하도록 추가로 구성된, 노트 관리 시스템.
그러한 실시 형태들이 본 발명의 다양한 태양들의 설명을 용이하게 하기 위해 상세히 기술되어 있기 때문에, 본 발명이 전술된 특정의 실시예 및 실시 형태로 제한되는 것으로 간주되어서는 안된다. 오히려, 본 발명은 첨부된 청구범위 및 그 등가물에 의해 한정되는 바와 같은 본 발명의 사상 및 범주 내에 속하는 다양한 변형, 등가의 공정, 및 대안적인 디바이스를 포함한 본 발명의 모든 태양들을 포함하는 것으로 이해되어야 한다.

Claims (15)

  1. 노트들을 관리하는 방법으로서,
    상이한 디바이스들로부터 생성되는 제1 소스 및 제2 소스로부터 복수의 물리적 노트들을 제공하는 단계 - 센서로부터의 상기 제1 소스는, 대체적인 경계 및 상기 경계 위의 콘텐트를 각각 가지는 상기 복수의 물리적 노트들 중 하나 이상을 갖는 장면의 제1 시각적 표현임 -;
    프로세싱 유닛에 의해, 상기 장면의 제1 시각적 표현에서 상기 복수의 물리적 노트들 중 하나 이상과 연관된 하나 이상의 마크를 식별하는 단계;
    상기 프로세싱 유닛에 의해, 상기 하나 이상의 마크와 연관된 위치를 결정하는 단계;
    상기 프로세싱 유닛에 의해, 상기 위치에 기초하여 장면의 제2 시각적 표현을 생성하도록 상기 센서를 제어하는 단계 - 상기 장면의 제2 시각적 표현은 상기 장면의 제1 시각적 표현의 상기 복수의 물리적 노트들 중 하나 이상의 노트의 확대된 이미지를 포함함 -;
    상기 프로세싱 유닛에 의해, 상기 복수의 물리적 노트들 중 적어도 하나를 상기 제1 소스로부터 인식하기 위하여, 상기 복수의 물리적 노트들 중 하나의 대체적인 경계를 식별하기 위해 상기 장면의 제1 시각적 표현 및 상기 장면의 제2 시각적 표현과 연관된 이미지 데이터를 처리하는 단계;
    상기 프로세싱 유닛에 의해, 상기 복수의 물리적 노트들 중 하나의 대체적인 경계에 기초하여 상기 복수의 물리적 노트들 중 하나의 콘텐트를 추출하는 단계; 및
    상기 제1 소스 및 상기 제2 소스에 의해 제공되는 상기 복수의 노트들의 각각을 카테고리에 따라 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
  2. 제1항에 있어서,
    상기 라벨링하는 단계는 상기 추출된 콘텐트에 기초하여 상기 복수의 노트들 중 하나를 라벨링하는 단계를 포함하는, 노트들을 관리하는 방법.
  3. 노트 관리 시스템으로서,
    복수의 노트들을 제공하도록 구성되고 상이한 디바이스들로부터 생성되는 제1 노트 소스 및 제2 노트 소스 - 상기 제1 노트 소스는 대체적인 경계 및 상기 경계 위의 콘텐트를 각각 가지는 복수의 물리적 노트들을 가지는 장면의 제1 시각적 표현임 -; 및
    프로세싱 유닛으로서,
    센서로부터 상기 제1 시각적 표현을 수신하고, 상기 장면의 제1 시각적 표현에서 상기 복수의 물리적 노트들 중 하나 이상과 연관된 하나 이상의 마크를 식별하고, 상기 하나 이상의 마크와 연관된 위치를 결정하고, 상기 위치에 기초하여 장면의 제2 시각적 표현을 생성하도록 상기 센서를 제어하고, 상기 제1 시각적 표현 및 상기 제2 시각적 표현으로부터 상기 복수의 물리적 노트들 중 하나의 대체적인 경계를 결정하기 위해 상기 제1 시각적 표현 및 상기 제2 시각적 표현을 처리하도록 구성된, 노트 인식 모듈 - 상기 장면의 제2 시각적 표현은 상기 장면의 제1 시각적 표현의 상기 복수의 물리적 노트들 중 하나 이상의 노트의 확대된 이미지를 포함함 -;
    상기 복수의 물리적 노트들 중 상기 하나의 결정된 대체적인 경계에 기초하여 상기 복수의 노트들 중 하나의 콘텐트를 상기 제1 시각적 표현 및 상기 제2 시각적 표현으로부터 추출하도록 구성된 노트 추출 모듈; 및
    상기 복수의 물리적 노트들 중 하나를 카테고리에 따라 라벨링하도록 구성된 노트 라벨링 모듈을 포함하는, 프로세싱 유닛
    을 포함하는, 노트 관리 시스템.
  4. 제3항에 있어서,
    상기 복수의 노트들 중 하나는 마크를 포함하고, 상기 노트 인식 모듈은 상기 복수의 노트들 중 상기 하나의 상기 마크를 상기 시각적 표현으로부터 인식하도록 더 구성된, 노트 관리 시스템.
  5. 제3항에 있어서,
    상기 노트 관리 시스템은 상기 복수의 노트들 중 하나를 인증하도록 구성된 노트 인증 모듈을 더 포함하고,
    상기 노트 추출 모듈은 상기 복수의 노트들 중 하나가 인증된 경우 상기 복수의 노트들 중 상기 하나의 상기 콘텐트를 추출하도록 더 구성된, 노트 관리 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020157030931A 2013-04-02 2014-03-31 노트를 관리하기 위한 시스템 및 방법 Active KR102234688B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361807510P 2013-04-02 2013-04-02
US61/807,510 2013-04-02
PCT/US2014/032367 WO2014165438A1 (en) 2013-04-02 2014-03-31 Systems and methods for managing notes

Publications (2)

Publication Number Publication Date
KR20150138293A KR20150138293A (ko) 2015-12-09
KR102234688B1 true KR102234688B1 (ko) 2021-03-31

Family

ID=51621872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030931A Active KR102234688B1 (ko) 2013-04-02 2014-03-31 노트를 관리하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (1) US9563696B2 (ko)
EP (1) EP2981931B1 (ko)
JP (1) JP6441895B2 (ko)
KR (1) KR102234688B1 (ko)
CN (2) CN105264544A (ko)
TW (1) TWI623892B (ko)
WO (1) WO2014165438A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057778A1 (en) * 2013-10-16 2015-04-23 3M Innovative Properties Company Note recognition and association based on grouping
EP3058514B1 (en) 2013-10-16 2020-01-08 3M Innovative Properties Company Adding/deleting digital notes from a group
TWI691854B (zh) * 2013-10-16 2020-04-21 美商3M新設資產公司 用於建立及操作軟體便箋之方法及運算裝置
US9082184B2 (en) 2013-10-16 2015-07-14 3M Innovative Properties Company Note recognition and management using multi-color channel non-marker detection
US10175845B2 (en) 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
EP3100208B1 (en) 2014-01-31 2021-08-18 3M Innovative Properties Company Note capture and recognition with manual assist
KR20160062565A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 디바이스 및 디바이스의 필기 컨텐트 제공 방법
JP6656248B2 (ja) 2014-12-01 2020-03-04 スリーエム イノベイティブ プロパティズ カンパニー Ｈｖａｃフィルタ変更を予測するためのシステム及び方法
US10922474B2 (en) * 2015-03-24 2021-02-16 Intel Corporation Unstructured UI
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
US9983844B2 (en) 2016-02-15 2018-05-29 International Business Machines Corporation Virtual content management
US10554827B2 (en) 2018-04-04 2020-02-04 International Business Machines Corporation Displaying a scanned image of a physical note
US10976983B2 (en) 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations
CN110059735A (zh) * 2019-04-04 2019-07-26 东北大学 一种基于霍夫变换的可视化时序模式匹配方法
US11295410B2 (en) * 2019-04-12 2022-04-05 Rocket Innovations, Inc. Writing surface boundary markers for computer vision
JP2022527413A (ja) 2019-04-12 2022-06-01 ロケットイノベーションズ，インコーポレイテッド コンピュータビジョン用の書き込み面境界マーカー
JP7564129B2 (ja) 2019-06-19 2024-10-08 ロケットイノベーションズ，インコーポレイテッド モジュール式筆記帳システム
KR20210085775A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 전자 노트 기능을 지원하는 모바일 단말기 및 그의 제어 방법
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
JP2023523764A (ja) * 2020-05-01 2023-06-07 スリーエム イノベイティブ プロパティズ カンパニー デジタル記録を管理するシステムおよび方法
US20240146781A1 (en) * 2021-03-26 2024-05-02 3M Innovative Properties Company Systems and methods for managing digital notes for collaboration
KR102689595B1 (ko) 2021-12-16 2024-07-31 (주)에코팜 조류 또는 두더지 퇴치기
TWI826957B (zh) * 2022-03-16 2023-12-21 國立高雄科技大學 筆記智能歸類裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059020A (ja) 2004-08-18 2006-03-02 Nippon Telegr & Teleph Corp <Ntt> コード付き付箋、該付箋を使用したアイディア抽出支援システム及び方法
US20090284806A1 (en) 2008-05-13 2009-11-19 Pfu Limited Image reading apparatus and mark detection method
JP2010231369A (ja) 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置及び情報処理装置用プログラム
JP2013027037A (ja) * 2011-07-18 2013-02-04 Fuji Xerox Co Ltd 注釈付きコンテンツをモバイル装置でキャプチャおよび編成するシステム、方法、およびプログラム

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
EP0518619B1 (en) 1991-06-11 2000-05-03 Canon Kabushiki Kaisha Image processing system with plural memory devices
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
AU1365699A (en) 1997-10-27 1999-05-17 Imagen Incorporated Image search and retrieval system
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7111317B1 (en) * 2000-03-24 2006-09-19 Eastman Kodak Company Method for providing image goods and/or services to a customer
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
AU2001255445A1 (en) * 2000-04-17 2001-10-30 Digimarc Corporation Authentication of physical and electronic media objects using digital watermarks
US6751352B1 (en) * 2000-05-25 2004-06-15 Hewlett-Packard Development Company, L.P. Method and apparatus for generating and decoding a visually significant barcode
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) * 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
US8429174B2 (en) 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US7127164B1 (en) * 2003-08-06 2006-10-24 Eastman Kodak Company Method for rating images to facilitate image retrieval
US20050091578A1 (en) * 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
JP2006059075A (ja) * 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP2006195284A (ja) * 2005-01-14 2006-07-27 Ricoh Co Ltd 画像形成消耗品識別物、及びその画像形成消耗品識別物を付したトナー容器、感光体、インクカートリッジ、並びに画像形成装置
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) * 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) * 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
WO2008001889A1 (fr) 2006-06-29 2008-01-03 Fujitsu Limited procédé de classification de couleur, procédé de reconnaissance de couleur, dispositif de classification de couleur, dispositif de reconnaissance de couleur, système de reconnaissance de couleur, programme informatique et support d'enregistrement
US8113432B2 (en) 2006-07-19 2012-02-14 B-Core Inc. Apparatus for recognizing an optical recognition code in which a code symbol of a 1-dimensional color bit code indicative of certain data is divided into a plurality of code symbols
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
JP5073281B2 (ja) * 2006-12-12 2012-11-14 株式会社Ｐｆｕ 付箋表示処理装置および付箋表示処理方法
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
WO2009040922A1 (ja) 2007-09-27 2009-04-02 Glory Ltd. 紙葉類処理装置
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) * 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
US20090307602A1 (en) * 2008-06-06 2009-12-10 Life In Focus, Llc Systems and methods for creating and sharing a presentation
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
WO2010022185A1 (en) * 2008-08-19 2010-02-25 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) * 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
CN102292978A (zh) 2009-07-10 2011-12-21 松下电器产业株式会社 标识显示控制装置、集成电路及标识显示控制方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8910870B2 (en) * 2010-08-06 2014-12-16 Hand Held Products, Inc. System and method for document processing
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
US9349063B2 (en) * 2010-10-22 2016-05-24 Qualcomm Incorporated System and method for capturing token data with a portable computing device
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
US11580155B2 (en) * 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
US8417233B2 (en) * 2011-06-13 2013-04-09 Mercury Mobile, Llc Automated notation techniques implemented via mobile devices and/or computer networks
US9858552B2 (en) * 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
AU2012101185B4 (en) * 2011-08-19 2013-05-02 Apple Inc. Creating and viewing digital note cards
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8655068B1 (en) 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
EP2789159A4 (en) 2011-12-07 2015-06-17 Intel Corp GUIDED IMAGE CAPTURE
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
CN105144198B (zh) * 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法
US20150161571A1 (en) 2013-12-09 2015-06-11 Adam Judelson Calendar Software Interfaces and Methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059020A (ja) 2004-08-18 2006-03-02 Nippon Telegr & Teleph Corp <Ntt> コード付き付箋、該付箋を使用したアイディア抽出支援システム及び方法
US20090284806A1 (en) 2008-05-13 2009-11-19 Pfu Limited Image reading apparatus and mark detection method
JP2010231369A (ja) 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 情報処理装置及び情報処理装置用プログラム
JP2013027037A (ja) * 2011-07-18 2013-02-04 Fuji Xerox Co Ltd 注釈付きコンテンツをモバイル装置でキャプチャおよび編成するシステム、方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li Bian and Roy Shilkrot, PalimPost: information convergence using sticky notes, WoT '11: Proceedings of the Second International Workshop on Web of Things, June 2011. Article No. 13. Pages 1-6. 1부.*

Also Published As

Publication number Publication date
CN114220116A (zh) 2022-03-22
EP2981931A4 (en) 2016-12-07
TW201503008A (zh) 2015-01-16
CN105264544A (zh) 2016-01-20
US20140297646A1 (en) 2014-10-02
TWI623892B (zh) 2018-05-11
US9563696B2 (en) 2017-02-07
EP2981931A1 (en) 2016-02-10
JP2016528567A (ja) 2016-09-15
JP6441895B2 (ja) 2018-12-19
EP2981931B1 (en) 2021-03-03
KR20150138293A (ko) 2015-12-09
WO2014165438A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
KR102234688B1 (ko) 노트를 관리하기 위한 시스템 및 방법
KR101650833B1 (ko) 노트 인식을 위한 시스템 및 방법
US10127196B2 (en) Systems and methods for managing notes
TWI692714B (zh) 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20151027

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190328

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200701

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210326

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210326

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240226

Start annual number: 4

End annual number: 4