[go: up one dir, main page]

KR100447762B1 - 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치 - Google Patents

서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치 Download PDF

Info

Publication number
KR100447762B1
KR100447762B1 KR10-2000-0055825A KR20000055825A KR100447762B1 KR 100447762 B1 KR100447762 B1 KR 100447762B1 KR 20000055825 A KR20000055825 A KR 20000055825A KR 100447762 B1 KR100447762 B1 KR 100447762B1
Authority
KR
South Korea
Prior art keywords
code
information
image
code image
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2000-0055825A
Other languages
English (en)
Other versions
KR20010084890A (ko
Inventor
정철호
이남규
한탁돈
Original Assignee
주식회사 칼라짚미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칼라짚미디어 filed Critical 주식회사 칼라짚미디어
Priority to KR10-2000-0055825A priority Critical patent/KR100447762B1/ko
Publication of KR20010084890A publication Critical patent/KR20010084890A/ko
Application granted granted Critical
Publication of KR100447762B1 publication Critical patent/KR100447762B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 서적 등에 물리적으로 또는 전자적으로 표현된 코드이미지를 이용하여 다양한 멀티미디어 정보를 제공하는 서비스 방법 및 그 장치에 관한 것으로, 특히 사용자에게 특정 정보와 관련된 코드이미지가 표시된 서적이나 자료를 제공하고 그 카드의 코드이미지에 내재된 정보에 따라 다양한 멀티미디어 정보를 제공하는 서비스 방법 및 그 장치에 관한 것으로, 서적을 포함한 물리적인 객체에 표시된 코드이미지를 입력하는 단계; 상기 입력된 코드이미지를 소정의 디코딩 알고리즘에 의하여 코드정보를 추출하는 단계; 상기 추출된 코드정보에 의하여 네트워크주소를 설정하는 단계; 및 상기 네트워크주소에 연결하여 상기 객체와 관련된 멀티미디어 정보를 포함한 콘텐츠를 제공하는 단계 포함하여, 도서 등에 코드이미지를 부가하여 이를 이용하여 온라인상으로 연결된 서버나 오프라인상의 컴퓨터에 저장된 데이터베이스에서 제공하는 부가적인 콘텐츠를 접할 수 있는 잇점이 있다.

Description

서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보 서비스 방법 및 그 장치{A multimedia materials service method using code image attached to book and so on and apparatus thereof}
본 발명은 서적 등에 물리적으로 또는 전자적으로 표현된 코드이미지를 이용하여 다양한 멀티미디어 정보를 제공하는 서비스 방법 및 그 장치에 관한 것으로, 특히 사용자에게 특정 정보와 관련된 코드이미지가 표시된 서적이나 자료를 제공하고 그 카드의 코드이미지에 내재된 정보에 따라 다양한 멀티미디어 정보를 제공하는 서비스 방법 및 그 장치에 관한 것이다.
종래에 정보를 이용하는 방법으로는 종이에 프린트되어 편집된 서적을 보거나 최근에 들어 컴퓨터를 이용한 전자서적을 보는 방법이 있다. 그러나, 종이서적은 휴대하기가 불편하고 제공될 수 있는 정보가 글자와 그림(대개는 흑백 그림)으로 한정되어 다양한 정보를 제공할 수 없으며, 전자서적은 컴퓨터를 통해서 정보를 접할 수 있기 때문에 오프라인상의 현실과 동 떨어진 감이 없지 않다.
본 발명이 이루고자 하는 기술적 과제는, 코드이미지를 이용하여 서적 등에 대한 보다 다양한 멀티미디어 정보를 제공할 수 있는 서비스 방법 및 그 장치와, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 사용자로 하여금 서적이나 물건 등의 어떤 물리적 객체에 대하여 보다 상세한 내용(콘텐츠)를 제공받을 수 있도록 하는 코드이미지가 표시된 객체를 제공하는 데 있다.
도 1은 본 발명을 수행하기 위한 컴퓨터 넷트웍 시스템의 일 예를 나타내는 도면이다.
도 2a, b는 코드이미지가 부가된 서적이나 자료의 예를 나타내는 도면이다.
도 3은 본 발명에 따라 인코딩 및 디코딩 알고리즘에 사용되는 코드변환표의 일 예이다.
도 4는 코드이미지에 포함될 수 있는 이미지정보의 일 예를 나타내는 도면이다
도 5는 코드서버(12)의 코드데이터베이스(12a)에 저장된 데이터의 예이다.
도 6은 본 발명에 따라 코드이미지를 이용하여 콘텐츠 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 서비스를 오프라인으로 구현한 시스템의 예를 나타낸다.
상기의 과제를 이루기 위하여 본 발명에 의한 코드이미지 제공방법은,
서적을 포함한 물리적인 객체에 대해 코드정보를 할당하고, 상기 객체와 관련된 멀티미디어 정보를 포함하는 콘텐츠를 설정하는 단계; 상기 코드정보를 소정의 인코딩 알고리즘에 의하여 인코딩하여 물리적 또는 전자적으로 표현되는 코드이미지로 변환하는 단계; 및 상기 코드이미지를 상기 객체에 표시하여 사용자에게 제공하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 코드이미지를 이용한 멀티미디어 정보 제공방법은,
서적을 포함한 물리적인 객체에 표시된 코드이미지를 입력하는 단계; 상기 입력된 코드이미지를 소정의 디코딩 알고리즘에 의하여 코드정보를 추출하는 단계; 상기 추출된 코드정보에 의하여 네트워크주소를 설정하는 단계; 및 상기 네트워크주소에 연결하여 상기 객체와 관련된 멀티미디어 정보를 포함한 콘텐츠를 제공하는 단계 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 코드이미지를 이용한 멀티미디어 정보 제공장치는,
서적을 포함한 물리적인 객체에 표시된 코드이미지를 입력받는 입력수단; 상기 입력된 코드이미지를 소정의 디코딩 알고리즘에 의하여 코드정보를 추출하는 디코딩수단; 및 상기 추출된 코드정보에 의하여 설정된 네트워크주소에 연결하여 상기 객체와 관련된 멀티미디어 정보를 제공하는 정보제공수단을 포함하는 것을 특징으로 한다.
상기의 다른 과제를 이루기 위하여 본 발명에 의한 코드이미지가 부가된 물리적인 객체는,
물리적인 형체를 갖는 유형적인 객체; 및 상기 객체와 관련된 멀티미디어 정보가 저장된 네트워크 주소를 소정의 인코딩 알고리즘에 의하여 인코딩되어 물리적로 표현된 코드이미지를 포함하는 것을 특징으로 한다.
여기서, 상기 코드이미지는 각 문자 및 숫자를 소정의 컬러로 각각 매핑하는 소정의 코드변환표에 의하여 상기 코드정보에 포함된 하나 이상의 문자 또는 숫자를 변환하여 생성되는 소정의 형상, 색깔, 패턴 또는 이들의 조합으로 된 이미지인 것이 바람직하다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명을 수행하기 위한 컴퓨터 넷트웍 시스템의 일 예를 나타내는 도면이다.
코드서버 컴퓨터(12)는 각종 서적이나 자료등에 부여된 코드정보를 저장하는 코드데이터베이스(12a) 및 코드정보를 코드이미지로 인코딩하거나 코드이미지를 디코딩하여 코드정보를 추출하기 위한 알고리즘이 구현된 인코더/디코더 코드엔진(12c)을 구비한다. 코드서버(12)는 각종 서적이나 자료(16)에 코드이미지(16a)를 부가하고, 사용자는 이를 화상장치(17)를 통하여 컴퓨터(15)로 입력하고, 이를 디코딩하여 원래의 코드정보를 추출하여 그와 관련된 멀티미디어 정보를 서비스서버(13)로부터 제공받을 수 있다.
서비스서버(13)는 코드정보에 따라 멀티미디어 정보를 제공하는 서버로서, 코드서버(12)도 서비스서버로서 동작할 수 있다. 또한, 서비스서버(13)는 인터넷에 연결된 것 뿐만 아니라 일반적으로 이동통신망이나 전화망 등을 포함하는 유무선 통신망을 통하여 양방향 통신으로 정보를 주고받을 수 있는 모든 정보 제공처(예: 방송국)를 포함한다.
서버(12)는 컬러(색채) 또는 컬러와 패턴을 이용하여 이미지정보를 인코딩하여 코드이미지를 생성하기 위한 인코딩 알고리즘을 구현한 소프트웨어 및 그 코드이미지를 디코딩하여 원래의 코드정보로 복원하기 위한 디코딩 알고리즘을 구현한 소프트웨어를 구비한다. 사용자 컴퓨터(15)는 서버 컴퓨터(12)로부터 디코딩용 프로그램을 다운로드받아 미리 설치해 둘 수 있다. 프로그램은 단독 소프트웨어 패키지 형태 혹은 인터넷 브라우저에서 이용하기 위한 플러그인 형태 또는 집적회로 칩의 형태로 제공될 수 있다. 그러면, 사용자 컴퓨터(15)에서 서버 컴퓨터(12)를 거치지 않고도 직접 코드이미지를 디코딩하여 코드정보를 추출하는 기능을 수행할 수 있다. 만일, 사용자 컴퓨터(15)가 디코딩용용 프로그램을 다운로드받지 않은 경우에는, 서버 컴퓨터(12)와 연결하여 디코딩을 수행하여야 할 것이다. 한편, 인코딩과정의 경우에는 코드서버에서 코드정보를 인코딩하여 코드이미지를 직접 발급하는 것이 보통이라 할 수 있지다. 하지만, 필요에 따라서는 사용자 컴퓨터에서 직접 코드이미지를 발행할 수 있다.
서버 컴퓨터(12)와 사용자 컴퓨터들(15)은 통신망(11)을 통하여 연결되어 서로 통신한다. 통신망(11)에 연결된 사용자 컴퓨터(15)들은 HTML(Hyper TextMarkup Language) 또는 HDML(Hyper Device Markup Language) 등의 형태로 웹 내용을 디스플레이 할 수 있는 인터넷 브라우저(예를 들어, Netscape, Internet Explorer)를 가지고 있다. 여기서, 사용자 컴퓨터는 일반 개인용 컴퓨터에 한정되는 것이 아니라 통신망을 통하여 서버컴퓨터(12)와 통신할 수 있는 단말기를 통칭하는 용어로 사용되며, 예를 들어 IMT-2000 단말기, 이동통신 단말기, 웹폰, 디지털 TV 등을 포함한다. 통신망(11)으로는 인터넷 뿐만 아니라 일반 공중전화망, 이동통신망 등을 널리 포함한다.
화상장치(17)란 빛을 이용하여 물리적인 객체로부터 시각적 정보를 획득할 수 있는 광학장치로서, PC카메라, 디지털카메라, 스캐너가 여기에 해당된다. 사용자 컴퓨터(15)는 화상장치(17)에 의하여 코드이미지(16a)를 입력받아, 메모리, 하드디스크, 버퍼, 또는 화면에 보관한다. 한편, 코드이미지가 전자적으로 표현된 것 (예를 들어, 이미지 파일 형태로 표시된 경우)이라면, 그 이미지를 캡쳐하여 코드이미지를 생성할 수 있다.
도 3은 상기 인코딩 및 디코딩 알고리즘에 사용되는 코드변환표로서, 각종 문자(알파벳이나 특수문자 등)나 숫자 또는 모양 등으로 이루어진 코드정보를 코드이미지로 변환하는 코드변환표의 일 예를 나타내는 도면이다. 도 2a, b는 코드이미지가 부가된 서적이나 자료의 예를 나타내는 도면이다. 도 2a는 책의 표지에, 도 2b는 악보에 코드이미지가 표현된 예이다.
도 4는 코드이미지에 포함될 수 있는 이미지정보의 일 예를 나타내는 도면이며, 도 5는 코드서버(12)의 코드데이터베이스(12a)에 저장된 데이터의 예이다. 이미지정보로는 코드정보와 인덱스정보로 나눌 수 있는데, 코드정보는 네트워크주소와 같이 사용자 컴퓨터(15)에서 직접 서비스에 사용할 수 있는 정보를 말하며, 인덱스정보는 코드데이터베이스(12a)에서 목적하는 코드정보가 저장된 위치에 대한 정보를 말한다. 여기서, 네트워크주소는 URL, IP, 전화번호, 이동단말기 식별번호 등 특정 장비를 억세스할 수 있는 주소정보를 의미한다. 코드데이터베이스(12a)에는 인덱스정보와 그와 관련된 코드정보(예컨대, 네트워크주소)가 저장되어 있다.
또한 코드정보에는 코드서버, 서비스서버 등에 대한 네트워크주소 뿐만 아니라 서비스의 종류와 관련된 서비스정보도 포함할 수 있으며, 인터넷 서비스를 이용하는 경우에는 웹 서비스, 텔넷 서비스, 전자우편 서비스, 고퍼 서비스, FTP(File Transfer Protocol) 등과 같이 URL에 표시된 프로토콜에 의하여 정의된 서비스들이 있다. 디코딩한 결과 서비스 정보가 포함되지 않은 경우에는 프로그램에서 기본값으로 설정해 둔 서비스가 제공되거나 사용자가 서비스를 별도로 선택하게 된다. 한편, 서비스정보는 인터넷을 통한 네트워크 서비스를 위한 것 이외에도 기타 일반적인 통신기기에서 정의된 서비스, 예를 들어 전화나 팩스 서비스 등을 위한 것도 포함한다.
인코딩 방법으로는, 각종 문자 등을 코드로 변환한 다음 각 코드에 할당된 컬러(색채)로 코드이미지를 생성하는 것이다. 도 3의 예에서는 8가지의 색을 이용하여 코드이미지를 생성하며, 하나의 문자나 숫자를 나타내기 위하여 연속된 두 셀을 사용한 예를 나타낸다. 각 색에 대해서는 "000"에서 "111"까지의 코드가 할당된다. 예컨대, 숫자 3은 코드 "000 011"로 할당되고, 코드 "000"에 할당된 색과코드 "011"에 할당된 색으로 인코딩되어, 그 두가지 색으로 이루어진 셀로 이미지화된다. 도 3에는 도면 작성상의 한계로 흑백 그레이 레벨로 표시되어 있는데, 실제 적용상에 있어서 흑백 그레이 레벨을 사용하는 것도 가능하지만 컬러 색상의 조합으로 구현하는 것이 보다 코드 인식에 유리할 것이며, 그 색상의 수는 컬러를 인쇄하는 기기(예: 프린터)나 컬러를 인식하는 기기(예: 스캐너)의 성능에 따라 좌우될 것이다.
도 3에 도시된 변환표에 따라 코드정보에 포함된 각종 문자나 숫자를 코드화한 다음 그 코드에 대응되는 컬러를 사각형 셀들의 조합으로 된 사각 매트릭스 형태로 표현할 수 있으며, 한편으로는 선 모양의 바코드 형태로 표현할 수도 있다. 또한, 코드표를 작성하면서 셀(선)과 셀(선) 사이의 간격 등을 고려하여 코드화할 수 있으며, 사각형의 셀과 선모양의 선이 서로 조합되는 형태로 코드화할 수 있음은 물론이다. 이와 같이 다양한 물리적인 표현방법으로 코드화할 수 있는 인코딩 알고리즘을 제공한다면 보다 풍부한 문자(예를 들어, 한글이나 영어의 알파벳 뿐만 아니라 한자나 일본어 등)의 표현에 융통성을 부여할 수 있다.
코드이미지 중의 한 예인 컬러 매트릭스 이미지의 경우에는 실제의 코드정보가 인코딩되어 이루어지는 데이터영역 및 디코딩 과정에서 기준 컬러로 사용되는 참조셀로 이루어진 참조 영역을 포함하여 구성될 수 있다. 여기서, 참조영역은 데이터영역에 표현된 컬러를 인식하는 기준 컬러를 설정하는데 사용된다. 프린트의 기종이나 인쇄용지의 재질에 따라 색상이 다르게 인쇄될 수 있으며, 또한 스캐너나 카메라의 특성에 따라 동일한 색상이 다소 다르게 인식될 수 있다. 이러한 점을고려하여, 참조영역에 있는 참조셀은 데이터영역에 표시된 색상을 판별하는 기준을 제공한다. 즉, 데이터영역의 셀에 표시되는 색상은 참조영역의 기준 컬러와 대비된 상대적인 색조 차이를 가지도록 되어 있다. 따라서, 이미지 입력장치나 출력장치가 달라지더라도 참조영역과 데이터영역 간의 색조 차이는 일정하기 때문에 데이터영역에 표현된 셀의 색상을 정확하게 인식할 수 있다. 그럼으로써, 보다 신뢰성있는 코드정보로 디코딩할 수 있다. 또한 컬러 매트릭스 이미지에는 데이터셀과 더불어 패리티셀을 더 포함할 수 있다. 여기서, 패리티란 이미지로 표현된 원래의 디지털 코드데이터의 오류여부를 검사하기 위한 것으로, 예컨대, 한 행의 끝 및/또는 한 열의 끝부분에 그 행(열)에 포함된 디지털데이터의 비트값이 "1"인 비트의 수가 홀수인지 짝수인지에 따라 특정의 색상을 갖는 셀로서 표시할 수 있다.
컬러 매트릭스 이미지에 포함되는 셀의 개수는 코드정보의 낱자의 수 등을 고려하여 적절히 정할 수 있으며, 그 구조는 NxM 크기의 매트릭스 형인 것이 바람직하나 사용자의 필요나 코드이미지가 표현되는 매체의 특성을 고려하여 원형이나 타원형 등 임의의 모양으로도 표현 가능하며 복수의 위치에 표시할 수도 있다. 컬러 매트릭스 코드이미지에 포함된 셀이 컬러의 조합만으로도 이루어 질 수 있으나, 각 컬러 셀 내부에 선과 같은 무늬를 더 포함시킬 수 있다.
구체적으로, 인코딩용 소프트웨어에 의하여 정보가 코드이미지로 변환되는 방법은 다음과 같다. 코드정보에 포함된 하나 이상의 문자 또는 숫자들은 도 3에 도시된 것과 같은 소정의 코드변환표에 의하여 변환되어 소정의 형상, 색깔, 패턴 또는 이들의 조합(문자, 숫자도 포함 가능)으로 이루어진 코드이미지로 변환된다.여기서, 코드변환표는 각종 문자 및 숫자, 기호 등을 소정의 컬러로 각각 매핑시키는 관계를 정해놓은 표를 말한다. 이것의 예로서 도 3에 도시된 예 뿐만 아니라 바코드나 PDF-417과 같은 코드들이 있으며, 1차원 또는 2차원의 흑백 또는 컬러 셀(또는 선)들로 이루어진 매트릭스 이미지도 이에 해당한다. 코드이미지는 신용카드에 시각적인 형태로 인쇄되거나 전자적인 매체에 컴퓨터가 판독 가능한 파일 데이터의 형태로 존재할 수 있으며, 그 코드이미지(16a)를 코드변환표에 의하여 디코딩하면 문자와 숫자 등으로 표현된 원래의 "코드정보"를 얻을 수 있다.
인코딩 방식은 직접 인코딩 방식과 인덱스 인코딩 방식으로 나눌 수 있다. 직접 인코딩 방식은 코드정보 자체를 코드변환표에 의하여 직접 인코딩하여 코드이미지를 생성하는 방식을 말한다. 인덱스 인코딩 방식은 코드정보가 저장된 서버의 코드데이터베이스(12a)를 참조하기 위한 인덱스정보(예컨대, 데이터베이스의 주소나 레코드번호)를 코드변환표에 의하여 인코딩하여 이미지의 형태로 바꾸는 방식이다. 인코딩된 이미지는 프로그램의 알고리즘에 의하여 자동적으로 출력하게 할 수 있으며, 또는 코드 변환체계에 따라 그래픽 에디터나 수작업으로 제작할 수도 있다.
상기와 같은 서비스 시스템의 실제 적용상태를 간단히 설명하면 다음과 같다. 멀티미디어 기술의 발달로 서적내용이 디지털화되어 컴퓨터상에서 볼 수 있는 전자서적이 활용되고 있다. 본 발명에 의하면, 책을 제작할 때 코드서버(12)는 그 책과 관련된 멀티미디어 콘텐츠를 제공하는 네트워크주소와 같은 코드정보 및/또는 그에 대한 인덱스정보를 설정하고, 코드정보 또는 인덱스정보가 인코딩된 코드이미지를 그 책에 표시한다. 따라서, 사용자는 하드카피된 책에 표시된 코드이미지를 이용하여 그 책의 내용과 관련된 멀티미디어 콘텐츠(또는 전자책)를 추가로 제공받을 수 있다. 여기서, 콘텐츠로는 음악, 음성, 음향, 동영상, 정지영상, 문서, 글자 등 컴퓨터나 이동단말기와 같은 정보송수신장비에 의하여 표시될 수 있는 정보들을 포함한다. 또한, 전자책을 열람하기 위해서는 그 이용료를 내거나 사용자 인증을 하는 경우가 있는데, 이 경우 특정 전자책을 억세스할 수 있는 코드이미지를 쿠폰이나 상품권 또는 카타로그나 안내서 등에 표시하여 사용자들에게 이용하게 할 수 있다.
그리고, 코드이미지에는 그 책의 콘텐츠를 억세스하기 위한 정보 (즉, 책의 종류를 나타내는 정보) 뿐만 아니라 그 책 내에서의 위치에 대한 정보도 포함할 수 있다. 위치정보로는 예컨대, 각 페이지 번호를 나타내거나 채프터(chapter), 절 등의 편집순서에 따른 위치를 나타내는 정보가 포함된다. 따라서, 이와 같은 위치정보를 나타내는 코드이미지를 콘텐츠를 나타내는 코드이미지와 분리하면 다른 책에서도 공통적으로 사용될 수 있다. 다시 말하면, 책의 표지에는 그 책을 특정하는 코드이미지가 표시되고, 각 페이지에는 몇 페이지인지를 나타내는 코드이미지가 표시될 수 있다.
도 6은 본 발명에 따라 코드이미지를 이용하여 콘텐츠 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
사용자는 화상장치(17)를 통하여 책에 표시된 코드이미지(16a)를 사용자 컴퓨터(15)로 입력한다(61). 사용자 컴퓨터(15)는 화상장치(17)를 사용하여 실시간으로 코드이미지를 입력받을 수도 있고, 이미 만들어져 있는 이미지 파일을 디스크나 버퍼 등의 저장장치를 통해 메모리에 로딩할 수도 있다.
사용자 컴퓨터(15)에서 오프라인 디코딩이 가능하면(62), 즉 사용자 컴퓨터(15)에 디코딩용 프로그램을 미리 설치해 두었으면, 코드이미지를 직접 디코딩하여 이미지정보를 추출한다(64). 여기서 추출되는 정보의 예에 대해서는 도 4에 도시되어 있으며, 문자나 숫자, 도형으로 이루어진 정보이다. 사용자 컴퓨터(15)가 디코딩용 프로그램을 미리 설치해 두는 것은 선택적이며, 만일 사용자 컴퓨터(15)에 디코딩용 프로그램이 설치되지 않은 상태라면 사용자 컴퓨터(15)는 서버 컴퓨터(12)로 코드이미지를 전송하고(63), 디코딩 과정은 서버 컴퓨터(12)에서 수행된다.
여기서, 디코딩이란 코드이미지로부터 코드변환표에서 정의된 바에 따라 원래의 정보들을 찾아내는 것이다. 디코딩 방식은 정보가 인코딩된 방식에 따라 직접 디코딩 방식과 인덱스 디코딩 방식이 있다. 직접 디코딩 방식에서는 코드이미지를 디코딩하면 코드정보나 서버주소와 같은 실제의 정보가 바로 추출된다. 인덱스 디코딩 방식에서는 디코딩된 결과물이 코드정보나 서버주소 등의 실제 정보가 저장된 코드 데이터베이스를 억세스하기 위한 키값인 인덱스정보를 가지고 있다.
디코딩 과정에서는 코드이미지에 포함된 의미있는 모양, 컬러, 패턴, 문자를 찾아내는 과정이 필요하며, 이외에도 왜곡된 이미지를 보정하는 과정이 요구된다. 여기서, RGB(Red, Green, Blue) 모델, HSV(Hue angle, Saturation, Value) 모델, CMY(Cyan, Magenta, Yellow) 모델, HLS(Hue angle, Lightness, Saturation) 모델중 한가지 이상의 방법을 사용하여 컬러 판별이 가능하다. 또한 경계선 검출 및 세선화 알고리즘을 사용하여 모양 및 패턴을 검출할 수 있다.
단계 64에서 추출된 이미지코드가 코드정보인지, 인덱스정보인지를 판별한다(65). 코드정보이면 그 정보에 따라 네트워크주소를 설정하고(66), 인덱스정보이면 코드서버(12)의 코드데이터베이스에서 인덱스정보를 검색하여(67) 그 인덱스정보에 따른 네트워크주소를 설정한다(68). 사용자 컴퓨터(15)는 설정된 네트워크주소에 연결하여 거기에서 제공하는 콘텐츠를 제공받는다(69)
본 발명의 실시예에서 코드이미지가 서적이나 자료에 표시된 예를 들었으나, 그 뿐만 아니라 보다 자세한 정보를 다른 매체를 통하여 제공하고자 하는 객체에 적용할 수 있다. 예를 들어, 상품의 외면에 그 상품에 관한 자세한 사항(예를 들어, 사용 설명서나 고장수리방법 등)을 안내하고 있는 웹사이트를 연결할 수 있는 코드정보가 인코딩된 코드이미지를 부가할 수 있다.
도 7은 본 발명에 따른 서비스를 오프라인으로 구현한 시스템의 예를 나타낸다. 다시 말하면, 멀티미디어정보를 인터넷을 통하지 않고 사용자 컴퓨터에서 직접 얻을 수 있는 시스템이다.
사용자 컴퓨터(75)는 코드이미지를 디코딩할 수 있는 디코더(751)를 구비하며, 인덱스정보와 그에 대한 코드정보를 담고 있는 코드데이터베이스(753) 및 멀티미디어 정보를 담고 있는 자료데이터베이스(755)를 구비하고 있다. 자료데이터베이스(755)는 온라인상에서 서비스서버에서 제공하는 정보를 저장하고 있다. 여기서, 코드정보는 자료데이터베이스(755)에 있는 특정 정보를 억세스할 수 있는 위치정보라 할 수 있다.
도서(71)에 표시된 코드이미지(71a)를 화상장치(72)를 통하여 사용자 컴퓨터(75)로 입력하면, 디코더(751)는 코드이미지로부터 이미지정보를 추출하고, 그 이미지정보로부터 원하는 멀티미디어정보를 얻을 수 있다. 만일 이미지정보가 코드정보라면 그 정보에 기초하여 자료데이터베이스(755)에서 원하는 멀티미디어를 찾을 수 있으며, 이미지정보가 인덱스정보라면 코드데이터베이스(753)를 검색하여 그 인덱스정보에 대응하는 코드정보를 찾아 그에 기초하여 자료데이터베이스(755)에서 원하는 멀티미디어를 찾을 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의하면 도서 등에 코드이미지를 부가하여 이를 이용하여 온라인상으로 연결된 서버나 오프라인상의 컴퓨터에 저장된 데이터베이스에서 제공하는 부가적인 콘텐츠를 접할 수 있는 잇점이 있다. 즉, 물리적으로 존재하는 객체(도서나 자료 등)에 특정 온라인 또는 오프라인 정보를 매핑하는 코드를 부가하므로써, 그 객체와 관련된 보다 흥미있고 자세한 멀티미디어 정보를 제공할 수 있다. 특히, 온라인 서비스를 이용하는 경우, 인터넷을 이용하여 보다 값싸고 손쉽게 그리고 최신의 자세한 정보를 제공받을 수 있다.
따라서, 본 발명에 의하면, 물리적으로 존재하는 객체와 통신망이나 컴퓨터를 통하여 억세스할 수 있는 정보를 코드이미지라는 매개체를 이용하여 서로 연계시켜 사용자가 쉽게 활용할 수 있도록 함으로써, 수없이 많은 정보들 중 필요한 추가 정보를 보다 효과적으로 찾아 이용할 수 있다. 또한 간단한 요약이나 개요에 대해서만 물리적인 팜플렛이나 안내서를 제작하고, 그 자세한 전체 내용은 전자책이나 전자문서, 멀티미디어 정보 등으로 디지털화하여 데이터베이스나 파일로 저장해 두고 이를 이용할 수 있도록 함으로써, 많은 사람들에게 정보를 보다 효과적으로 제공할 수 있을 뿐만 아니라 종이 등의 자원도 절약할 수 있다.
특히, 어린이용 동화책에 코드이미지를 표시하여 동화내용에 대한 멀티미디어 정보(예컨대, 동화상)를 제공할 수 있으며, 매뉴얼에 대해서는 그 자세한 설명을 화상과 음성으로 제공할 수 있다. 또한, 악보에 코드이미지를 부착한 경우에는 실제 연주한 음향정보를 제공할 수 있으며, 그림에 코드이미지가 표시된 경우에는 그 그림의 디지털 파일을 제공할 수 있다.

Claims (11)

  1. 소정의 객체와 관련된 멀티미디어 정보를 포함하는 콘텐츠를 저장하고, 상기 콘텐츠가 저장된 네트워크상의 위치로 억세스할 수 있는 코드정보를 설정하는 단계;
    각 문자와 숫자에 대응하는 특정 컬러와의 대응관계를 설정해 두고, 상기 코드정보를 나타내는 각 문자 또는 숫자가 상기 대응관계에 따라 변환된 컬러로 각각 표시된 복수의 셀들을 형성한 다음 상기 셀들을 조합하여 상기 코드정보에 대응하는 코드이미지를 형성하는 단계;
    상기 코드이미지가 입력되면, 상기 대응관계에 따라 상기 입력된 코드이미지의 셀들에 표시된 컬러들의 조합으로부터 그에 대응하는 문자 또는 숫자로 변환하여, 상기 코드이미지에 대응하는 코드정보를 추출하는 단계;
    상기 추출된 코드정보에 따라 상기 객체와 관련된 콘텐츠를 통신망을 통하여 억세스하여 상기 멀티미디어 정보를 포함하는 콘텐츠를 제공하는 단계를 포함하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  2. 제1항에 있어서, 상기 코드이미지는
    각 문자 및 숫자와의 매핑관계를 정해 놓은 코드변환표에 의하여, 상기 코드정보에 포함된 하나 이상의 문자 또는 숫자를 변환하여 생성되는 소정의 컬러, 형상, 패턴 또는 이들의 조합으로 된 이미지인 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  3. 제1항에 있어서, 상기 코드정보가 코드서버에 저장된 경우 상기 코드정보에는 상기 코드서버의 네트워크 주소를 포함하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  4. 제1항에 있어서, 상기 코드정보는 상기 객체와 관련하여 제공될 콘텐츠가 저장된 서비스서버의 네트워크 주소를 포함하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  5. 복수의 셀들 각각에 특정 컬러들이 표시되어 있으며 상기 셀들의 조합으로 형성된 코드이미지를 수신하는 단계;
    각 문자와 숫자에 대응하는 특정 컬러와의 대응관계에 따라, 상기 수신된 코드이미지의 셀들에 표시된 컬러들의 조합으로부터 그에 대응하는 문자 또는 숫자로 변환하여 상기 코드이미지에 대응하는 코드정보를 추출하는 단계;
    상기 코드정보에 따라 네트워크상의 위치로 억세스할 수 있는 네트워크 주소를 설정하는 단계; 및
    통신망을 통하여 상기 네트워크 주소에 연결하여 상기 네트워크 주소에 구비된 상기 객체와 관련된 멀티미디어 정보를 포함한 콘텐츠를 제공하는 단계를 포함하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  6. 제5항에 있어서, 상기 코드이미지는
    각 문자 및 숫자와의 매핑관계를 정해 놓은 코드변환표에 의하여, 상기 코드정보에 포함된 하나 이상의 문자 또는 숫자를 변환하여 생성되는 소정의 컬러, 형상, 패턴 또는 이들의 조합으로 된 이미지인 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  7. 제5항에 있어서, 상기 객체가 서적이면 서적의 내용에 대한 멀티미디어 정보를 제공하고, 상기 객체가 악보이면 악보에 따라 실제 연주한 음향정보에 대한 정보를 제공하고, 상기 객체가 그림이면 그 그림의 디지털 파일을 제공하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  8. 제5항에 있어서, 상기 객체가 서적인 경우 상기 코드정보에는 상기 서적의 페이지 위치에 대한 정보를 더 포함하고, 상기 콘텐츠 제공단계에서 서적의 페이지 위치에 따른 멀티미디어 정보를 제공하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공방법.
  9. 복수의 셀들 각각에 특정 컬러들이 표시되어 있으며 상기 셀들의 조합으로 형성된 코드이미지를 수신하는 단계;
    각 문자와 숫자에 대응하는 특정 컬러와의 대응관계에 따라, 상기 수신된 코드이미지의 셀들에 표시된 컬러들의 조합으로부터 그에 대응하는 문자 또는 숫자로 변환하여 상기 코드이미지에 대응하는 코드정보를 추출하는 단계;
    상기 코드정보에 따라 네트워크상의 위치로 억세스할 수 있는 네트워크 주소를 설정하는 단계; 및
    통신망을 통하여 상기 네트워크 주소에 연결하여 상기 네트워크 주소에 구비된 상기 객체와 관련된 멀티미디어 정보를 포함한 콘텐츠를 제공하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 복수의 셀들 각각에 특정 컬러들이 표시되어 있으며 상기 셀들의 조합으로 형성된 코드이미지를 수신하는 수신수단;
    각 문자와 숫자에 대응하는 특정 컬러와의 대응관계에 따라, 상기 수신된 코드이미지의 셀들에 표현된 컬러들의 조합으로부터 그에 대응하는 문자 또는 숫자로 변환하여 상기 코드이미지에 대응하는 코드정보를 추출하는 디코딩수단; 및
    상기 추출된 코드정보에 의하여 네트워크상의 위치로 억세스할 수 있는 네트워크 주소를 설정하고, 통신망을 통하여 상기 설정된 네트워크 주소에 연결하여 멀티미디어 정보를 포함하는 콘텐츠를 제공하는 정보제공수단을 포함하는 것을 특징으로 하는 코드이미지를 이용한 멀티미디어 정보 제공장치.
  11. 물리적인 형체를 갖는 유형적인 객체; 및
    각 문자와 숫자에 대응하는 특정 컬러와의 대응관계에 따라, 상기 객체와 관련된 멀티미디어 정보를 포함하는 콘텐츠가 저장된 네트워크상의 위치로 억세스할 수 있는 코드정보를 나타내는 각 문자 또는 숫자가 상기 대응관계에 따라 변환된 컬러로 각각 표시된 복수의 셀들을 조합하여, 상기 코드정보가 이미지로 표현된 코드이미지를 포함하여,
    상기 코드이미지가 상기 객체에 이미지 형태로 부가적으로 표시되어 있는 것을 특징으로 하는 코드이미지가 부가된 객체.
KR10-2000-0055825A 2000-09-22 2000-09-22 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치 Expired - Fee Related KR100447762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0055825A KR100447762B1 (ko) 2000-09-22 2000-09-22 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0055825A KR100447762B1 (ko) 2000-09-22 2000-09-22 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20010084890A KR20010084890A (ko) 2001-09-07
KR100447762B1 true KR100447762B1 (ko) 2004-09-08

Family

ID=19690000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0055825A Expired - Fee Related KR100447762B1 (ko) 2000-09-22 2000-09-22 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR100447762B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084588A (ko) 2015-01-06 2016-07-14 허준영 쓰레기집하 시스템의 터미널장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010083594A (ko) * 2000-02-17 2001-09-01 배종렬 바코드를 이용한 물품 정보 제공 방법 및 장치
KR20030009930A (ko) * 2001-07-24 2003-02-05 김경중 디지털색인코드를 이용한 온라인정보 인출방법
KR20060119732A (ko) * 2006-01-27 2006-11-24 희 한 온라인상에 저장된 정보 호출을 위한 간이코드 부여 방법과이를 이용한 온라인 정보 연동 서비스 체계
KR100860387B1 (ko) * 2006-04-26 2008-09-26 (주)지엠지 지반 및 구조물 정보 제공 시스템 및 그를 이용한 정보제공 방법
KR101021599B1 (ko) * 2008-10-15 2011-03-17 김철회 음성과 영상의 출력기능을 갖는 학습기의 서비스 방법
KR102023815B1 (ko) * 2017-09-15 2019-09-20 영남대학교 산학협력단 전자파일 관리장치, 전자파일 관리 장치를 이용한 전자파일 관리 방법 및 이를 수행하는 기록매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369261A (en) * 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
US5426289A (en) * 1992-09-28 1995-06-20 Dainippon Ink And Chemicals, Inc. Color code
WO1998024036A1 (en) * 1996-11-25 1998-06-04 Metrologic Instruments, Inc. Bar code symbol driven systems for accessing information resources on the internet
US5869828A (en) * 1996-04-02 1999-02-09 Braginsky; Philip Yale Color and shape system for encoding and decoding data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369261A (en) * 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
US5426289A (en) * 1992-09-28 1995-06-20 Dainippon Ink And Chemicals, Inc. Color code
US5869828A (en) * 1996-04-02 1999-02-09 Braginsky; Philip Yale Color and shape system for encoding and decoding data
WO1998024036A1 (en) * 1996-11-25 1998-06-04 Metrologic Instruments, Inc. Bar code symbol driven systems for accessing information resources on the internet

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084588A (ko) 2015-01-06 2016-07-14 허준영 쓰레기집하 시스템의 터미널장치

Also Published As

Publication number Publication date
KR20010084890A (ko) 2001-09-07

Similar Documents

Publication Publication Date Title
US7020327B2 (en) Machine readable code image and method of encoding and decoding the same
KR100341504B1 (ko) 기계로 판독가능한 코드와 그 코드의 인코딩/디코딩 방법및 장치
RU2251734C2 (ru) Машиночитаемый код, способ и устройство кодирования и декодирования
US20080048044A1 (en) Barcode Encoding and Decoding
KR100418862B1 (ko) 물리적으로 표현된 코드이미지를 이용한 광고 서비스 방법및 그 장치
US7681121B2 (en) Image processing apparatus, control method therefor, and program
Yamada et al. Comic image decomposition for reading comics on cellular phones
KR100447762B1 (ko) 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치
WO2002061607A1 (en) Method of transmitting images for online publication
KR100353872B1 (ko) 기계로 인식가능한 코드 및 그 인코딩/디코딩 방법
KR100371895B1 (ko) 코드 이미지를 이용한 멀티미디어 정보 서비스 방법 및 그장치
KR100421247B1 (ko) 복수 컬러 셀들의 조합으로 표현된 코드이미지를 이용한 개인정보 관리 방법 및 그 장치
KR100377906B1 (ko) 이미지 정보를 이용한 네트워크 서비스 시스템 및 그 방법
KR100390928B1 (ko) 물리적으로 표현된 우편이미지를 이용한 우편주소 서비스방법 및 그 장치
JP2010097395A (ja) ネットワーク接続システム、および、電子機器
KR20010084889A (ko) 코드이미지를 이용한 신용카드 서비스 방법 및 그 장치
JP2007325651A (ja) 平面パズル
KR100708389B1 (ko) 디지탈 카메라에서 디지털 데이터를 보안성의 피디에프 파일로 압축 저장하는 장치 및 그 방법
JP2003006077A (ja) コードイメージを用いたネットワークサービスシステム及びその方法
JP2003006076A (ja) コードイメージを用いたマルチメディア情報サービス方法及びその装置
JP2007293612A (ja) ネットワーク接続方法、および、電子機器
JP2007004249A (ja) ネットワークサービス方法、コードイメージエンコーディング方法、コードイメージデコーディング方法、および、機械で認識できるコード
JP2008097422A (ja) ネットワーク接続方法、および、電子機器
KR100474011B1 (ko) 코드이미지를 이용한 우편 서비스 장치 및 방법
AU2001258868B2 (en) Machine readable code and method and device of encoding and decoding the same

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A302 Request for accelerated examination
G15R Request for early publication
PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20160831

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20160831

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000