[go: up one dir, main page]

KR20080099385A - 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법 - Google Patents

문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법 Download PDF

Info

Publication number
KR20080099385A
KR20080099385A KR1020070044827A KR20070044827A KR20080099385A KR 20080099385 A KR20080099385 A KR 20080099385A KR 1020070044827 A KR1020070044827 A KR 1020070044827A KR 20070044827 A KR20070044827 A KR 20070044827A KR 20080099385 A KR20080099385 A KR 20080099385A
Authority
KR
South Korea
Prior art keywords
character
text
data
media content
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020070044827A
Other languages
English (en)
Inventor
이상우
오충석
강민욱
Original Assignee
유니챌(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니챌(주) filed Critical 유니챌(주)
Priority to KR1020070044827A priority Critical patent/KR20080099385A/ko
Priority to PCT/KR2008/002392 priority patent/WO2008140194A1/en
Publication of KR20080099385A publication Critical patent/KR20080099385A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 인쇄 책자 등과 같은 인쇄물로부터 원하는 문자를 촬영하고, 촬영된 문자의 문자인식을 통해 해당 문자와 관련된 미디어 컨텐츠를 검색하여 출력할 수 있도록 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그 방법을 제공한다.
이를 위해 본 발명은 인쇄물의 특정 단어를 촬영하여 해당 단어와 관련된 미디어 컨텐츠의 정보 조회를 위해 촬영된 문자 이미지 데이터를 제공하는 이미지 입력장치와, 상기 이미지 입력장치로부터의 문자 이미지 데이터에 대한 문자 인식을 수행하고, 상기 문자 인식된 문자 데이터와 관련된 미디어 컨텐츠를 기저장된 미디어 컨텐츠 저장소로부터 검색하여 영상 디스플레이 및 음성 출력하는 정보 조회 단말기를 포함하여 구성된 것을 특징으로 한다.
Figure P1020070044827
인쇄물, 책자, 미디어, 컨텐츠, 문자 인식, 유효성

Description

문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그 방법{System and Method for Searching and Output of Media Contents via Character Recognition}
도 1은 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템에 대한 기술 개념을 도식적으로 나타낸 도면,
도 2는 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템에 대한 구성을 나타낸 도면,
도 3은 본 발명의 바람직한 실시예에 따라 인쇄 문서의 인식 문자와 관련된 미디어 컨텐츠를 미디어 기록 매체로부터 검색하여 추출하는 상태를 나타낸 도면,
도 4는 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 방법에 대한 동작을 설명하는 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
10:인쇄 물, 20:이미지 입력장치,
22:촬영 카메라, 24,32:통신 인터페이스,
26:제어부, 30:정보 조회 단말기,
34:이미지 전처리기, 36:문자 인식기,
38:인식 후처리기, 40:미디어 기록매체,
42:외부 기록매체, 44:기록매체 인터페이스,
46:미디어 검색부, 48:표시부,
50:음성 출력부, 52:제어부.
본 발명은 인쇄 책자 등과 같은 인쇄물의 내용과 관련된 미디어 컨텐츠를 검색하여 사용자가 시청이 가능하도록 출력할 수 있도록 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그 방법에 관한 것이다.
종래, 지식의 전달이나 교육 등을 위해 종이에 관련 내용을 인쇄하여 책자 형태로 제본하거나 문서 파일 형태로 제공하는 인쇄물의 경우에는, 그 인쇄 상태에 따라 가독성이 확보될 수 있고, 관련 인쇄 내용을 읽기 위한 목적을 가진 사용자이면 누구나 이용할 수 있는 범용성을 가지고 있다.
한편, 이러한 인쇄물의 경우에는 종이에 관련 내용을 인쇄하여 제공하도록 되어 있기 때문에, 장시간이 경과되거나 수많은 사람들이 사용하게 되면 훼손되기가 쉬울 뿐만 아니라, 인쇄물의 경우에 일정 부피를 가지고 있어서 휴대하기가 불편하며, 인쇄물의 인쇄 내용 중에서 추가적으로 참조할 부분을 확인하기 위해서는 해당 인쇄 내용과 연관된 별도의 다른 인쇄물을 찾아서 읽어야 하는 불편함이 있었다.
이러한 종래의 인쇄물에서의 불편함을 해소하기 위해, 최근에는 인쇄물의 인쇄 내용을 텍스트 또는 이미지 형태의 전자화된 데이터로 변환하여 개인용 컴퓨 터(PC)나 PDA, PMP 등과 같은 멀티미디어 정보 기기를 통해 사용자가 읽을 수 있도록 하는 전자 서적이 상용화되고 있는 추세이다.
한편, 이러한 전자 서적의 경우에는 개인용 컴퓨터의 모니터 화면이나 PDA, PMP 등과 같은 소형 멀티미디어 정보 기기의 소화면을 통해 텍스트 또는 이미지 내용을 읽도록 되어 있어서 인쇄물보다 가독성 면에서 크게 떨어지는 편이기 때문에, 인쇄물과 연계하여 전자 서적을 추가적인 내용 확인이나 보조적인 목적으로 사용할 필요성이 있다.
하지만, 현재는 인쇄물과 멀티미디어 정보기기의 전자 서적에 대한 연계가 상호 원활하게 이루어지지 못하고 있으며, 전자 서적에 더하여 추가적인 내용 확인이나 보완 자료로서 동영상이나 이미지, 오디오 등의 멀티미디어 정보를 찾고자 하더라도, 이러한 멀티미디어 정보를 인쇄물과 연계하여 신속하고 정확하게 검색하여 제공받는 것이 어렵도록 되어 있다는 문제점이 있다.
따라서, 본 발명은 상기한 종래의 문제점을 해결하기 위해 이루어진 것으로서, 그 목적은 인쇄 책자 등과 같은 인쇄물로부터 원하는 문자를 촬영하고, 촬영된 문자의 문자인식을 통해 해당 문자와 관련된 미디어 컨텐츠를 검색하여 출력할 수 있도록 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그 방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명의 시스템에 따르면, 인쇄물의 특정 단 어를 촬영하여 해당 단어와 관련된 미디어 컨텐츠의 정보 조회를 위해 촬영된 문자 이미지 데이터를 제공하는 이미지 입력장치와, 상기 이미지 입력장치로부터의 문자 이미지 데이터에 대한 문자 인식을 수행하고, 상기 문자 인식된 문자 데이터와 관련된 미디어 컨텐츠를 기저장된 미디어 컨텐츠 저장소로부터 검색하여 영상 디스플레이 및 음성 출력하는 정보 조회 단말기를 포함하여 구성된 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템을 제공한다.
상기한 목적을 달성하기 위해 본 발명의 방법에 따르면, 이미지 입력장치에서 인쇄물의 특정 단어 위치 부분을 촬영하고, 그 촬영된 문자 이미지 데이터를 근거리 통신을 통해 정보 조회 단말기로 전송하는 단계와, 상기 정보 조회 단말기에서 상기 문자 이미지 데이터를 수신받아 문자 인식 처리를 수행하고, 문자 인식된 문자 데이터에 대한 유효성을 판단하는 단계, 상기 문자 인식 및 유효성 판단이 이루어진 인식 문자 데이터와 관련된 정보 내용을 갖는 미디어 컨텐츠를, 상기 인쇄물의 내용과 관련하여 전반적인 추가 정보가 포함된 미디어 컨텐츠가 저장된 기록매체로부터 검색하는 단계 및, 미디어 컨텐츠의 검색 결과로, 상기 인식 문자 데이터와 관련된 정보 내용을 갖는 미디어 컨텐츠를 추출하여 영상 디스플레이 및 음성 출력하는 단계를 포함하여 이루어진 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 방법을 제공한다.
이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.
즉, 도 1은 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템에 대한 기술 개념을 도식적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템은, 제본된 책자 형태 또는 문서 형태로 이루어진 인쇄물(10)의 내용 중에서 사용자가 추가적인 정보를 찾고자 하거나, 보완 자료로서 찾고자 하는 내용이 요구되는 단어가 존재하는 경우에, 해당 단어의 문자가 위치하는 인쇄물(10)의 인쇄 부분을 촬영 카메라가 갖추어진 이미지 입력장치(20)를 통해서 촬영한 다음에, 그 촬영된 문자 이미지 데이터를 정보 조회 단말기(30)에 전송한다.
상기 정보 조회 단말기(30)는 개인용 컴퓨터 단말기(PC)나 노트북 컴퓨터, 이동통신 단말기, 스마트폰, PDA(Personal Digital Assistant), PMP(Personal Multimedia Player) 등과 같이 텍스트, 이미지, 오디오, 플래쉬, 동영상 등의 멀티미디어 정보를 조회할 수 있는 기기로 이루어져 있다.
상기 정보 조회 단말기(30)는 상기 이미지 입력장치(20)로부터 전송받은 문자 이미지 데이터에 대한 문자 인식 처리를 수행하고, 문자 인식 처리 결과에 따른 문자와 관련된 미디어 정보를 검색한 다음에, 검색 결과로 도출되는 텍스트, 이미지, 오디오, 플래쉬, 동영상 데이터를 화면 또는 스피커를 통해 출력하여 사용자가 확인할 수 있도록 한다.
다음에, 도 2는 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템에 대한 구성을 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템은, 이미지 입력장치(20)와, 정보 조회 단말기(30)로 구성되는 바, 상기 이미지 입력장치(20)는 촬영 카메라(22)와, 통신 인터페이스(24), 제어부(26)를 포함하여 구성되고, 상기 정보 조회 단말기(30)는 통신 인터페이스(32)와, 이미지 전처리기(34), 문자 인식기(36), 인식 후처리기(38), 미디어 기록매체(40), 외부 기록매체(42), 기록매체 인터페이스(44), 미디어 검색부(46), 표시부(48), 음성 출력부(50), 제어부(52)를 포함하여 구성된다.
상기 이미지 입력장치(20)의 촬영 카메라(22)는 인쇄물(10)의 특정 단어 위치 부분을 사용자의 조작에 따라 맞추어서 촬영함에 의해, 촬영된 문자 부분을 디지털 이미지 데이터의 형태로 출력한다.
상기 통신 인터페이스(24)는 상기 정보 조회 단말기(30)의 통신 인터페이스(32)와 문자 이미지 데이터의 전송 및, 그 데이터 전송을 위한 제어 통신이 가능하도록 상호 연결되고서, 상기 제어부(26)의 제어에 따라 촬영 카메라(22)로부터 촬영된 문자 이미지 데이터를 상기 정보 조회 단말기(30) 측으로 전송한다.
여기서, 상기 이미지 입력장치(20)의 통신 인터페이스(24)와 상기 정보 조회 단말기(30)의 통신 인터페이스(32)는 IrDA, Bluetooth, zigbee, WirelessUSB 등과 같은 근거리 무선 통신 모듈 형태로 이루어지거나, 시리얼 인터페이스로서 UART, USB 등과 같은 유선 통신 모듈 형태로 이루어진다.
상기 제어부(26)는 상기 촬영 카메라(22)를 통해 인쇄물(10)의 특정 문자 부분이 촬영되면, 사용자의 조작에 따라 촬영 카메라(22)로부터 촬영된 문자 이미지 데이터가 통신 인터페이스(24)를 통해 상기 정보 조회 단말기(30)로 전송되도록 제어한다.
또한, 상기 정보 조회 단말기(30)의 통신 인터페이스(32)는 상기 이미지 입력장치(20)의 통신 인터페이스(24)와 데이터 수신 및 제어 통신이 가능하도록 상호 연결되어, 상기 촬영 카메라(22)로부터 촬영된 문자 이미지 데이터를 상기 통신 인터페이스(24)를 통해 수신받게 된다.
상기 이미지 전처리기(34)는 상기 통신 인터페이스(32)를 통해 수신되는 상기 이미지 입력장치(20)로부터의 문자 이미지 데이터를 입력받아, 해당 문자 이미지 데이터를 문자 인식에 적합하도록 2진 데이터로 변환하고, 문자 이미지를 제외한 노이즈 성분을 제거하게 된다.
상기 문자 인식기(36)는 상기 이미지 전처리기(34)를 통해 전처리된 2진의 이미지 데이터에 대한 문자 인식 처리를 수행하여 문자 데이터로 변환하게 된다.
상기 인식 후처리기(38)는 상기 문자 인식기(36)를 통해 인식 변환된 문자 데이터의 유효성을 판단하기 위한 것으로서, 이는 예컨대 한글자로 이루어진 단어나, 의미를 파악할 수 없는 단어, 기호 등에 대해서는 유효하지 않은 인식 결과로 처리하여 상기 제어부(52)에 그 유효성 판단 결과를 제공한다.
상기 미디어 기록매체(40)는 상기 인쇄물(10)의 포함된 모든 단어 또는 사진, 그림의 설명 단어(또는 명칭)와 관련하여 추가적인 보충 자료, 보완 자료로서 제공할 수 있는 텍스트, 이미지, 오디오, 플래쉬, 동영상 등의 멀티미디어 데이터가 전반적으로 저장되어 있는 것으로서, 이는 해당 정보 조회 단말기(30)가 개인용 컴퓨터, 노트북 컴퓨터인 경우에는 하드 디스크 드라이브에 해당되고, 이동통신 단말기, 스마트폰, PDA, PMP인 경우에는 대용량의 반도체 메모리 또는 소형의 하드 디스크 드라이브로 이루어지는 것이 바람직하다.
상기 외부 기록매체(42)는 상기 정보 조회 단말기(30)와 착탈이 가능한 형태로 이루어져서, 상기 미디어 기록매체(40)에 수록되어 있는 멀티미디어 데이터에 대해 추가적이거나 업데이트된 멀티미디어 자료가 저장되어 있는 것으로서, 이는 SD 카드, Mini-SD 카드, CF 카드, MMC 카드, XD 카드, T-Flash 카드 등과 같은 메모리 카드나, 컴팩트 디스크(CD), 디브이디(DVD), 미니 디스크(MD) 등과 같은 디스크형 기록매체, 메모리 스틱 등으로 이루어지는 것이 바람직하다.
상기 기록매체 인터페이스(44)는 상기 외부 기록매체(42)를 장착하고 해당 기록매체를 인식하여 저장 정보를 읽어들이기 위한 것이다.
상기 미디어 검색부(46)는 상기 이미지 전처리기(34), 문자 인식기(36), 인식 후처리기(38)를 통해 문자 이미지 데이터의 문자 인식 처리 결과로 도출된 문자를 검색어로 하여 상기 미디어 기록매체(40) 및 외부 기록매체(42)의 저장 데이터에 대한 관련 정보 검색을 수행하여, 상기 문자의 단어와 관련된 미디어 컨텐츠를 추출하여 상기 표시부(48) 및 음성 출력부(50)로 출력시키게 된다.
상기 표시부(48)는 상기 제어부(52)의 표시 제어하에, 상기 미디어 검색부(46)를 통해 검색이 이루어진 상기 문자와 관련된 미디어 컨텐츠 즉, 텍스트, 이미지, 플래쉬, 동영상 데이터를 사용자가 가시적으로 확인 가능하도록 디스플레이하게 된다.
상기 음성 출력부(50)는 오디오 신호를 전력 증폭하는 전력 증폭부와 스피커로 이루어지고서, 상기 미디어 검색부(46)를 통해 검색이 이루어진 상기 문자와 관 련된 오디오 컨텐츠 즉, 오디오 데이터와, 플래쉬의 오디오 부분, 동영상의 오디오 부분을 사용자가 가청적으로 확인 가능하도록 음성 출력하게 된다.
상기 제어부(52)는 상기 인식 후처리기(38)를 통해 유효성 판단이 이루어진 문자 인식 결과에 따른 문자 데이터를 상기 미디어 검색부(46)에 제공하여 해당 문자와 관련된 미디어 컨텐츠의 검색을 요청하고, 상기 인식 후처리기(38)를 통해 유효하지 않은 문자로 판단된 문자 이미지에 대해서는 상기 표시부(48)를 통해 유효하지 않은 결과에 대한 표시와 재촬영 요구 표시가 이루어질 수 있도록 하고, 상기 통신 인터페이스(32)를 통해 상기 이미지 입력장치(20)에 비유효성 판단 결과 및 재촬영 요청 정보를 제공한다.
상기 이미지 입력장치(20)의 제어부(26)에서는 상기 정보 조회 단말기(30)의 제어부(52)로부터 비유효성 판단 결과 및 재촬영 요청 정보를 수신받으면, 해당 이미지 입력장치(20)에 마련된 별도의 표시부(도시되지 않음)를 통해 그 상태를 디스플레이하거나, 스피커(도시되지 않음)를 통해 알람음을 발생하여 사용자에게 알릴 수 있도록 하는 것이 바람직하다.
한편, 상기 미디어 검색부(46)에서 미디어 기록매체(40) 또는 외부 기록매체(42)에 저장된 미디어 컨텐츠를 검색하는 경우에, 도 3에 도시된 바와 같이 상기 미디어 기록매체(40)에는 텍스트 미디어 데이터와, 이미지 미디어 데이터, 오디오 미디어 데이터, 동영상 미디어 데이터, 플래쉬 미디어 데이터가 구분적으로 저장되어 있고, 상기 이미지, 오디오, 동영상, 플래쉬 미디어 데이터에 대해서는 각각의 설명 단어(또는 명칭)를 나타내는 이미지 인덱스, 오디오 인덱스, 동영상 인덱스, 플래쉬 인덱스가 부여되어 있다.
상기 미디어 검색부(44)는 상기 미디어 기록매체(38)의 텍스트 미디어 데이터의 텍스트 기록 부분 전체에 대해, 인식 문자와 관련된 관련 텍스트를 전반적으로 검색하게 되고, 그 결과에 따른 관련 텍스트 컨텐츠를 추출하게 된다.
또한, 상기 미디어 검색부(44)는 상기 이미지, 오디오, 동영상, 플래쉬 미디어 데이터에 대해, 각각의 이미지 인덱스, 오디오 인덱스, 동영상 인덱스, 플래쉬 인덱스를 검색하게 되는데, 해당 인식 문자와 관련된 이미지, 오디오, 동영상, 플래쉬 컨텐츠의 인덱스에 대한 검색을 각각 개별적으로 수행하게 되고, 그 결과로 검색된 인덱스와 연결되어 있는 관련 이미지, 오디오, 동영상, 플래쉬 컨텐츠를 추출하게 된다.
이어, 상기한 바와 같이 이루어진 본 발명의 동작에 대해 도 4의 플로우차트를 참조하여 상세히 설명한다.
먼저, 사용자가 책자 형태로 제본되거나 문서 형태로 이루어진 인쇄물(10)을 읽다가 예컨대 "호랑이"와 같은 특정 단어나 "호랑이 그림"의 설명 단어(또는 명칭)으로서 "호랑이"에 대해 추가적인 미디어 자료를 찾고자 하는 경우에, 이미지 입력 장치(20)에서 상기 인쇄물(10)의 특정 단어 부분을 촬영 위치에 고정하고 촬영 카메라(22)를 통해 해당 단어를 촬영하면(단계 S10), 상기 이미지 입력 장치(20)의 제어부(26)에서 통신 인터페이스(24)를 통해 정보 조회 단말기(30)에 상기 촬영된 특정 단어의 문자 이미지 데이터를 전송하게 된다(단계 S11).
상기 정보 조회 단말기(30)의 이미지 전처리기(34)는 그 통신 인터페이 스(32)를 통해 수신되는 이미지 입력장치(20)로부터의 문자 이미지 데이터를 문자 인식에 적합하도록 흑백의 국소 2진 데이터로 변환하고, 문자 영역 이외에 존재하는 노이즈 성분을 제거하게 된다(단계 S12).
상기 정보 조회 단말기(30)의 문자 인식기(36)는 상기 이미지 전처리기(34)를 통해 변환된 2진 데이터에 대한 문자 인식을 수행하여 문자 데이터로 인식 변환하게 되며(단계 S13), 인식 후처리기(38)는 상기 인식 변환된 문자 데이터에 대한 유효성을 판단하고 그 유효성 판단 결과를 제어부(52)에 제공하게 된다(단계 S14).
상기 제어부(52)는 상기 인식 후처리기(38)로부터의 유효성 판단 결과로 인식 문자가 미디어 자료의 검색을 위해 유효한 문자인지를 판단하게 되는 바(단계 S15), 상기 판단 결과 상기 인식 문자가 유효하지 않은 것으로 판단하게 되면 그 표시부(48) 상에 비유효 상태를 디스플레이함과 더불어, 통신 인터페이스(32)를 통해 상기 이미지 입력장치(20)에 재촬영을 요청하게 된다(단계 S16).
하지만, 상기 판단 결과 상기 인식 후처리기(38)로부터 인식 문자가 유효한 것으로 판정되어 그 판정 결과에 따라 예컨대 "호랑이"와 같은 문자 데이터를 전달받게 되면, 상기 제어부(52)는 미디어 검색부(46)에 상기 인식 문자 데이터와 관련된 미디어 컨텐츠의 검색을 요청하게 되고, 상기 미디어 검색부(46)는 예컨대 "호랑이"와 같은 상기 인식 문자 데이터를 검색어로 하여 미디어 기록매체(40) 또는 외부 기록매체(42)에 저장된 텍스트 미디어 데이터에 대한 관련 텍스트 검색을 진행함과 더불어, 이미지, 오디오, 동영상, 플래쉬 미디어 데이터에 대해 각각 연결된 이미지 인덱스, 오디오 인덱스, 동영상 인덱스, 플래쉬 인덱스에 대한 검색을 수행한다(단계 S17).
상기 제어부(40)는 상기 미디어 검색부(46)에서 검색 결과가 추출되는 지를 판단하게 되고(단계 S18), 그 판단 결과로 상기 인식 문자 데이터에 대한 관련 미디어 컨텐츠의 검색 결과가 추출되었다고 판단되면, 예컨대 "호랑이"와 같은 인식 문자 데이터와 관련된 미디어 컨텐츠(즉, "호랑이"에 대한 추가 설명이 포함된 텍스트 컨텐츠, "호랑이"의 그림, 사진이 있는 이미지 컨텐츠, "호랑이"에 대한 설명이 포함된 나레이터 음성, "호랑이"의 울음소리가 포함된 오디오 컨텐츠, "호랑이"와 관련된 동영상 컨텐츠, "호랑이"를 주제로 하는 플래쉬 컨텐츠)가 표시부(48) 또는 음성 출력부(50)를 통해서 출력될 수 있도록 하여 사용자가 가시적 또는 가청적으로 추가 정보를 확인할 수 있도록 한다(단계 S19).
상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.
이상과 같이 본 발명에 따르면, 책자나 문서 등과 같은 인쇄물에서 특정 단어에 대해 추가적으로 확인하고자 하는 자료가 필요한 경우에, 인쇄물의 특정 단어를 촬영하고 그 촬영된 문자 이미지를 문자 인식하여, 해당 인식 문자와 관련된 미디어 컨텐츠를 미디어 정보가 수록된 기록매체로부터 검색한 다음에, 검색 결과로 추출되는 관련 미디어 컨텐츠를 출력할 수 있도록 함에 따라, 인쇄물과 전자적인 미디어 컨텐츠를 상호 연계시켜서 인쇄물의 가독성, 친근성과 미디어 컨텐츠의 편리함을 동시에 만족할 수 있도록 함에 의해, 사용자의 학습 및 독서 효율을 극대화시키는 것이 가능하다는 효과를 갖게 된다.

Claims (9)

  1. 인쇄물의 특정 단어를 촬영하여 해당 단어와 관련된 미디어 컨텐츠의 정보 조회를 위해 촬영된 문자 이미지 데이터를 제공하는 이미지 입력장치와;
    상기 이미지 입력장치로부터의 문자 이미지 데이터에 대한 문자 인식을 수행하고, 상기 문자 인식된 문자 데이터와 관련된 미디어 컨텐츠를 기저장된 미디어 컨텐츠 저장소로부터 검색하여 영상 디스플레이 및 음성 출력하는 정보 조회 단말기를 포함하여 구성된 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  2. 제 1 항에 있어서,
    상기 정보 조회 단말기는, 개인용 컴퓨터 단말기(PC)나 노트북 컴퓨터, 이동통신 단말기, 스마트폰, PDA, PMP 중에서 적어도 어느 하나인 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  3. 제 1 항에 있어서,
    상기 이미지 입력장치는, 인쇄물의 특정 단어 위치 부분을 촬영하여 문자 이미지 데이터의 형태로 출력하는 촬영 카메라와,
    상기 촬영 카메라로부터 촬영된 문자 이미지 데이터를 상기 정보 조회 단말기 측으로 전송하는 통신 인터페이스 및,
    상기 촬영 카메라로부터 촬영된 문자 이미지 데이터가 상기 통신 인터페이스를 통해 상기 정보 조회 단말기로 전송되도록 제어하는 제어부를 포함하여 구성된 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  4. 제 1 항에 있어서,
    상기 정보 조회 단말기는, 상기 이미지 입력장치로부터 전송되는 문자 이미지 데이터를 수신받는 통신 인터페이스와,
    상기 통신 인터페이스를 통해 수신되는 문자 이미지 데이터를 문자 인식에 적합하도록 2진 데이터로 변환하고, 문자 이미지를 제외한 노이즈 성분을 제거하는 이미지 전처리기,
    상기 이미지 전처리기를 통해 전처리된 2진의 이미지 데이터에 대한 문자 인식 처리를 수행하여 문자 데이터로 변환하는 문자 인식기,
    상기 문자 인식기를 통해 인식 변환된 문자 데이터의 유효성을 판단하기 위한 인식 후처리기,
    상기 인쇄물에 포함된 모든 단어나 사진, 그림의 설명 단어와 관련하여 추가적인 보충 자료, 보완 자료로서 제공할 수 있는 미디어 컨텐츠가 전반적으로 저장되어 있는 미디어 기록매체,
    상기 문자 인식 처리된 인식 문자를 검색어로 하여 상기 미디어 기록매체의 저장 데이터에 대한 관련 정보 검색을 수행하고, 상기 문자의 단어와 관련된 미디어 컨텐츠를 추출하는 미디어 검색부,
    상기 미디어 검색부를 통해 검색이 이루어진 상기 인식 문자와 관련된 미디어 컨텐츠를 디스플레이하는 표시부,
    상기 미디어 검색부를 통해 검색이 이루어진 상기 문자와 관련된 미디어 컨텐츠의 오디오 부분을 음성 출력하는 음성 출력부 및,
    상기 인식 후처리기를 통해 유효성 판단이 이루어진 인식 문자 데이터를 상기 미디어 검색부에 제공하여 해당 문자와 관련된 미디어 컨텐츠의 검색을 요청하는 제어부를 포함하여 구성된 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  5. 제 4 항에 있어서,
    상기 정보 조회 단말기에 대해 착탈 가능하게 이루어져서, 상기 미디어 기록매체에 수록되어 있는 미디어 컨텐츠에 대해 추가적이거나 업데이트된 멀티미디어 자료가 저장되어 있는 외부 기록매체와,
    상기 외부 기록매체를 장착하고 해당 기록매체를 인식하여 저장 정보를 읽어들이기 위한 기록매체 인터페이스를 더 포함하여 구성된 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  6. 제 3 항 또는 제 4 항에 있어서,
    상기 이미지 입력장치의 통신 인터페이스와 상기 정보 조회 단말기의 통신 인터페이스는, IrDA, Bluetooth, zigbee, WirelessUSB 와 같은 근거리 무선 통신 모듈 형태이거나, UART, USB 와 같은 유선 통신 모듈 형태 중에서 적어도 어느 하나인 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템.
  7. 이미지 입력장치에서 인쇄물의 특정 단어 위치 부분을 촬영하고, 그 촬영된 문자 이미지 데이터를 근거리 통신을 통해 정보 조회 단말기로 전송하는 제 1단계와;
    상기 정보 조회 단말기에서 상기 문자 이미지 데이터를 수신받아 문자 인식 처리를 수행하고, 문자 인식된 문자 데이터에 대한 유효성을 판단하는 제 2단계;
    상기 문자 인식 및 유효성 판단이 이루어진 인식 문자 데이터와 관련된 정보 내용을 갖는 미디어 컨텐츠를, 상기 인쇄물의 내용과 관련하여 전반적인 추가 정보가 포함된 미디어 컨텐츠가 저장된 기록매체로부터 검색하는 제 3단계; 및
    미디어 컨텐츠의 검색 결과로, 상기 인식 문자 데이터와 관련된 정보 내용을 갖는 미디어 컨텐츠를 추출하여 영상 디스플레이 및 음성 출력하는 제 4단계를 포함하여 이루어진 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 방법.
  8. 제 7 항에 있어서,
    상기 제 2단계는, 상기 문자 이미지 데이터를 문자 인식에 적합하도록 2진 데이터로 변환하고, 문자 이미지를 제외한 노이즈 성분을 제거하는 단계와,
    상기 변환된 2진의 이미지 데이터에 대한 문자 인식 처리를 수행하여 문자 데이터로 변환하는 단계 및,
    상기 인식 변환된 문자 데이터의 유효성을 판단하는 단계를 포함하는 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 방법.
  9. 제 8 항에 있어서,
    상기 문자 데이터의 유효성을 판단하는 단계는, 상기 문자 데이터의 유효성 판단 결과로 해당 문자가 유효하지 않다고 판단되면, 상기 정보 조회 단말기에서 이미지 입력장치로 재촬영을 요청하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 방법.
KR1020070044827A 2007-05-09 2007-05-09 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법 Ceased KR20080099385A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070044827A KR20080099385A (ko) 2007-05-09 2007-05-09 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법
PCT/KR2008/002392 WO2008140194A1 (en) 2007-05-09 2008-04-28 System and method for searching and output of media contents via character recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044827A KR20080099385A (ko) 2007-05-09 2007-05-09 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법

Publications (1)

Publication Number Publication Date
KR20080099385A true KR20080099385A (ko) 2008-11-13

Family

ID=40002363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044827A Ceased KR20080099385A (ko) 2007-05-09 2007-05-09 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법

Country Status (2)

Country Link
KR (1) KR20080099385A (ko)
WO (1) WO2008140194A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503780B2 (en) 2009-12-29 2013-08-06 Samsung Electronics Co., Ltd. Apparatus for detecting text recognition region and method of recognizing text
KR20200036520A (ko) 2018-09-28 2020-04-07 주식회사 모리스 압력 기반의 사용자 입력 장치와 이를 이용한 3d 무선 프리젠터

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912717A (zh) * 2016-04-29 2016-08-31 广东小天才科技有限公司 基于图像的信息搜索方法及装置
CN108255822A (zh) * 2016-12-28 2018-07-06 深圳市氧橙互动娱乐有限公司 一种交互式图书阅读方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1548635B1 (en) * 2002-09-26 2009-06-24 Kenji Yoshida Information reproduction/i/o method using dot pattern and information reproduction device
KR20060001392A (ko) * 2004-06-30 2006-01-06 주식회사 한국인식기술 문자 인식을 이용한 내용검색 기반의 문서 이미지 저장 방법
KR20060116985A (ko) * 2005-05-12 2006-11-16 유니챌(주) 인쇄 구분자를 이용한 멀티미디어 재생시스템 및 방법
JP4834351B2 (ja) * 2005-08-22 2011-12-14 株式会社東芝 文字認識装置及び文字認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503780B2 (en) 2009-12-29 2013-08-06 Samsung Electronics Co., Ltd. Apparatus for detecting text recognition region and method of recognizing text
KR20200036520A (ko) 2018-09-28 2020-04-07 주식회사 모리스 압력 기반의 사용자 입력 장치와 이를 이용한 3d 무선 프리젠터

Also Published As

Publication number Publication date
WO2008140194A1 (en) 2008-11-20

Similar Documents

Publication Publication Date Title
US20130120548A1 (en) Electronic device and text reading guide method thereof
US20100268929A1 (en) Electronic device and setting method thereof
WO2010073629A1 (ja) コンテンツ蓄積処理システム、コンテンツ蓄積処理方法、及び、半導体集積回路
WO2002052841A1 (en) Information processor, information processing method, machine-readable recording medium with control information on control of information processor recorded therein, and image processor
KR20080099385A (ko) 문자 인식을 통한 미디어 컨텐츠 검색 및 출력 시스템과 그방법
KR20080090117A (ko) 페이지를 자동 인식하는 도서내용출력장치 및 그 방법
JP2003111009A (ja) 電子アルバム編集装置
JPS6395578A (ja) 画像情報処理装置
JP2003069935A (ja) 画像データの分類保存方法
US20090182548A1 (en) Handheld dictionary and translation apparatus
KR101823734B1 (ko) 시각장애인을 위한 대체컨텐츠 자동검색장치.
JP2006238220A (ja) 撮像装置、撮像方法、及びプログラム
US20070121805A1 (en) Message recording unit, message reproducing unit and message recording/reproducing method
KR20060066597A (ko) 정보 처리 장치 및 정보 처리 방법
JP2006050095A (ja) 情報管理装置及びコンピュータプログラム
KR20100124952A (ko) 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법
KR100644665B1 (ko) 외부 기억장치로부터 데이터를 입력받아 인쇄하는 방법 및장치
US20060132843A1 (en) Image forming method and apparatus for printing image data received from external storage device
KR20140025720A (ko) 교재의 인식 코드를 이용하여 멀티미디어 콘텐츠를 제공하는 학습 시스템 및 방법
JP4133298B2 (ja) デジタルカメラ装置
JP4814480B2 (ja) 電子カメラ
JP6720734B2 (ja) 画像処理装置及び画像処理プログラム
CN110764728B (zh) 基于数据重复度识别的快速浏览系统
JP5223328B2 (ja) 情報管理装置及び情報管理方法ならびにそのプログラム
JP2001042413A (ja) 画像撮影装置、画像撮影方法、画像処理装置、画像処理方法、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070509

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080924

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20090323

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20080924

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I