KR20230079938A

KR20230079938A - Ocr을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법

Info

Publication number: KR20230079938A
Application number: KR1020210167192A
Authority: KR
Inventors: 김은수; 전인규; 오동근
Original assignee: (주)아이씨엔아이티
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2023-06-07

Abstract

OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법이 제공된다. 상기 방법은, 관리서버에 의해 수행되는 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법에 있어서, 섬유에 관련된 페이퍼문서에 대한 템플릿정보를 설정하는 단계; 및 상기 페이퍼문서에 대하여 판독가능한 문서로 처리된 문서이미지를 획득하는 단계; 상기 템플릿정보를 기초로 문서이미지를 전처리하는 단계; 상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 항목정보의 텍스트를 인식하는 단계; 상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 필드정보의 텍스트를 인식하는 단계; 및 상기 항목정보와 상기 필드정보를 매칭하여 객체데이터를 생성하는 단계;를 포함할 수 있다.

Description

OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법 {OBJECT EXTRACTIING SYSTEM INCLUDE IN PAPER IMAGE USING OCR AND METHOD THEREOF}

본 발명은 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법에 관한 것으로써, 특히 섬유 거래명세서에 대한 다양한 크기의 문서이미지를 템플릿 영역에 맞게 전처리한 후 OCR을 이용하여 자동으로 객체를 추출할 수 있는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법에 관한 것이다.

최근, 디지털 저장 매체의 급속한 보급에 따라 기존에 지면으로 존재하였던 문서들에 대한 디지털화 작업이 활발히 전개되고 있다.

이와 같은 현상은 문서에 포함된 문자를 자동으로 인식하는 기술인 광학 문자 인식 기술 (Optical Character Recognition: OCR)의 발전에 따라 더욱 더 가속화되고 있는 실정이다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것을 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여서는 안될 것이다.

대한민국 등록특허 제10-1028670호

본 발명이 해결하고자 하는 과제는 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템 및 그 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일실시예에 따른 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법은, 관리서버에 의해 수행되는 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법에 있어서, 섬유에 관련된 페이퍼문서에 대한 템플릿정보를 설정하는 단계; 및 상기 페이퍼문서에 대하여 판독가능한 문서로 처리된 문서이미지를 획득하는 단계; 상기 템플릿정보를 기초로 문서이미지를 전처리하는 단계; 상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 항목정보의 텍스트를 인식하는 단계; 상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 필드정보의 텍스트를 인식하는 단계; 및 상기 항목정보와 상기 필드정보를 매칭하여 객체데이터를 생성하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 있어서, 상기 문서이미지를 전처리하는 단계는, 문서이미지에 포함된 문서 여백의 스테이플과 접힌 자국을 보정하고, 문서이미지에 허프변환(hough transform)을 적용하여 라인(line)을 검출하고, 검출된 라인으로 이미지의 기울어진 각도를 파악하여 자동으로 문서이미지를 회전하고, 문서이미지의 흔들림, 밝기, 선명도, 각도를 필터링하는 단계; 상기 필터링 작업이 완료된 후, 문서이미지에 포함된 단어들이 의미있는 단어의 최소 단위로 구분되도록 공백제거필터, 특수문자제거필터를 이용하여 토큰화 작업을 수행하는 단계; 상기 토큰화 작업이 완료된 후 상기 문서이미지에 포함된 등장 빈도가 낮은 단어 또는 다수 반복되는 해당 단어들에 대한 노이즈 데이터를 제거하여 잔존하는 단어들의 의미가 부각되도록 정제화 작업을 수행하는 단계; 및 상기 정제화 작업이 완료된 후 상기 문서이미지를 정규화하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 있어서, 상기 텍스트를 인식하는 단계는, 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 텍스트를 인식할 수 있다.

본 발명의 일실시예에 있어서, 상기 항목정보의 텍스트를 인식하는 단계는, 상기 템플릿정보에 기초하여 전처리된 문서이미지에서 상기 항목정보에 대응하는 항목 영역을 추출하는 단계; 및 상기 항목 영역에서 텍스트 라인을 분리하여 상기 항목정보의 텍스트를 인식하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 있어서, 상기 항목정보의 텍스트를 인식하는 단계는, 상기 항목 영역으로부터 인식된 항목이미지에 대한 항목좌표정보를 생성하는 단계;를 더 포함할 수 있다.

본 발명의 일실시예에 있어서, 상기 필드정보의 텍스트를 인식하는 단계는, 상기 템플릿정보에 기초하여 전처리된 문서이미지에서 상기 필드정보에 대응하는 필드 영역을 추출하는 단계; 및 상기 필드 영역에서 텍스트 라인을 분리하여 상기 필드정보의 텍스트를 인식하는 단계;를 포함할 수 있다.

본 발명의 일실시예에 있어서, 상기 필드정보의 텍스트를 인식하는 단계는, 상기 필드 영역으로부터 인식된 필드이미지에 대한 필드좌표정보를 생성하는 단계;를 더 포함할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 다른 일실시예에 따른 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템은, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템에 있어서, 이미지 입력장치로부터 섬유에 관련된 페이퍼문서가 판독가능한 문서로 처리된 문서이미지를 획득하는 관리서버;를 포함하고, 상기 관리서버는 상기 페이퍼문서에 대한 템플릿정보를 설정하고, 상기 템플릿정보를 기초로 문서이미지를 전처리하고, 전처리된 문서이미지를 분석하여 OCR을 적용하여 항목정보의 텍스트와, 필드정보의 텍스트를 인식한 후, 상기 항목정보와 상기 필드정보를 매칭하여 객체데이터를 생성할 수 있다.

본 발명의 일실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 섬유 거래명세서에 대한 다양한 크기의 문서이미지를 템플릿 영역에 맞게 전처리한 후 OCR을 이용하여 자동으로 객체를 추출하여 사용자의 편의성 및 신뢰성을 높일 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예인 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법을 설명하기 위한 도면이다.
도 3은 도 2에 도시된 템플릿정보를 설정하는 화면을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 이미지 입력장치로부터 문서이미지를 수신하는 화면을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 객체데이터를 생성하는 화면을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일실시예인 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템(1)은 이미지 입력장치(10), 관리서버(20) 및 관리자 단말기(30)를 포함할 수 있다. 이때, 관리자 단말기(30)는 생략될 수 있다.

여기서, 이미지 입력장치(10), 관리서버(20) 및 관리자 단말기(30)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다.

이미지 입력장치(10)는 전산화 대상에 해당하는 문서를 이미지로 변화할 수 있다.

본 실시예에서, 전산화 대상을 섬유거래 시 사용되는 섬유 거래명세서(11)로 개시하였지만, 이에 한정하지 않고, 섬유거래 시 사용되는 페이퍼 상태의 문서일 수 있다.

이미지 입력장치(10)는 섬유 거래명세서(11)에 대한 이미지를 처리하는 장치로써, 휴대용 단말기, 문서 스캐너, 카메라, 팩스, 휴대용 단말기 등을 포함할 수 있지만, 이에 한정하지 않고, 섬유 거래명세서(11)를 컴퓨터 판독 가능한 이미지로 변화하는데 적합한 임의의 장치를 포함할 수 있다.

구체적으로, 이미지 입력장치(100)는 섬유 거래명세서(11)를 이미지로 변환하여 섬유 거래명세서(11)에 대한 문서이미지를 획득할 수 있다.

이때, 문서이미지는 섬유 거래명세서(11)에 대한 정보로써, 다양한 크기의 섬유 거래명세서(11)에 대한 이미지가 포함될 수 있다.

이와 같은 이미지 입력장치(100)는 섬유 거래명세서(11)로부터 획득한 문서이미지를 관리서버(20)로 전송할 수 있다.

또한, 이미지 입력장치(10)는 본 개시에서 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 동작할 수 있으며, 이러한 응용 프로그램은 무선통신을 통해 외부서버 또는 관리서버(20)로부터 다운로드 될 수 있다.

관리서버(20)는 데이터송수신부(22), 데이터베이스부(24), 모니터링부(26) 및 서버제어부(28)를 포함할 수 있다.

데이터송수신부(22)는 이미지 입력장치(10)로부터 문서이미지를 수신할 수 있다.

실시예에 따라, 데이터송수신부(22)는 문서이미지에 대한 객체데이터를 관리자 단말기(30)로 전송할 수 있다.

데이터베이스부(24)는 무선통신망을 통해 이미지 입력장치(10) 또는 관리자 단말기(30)와 송수신되는 데이터를 저장할 수 있다.

데이터베이스부(24)는 관리서버(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(24)는 관리서버(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 관리서버(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.

모니터링부(26)는 사용자 조작에 의한 이미지 입력장치(10)의 동작상태, 관리서버(20)의 동작상태, 그리고 이미지 입력장치(10)와 관리서버(20) 사이의 송수신되는 데이터 또는 관리서버(20)와 관리자 단말기(30) 사이의 송수신되는 데이터 등을 화면을 통해 모니터링 할 수 있다.

제어부(28)는 이미지 입력장치(100)로부터 입력된 문서이미지를 분석하여 텍스트정보와 필드정보에 대한 객체를 인식하여 객체데이터를 생성할 수 있다.

구체적으로, 제어부(28)는 템플릿설정모듈(280), 전처리모듈(282), 항목인식모듈(284), 필드인식모듈(286) 및 서버제어모듈(288)을 포함할 수 있다.

템플릿설정모듈(280)은 다양한 크기의 문서이미지를 변환하기 위해 템플릿정보를 설정할 수 있다.

구체적으로, 템플릿정보는 페이퍼문서 즉, 섬유 거래명세서(11)에 대한 항목정보, 필드정보 및 영역정보를 설정할 수 있다.

항목정보에는 거래업체명, 등록번호, 사업장주소, 거래수량, 거래가격, 출고처, 출고되는 섬유 등에 대해 문자로 인식되는 정보가 포함될 수 있고, 필드정보에는 항목정보에 매칭되어 거래업체명, 등록번호, 사업장주소, 거래수량, 거래가격, 출고처, 출고되는 섬유 등에 대해 문잘 인식되는 정보가 포함될 수 있으며, 영역정보에는 인식 영역별로 이미지에 대한 픽셀정보가 포함될 수 있다. 예를 들어, 영역정보는 문서이미지 내에서 선택되는 영역에 대한 크기정보로써, 문서이미지의 전체영역, 항목영역 또는 필드영역에 대한 좌표정보일 수 있다.

전처리모듈(282)은 문서이미지가 명확하게 인식되도록 전처리할 수 있다.

구체적으로, 전처리모듈(282)은 문서이미지가 인식되도록 필터링 작업, 토큰화(Tokenization) 작업, 정제화(Cleaning) 작업 및 정규화(Normalization) 작업을 순서대로 진행하여 전처리할 수 있다.

예를 들어, 전처리모듈(282)은 문서이미지에 포함된 문서 여백의 스테이플과 접힌 자국을 보정하고, 문서이미지에 허프변환(hough transform)을 적용하여 라인(line)을 검출하고, 검출된 라인으로 이미지의 기울어진 각도를 파악하여 자동으로 문서이미지를 회전하고, 문서이미지의 흔들림, 밝기, 선명도, 각도를 필터링할 수 있다.

또한, 전처리모듈(282)은 필터링된 문서이미지에 포함된 단어들이 의미있는 단어의 최소 단위로 구분되도록 공백제거필터, 특수문자제거필터를 이용하여 토큰화 작업을 수행할 수 있다.

또한, 전처리모듈(282)은 토큰화 작업이 끝난 문서이미지에 포함된 노이즈 데이터(noise data)를 제거하는 정제화 작업을 수행할 수 있다. 즉, 영역추출모듈(282)은 등장 빈도가 낮은 단어 또는 다수 반복되는 해당 단어들에 대한 노이즈 데이터를 제거하여 잔존하는 단어들의 의미가 부각되도록 정제화 작업을 수행할 수 있다.

또한, 전처리모듈(282)은 정제화 작업이 끝난 텍스트데이터를 정규화할 수 있다.

실시예에 따라, 전처리모듈(282)은 문서이미지에 포함된 오탈자를 자동을 검수하여 전처리할 수 있다.

항목인식모듈(284)은 전처리된 문서이미지를 분석하여 템플릿정보를 기초로 항목정보에 대응하는 항목 영역을 추출하여 항목을 인식하고, 인식된 항목 이미지에 대한 항목좌표정보를 생성할 수 있다.

구체적으로, 항목인식모듈(284)은 템플릿정보에 기초하여 전처리된 문서이미지에서 항목정보에 대응하는 항목 영역을 추출한 후, 항목 영역에서 텍스트 라인을 분리하고, OCR을 적용하여 항목의 텍스트를 인식할 수 있다. 즉, 항목인식모듈(284)은 인식된 항목 이미지에 대한 텍스트좌표정보를 생성할 수 있다.

예를 들어, OCR을 통해 항목인식모듈(284)은 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 텍스트를 인식할 수 있다.

본 실시예에서, 항목인식모듈(284)은 MSER(Maximally Stable Extremal Regions), 스트로크 폭 변환(Stroke Width Transform)방법 등을 이용하여 문서이미지에 텍스트가 기재된 영역을 추출하는 것으로 개시하였지만, 이에 한정하지 않는다.

필드인식모듈(286)은 전처리된 문서이미지를 분석하여 템플릿정보를 기초로 문서이미지에서 필드정보에 대응하는 필드 영역을 추출하여 필드를 인식하고, 인식된 필드 이미지에 대한 필드좌표정보를 생성할 수 있다.

구체적으로, 필드인식모듈(286)은 템플릿정보에 기초하여 전처리된 문서이미지에서 항목인식모듈(284)에서 인식된 항목정보에 따라 필드정보에 대응하는 필드 영역을 추출한 후, 필드 영역에서 텍스트 라인을 분리하고, OCR을 적용하여 필드의 텍스트를 인식할 수 있다. 즉, 필드인식모듈(286)은 인식된 필드 이미지에 대한 필드좌표정보를 생성할 수 있다.

예를 들어, OCR을 통해 필드인식모듈(286)은 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 문자를 인식할 수 있다.

본 실시예에서, 필드인식모듈(286)은 MSER(Maximally Stable Extremal Regions), 스트로크 폭 변환(Stroke Width Transform)방법 등을 이용하여 문서이미지에 텍스트가 기재된 영역을 추출하는 것으로 개시하였지만, 이에 한정하지 않는다.

서버제어모듈(288)은 템플릿정보에 기초하여 텍스트 라인 단위로 항목정보를 인식하고, OCR을 통해 인식된 항목정보에 대응하는 필드정보를 인식하여 문서화하여 객체데이터를 생성할 수 있다.

구체적으로, 서버제어모듈(288)은 템플릿정보를 기초로 OCR을 통해 추출된 항목 영역에서 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 항목정보에 대한 텍스트를 인식하고, 인식된 항목정보에 따라 필드 영역에서 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 필드정보에 대한 텍스트를 인식한 후, 항목정보와 필드정보를 매칭하여 객체데이터를 생성할 수 있다.

실시예에 따라, 서버제어모듈(288)은 텍스트 라인 단위로 항목정보와 필드정보를 매칭하여 객체데이터를 생성할 수 있다.

또한, 서버제어모듈(288)은 전처리된 문서이미지로부터 생성된 객체데이터를 수정할 수 있다. 이때, 서버제어모듈(288)은 수정된 객체데이터를 업데이트할 수 있다.

또한, 서버제어모듈(288)은 항목정보 및 필드정보를 전처리하여 분류 가능한 데이터로 변환시킬 수 있다. 예를 들어, 서버제어모듈(288)은 RPA(Robot Process Automation) 전처리를 통해 데이터를 분류 가능한 데이터로 변환시킬 수 있다.

실시예에 따라, 서버제어모듈(288)은 템플릿정보를 기초로 생성된 객체데이터를 테스트하여 정확도가 높은 객체데이터를 생성할 수 있다.

예를 들어, 관리제어부(286)는 OCR을 적용하여 생성된 객체데이터가 설정된 템플릿정보와 매칭되는지 미리 테스트할 수 있다.

이와 같은 관리서버(20)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

관리자 단말기(30)는 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 이미지 입력장치(10) 및 관리서버(20)와 통신할 수 있으며, 이러한 응용 프로그램은 무선통신을 통해 외부서버 또는 관리서버(20)로부터 다운로드 될 수 있다.

관리자 단말기(30)는 이미지 입력장치(10) 및 관리서버(20)와 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다.

관리자 단말기(30)는 이미지 입력장치(10) 또는 관리서버(20)로부터 문서이미지를 수신받고, 관리서버(20)로부터 객체데이터를 수신받을 수 있다.

또한, 관리자 단말기(30)는 관리서버(20)로 객체데이터를 전송할 수 있다.

관리자 단말기(30)는 무선통신망을 통해 이미지 입력장치(10) 및 관리서버(20) 사이에서 송수신되는 데이터를 저장할 수 있다.

관리자 단말기(30)는 이미지 입력장치(10), 관리서버(20), 관리자 단말기(30) 사이에 송수신되는 데이터를 화면을 통해 모니터링할 수 있다.

관리자 단말기(30)는 이미지 입력장치(10) 또는 관리서버(20)로부터 수신된 문서이미지를 분석하여 객체데이터를 생성할 수 있다.

실시예에 따라, 관리자 단말기(30)는 빅데이터를 기반으로 객체데이터를 생성할 수 있다.

이와 같은 관리자 단말기(30)는 이미지 입력장치(10) 및 관리서버(20)와의 통신을 지원하는 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.

이와 같은 구조를 갖는 본 발명의 일실시예에 따른 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템의 동작은 다음과 같다. 도 2는 본 발명의 일실시예인 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법을 설명하기 위한 도면이고, 도 3은 도 2에 도시된 템플릿정보를 설정하는 화면을 설명하기 위한 도면이며, 도 4는 도 2에 도시된 이미지 입력장치로부터 문서이미지를 수신하는 화면을 설명하기 위한 도면이고, 도 5는 도 2에 도시된 객체데이터를 생성하는 화면을 설명하기 위한 도면이다.

우선, 도 2에 도시된 바와 같이, 관리서버(20)는 템플릿정보를 설정할 수 있다(S100).

구체적으로, 관리서버(20)는 섬유 거래명세서(11)에 대한 항목정보, 필드정보 및 영역정보가 포함된 템플릿정보를 설정할 수 있다.

예를 들어, 도 3에 도시된 바와 같이, 가공공정별, 업체 유형별로 항목과 항목에 대응하는 항목영역의 좌표를 설정하고, 항목에 따라 대응하는 필드와 필드에 대응하는 필드영역의 좌표를 설정할 수 있다.

다음으로, 관리서버(20)는 업체에서 업로드되는 문서이미지를 수신할 수 있다(S110).

예를 들어, 도 4에 도시된 바와 같이, 이미지 입력장치(10)를 통해서 입력되는 섬유 거래명세서(11)가 이미지로 변환된 문서이미지를 수신할 수 있다.

다음으로, 관리서버(20)는 수신된 문서이미지를 전처리할 수 있다(S120).

구체적으로, 관리서버(20)는 문서이미지가 수신되는 경우, 수신된 문서이미지가 명확하게 인식되도록 필터링 작업, 토큰화(Tokenization) 작업, 정제화(Cleaning) 작업 및 정규화(Normalization) 작업을 순서대로 진행하여 전처리할 수 있다.

예를 들어, 관리서버(20)는 문서이미지에 대하여 각도 및 색상에 대해서 필터링 작업을 수행하고, 필터링 작업이 끝난 문서이미지에 포함된 텍스트에 대한 토큰화 작업을 수행하고, 토큰화 작업이 끝난 문서이미지에 포함된 노이즈 데이터를 제거하는 정제화 작업을 수행한 후, 정제화 작업이 끝난 문서이미지를 정규화하여 전처리할 수 있다.

다음으로, 관리서버(20)는 OCR을 통해 항목정보에 대응하는 항목영역 추출하여 항목좌표정보 생성할 수 있다(S130).

구체적으로, 관리서버(20)는 전처리된 문서이미지를 분석하여 템플릿정보를 기초로 항목정보에 대응하는 항목 영역을 추출하여 항목을 인식하고, 인식된 항목 이미지에 대한 항목좌표정보를 생성할 수 있다.

예를 들어, OCR을 통해 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 텍스트를 인식하고, 인식된 텍스트에 대한 항목좌표정보를 생성할 수 있다.

다음으로, 관리서버(20)는 OCR을 통해 필드정보에 대응하는 필드영역 추출하여 필드좌표정보 생성할 수 있다(S140).

구체적으로, 관리서버(20)는 전처리된 문서이미지를 분석하여 템플릿정보를 기초로 항목정보에 대응하는 필드정보에 따라 필드 영역을 추출하여 필드를 인식하고, 인식된 필드 이미지에 대한 필드좌표정보를 생성할 수 있다.

예를 들어, OCR을 통해 텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 텍스트를 인식하고, 인식된 텍스트에 대한 필드좌표정보를 생성할 수 있다.

마지막으로, 관리서버(20)는 항목정보와 필드정보를 이용하여 객체데이터를 생성할 수 있다(S150).

구체적으로, 관리서버(20)는 항목영역에서 인식된 항목정보와 항목정보에 따라 필드영역에서 인식된 필드정보를 각각 매칭하여 객체데이터를 생성할 수 있다.

예를 들어, 도 5에 도시된 바와 같이, 관리서버(20)는 항목정보와 필드정보를 매칭하여 문서화하여 객체데이터를 생성할 수 있다.

여기서, 관리서버(20)는 객체데이터를 실시간으로 업데이트할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

1 : OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템
10 : 이미지 입력장치
20 : 관리서버
30 : 관리자 단말기

Claims

관리서버에 의해 수행되는 OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법에 있어서,
섬유에 관련된 페이퍼문서에 대한 템플릿정보를 설정하는 단계; 및
상기 페이퍼문서에 대하여 판독가능한 문서로 처리된 문서이미지를 획득하는 단계;
상기 템플릿정보를 기초로 문서이미지를 전처리하는 단계;
상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 항목정보의 텍스트를 인식하는 단계;
상기 템플릿정보를 기초로 전처리된 문서이미지를 분석하여 OCR을 적용하여 필드정보의 텍스트를 인식하는 단계; 및
상기 항목정보와 상기 필드정보를 매칭하여 객체데이터를 생성하는 단계;를 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제1항에 있어서,
상기 문서이미지를 전처리하는 단계는,
문서이미지에 포함된 문서 여백의 스테이플과 접힌 자국을 보정하고, 문서이미지에 허프변환(hough transform)을 적용하여 라인(line)을 검출하고, 검출된 라인으로 이미지의 기울어진 각도를 파악하여 자동으로 문서이미지를 회전하고, 문서이미지의 흔들림, 밝기, 선명도, 각도를 필터링하는 단계;
상기 필터링 작업이 완료된 후, 문서이미지에 포함된 단어들이 의미있는 단어의 최소 단위로 구분되도록 공백제거필터, 특수문자제거필터를 이용하여 토큰화 작업을 수행하는 단계;
상기 토큰화 작업이 완료된 후 상기 문서이미지에 포함된 등장 빈도가 낮은 단어 또는 다수 반복되는 해당 단어들에 대한 노이즈 데이터를 제거하여 잔존하는 단어들의 의미가 부각되도록 정제화 작업을 수행하는 단계; 및
상기 정제화 작업이 완료된 후 상기 문서이미지를 정규화하는 단계;를 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제1항에 있어서,
상기 텍스트를 인식하는 단계는,
텍스트 라인 단위로 영문, 한글, 한자, 기호, 숫자 등을 포함하는 텍스트를 인식하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제3항에 있어서,
상기 항목정보의 텍스트를 인식하는 단계는,
상기 템플릿정보에 기초하여 전처리된 문서이미지에서 상기 항목정보에 대응하는 항목 영역을 추출하는 단계; 및
상기 항목 영역에서 텍스트 라인을 분리하여 상기 항목정보의 텍스트를 인식하는 단계;를 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제4항에 있어서,
상기 항목정보의 텍스트를 인식하는 단계는,
상기 항목 영역으로부터 인식된 항목이미지에 대한 항목좌표정보를 생성하는 단계;를 더 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제3항에 있어서,
상기 필드정보의 텍스트를 인식하는 단계는,
상기 템플릿정보에 기초하여 전처리된 문서이미지에서 상기 필드정보에 대응하는 필드 영역을 추출하는 단계; 및
상기 필드 영역에서 텍스트 라인을 분리하여 상기 필드정보의 텍스트를 인식하는 단계;를 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
제6항에 있어서,
상기 필드정보의 텍스트를 인식하는 단계는,
상기 필드 영역으로부터 인식된 필드이미지에 대한 필드좌표정보를 생성하는 단계;를 더 포함하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 방법.
OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템에 있어서,
이미지 입력장치로부터 섬유에 관련된 페이퍼문서가 판독가능한 문서로 처리된 문서이미지를 획득하는 관리서버;를 포함하고,
상기 관리서버는 상기 페이퍼문서에 대한 템플릿정보를 설정하고, 상기 템플릿정보를 기초로 문서이미지를 전처리하고, 전처리된 문서이미지를 분석하여 OCR을 적용하여 항목정보의 텍스트와, 필드정보의 텍스트를 인식한 후, 상기 항목정보와 상기 필드정보를 매칭하여 객체데이터를 생성하는, OCR을 이용하여 문서이미지에 포함된 객체를 추출하는 시스템.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제7항 중 어느 하나의 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.