[go: up one dir, main page]

KR102311367B1 - 화상 처리 장치, 화상 처리 방법, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR102311367B1
KR102311367B1 KR1020180054626A KR20180054626A KR102311367B1 KR 102311367 B1 KR102311367 B1 KR 102311367B1 KR 1020180054626 A KR1020180054626 A KR 1020180054626A KR 20180054626 A KR20180054626 A KR 20180054626A KR 102311367 B1 KR102311367 B1 KR 102311367B1
Authority
KR
South Korea
Prior art keywords
image
processing
image processing
mode
removal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180054626A
Other languages
English (en)
Other versions
KR20180127913A (ko
Inventor
다카시 미야우치
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20180127913A publication Critical patent/KR20180127913A/ko
Application granted granted Critical
Publication of KR102311367B1 publication Critical patent/KR102311367B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Color Image Communication Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

화상 처리 장치는, 화상을 취득하도록 구성되는 취득 유닛, 취득된 화상에 대해 화상 처리를 행하도록 구성되는 화상 처리 유닛, 및 화상 처리가 행해진 화상을 출력처에 출력하도록 구성되는 출력 유닛을 포함한다. 화상 처리 유닛은 취득된 화상의 미리결정된 화상 부분의 색을 미리결정된 화상 부분의 색에 기초하여 복수의 미리결정된 상이한 색으로부터 선택된 색으로 치환하는 치환 처리를 행할 수 있다. 출력 유닛은 치환 처리가 행해진 취득된 화상을 출력처에 출력하고 치환 처리가 행해지지 않은 화상을 출력처에 출력할 수 있다.

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 개시물은 일반적으로 화상 처리에 관한 것이며, 더 구체적으로는 화상 처리 장치, 화상 처리 방법, 저장 매체, 및 화상에 포함되는 유사색 부분을 미리결정된 색으로 단색화하는 기술에 관한 것이다.
근년, 스마트폰 및 태블릿 퍼스널 컴퓨터(PC) 같은 진전된 정보 처리 기능을 갖는 휴대 단말기의 수가 증가하고 있다. 이들 휴대 단말기는, 카메라를 구비하며, 화상 촬영 기능(카메라 기능)을 갖고 있다. 이러한 휴대 단말기의 유저는, 카메라 기능을 사용하여 문자가 기재된 지면이나 화이트 보드면의 화상을 촬영하고, 화상을 휴대 단말기의 메모리에 화상 데이터로서 저장한다.
휴대 단말기의 카메라 기능을 사용한 화상 촬영은, 원고 피더나 원고대를 구비하는 스캐너에 의한 원고 스캔과 달리, 화상 촬영 방향 및 광원 조건 등의 다양한 환경 조건에 노출된다. 그로 인해, 경사 방향에서 화상을 촬영하는 것으로 인해, 원고 화상이 기하학적으로 왜곡될 수 있거나, 지면이나 화이트 보드면 이외의 불필요한 물체가 촬영된 화상에 포함될 수 있다. 종래, 촬영된 화상으로부터 지면이나 화이트 보드면의 영역을 잘라내고, 잘라낸 영역에 대해 왜곡 보정(사다리꼴 보정이라 칭하는 경우도 있음)이 실행된다. 따라서, 원고 영역의 기하학적으로 왜곡된 화상은 직사각형 형상으로 보정된다.
일본 특허 출원 공개 제2017-22620호는, 촬영된 화상 내의 음영 성분(환경광 및 촬영된 화상에 포함된 음영의 영향에 의한 밝기 불균일)을 추정하고, 추정된 음영 성분에 대한 정보에 기초하여 촬영된 화상으로부터 음영 성분을 제거하는 기술을 개시한다.
일본 특허 출원 공개 제2017-22620호에 개시된 기술은 촬영된 화상으로부터 음영 성분을 제거할 수 있게 한다. 그러나, 음영 성분 제거 처리가 행해진 화상도 원래 원고 상에서 동일한 색인 상이한 전경 색을 포함할 수 있다. 그러나, 한편, 미소한 색 차이를 유지하면서 원고의 원본성(원고에 대한 외관의 유사성)을 중시하는 경우에는, 예를 들어 이러한 전경 부분을 단색화하는 것이 바람직하지 않기 때문에, 화상 처리 기술의 진전이 유리하다.
따라서, 화상 처리 기술의 진전은 본 개시물을 통해 달성될 수 있으며, 여기서 미리결정된 색 범위 내의 색(예를 들어, 붉은 색)을 갖는 전경 부분을 미리결정된 색(예를 들어, 적색 성분만을 갖는 색)으로 치환 또는 단색화함으로써, 즉 유사색을 갖는 전경 부분을 단일 색으로 통일함으로써 시인성의 향상이 달성될 수 있다. 본 개시물의 화상 처리 기술의 진전은 부분적으로 상술한 상황에 기초하여 발명되었으며, 일반적으로 미리결정된 치환 처리가 행해진 화상을 출력처에 출력하고 미리결정된 치환 처리가 행해지지 않은 화상을 출력처에 출력할 수 있게 하는 것에 관한 것이다.
본 개시물의 하나 이상의 양태에 따르면, 화상 처리 장치는 화상을 취득하도록 구성되는 취득 유닛, 취득된 화상에 대해 화상 처리를 행하도록 구성되는 화상 처리 유닛, 및 화상 처리가 행해진 화상을 출력처에 출력하도록 구성되는 출력 유닛을 포함한다. 화상 처리 유닛은 취득된 화상의 미리결정된 화상 부분의 색을 미리결정된 화상 부분의 색에 기초하여 복수의 미리결정된 상이한 색으로부터 선택된 색으로 치환하는 치환 처리를 행할 수 있다. 출력 유닛은 치환 처리가 행해진 취득된 화상을 출력처에 출력하고 치환 처리가 행해지지 않은 화상을 출력처에 출력할 수 있다.
본 개시물의 추가적인 특징은 첨부된 도면을 참고한 예시적인 실시예에 대한 이하의 설명으로부터 명확해질 것이다.
도 1은 제1 예시적인 실시예에 따른 휴대 단말기를 도시하는 개괄도이다.
도 2는 제1 예시적인 실시예에 따른 휴대 단말기의 전체적인 구성을 도시하는 블록도이다.
도 3은 제1 예시적인 실시예에 따른 처리 수순을 도시하는 흐름도이다.
도 4는 제1 예시적인 실시예에 다른 프레임 검출 처리, 프레임 지정, 및 왜곡 보정 처리를 도시한다.
도 5는 제1 예시적인 실시예에 따른 화상 보정 처리를 도시하는 흐름도이다.
도 6은 제1 예시적인 실시예에 다른 화상 보정 처리 결과의 예를 도시한다.
도 7은 제2 예시적인 실시예에 따른 화상 보정 처리를 도시하는 흐름도이다.
도 8은 제2 예시적인 실시예에 따른 화상 보정 처리 결과의 예를 도시한다.
이하 첨부의 도면을 참고하여 본 개시물을 구현하기 위한 예시적인 실시예에 대해서 설명한다.
<휴대 단말기의 구성>
도 1은 제1 예시적인 실시예에 따른 휴대 단말기(화상 처리 장치 및 정보 처리 장치)(101)의 외관을 도시한다. 도 1a는, 터치 패널 디스플레이(102) 및 조작 버튼(103)을 포함하는 휴대 단말기(101)의 표측의 외관을 도시한다. 도 1b는, 카메라(104)를 포함하는 휴대 단말기(101)의 이측의 외관을 도시한다. 카메라(104)에는 초점 길이 및 피사체 거리를 측정할 수 있게 하는 오토포커스 기구(도시하지 않음)이 탑재되어 있다.
본 예시적인 실시예는 화상 촬영 기능(카메라 기능)을 구비하는 휴대 단말기에 적용가능하다. 예를 들어, 본 예시적인 실시예는 화상 촬영 기능(카메라 기능)을 갖는 스마트폰(휴대 전화), 태블릿 단말기, 및 퍼스널 컴퓨터(PC)뿐만 아니라, 터치 패널 디스플레이를 갖는 디지털 카메라에도 적용가능하다. 본 예시적인 실시예는 유선 또는 무선으로 카메라와 접속된 PC에도 적용가능하다. 휴대 단말기 또는 PC는 카메라에 의해 촬영된 화상을 저장하고 있는 저장 장치(메모리 카드 등)로부터 화상을 읽어들여 본 예시적인 실시예에 따른 처리를 행한다.
도 2에 휴대 단말기(101)의 하드웨어 구성을 나타낸다. 단, 이 구성은 본 예시적인 실시예를 실시하기 위한 구성 일례이며, 하드웨어 구성은 이것으로 한정되지 않는다.
도 2를 참고하면, 중앙 처리 유닛(CPU)(201), 랜덤 액세스 메모리(RAM)(202), 및 리드 온리 메모리(ROM)(203)는 데이터 버스(209)를 통해 프로그램 및 데이터를 송신 및 수신할 수 있다. 데이터 버스(209)에는, 저장 유닛(204), 데이터 송신/수신 유닛(205), 촬영 유닛(206), 표시 유닛(207), 및 조작 유닛(208)이 접속될 수 있다. CPU(201), RAM(202), 및 ROM(203)도 서로 프로그램 및 데이터를 송신 및 수신할 수 있다.
저장 유닛(204)은, 화상 및 흐름도(후술함)를 실행하기 위한 각종 프로그램을 저장하는 플래시 메모리일 수 있다.
데이터 송신/수신 유닛(205)은, 외부 서버 및 외부 프린터 등의 외부 장치와의 데이터 송신 및 수신을 실현하기 위한 무선 근거리 지역 통신망(LAN) 컨트롤러를 포함한다.
촬영 유닛(206)은, 화이트 보드를 촬영하여 촬영 화상을 취득하는 카메라(104)이다. 취득된 촬영 화상의 데이터에는, 제조명, 모델명, 화상 해상도, 조리개값(f-수), 및 초점 길이를 포함하는 헤더 정보가 공급되며, 후술하는 바와 같이 각각의 유닛에 송신된다.
표시 유닛(207)은, 터치 패널 디스플레이(102)의 디스플레이로서, 카메라 기능을 사용하여 화이트 보드를 촬영할 때에 라이브 뷰 영상을 표시한다.
터치 패널 디스플레이(102)의 터치 패널 및 조작 버튼(103)을 포함하는 조작 유닛(208)은 유저로부터의 조작을 접수하고 각각의 유닛에 조작에 대한 정보를 송신한다.
하나 이상의 프로세서 및 하나 이상의 메모리를 포함할 수 있는 CPU(201)는, ROM(203) 또는 저장 유닛(204)에 저장되어 있는 컴퓨터 프로그램을 실행함으로써, 휴대 단말기(101) 내의 이들 구성요소를 제어할 수 있다.
본 개시물 전체를 통해 기재된 유닛은 본 개시물에 기재된 처리를 실행하기 위한 예시적인 및/또는 바람직한 모듈이다. 본원에서 사용되는 "유닛"이라는 용어는 일반적으로 목적을 달성하기 위해 사용되는 펌웨어, 소프트웨어, 하드웨어, 또는 회로 등과 같은 다른 구성요소 또는 이들의 임의의 조합을 지칭할 수 있다. 모듈은 하드웨어 유닛(회로, 펌웨어, 필드 프로그램가능 게이트 어레이, 디지털 신호 프로세서, 주문형 집적 회로 등과 같은 것) 및/또는 스프트웨어 모듈(컴퓨터 판독가능 프로그램 등과 같은 것)일 수 있다. 다양한 단계를 실행하기 위핸 모듈은 위에서 철저하게 설명되지 않는다. 그러나, 소정의 처리를 실행하는 단계가 있는 경우, 동일한 처리를 실행하기 위한 대응하는 기능 모듈 또는 유닛(하드웨어 및/또는 소프트웨어에 의해 실행됨)이 있을 수 있다. 이들 단계에 대응하는 유닛 및 설명된 단계의 모든 조합에 의한 기술적인 해법이 본 개시물에 포함된다.
<흐름도를 참고한 본 예시적인 실시예의 상세 설명>
도 3은, 본 예시적인 실시예에 따른 휴대 단말기(101)에 의해 실행되는 처리 수순을 도시하는 흐름도이다. 도 4는, 피사체로서 화이트 보드면을 촬영했을 경우를 예로서, 촬영 화상으로부터 화이트 보드면의 영역을 잘라내는 처리의 흐름을 도시한다. 휴대 단말기(101)의 CPU(201)(컴퓨터)가 ROM(203)에 저장되어 있는 처리 프로그램을 RAM(202)에 로드해서 프로그램을 실행하면, CPU(201)는 도 3에 도시된 흐름도의 각각의 단계의 처리를 실행하기 위한 처리 유닛으로서 기능할 수 있다. CPU(201)는, 데이터 송신/수신 유닛(205)을 통해 외부로부터 취득된 처리 프로그램을 저장 유닛(204)에 저장하고, RAM(202)에 로드해서, 실행할 때 처리 유닛으로서 기능할 수 있다. 본 예시적인 실시예는, 유저가 휴대 단말기(101)를 조작하여 지면이나 화이트 보드면을 피사체로서 촬영하고, 촬영 화상으로부터 피사체의 영역만을 잘라내고, 잘라낸 영역을 보정하며, 보정된 화상을 유저가 지정한 출력처에 출력하는 애플리케이션에 대해 사용되는 것으로 가정한다. 출력처는 유저에 의해 사전에 지정될 수 있거나, 단계 S308(후술함)에서 종료 지시가 수신된 후에 유저에 의해 지정될 수 있다.
단계 S301에서, CPU(201)는 유저에 의해 선택 또는 촬영된 화상을 입력 화상으로서 취득한다. 입력 화상이 선택되는 경우에는, CPU(201)는, 저장 유닛(204) 또는 메모리 카드에 저장된 화상 중, 유저에 의해 조작 유닛(208)을 통해 선택된 화상을, 데이터 버스(209)를 통해서 취득한다. 입력 화상이 촬영되는 경우에는, CPU(201)는, 조작 유닛(208)을 통해 유저가 화상 촬영 지시를 발생하는 것에 응답하여 촬영 유닛(206)이 촬영한 화상을, 데이터 버스(209)를 통해 취득한다. 도 4a는, 화이트 보드면(401)을 포함하는 입력 화상을 도시한다.
단계 S302에서, CPU(201)는, 단계 S301에서 취득된 입력 화상으로부터, 화이트 보드면(401)을 나타내는 사각형 영역을 특정하는 영역 특정 처리를 실행한다. 영역 특정 처리는, 화이트 보드면(401)의 각 변에 대한 후보로서의 후보 선분 군(후보 변군)을 검출하고, 그 후보 선분 군의 조합으로 구성되는 사각형을 평가함으로써 실현된다. 후보 선분 군을 검출하는 방법 및 사각형을 평가하는 방법은 공지된 방법일 수 있다. 예를 들어, 후보 선분 군은, 입력 화상으로부터 검출된 에지 정보를, 극좌표 위에 투영해서 직선을 검출하는 Hough 변환 알고리즘을 사용하여 검출된다. 사각형은, 대향 변의 길이의 비, 내각의 크기, 및 애스펙트비를 포함하는 기하학적인 정보에 기초하여 평가될 수 있으며, 사각형을 구성하는 선분은 화상 정보, 예를 들어 내측과 외측의 사이의 색감 및 분산의 비교에 기초하여 평가될 수 있다. 본 예시적인 실시예에서는 화이트 보드면의 영역을 특정하지만, 피사체가 지면인 경우에는 지면의 영역을 특정할 수 있다.
단계 S303에서, CPU(201)는, 단계 S302에서 검출된 사각형 영역을 상기 입력 화상에 겹쳐서 표시하고, 표시된 사각형 영역의 형상을 변경(보정)하는 조작을 유저로부터 접수하는 영역 지정 처리를 실행한다. 도 4b는, 특정된 사각형 영역을 입력 화상에 겹친 상태로 입력 화상을 표시한다. 특정된 사각형 영역의 변(402, 403, 404, 405)은 유저로부터 변 위치 지시를 접수하기 위한 변 핸들러이다. 특정된 사각형 영역의 정점(406, 407, 408, 409)은 유저로부터 정점 위치 지시를 접수하기 위한 정점 핸들러이다. 유저가 변 및 정점 핸들러를 선택 및 조작함으로써 사각형 영역의 형상을 변경할 수 있다.
단계 S304에서, CPU(201)는, 단계 S303에서 지정된 사각형 영역에 따라서, 입력 화상의 일부(사각형 영역에 포함되는 화상)을 추출하고 사각형 화상을 취득하기 위해 추출된 화상의 왜곡을 보정하는 왜곡 보정 처리(기하학적 보정 처리)를 실행한다. 왜곡 보정은, 사각형 영역이 비사다리꼴 형상으로 왜곡되는 경우를 고려하여 투영 변환을 이용하여 실행된다. 투영 변환 행렬은, 입력 화상 내의 사각형 영역에 대한 정점 정보(정점(406, 407, 408, 409))와 출력 화상의 4개의 코너(410, 411, 412, 413)에 대한 좌표 정보에 기초하여 공지된 방법에 의해 계산될 수 있다. 처리 속도를 우선시할 경우에는, 아핀 변환 행렬이나 단순한 배율을 배율 파라미터로서 산출할 수 있다. 도 4c는 왜곡 보정으로부터의 화상을 나타낸다.
단계 S305에서, CPU(201)는, 단계 S304에서 얻어진 왜곡 보정이 행해진 후의 화상에 대해 화상 보정 처리를 실행한다. 화상 보정 처리의 상세에 대해서는 도 5 및 도 6을 참고하여 상세하게 설명한다.
단계 S306에서, CPU(201)는, 단계 S305에서 얻어진 화상 보정으로부터의 화상을 표시 유닛(207)에 표시한다.
단계 S307에서, CPU(201)는, 조작 유닛(208)을 통해, 유저로부터, 화상 보정 모드 지시(화상 보정의 종류를 선택하는 지시) 또는 종료 지시(화상 보정의 결과를 확정하는 지시)를 접수한다.
단계 S308에서, CPU(201)는, 단계 S307에서, 화상 보정 모드 지시 또는 종료 지시가 접수되었는지 여부를 판정한다. CPU(201)가 단계 S307에서 화상 보정 모드 지시를 접수했다고 판정하는 경우(단계 S308에서 모드 지시), 처리는 단계 S305로 복귀한다. 단계 S305에서, CPU(201)는 화상 보정 처리를 다시 실행한다. 한편, CPU(201)가 단계 S307에서 종료 지시가 접수되었다고 판정하는 경우(단계 S308에서 종료 지시), CPU(201)는 유저에 의해 지정된 출력처(저장 유닛(204)의 지정 폴더, 지정된 외부 서버, 또는 지정된 외부 프린터)에 화상 보정 처리가 행해진 화상을 출력한다. 그리고, 처리를 종료한다. 화상을 외부 장치에 출력하는 경우에는, CPU(201)는 데이터 송신/수신 유닛(205)을 통해 화상을 출력한다.
<화상 보정 처리(S305)의 상세 설명>
화상 보정 처리의 상세에 대해서 도 5를 참고하여 이하에서 상세하게 설명한다. 본 흐름도의 처리 대상인 입력 화상은 단계 S304의 왜곡 보정 처리가 행해진 화상이다.
단계 S501에서, CPU(201)는 화상 보정 모드를 취득하여 현재의 모드를 판정한다. CPU(201)가 도 3에 도시된 단계 S304 다음에 단계 S501을 실행하는 경우, CPU(201)는 미리설정된 화상 보정 모드(예를 들어, 제1 화상 보정 모드)를 취득한다. 이 경우, CPU(201)는 미리설정된 화상 보정 모드가 아니고, 이 애플리케이션의 마지막 실행에서 실행된 화상 보정 모드를 취득할 수 있다. 한편, CPU(201)가 도 3에 도시된 단계 S308 다음의 단계 S501을 실행하는 경우, CPU(201)는 단계 S307에서 접수된 화상 보정 모드를 취득한다. 취득된 화상 보정 모드가 제1 화상 보정 모드인 경우에는(단계 S501에서 제1 화상 보정 모드), 처리는 단계 S502로 진행한다. 한편, 취득된 화상 보정 모드가 제2 화상 보정 모드인 경우에는(단계 S501에서 제2 화상 보정 모드), 처리는 단계 S504로 진행한다.
단계 S502 및 S503에 나타내는 처리는, 제1 화상 보정 모드에서의 보정 처리이며, 단계 S504 내지 S506에 나타내는 처리는 제2 화상 보정 모드에서의 보정 처리이다.
단계 S502에서, CPU(201)는, 입력 화상으로부터 조명 불균일 및 음영 같은 밝기 불균일을 제거하는 음영 제거 처리를 실행한다. 음영 제거 처리는, 입력 화상으로부터 조명 불균일 및 음영 같은 밝기 불균일이 추정된 음영 성분 화상(입력 화상 면 내의 화소값 보정 정보)를 생성하고, 입력 화상과 음영 성분 화상 사이의 차분값에 따라 입력 화상을 보정함으로써 실현된다. 입력 화상으로부터 음영 성분 화상을 생성하기 위해서, CPU(201)는 입력 화상을 블록으로 분할하고, 각 블록에 대한 휘도값(밝기 정보)을 해석한다. CPU(201)는, 각 블록 내에서 최대 휘도값을 갖는 화소의 적색(R), 녹색(G), 및 청색(B) 성분의 화소값을 대표 화소값으로서 산출한다. 본 예시적인 실시예에 따르면, 입력 화상은 32×32 블록으로 분할된다. 블록 내에 배경 영역(예를 들어, 종이 원고나 화이트 보드의 흰 영역)이 포함되어 있는 경우에는, 정확하게 음영 성분을 취득할 수 있다. 한편, 사진 및 그림 등의 큰 오브젝트의 영향 하에서 블록 내에 배경 영역이 포함되지 않는 경우에는, 올바른 음영 성분을 취득하기 어렵다. 그러므로, 주변 블록과 비교해서 극단적으로 어두운 블록에 대해서는, 주변 블록의 대표값을 이용해서 화소값을 보정한다. 예를 들어, 인접 블록 내의 화소의 최대 휘도값으로부터 소정 블록 내의 화소의 최대 휘도값을 감하여 얻은 값이 미리결정된 값 이상인 경우에, CPU(201)는, 그 인접 블록의 대표 화소값을 소정 블록의 대표 화소값으로서 사용하도록 보정을 실행한다. 이와 같이 하여, 입력 화상의 각 블록에 대해서 1개의 대표 화소값이 구해진다. 각각의 블록의 산출된 대표 화소값만으로 구성되는 화상은 분할 블록의 수에 의해 규정되는 화소수를 갖는 입력 화상의 축소된 버전이다.
본 예시적인 실시예에 따르면, 32×32 블록의 각각의 대표 화소값을 갖는 32×32 화소의 화상이 얻어진다. 그리고, CPU(201)는, 이 축소 화상이 입력 화상과 동일한 수의 화소를 포함하도록 축소 화상에 대해 확대 처리를 실행함으로써, 음영 성분 화상을 생성한다. 그리고, CPU(201)는, 음영 성분 화상과 입력 화상에 기초하여 입력 화상의 화소값을 보정한다. 예를 들어, CPU(201)는, 입력 화상의 화소값을 음영 성분 화상의 화소값으로 나누고, 그 몫에 백색을 나타내는 화소값(휘도값)(255)을 곱하여, 그 결과 값을 보정된 화소값으로서 설정한다. 대안적으로, CPU(201)는, 음영 성분 화상의 화소값과 입력 화상의 화소값 사이의 차분에 기초하여 구해진 값으로 입력 화상의 화소값을 나누고, 결과값에 255를 곱하며, 그 결과값을 보정된 화소값으로서 설정한다. 상술한 바와 같이, 음영 성분 화상(화상 면 내의 화소값 보정 정보)은, 입력 화상 면 내의 밝기 정보를 해석함으로써 얻어지고, 음영 성분 화상에 기초하여 입력 화상의 각 화소값이 보정된다.
단계 S503에서, CPU(201)는, 단계 S502에서 얻어진 음영 제거 처리가 행해진 화상에 대해 첨예화 처리를 실행한다. 공지된 첨예화 처리가 적용가능하다. 예를 들어, 이하의 계수(3×3 행렬)로 실현되는 8-근방 필터를, 음영 제거 처리가 행해진 화상의 각각의 화소에 적용한다.
Figure 112018046754751-pat00001
(1)
상술한 바와 같이, 이 단계에서 얻어지는 화상은 제1 보정 모드의 보정 결과이다.
단계 S504에서, CPU(201)는, 입력 화상으로부터 조명 불균일 및 음영 같은 밝기 불균일을 제거하는 음영 제거 처리를 실행한다. 본 단계에서의 음영 제거 처리는 단계 S502의 처리와 유사할 수 있지만, CPU(201)는 본 예시적인 실시예에 따라 화상을 백색화하기 더 쉽게 하는 음영 제거 처리를 실행한다. 본 예시적인 실시예에 따르면, 단계 S502의 처리와 유사한 음영 제거 처리 수순에서, CPU(201)는 입력 화상을 단계 S502의 것보다 작은 블록 크기를 갖는 블록, 즉 128×128 블록으로 분할한다. 이에 의해, 급격하게 농도가 바뀌는 배경 영역의 음영 성분을 추정하기가 더 용이해 진다. 또한, CPU(201)는 상향 볼록형 톤 커브를 이용하여 톤 커브 보정 처리를 실행함으로써 단계 S502에서 얻어지는 음영 제거 화상의 휘도보다 높음 음영 제거 배경 영역의 회도를 갖는 음영 제거 화상을 얻는다.
단계 S505에서, CPU(201)는, 입력 화상으로부터 문자부 등의 전경 영역을 추출하는 전경 추출 처리를 실행한다. CPU(201)는, 입력 화상에 대해 그레이 스케일 변환을 행한 후, 입력 화상의 각 화소에 대한 2치화 임계값의 배열을 화상으로서 표현하는 임계값 맵 화상을 이용하여 2치화 처리를 실행함으로써 전경 추출 처리를 실현한다. 임계값 맵 화상은, 단계 S504의 음영 제거 처리와 마찬가지로, 입력 화상으로부터 추정되는 음영 성분 화상을 이용한다. 단계 S505의 음영 성분 화상은, 적색, 녹색, 및 청색(RGB) 표현 대신에 휘도 표현이 사용되는 점에서 단계 S504의 음영 성분 화상과 상이하다. 임계값 맵을 생성하는 방법은 상술한 방법으로 한정되지 않으며, 공지된 방법이 적용가능하다. 예를 들어, 오츠 법칙을 통해 구한 전체 화상면에 대한 균일한 임계값을 임계값 맵으로서 사용할 수 있다. 설명을 위해서, 그레이 스케일 화상 및 임계값 맵의 양자 모두가, 각각이 8피트로 표현되는 화소값으로 구성되며, 화소값(0)이 흑색을 나타내고, 화소값(255)이 백색을 나타내는 것으로 한다. 출력되는 2치 화상은 각각의 1비트로 표현되는 화소값으로 구성되며, 화소값(0)은 백색을 나타내고, 화소값(1)은 흑색을 나타낸다. 좌표(x, y)의 경우에, 그레이 스케일 화상의 화소값은 g(x, y)에 의해 표현되고, 임계값 맵의 화소값은 t(x, y)에 의해 표현되며, 출력되는 2치 화상의 화소값은 b(x, y)에 의해 표현된다. CPU(201)는, 좌표(x, y)의 경우에 그레이 스케일 화상의 화소값(g(x, y))을 임계값 맵의 화소값(t(x, y))과 비교함으로써, 2치 화상의 화소값(b(x, y)) 이 0 또는 1인지 여부를 판정하고 2차 화상을 생성한다.
g(x, y)≥t(x, y)일 때, b(x, y)=0(백색 화소). g(x, y)<t(x, y)일 때, b(x, y)=1(흑색 화소).
이렇게 얻어진 2치 화상의 흑색 화소에 의해 표현되는 영역이, 문자부나 사진부를 표현하는 전경 영역이다.
단계 S506에서, CPU(201)는, 단계 S505에서 추출된 전경 영역 중, 문자부에 대해 예를 들어 치환 처리 또는 단색화(부분의 색을 단일 색으로 치환)를 실행하는 전경 보정 처리를 실행한다. CPU(201)는, 단계 S505에서 얻어진 2치 화상을 이용하여, 단계 S504의 음영 제거 처리가 행해진 화상의 문자부를 특정한다. 더 구체적으로는, CPU(201)는 전경 부분으로서 추출된 흑색 화소에 대해서 라벨링 처리를 행함으로써, 인접하는 흑색 화소 군을 동일한 라벨을 갖는 하나의 영역(라벨링 영역)으로서 추출한다. 이어서, CPU(201)는, 각 영역이 문자부 또는 비문자부(예를 들어, 사진부)인지 여부를 판정하는 속성 판정을 행한다.
속성 판정을 위한 공지된 기술이 적용가능하다. 예를 들어, CPU(201)는, 라벨링 영역에 대응하는, 단계 S504의 음영 제거 처리가 행해진 화상 영역 내의 화소의 YUV 색 공간에서의 색 분산(예를 들어, U 값의 분산값 및 V 값의 분산값)을 산출한다. CPU(201)는, 그 색분산 값이 임계값 미만이면(미리결정된 색 조건을 만족시키면), 그 라벨링 영역(및 음영 제거 처리가 행해진 대응하는 화상 부분)은 문자부라고 판정한다. 더 구체적으로는, CPU(201)는, 음영 제거 처리가 행해진 화상 중, 유사색이 지배적인 화상 부분(유사색을 비교적 많이 갖는 화상 부분)을 특정한다. 다른 속성 판정 방법으로서, 예를 들어 CPU(201)는, 라벨링 영역에 대응하는 음영 제거 처리가 행해진 화상 영역 내의 화소에 대해서, 유사한 색차 값(차가 임계값 범위 내인 U 및 V 값)을 갖는 화소의 수를 카운트한다. CPU(201)는, 라벨링 영역 내에서의 전체 화소수에 대한 그 화소수의 비율이 임계값을 초과하는 경우(미리결정된 색 조건을 만족시키는 경우)에는, 그 라벨링 영역은 문자부라고 판정할 수 있다.
그리고, CPU(201)는, 속성 판정 처리에서 문자부라고 판정된 라벨링 영역을 치환 또는 단색화한다. 더 구체적으로는, CPU(201)는, 음영 제거 처리가 행해진 화상 중, 유사색이 지배적인 화상 부분의 색을, 복수의 미리준비된 치환색(복수의 미리결정된 상이한 색) 중 하나로 치환하는 치환 처리 또는 단색화 처리 같은 처리를 행한다. 본 예시적인 실시예에 따르면, 복수의 미리결정된 색은, 화이트 보드 마커의 대표적인 색인 흑색(R=G=B=0), 적색(R=255, G=B=0), 청색(B=255, R=G=0), 및 녹색(G=255, R=B=0)을 포함한다. 이들 4개의 색 중 어느 것도 포함하지 않는 유사색 영역은 그 영역의 평균 색으로 치환 또는 단색화될 수 있다. 이 치환색을 결정하기 위해서, CPU(201)는, 각각의 라벨링 영역에 대응하는 음영 제거 처리가 행해진 화상 부분의 YUV 색 공간에서의 평균 색을 이용한다. 더 구체적으로는, YUV 색 공간에서의 흑색, 적, 청색, 및 녹색의 범위가 미리결정된다. CPU(201)는, 각각의 라벨링 영역에 대응하는 음영 제거 처리가 행해진 화상 부분의 평균 색이, 4개의 미리규정된 마커 색의 범위 중 어느 하나를 만족하는 경우, 4개의 색 중 하나를 치환색으로서 설정한다. 한편, 평균 색이 4개의 미리규정된 마커 색의 범위 중 어느 것도 만족하지 않는 경우, CPU(201)는 그 화상 부분의 평균 색을 치환색으로서 설정한다. CPU(201)는, 이렇게 해서 결정된 치환색으로 라벨링 영역을 치환 또는 단색화하고, 치환 또는 단색화된 라벨링 영역을 단계 S504에서 얻어지는 음영 제거 처리가 행해진 화상에 덮어 쓴다. 더 구체적으로는, 음영 제거 처리가 행해진 화상 중, 라벨링 영역에 대응하는 화상 부분이 치환 또는 단색화될 수 있다. 이 처리에 의해, 문자부의 색을 구별하기 더 쉬어지고, 원래 동일한 색으로 표현되는 복수의 문자의 색을 단일 색으로 통일할 수 있다. CPU(201)는, 문자부(치환 또는 단색화된 부분)의 윤곽 부분에 대해서만 평활화 처리를 행함으로써, 제2 화상 보정 모드의 보정 결과로서, 음영 제거 처리가 행해지고 문자부에 대해서만 치환 또는 단색화가 된 화상을 얻을 수 있다.
제1 및 제2 화상 보정 모드에서의 화상 보정 처리의 효과를 도 6을 참고하여 이하에서 설명한다.
화상(601 및 602)은, 도 5에 도시된 흐름도에 기재된 입력 화상(도 3에 도시된 단계 S304에서 얻어지는 왜곡 보정이 행해진 화상)이다. 입력 화상(601)은 피사체로서의 폼 원고의 촬영 화상의 예이다. 입력 화상(601)은 그라데이션으로 표현되는 기업 로고(607) 및 비백색 배경 영역(608 및 609)을 포함한다. 입력 화상(602)은 피사체로서의 화이트 보드의 촬영 화상의 예이다. 입력 화상(602)은 흑색 마커로 써진 문자부(616), 적색 마커로 써진 문자부(617), 및 청색 마커로 써진 문자부(618)를 포함한다.
화상(603 및 604)은, 도 5에 도시된 단계 S503의 처리 결과로서 얻어지는 제1 화상 보정 모드의 출력 화상이다. 출력 화상(603 및 604)은 각각 입력 화상(601 및 602)을 출력한 결과를 나타낸다. 출력 화상(605 및 606)은, 도 5에 도시된 단계 S506의 처리 결과로서 얻어지는 제2 화상 보정 모드의 출력 화상이다. 출력 화상(605 및 606)은 각각 입력 화상(601 및 602)을 출력한 결과를 나타낸다.
제1 화상 보정 모드에서는, 급격한 농도차를 포함하는 화상에서는, 배경 영역(622) 같이 백색으로 보정될 수 없는 배경 영역이 나타날 수 있다. 그러나, 비백색 배경 영역(611 및 612)의 휘도를 유지하면서, 화상 내에 포함되는 조명 불균일을 제거할 수 있다. 문자 치환 또는 단색화가 실행되지 않기 때문에, 그라데이션으로 표현되는 기업 로고(610)의 원고와의 유사성 및 기업 로고(610)의 시인성을 유지하면서 보정 처리를 실행할 수 있다.
제2 화상 보정 모드에서는, 문자부를 전경 추출을 통해 치환 또는 단색화할 수 있기 때문에, 로고(613)에 의해 표시되는 바와 같이 그라데이션으로 표현되는 영역이 치환 또는 단색화된다. 이는, 로고(613)는 출력 화상(603)의 로고(610)와 비교하여 로고(607)와 외관이 크게 상이한 것을 의미한다. 한편, 상이한 색 마커로 써진 문자부(623, 624, 625)는 적용가능한 단일 색으로 통일되기 때문에, 문자부(619, 620, 621)와 비교해서 시인성을 크게 향상시킬 수 있다. 배경 영역의 휘도를 증가시키기 위해서 음영 제거 처리를 행하면, 비백색 배경 영역(614, 615)도 백색으로 보정될 수 있다. 그러나, 배경 영역(626)에 의해 표현되는 바와 같이, 배경 부분에 급격한 농도차를 포함하는 화상에서도 배경 영역을 적절하게 보정할 수 있다.
본 예시적인 실시예에 따르면, 촬영 화상의 보정에서, 유저 지시에 따라서 전경 부분을 치환 또는 단색화할지 또는 치환 또는 단색화하지 않을지를 선택할 수 있다. 이에 의해, 치환 또는 단색화된 화상을 출력처에 출력하고, 치환 또는 단색화되지 않은 화상을 출력처에 출력할 수 있다.
본 예시적인 실시예에서는, 유저의 지시에 따라서 치환 또는 단색화된 화상 또는 치환 또는 단색화되지 않은 화상 중 어느 것을 출력처에 출력할지를 결정하지만, 양 화상 모두가 출력처에 출력될 수 있다. 이 경우에는, 유저는 불필요한 화상 중 어느 하나만을 나중에 삭제하면 된다. 중요한 것은, 본 예시적인 실시예에 다른 휴대 단말기는 양 화상을 출력처에 출력할 수 있다는 것이다.
제1 예시적인 실시예에 따르면, CPU(201)는 전경 치환 또는 단색화의 실행(ON)과 전경 치환 또는 단색화의 미실행(OFF) 사이에서 동작을 변경한다. 본 예시적인 실시예에 따르면, CPU(201)는, 전경 치환 또는 단색화의 ON 및 OFF를 전환하는 처리뿐만 아니라, 치환 또는 단색화를 ON으로 전환할 경우에 전경 부분을 추출하는 방법을 변경하는 처리도 실행한다. 이하에서는 제1 예시적인 실시예와의 차이점에 대해서만 설명한다.
<제2 예시적인 실시예에 따른 화상 보정 처리(S305)의 상세 설명>
도 7은, 본 예시적인 실시예에서, 도 3에 도시된 단계 S305의 화상 보정 처리로서 실행되는 처리 수순을 나타내는 흐름도이다.
단계 S701에서, CPU(201)는 화상 보정 모드를 취득하여 현재의 모드를 판정한다. 취득된 화상 보정 모드가 제1 화상 보정 모드인 경우에는(단계 S701에서 제1 화상 보정 모드), 처리는 단계 S702로 진행한다. 한편, 취득된 화상 보정 모드가 제2 또는 제3 화상 보정 모드인 경우에는(단계 S701에서 제2 화상 보정 모드/제3 화상 보정 모드), 처리는 단계 S704로 진행한다.
단계 S702 내지 단계 S704의 처리는 도 5에 도시된 단계 S502 내지 S504의 처리와 마찬가지이다.
단계 S705에서, CPU(201)는 화상 보정 모드를 취득하여 현재의 모드를 판정한다. 취득된 화상 보정 모드가 제2 화상 보정 모드인 경우에는(단계 S705에서 제2 화상 보정 모드), 처리는 단계 S706로 진행한다. 한편, 취득된 화상 보정 모드가 제3 보정 모드인 경우에는(단계 S705에서 제3 화상 보정 모드), 처리는 단계 S707로 진행한다. CPU(201)는, 유저에 의한 전경 치환 또는 단색화에 관한 지정이 제1 지정 또는 제2 지정인지 여부를 판정한다.
단계 S706에서, CPU(201)는 도 5에 도시된 단계 S505와 마찬가지의 처리를 실행한다.
단계 S707에서, CPU(201)는 입력 화상(왜곡 보정이 행해진 화상)으로부터 문자부 같은 전경 부분을 추출하는 전경 추출 처리를 실행한다. 단계 S707의 전경 추출 처리는 단계 S706(단계 S505)의 전경 추출 처리와 사용되는 임계값 맵이 상이하다. 단계 S707에서는, 임계값 맵의 화소값에 가까운 화소값을 갖는 희미한 문자를 전경 부분으로서 추출하기 위해서, CPU(201)는 단계 S706에서 사용되는 임계값 맵의 화소값이 균일하게 5씩 증분된 임계값 맵을 이용한다. 이에 의해, 단계 S706에서보다 많은 수의 영역을 전경 부분으로서 추출할 수 있다. 예를 들어, 단계 S706에서 추출되지 않은 희미한 문자부는 전경 부분으로서 추출될 것이다. 본 단계에서 이용되는 임계값 맵으로부터, 단계 S706의 앞쪽 경치 추출 결과와 다른 전경 추출 결과를 얻으면 된다. 따라서, 임계값 맵의 화소값은 단계 S706에서 이용되는 임계값 맵의 화소값으로부터 반드시 균일하게 5씩 증분될 필요는 없을 수 있다. 단계 S706의 전경 추출에서 이용되는 임계값 맵의 임계값은 균일하게 감분될 수 있거나, 단계 S706의 알고리즘과 상이한 알고리즘을 통해 구해진 임계값 맵이 이용될 수 있다. 더 구체적으로는, 단계 S706 및 S707를 실행함으로써 본 예시적인 실시예에 따른 휴대 장치는 가변 전경 추출 레벨을 제공할 수 있다.
단계 S708의 처리는 도 5에 도시된 단계 S506의 처리와 마찬가지이다.
단계 S705 내지 S707에서 실행되는 전경 추출에서 이용되는 임계값 맵은, 조작 유닛(208)을 통해서 유저에 의해 발행된 지시에 의해 맵이 변경되는 한은, 반드시 보정 모드에 따라 변경될 필요는 없을 수 있다. 예를 들어, 슬라이더 바를 이용하여 기준값으로부터의 임계값의 지정된 조정량을 접수하고, 지정된 조정량에 따라서 전경 추출을 실행하기 전에 임계값 맵을 조정할 수도 있다.
본 예시적인 실시예에 다른 제3 화상 보정 모드에서의 화상 보정 처리의 효과를 도 8을 참고하여 이하에서 설명한다.
화상(801)은, 도 3에 도시된 단계 S304에서 얻어지는 왜곡 보정이 행해진 화상이며, 화상 보정 처리가 행해진 입력 화상이다. 입력 화상(801)은 피사체로서 화이트 보드의 화상을 촬영한 예를 나타내고, 희미한 마커로 써진 문자부(805)를 포함하고 있다. 화상(802)은, 도 7에 도시된 단계 S703의 처리 결과로서 얻어지는 제1 화상 보정 모드의 출력 화상이다. 화상(803 및 804)은, 각각 도 7에 도시된 단계 S705에서 제2 및 제3 화상 보정 모드를 취득한 경우의, 단계 S708의 처리 결과로서 얻어지는 출력 화상이다.
문자부(806)에 의해 도시되는 바와 같이, 제1 화상 보정 모드에서는, 배경 영역의 휘도와 가까운 휘도를 갖는 희미한 문자부가 음영 제거 처리 후에 색이 희미해진다. 문자부(807)에 의해 도시하는 바와 같이, 제2 화상 보정 모드에서는, 2치화를 통한 전경 추출이 실패할 수 있다. 그러나, 제3 화상 보정 모드에서는, 전경 추출을 위해 이용되는 임계값 맵의 화소값을 균일하게 증분시킴으로써, 배경 영역과의 휘도 차가 작은 희미한 문자부를 전경 부분으로서 추출할 수 있다.
상술한 바와 같이, 제2 예시적인 실시예에 다르면, 전경 치환 또는 단색화의 ON 및 OFF를 전환할 뿐만 아니라, 유저의 지정에 따라 전경 추출의 2치화 임계값 파라미터를 변경함으로써도, 치환 또는 단색화의 대상이 되는 전경 추출의 결과를 변경할 수 있다. 이에 의해, 희미한 펜 또는 마커로 써진 문자부 등의 배경 영역과의 휘도차가 작은 전경 부분에 대해서도 향상된 시인성을 갖는 화상을 유저에게 제공할 수 있다.
다른 실시예
본 개시물의 실시예(들)는, 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독 및 실행하고 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터화된 구성(들)에 의해, 그리고 예를 들어 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 상기 시스템 또는 장치의 컴퓨터화된 구성(들)에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터화된 구성(들)은 하나 이상의 프로세서, 하나 이상의 메모리(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
(기타의 실시예)
본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
본 개시물을 예시적인 실시예를 참고하여 설명하였지만, 본 개시물은 개시된 예시적인 실시예로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims (11)

  1. 화상 처리 장치이며,
    화상을 취득하도록 구성되는 취득 유닛;
    제1 모드 및 제2 모드 중 어느 것이 설정되는지 결정하도록 구성되는 결정 유닛;
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 제1 화상 처리를 행하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 제2 화상 처리를 행하도록 구성되는 화상 처리 유닛; 및
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 제1 화상 처리가 행해진 화상을 출력처에 출력하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 제2 화상 처리가 행해진 화상을 출력처에 출력하도록 구성되는 출력 유닛을 포함하고,
    상기 제1 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제1 제거 처리, 및
    상기 제1 제거 처리가 행해진 상기 화상을 첨예화하기 위한 첨예화 처리를 포함하고,
    상기 제2 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제2 제거 처리,
    상기 제2 제거 처리가 행해진 이미지에 대해 2치화 처리를 행함으로써 전경 영역을 추출하기 위한 전경 추출 처리; 및
    상기 추출된 전경 영역으로부터 문자부 및 사진부를 특정하고, 상기 제2 제거 처리가 행해진 화상 상에서, 상기 특정된 문자부의 색을 상기 특정된 문자부에 대응하는 색에 기초하여 복수의 미리결정된 상이한 색으로부터 선택된 적어도 하나의 색으로 치환하기 위한 치환 처리를 포함하고,
    상기 치환 처리는 상기 제2 제거 처리가 행해진 상기 화상 상의 상기 특정된 사진부에 대해서 행해지지 않는,
    화상 처리 장치.
  2. 제1항에 있어서, 상기 제1 모드 또는 상기 제2 모드는 유저 지시에 기초하여 설정되는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 복수의 미리결정된 상이한 색은 화이트 보드 마커에 대한 대표적인 색인 화상 처리 장치.
  4. 제3항에 있어서, 상기 대표적인 색은 흑색, 적색, 청색, 및 녹색을 포함하는 화상 처리 장치.
  5. 제1항에 있어서, 상기 출력처는 유저에 의해 지정된 출력처인 화상 처리 장치.
  6. 제1항에 있어서,
    상기 제1 및 제2 제거 처리는, 상기 취득된 화상을 블록으로 나누고 각각의 블록에 대한 밝기 정보를 해석함으로써 취득되는 화소값 보정 정보에 기초하여 상기 취득된 화상에 대해 행하여 지고, 상기 제2 제거 처리에서 나눠진 블록의 크기는 상기 제1 제거 처리에서 나눠진 블록의 크기보다 작은 화상 처리 장치.
  7. 제6항에 있어서, 처리될 화상의 일부에 대하여 기하학적 보정을 행하도록 구성되는 기하학적 보정 유닛을 더 포함하며, 상기 제1 또는 제2 화상 처리는 상기 기하학적 보정이 행해진 화상에 대해 행해지는 화상 처리 장치.
  8. 제1항에 있어서,
    피사체의 화상을 촬영하는 카메라를 더 포함하고,
    상기 취득된 화상은 상기 카메라에 의해 촬영된 화상인 화상 처리 장치.
  9. 삭제
  10. 화상 처리 방법이며,
    화상을 취득하는 단계;
    제1 모드 및 제2 모드 중 어느 것이 설정되는지 결정하는 단계;
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 대해 제1 화상 처리를 행하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 제2 화상 처리를 행하는 단계; 및
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 제1 화상 처리가 행해진 화상을 출력처에 출력하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 제2 화상 처리가 행해진 화상을 출력처에 출력하는 단계를 포함하며,
    상기 제1 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제1 제거 처리, 및
    상기 제1 제거 처리가 행해진 상기 화상을 첨예화하기 위한 첨예화 처리를 포함하고,
    상기 제2 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제2 제거 처리,
    상기 제2 제거 처리가 행해진 이미지에 대해 2치화 처리를 행함으로써 전경 영역을 추출하기 위한 전경 추출 처리; 및
    상기 추출된 전경 영역으로부터 문자부 및 사진부를 특정하고, 상기 제2 제거 처리가 행해진 화상 상에서, 상기 특정된 문자부의 색을 상기 특정된 문자부에 대응하는 색에 기초하여 복수의 미리결정된 상이한 색으로부터 선택된 적어도 하나의 색으로 치환하기 위한 치환 처리를 포함하고,
    상기 치환 처리는 상기 제2 제거 처리가 행해진 상기 화상 상의 상기 특정된 사진부에 대해서 행해지지 않는,
    화상 처리 방법.
  11. 컴퓨터가 화상 처리 방법을 실행하게 하는 프로그램을 저장한 비일시적 컴퓨터 판독가능 저장 매체이며, 상기 방법은,
    화상을 취득하는 단계;
    제1 모드 및 제2 모드 중 어느 것이 설정되는지 결정하는 단계;
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 대해 제1 화상 처리를 행하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 취득된 화상에 제2 화상 처리를 행하는 단계; 및
    상기 제1 모드가 설정되는 것이 결정되는 경우에는 상기 제1 화상 처리가 행해진 화상을 출력처에 출력하고, 상기 제2 모드가 설정되는 것이 결정되는 경우에는 상기 제2 화상 처리가 행해진 화상을 출력처에 출력하는 단계를 포함하며,
    상기 제1 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제1 제거 처리, 및
    상기 제1 제거 처리가 행해진 상기 화상을 첨예화하기 위한 첨예화 처리를 포함하고,
    상기 제2 화상 처리는,
    상기 취득된 화상으로부터 조명 불균일과 음영 불균일 중 하나 이상을 제거하기 위한 제2 제거 처리,
    상기 제2 제거 처리가 행해진 이미지에 대해 2치화 처리를 행함으로써 전경 영역을 추출하기 위한 전경 추출 처리; 및
    상기 추출된 전경 영역으로부터 문자부 및 사진부를 특정하고, 상기 제2 제거 처리가 행해진 화상 상에서, 상기 특정된 문자부의 색을 상기 특정된 문자부에 대응하는 색에 기초하여 복수의 미리결정된 상이한 색으로부터 선택된 적어도 하나의 색으로 치환하기 위한 치환 처리를 포함하고,
    상기 치환 처리는 상기 제2 제거 처리가 행해진 상기 화상 상의 상기 특정된 사진부에 대해서 행해지지 않는,
    비일시적 컴퓨터 판독가능 저장 매체.
KR1020180054626A 2017-05-22 2018-05-14 화상 처리 장치, 화상 처리 방법, 및 프로그램 Active KR102311367B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017101110A JP6953178B2 (ja) 2017-05-22 2017-05-22 画像処理装置、画像処理方法、プログラム
JPJP-P-2017-101110 2017-05-22

Publications (2)

Publication Number Publication Date
KR20180127913A KR20180127913A (ko) 2018-11-30
KR102311367B1 true KR102311367B1 (ko) 2021-10-13

Family

ID=62165320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180054626A Active KR102311367B1 (ko) 2017-05-22 2018-05-14 화상 처리 장치, 화상 처리 방법, 및 프로그램

Country Status (5)

Country Link
US (1) US11120530B2 (ko)
EP (1) EP3407589B1 (ko)
JP (1) JP6953178B2 (ko)
KR (1) KR102311367B1 (ko)
CN (1) CN108965646B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020089984A1 (ja) * 2018-10-29 2020-05-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
CN109429674B (zh) * 2018-12-08 2020-12-15 浙江昌新生物纤维股份有限公司 自适应式草坪修剪机
JP2020098420A (ja) * 2018-12-17 2020-06-25 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP7392406B2 (ja) 2019-11-14 2023-12-06 住友電装株式会社 配線部材
CN114693532A (zh) * 2020-12-28 2022-07-01 富泰华工业（深圳）有限公司 图像校正方法及相关设备
CN115348362B (zh) * 2021-04-27 2025-01-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849627B2 (ja) 1989-02-27 1999-01-20 富士ゼロックス株式会社 画像処理装置
JP2000013613A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
JP2001275029A (ja) * 2000-03-28 2001-10-05 Minolta Co Ltd デジタルカメラ、その画像信号処理方法及び記録媒体
US6873436B1 (en) * 2000-09-05 2005-03-29 Fuji Xerox Co., Ltd. Image processing device and recording medium
US7253925B2 (en) * 2003-03-06 2007-08-07 Kabushiki Kaisha Toshiba System and method for performing halftone processing of color and monochrome data
US8144363B2 (en) * 2006-03-22 2012-03-27 Kabushiki Kaisha Toshiba Image process system, image process method and image process program
JP5142491B2 (ja) * 2006-07-31 2013-02-13 株式会社リコー 画像表示装置、画像表示方法及び画像表示プログラム
WO2011074104A1 (ja) 2009-12-17 2011-06-23 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
JP2011175569A (ja) * 2010-02-25 2011-09-08 Sharp Corp 文書画像生成装置、文書画像生成方法及びコンピュータプログラム
CN101945327A (zh) 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
JP5867683B2 (ja) 2011-09-09 2016-02-24 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US9495587B2 (en) * 2012-06-22 2016-11-15 Steelcase Inc. Document unbending and recoloring systems and methods
JP5547243B2 (ja) * 2012-06-28 2014-07-09 シャープ株式会社 画像処理装置、プログラムおよび記録媒体
US9030571B2 (en) 2012-07-11 2015-05-12 Google Inc. Abstract camera pipeline for uniform cross-device control of image capture and processing
US9100610B2 (en) * 2013-01-17 2015-08-04 Marvell World Trade Ltd. Method and system for performing image processing on a document based on a delayed determination of whether the document is monochrome or color
JP6415062B2 (ja) 2014-02-21 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP6584076B2 (ja) * 2015-01-28 2019-10-02 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム
JP6624827B2 (ja) 2015-07-13 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム
JP6584179B2 (ja) * 2015-07-13 2019-10-02 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム
JP6607136B2 (ja) * 2016-04-15 2019-11-20 富士通株式会社 画面構成制御装置および画面構成制御プログラム

Also Published As

Publication number Publication date
EP3407589B1 (en) 2023-02-15
CN108965646A (zh) 2018-12-07
JP2018196096A (ja) 2018-12-06
US11120530B2 (en) 2021-09-14
US20180336665A1 (en) 2018-11-22
JP6953178B2 (ja) 2021-10-27
CN108965646B (zh) 2021-11-02
EP3407589A1 (en) 2018-11-28
KR20180127913A (ko) 2018-11-30

Similar Documents

Publication Publication Date Title
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
US9497355B2 (en) Image processing apparatus and recording medium for correcting a captured image
JP5886265B2 (ja) 携帯端末装置、プログラム、及び記録媒体
US10354352B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009038498A (ja) 画像処理装置及び画像処理方法
CN111368819B (zh) 光斑检测方法和装置
US9888154B2 (en) Information processing apparatus, method for processing information, and computer program
US20240196106A1 (en) Information processing apparatus, information processing system, information processing method, and storage medium
JP6939449B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10846863B2 (en) Pixel binarization apparatus, method, and storage medium
US11368607B2 (en) Information processing apparatus and non-transitory computer readable medium storing program for image color conversion
US20210281742A1 (en) Document detections from video images
JP2014123881A (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
JP2014017562A (ja) 制御装置、および、プログラム
US20160275345A1 (en) Camera systems with enhanced document capture
JP2015012491A (ja) 画像処理装置
JP2013045205A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006048223A (ja) 画像処理装置及び画像処理方法及びコンピュータプログラム
JP2008147714A (ja) 画像処理装置およびその方法
JP2008124693A (ja) 画像処理装置、複写機およびホワイトボード用画像処理プログラム
KR20160057125A (ko) 문서 이미지의 색상 보정 방법
JP2023008183A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2016040859A (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180514

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191107

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180514

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201228

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210827

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211005

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211006

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee