[go: up one dir, main page]

KR101869637B1 - 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체 - Google Patents

화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체 Download PDF

Info

Publication number
KR101869637B1
KR101869637B1 KR1020167032914A KR20167032914A KR101869637B1 KR 101869637 B1 KR101869637 B1 KR 101869637B1 KR 1020167032914 A KR1020167032914 A KR 1020167032914A KR 20167032914 A KR20167032914 A KR 20167032914A KR 101869637 B1 KR101869637 B1 KR 101869637B1
Authority
KR
South Korea
Prior art keywords
image
correction
evaluation
area
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020167032914A
Other languages
English (en)
Other versions
KR20160148635A (ko
Inventor
히로미 요시카와
가즈히로 요시다
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160148635A publication Critical patent/KR20160148635A/ko
Application granted granted Critical
Publication of KR101869637B1 publication Critical patent/KR101869637B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2254—
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

화상 처리 시스템은 중복 화상 영역을 중복 영역으로서 포함하는 복수의 화상에 대하여 화상 처리를 행한다. 이 시스템은 각각의 상기 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 상기 복수의 화상 각각을 평가하기 위한 평가치를 산출하도록 구성된 연산부와, 상기 연산부에 의해 산출된 상기 평가치를 기초로 상기 복수의 화상 내에 보정 대상 화상의 존재 유무를 판단하도록 구성된 판단 제어부와, 상기 판단 제어부에 의해 상기 보정 대상 화상이 존재하는 것으로 판단된 경우, 상기 평가치를 기초로 상기 복수의 화상 중에서 보정을 위한 기준이 되는 보정 기준 화상을 결정하도록 구성된 화상 결정부와. 상기 화상 결정부에 의해 결정된 상기 보정 기준 화상을 기초로 상기 보정 대상 화상을 보정하도록 구성된 화상 보정부를 포함한다.

Description

화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체{IMAGE PROCESSING SYSTEM, IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM}
본 발명은 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 그 방법을 컴퓨터가 실행시키도록 하는 컴퓨터-판독 가능 저장 매체에 관한 것이다.
360도 촬상 가능한 촬상 장치로서, 감시 카메라로 사용되는 전방위 촬상 카메라가 알려져 있다. 전방위 촬상 카메라는 복수의 광각 렌즈 또는 어안 렌즈(fish-eye lens)를 이용하여 복수의 촬상 소자로 촬상하고, 얻어진 복수의 화상에 대하여 왜곡 보정과 투영 변환을 행하고, 이들 화상을 결합하여 하나의 전방위 화상을 생성한다. 인접하는 촬상 소자로 촬상된 화상은 화상의 일부가 중복된 화상 중복 영역이 존재한다. 전방위 촬상 카메라는 그 화상 중복 영역에서 각 화상을 결합하고 있다.
전방위 촬상 카메라는 촬상 방향이 다른 복수의 촬상 소자를 이용하여 촬상을 행하기 때문에 촬상 소자에 의해 얻어진 화상의 화상 중복 영역은 휘도와 색상이 달라서 결합된 화상의 시인성이 저하되는 문제가 생긴다. 화상 중복 영역의 색조를 균일하게 하는 초기 이득과 다른 촬상 소자와의 차이를 감소시키는 보정 이득을 이용하여 화상 중복 영역을 보정하는 것에 의해 화상 중복 영역의 색조의 차이를 감소시키는 기술이 제안된 바 있다(예, 일본 특허 제4739122호 참조).
전방위 촬상 카메라는 광각 렌즈와 어안 렌즈를 이용하여 넓은 범위를 촬상함으로써 그 촬상 범위 내에 태양이나 조명 등의 광원의 빛이 들어가기 쉽다. 이 경우, 화상이 하얗게 흐릿해져서 빛이 번진 것처럼 보이는 플레어(flare)가 발생할 가능성이 높다고 알려져 있다. 플레어는 화상에 균일하게 발생하지 않으므로 플레어가 발생한 화상과 플레어가 발생하지 않는 화상은 휘도와 색상이 서로 다르다. 따라서, 결합된 화상의 경계가 두드러진다는 문제가 있다.
상기 종래 기술에 따르면, 화상 중복 영역의 색조의 차이를 감소시켜 상기 경계를 덜 두드러지게 할 수는 있지만, 이외의 화상 영역은 보정될 수 없다. 결국, 결합된 화상은 휘도와 색상에 차이가 있다.
따라서, 복수의 화상 사이의 휘도와 색상의 차이를 감소시킬 수 있는 시스템 및 방법을 제공할 것이 요구되고 있다.
본 발명의 목적은 종래 기술의 문제점을 적어도 일부 해소하는 것이다.
일 실시 형태에 따르면, 중복 화상 영역을 중복 영역으로서 포함하는 복수의 화상에 대하여 화상 처리를 행하는 화상 처리 시스템이 제공된다. 화상 처리 시스템은: 각 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 각 화상을 평가하기 위한 평가치를 산출하는 연산부; 상기 연산부에 의해 산출된 평가치를 기초로 복수의 화상 내에 보정 대상 화상의 존재 여부를 판단하는 판단 제어부; 상기 판단 제어부에 의해 보정 대상 화상이 존재하는 것으로 판단된 경우, 상기 평가치를 기초로 상기 복수의 화상으로부터 보정을 위한 기준으로서 보정 기준 화상을 결정하는 화상 결정부; 상기 화상 결정부에 의해 결정된 보정 기준 화상을 기초로 보정 대상 화상을 보정하는 화상 보정부를 포함한다.
본 발명에 있어 전술한 것을 포함하여 이외의 목적, 특징, 장점 및 기술적 산업적 중요성은 첨부 도면과 관련하여 고려시 본 발명의 현재 바람직한 실시예에 대한 다음의 상세한 설명을 파악하는 것에 의해 더 잘 이해될 것이다.
도 1은 촬상 장치의 외관도이다.
도 2는 촬상 장치의 하드웨어 구성을 나타낸 도면이다.
도 3은 촬상 장치에 이용되는 어안 렌즈를 설명하는 도면이다.
도 4는 촬상 장치에 의해 촬상된 복수의 화상의 중복 영역을 설명하는 도면이다.
도 5는 전방위 화상의 형식을 설명하는 도면이다.
도 6은 어안 화상을 전방위 화상으로 변환하는 변환 테이블을 설명하는 도면이다.
도 7은 전방위 화상을 생성하는 처리의 흐름도이다.
도 8은 왜곡 보정의 결과를 나타낸 도면이다.
도 9는 연결 위치를 검출하는 방법을 설명하는 도면이다.
도 10은 화상 처리 시스템의 기능 블록도이다.
도 11은 화상 처리 시스템이 실행하는 전체의 처리의 흐름도이다.
도 12는 도 11에 나타낸 S1110 단계에서의 평가치의 취득을 설명하는 도면이다.
도 13은 도 11에 나타낸 S1120 단계에서의 판단의 세부 처리의 흐름도이다.
도 14는 도 11에 나타낸 S1130 단계에서의 보정 맵 작성의 세부 처리의 흐름도이다.
도 15는 보정 제외 맵의 작성을 설명하는 도면이다.
도 16은 중복 영역의 보정량을 산출하는 방법을 설명하는 도면이다.
도 17은 중복 영역의 보정량으로부터 전체 화상의 보정량을 산출하는 방법을 설명하는 도면이다.
도 18은 도 14를 참조로 작성한 보정 맵을 도 15를 참조로 작성한 보정 제외 맵에 의해 수정하는 방법을 설명하는 도면이다.
도 19는 도 13에 기술된 S1310 단계에서의 중복 영역의 평균치를 산출하는 처리의 흐름도이다.
도 20은 도 13에 기술된 S1310 단계에서의 중복 영역의 평균치를 산출하는 다른 처리의 흐름도이다.
도 21은 도 20에 기술된 S2030 단계에서의 매칭도를 산출하는 방법을 설명하는 도면이다.
도 22는 도 14에 기술된 S1430 단계에서의 보정량의 보간 처리를 설명하는 도면이다.
도 23은 도 14에 기술된 S1430 단계에서의 보정량의 보간 처리를 설명하는 도면이다.
도 24는 도 14에 기술된 S1430 단계에서의 보정량의 보간 처리를 설명하는 도면이다.
도 25는 도 14에 기술된 S1430 단계에서의 보정량의 보간 처리를 설명하는 도면이다.
도 26은 중복 영역의 보정량을 수정하는 처리의 흐름도이다.
도 27은 중복 영역의 보정량을 제한하는 처리의 흐름도이다.
도 28은 도 27에 기술된 처리로 이용되는 임계치 테이블을 예시한 도면이다.
도 1은 화상 처리 시스템을 포함하는 촬상 장치의 외관도이다. 해당 예에서는 촬상 장치가 전방위 촬상 카메라이지만, 이것에 한정되지 않는다. 촬상 장치는 복수의 촬상 소자에 의해 중복하는 화상 영역(중복 영역)을 촬영하고, 촬영한 복수의 화상을 그 중복 영역에 의해 연결하도록 구성된 임의의 촬상 기기일 수 있다. 촬영한 복수의 화상을 그 중복 영역에 의해 연결하는 처리는 화상 처리 IC 또는 소프트웨어를 이용하여 실행될 수 있다.
전방위 촬상 카메라(10)는 하나의 촬상 위치에서 전 방향을 촬상할 수 있도록 180도를 넘는 화각(viewing angle)을 갖는 2개의 어안 렌즈(11, 12)와 어안 렌즈(11, 12) 각각에 대응하는 2개의 촬상 소자(13, 14)를 포함한다. 해당 예에서, 전방위 촬상 카메라(10)는 2개의 어안 렌즈(11, 12)와 2개의 촬상 소자(13, 14)를 포함하도록 구성된다. 그러나, 전방위 촬상 카메라(10)는 이 구성에 한정되지 않고, 3개 이상의 각 구성을 포함할 수 있다. 화각은 어안 렌즈(11, 12)에 의한 촬상 각도 범위를 말한다.
어안 렌즈(11, 12)는 촬상한 화상의 중심으로부터의 거리와 광의 입사 각도가 비례하는 등거리 투영 방식을 채용할 수 있다. 촬상 소자(13, 14)는 입사광을 전기 신호로 변환하는 CCD(Charge Coupled Device) 화상 센서나 CMOS(Complementary Metal Oxide Semiconductor) 화상 센서일 수 있다. 2개의 촬상 소자(13, 14)는 촬상한 화상에 중복 화상 영역으로서의 중복 영역이 포함되도록 전방향 촬상을 행한다.
촬상은 촬영자가 촬상 스위치(15)를 눌러 촬상 소자(13, 14)가 동시에 노광됨으로써 행해진다. 촬상 소자(13, 14)는 접수된 광을 전기 신호로 변환함으로써 화상을 취득한다. 취득한 화상은 어안 렌즈(11, 12)를 사용하여 얻어진 것이므로 어안 화상으로 불린다. 2개의 촬상 소자(13, 14)에 의해서 취득된 2개의 어안 화상은 후속하는 화상 처리에서 화상 변환된 후 중복 영역에 의해 결합됨으로써 전방위 화상을 생성한다.
전방위 촬상 카메라(10)는 생성된 전방위 화상의 데이터를 저장하여, 요청이 접수되면, 해당 데이터를 예시되지 않은 PC 등의 표시 장치를 포함하는 기기로 출력하여, 표시 장치에 전방위 화상을 표시할 수 있다. 또한, 전방위 촬상 카메라(10)는 생성된 전방위 화상을 예시되지 않은 프린터나 복합기(MFP)로 출력하여 인쇄 출력물을 생성할 수 있다. 전방위 촬상 카메라(10)는 생성된 전방위 화상을 MFP 또는 PC로 출력하여 FAX 송신 또는 메일 송신을 행할 수도 있다.
도 2는 전방위 촬상 카메라(10)의 하드웨어 구성을 나타낸 도면이다. 도 2의 예에서는 어안 렌즈(11, 12)가 예시되어 있지 않다. 전방위 촬상 카메라(10)는 2개의 촬상 소자(13, 14) 및 촬상 스위치(15) 이외에, 컨트롤러(20), SDRAM(21), 외부 저장 장치(22)를 포함한다. SDRAM(21)은 컨트롤러(20)와 함께 사용되어, 소정의 화상 처리를 실현하기 위한 프로그램을 저장한다. 외부 저장 장치(22)는 화상 처리된 데이터, 즉 상기 전방위 화상 데이터를 저장한다.
컨트롤러(20)는 CPU(23), ROM(24), SRAM(25), 화상 처리 블록(26), SDRAM I/F(27), 외부 저장 I/F(28)를 포함하고, 이들 각각은 버스(29)에 접속되어 있다. CPU(23)는 전방위 촬상 카메라(10) 전체를 제어한다. ROM(24)은 전방위 촬상 카메라(10)를 기동시키는 프로그램, 후술하는 변환 테이블 등을 저장한다. SRAM(25)은 CPU(23)를 위한 작업 영역을 제공한다. 화상 처리 블록(26)은 CPU(23), SRAM(25)및 SDRAM(21) 등과 함께 상기 소정의 화상 처리를 실행한다. 화상 처리 블록(26)은 특수 목적의 집적 회로로서 주문형 집적 회로(ASIC)일 수 있다.
전방위 촬상 카메라(10)는 2개의 촬상 소자(13, 14)에 의해 2개의 어안 화상을 취득한다. 촬상 소자(13, 14)는 각각 A/D 변환기를 포함하고 해당 A/D 변환기를 사용하여 변환된 전기 신호를 디지털 데이터로 변환한다. 촬상 소자(13, 14)는 상기 디지털 데이터를 어안 화상의 데이터로서 컨트롤러(20)에 포함된 화상 처리 블록(26)으로 출력한다. 화상 처리 블록(26)은 CPU(23) 등과 함께 소정의 화상 처리로서 상기 화상 변환 및 전방위 화상으로의 화상의 연결 처리를 수행하고, 생성된 전방위 화상 데이터를 외부 저장 I/F(28)를 통해 외부 저장 장치(22)에 저장한다.
전방위 촬상 카메라(10)는 통신 I/F를 추가로 포함하여 예시되지 않은 PC 또는 MFP 등과 유선 또는 무선 통신을 수행함으로써 전방위 화상 데이터를 이들 기기로 송신하여 화면 표시 또는 인쇄 출력 등을 행할 수 있다. 무선 통신은 Wi-Fi, 블루투스(등록 상표) 및 적외선 등과 같은 무선 랜을 통해 행해질 수 있다.
도 3을 참조하여 어안 렌즈(11)를 상세히 설명한다. 어안 렌즈(12)는 어안 렌즈(11)와 동일한 방식으로 구성되므로, 여기서는 어안 렌즈(11)의 설명만이 주어진다. 180도를 넘는 화각을 갖는 어안 렌즈(11)를 갖는 촬상 소자(13)로 촬상된 어안 화상은 촬상 위치를 중심으로 한 대략 반구체의 피사체의 화상이다.
도 3a에 나타낸 바와 같이, 어안 렌즈(11)로의 광의 입사각을 φ, 화상의 중심과 화상 포인트 사이의 거리를 화상 높이(h), 투영 함수를 f라고 하면, 이들 항의 관계는 다음의 수학식 1로 표현될 수 있다.
[수학식 1]
h = f(f)
투영 함수(f)는 어안 렌즈(11)의 특성에 따라 다르다. 예를 들면, 등거리 투영 방식의 어안 렌즈를 채용한 경우, 도 3b에 나타낸 바와 같이 입사각(φ)이 화살표로 나타낸 바와 같이 커짐에 따라 화상 높이(h)가 커지는 비례 관계가 존재한다. 도 3b에서, 원 외측의 흑색 영역은 광이 입사되지 않는 영역이다.
도 4를 참조하여 촬상 소자(13, 14)에 의해 촬상된 2개의 어안 화상의 중복 영역을 설명한다. 도 4에서, 촬상 소자(13)는 "제1 촬상 소자"로, 촬상 소자(14)는 "제2 촬상 소자"로 부른다. 어안 렌즈(11, 12)는 각각 180도를 넘는 화각을 가지고 있으므로, 촬상 소자(13, 14)로 촬상된 어안 화상은 중복 영역을 포함한다. 도 4a는 촬상 소자(13, 14)로 촬상된 어안 화상으로서, 광이 입사되지 않은 흑색 영역, 입사각이 90도 미만인 백색 영역 및 입사각이 90도가 넘는 사선 영역을 포함하는 화상을 나타낸다.
도 4a의 사선 영역은 2개의 어안 화상 사이가 중복하는 화상 영역으로서, 중복 영역으로서 정의될 수 있다. 그러나, 어안 렌즈(11, 12)는 화상 높이(h)가 커져서 화상 포인트가 화상의 중심으로부터 멀어질수록 왜곡 및 수차가 커지기 쉽다. 또한, 어안 렌즈(11, 12)의 외부 프레임이 화상 내에 반영될 수 있다. 왜곡이나 수차가 발생한 영역이나 외부 프레임의 화상은 화상 연결에 사용될 수 없다.
따라서, 도 4b에 나타낸 바와 같이, 중복 영역(30)은 세로 줄무늬로 나타낸 소정 폭의 링형 내부 영역에 한정될 수 있다. 도 4b의 예에서, 2개의 어안 화상은 촬상 소자(13, 14)를 동시에 노광하는 것을 통해 얻어지므로, 중복 영역(30)은 기본적으로 동일한 피사체의 화상을 구성한다.
다음에, 도 5를 참조하여 전방위 화상을 설명한다. 어안 화상은 각각 도 5a에 나타낸 바와 같이 대략 반구체를 원형으로 나타낸 형식을 취한다. 지구를 예로 들면, 경도가 수평 각도에 해당하고, 위도가 수직 각도에 해당한다. 수평 각도는 0~360도의 범위 내에 속하고, 수직 각도는 0~180도의 범위 내에 속한다.
전방위 화상은 도 5b에 나타낸 직사각형 형태의 형식을 취하는 데, 이는 수평 방향을 따른 수평 각도 및 수직 방향을 따른 수직 각도와 2개의 반구체 화상을 결합함으로써 생성되는 화상이다. 정확한 의미로, 결합 대상의 화상 각각은 반구체 화상보다 중복 영역만큼 크지만, 여기서는 편의상 반구체 화상으로 부른다.
2개의 반구체 화상은 어안 화상의 수평 각도와 수직 각도에 대응하는 화소와 동일한 화소값으로 도 5b에 나타낸 직사각형 형식으로 나타낸 동일한 수평 각도와 수직 각도에 대응하는 화소를 갖는 화상으로서 생성된다. 반구체 화상은 각각 어안 화상을 투영 변환함으로써 생성될 수 있다. 생성된 2개의 반구체 화상을 결합함으로써 수평 방향 및 수직 방향으로 360도의 전방향의 전방위 화상을 생성할 수 있다.
도 6은 어안 화상의 투영 변환에 사용되는 변환 테이블을 예시한다. 도 6a에 나타낸 바와 같이, 변환 테이블은 변경전 화상인 어안 화상의 수평 각도와 수직 각도의 값인 좌표치와, 변경후 화상인 반구체 화상의 좌표치 사이의 대응 관계를 포함한다. 변경전 화상의 좌표치는 (x, y)로 나타내고, 변경후 화상의 좌표치는 (θ, φ)으로 나타낸다. 도 6b에 나타낸 바와 같이, 화상 각각에 대해, 상부 좌측 코너의 좌표 (0,0)를 기준으로 변경전 화상의 화소와 변경후 화상의 대응하는 화소를 결정하여, 이들 화소의 좌표치의 조합을 변환 테이블에 데이터로서 유지한다. 대응 관계는 변환전의 화상과 변환후의 화상 사이의 투영 관계로부터 결정될 수 있다.
변환 테이블은 2개의 어안 렌즈(11, 12) 및 2개의 촬상 소자(13, 14)의 각각에 대한 렌즈 설계 데이터 등을 기초로 사전에 작성될 수 있으며, 도 2에 나타낸 ROM(24) 내에 저장되어 필요에 따라 추후 독출될 수 있다. 변환 테이블을 이용함으로써 어안 화상을 투영 변환하여 어안 화상의 왜곡을 보정할 수 있다. 보정된 화상은 결합되어 전방위 화상을 생성할 수 있다.
도 7을 참조하여 전방위 화상을 생성하는 처리의 흐름을 설명한다. 이 처리는 2개의 촬상 소자(13, 14)에 의해 2개의 어안 화상을 촬상 및 입력하는 S700 단계에서 시작된다. S710 단계에서는 ROM(24)에 저장된 도 6a에 나타낸 바와 같은 변환 테이블을 이용하여 어안 화상을 투영 변환하여 왜곡 보정을 행한다. 왜곡 보정은 도 5a에 나타낸 바와 같은 2개의 반구체 화상의 생성을 가능하게 한다.
S720 단계에서는 얻어진 2개의 반구체 화상의 중복 영역에서의 연결을 위해 연결 위치를 검출한다. 연결 위치의 검출은 후에 상술된다. S730 단계에서는 검출 결과를 기초로 S710 단계에서 사용되는 변환 테이블을 보정한다. 보정의 목적과 구체적인 처리의 내용은 후술된다. S740 단계에서는 보정된 변환 테이블에 대하여 회전 변환을 행하여 화상 생성용의 변환 테이블을 작성한다. 회전 변환은 화상 생성용 변환 테이블에 있어서 화상의 상하 방향과 전방위 촬상 카메라(10)의 천정 방향을 일치시키는 것을 보장하기 위한 목적으로 수행된다.
S750 단계에서는 2개의 어안 화상에 대하여 화상 생성용 변환 테이블을 이용하여 투영 변환을 행하여 화상의 왜곡을 보정한다. S760 단계에서는 왜곡이 보정된 2개의 화상을 결합하는 블렌딩(blending) 처리를 실행한다. 2개의 화상은 그 중복 영역에 의해 결합된다. 그러나, 하나의 화상의 중복 영역만의 데이터가 존재하는 경우, 화상의 조합은 그 데이터를 사용하여 수행한다. 블렌딩 처리가 종료된 후, 처리는 S770 단계로 이동하여 종료된다.
도 8을 참조하여 도 7의 S710 단계에서의 왜곡 보정을 상세히 설명한다. 2개의 촬상 소자(13, 14)로 촬상된 2개의 어안 화상을 각각의 변환 테이블을 이용하여 투영 변환하여 왜곡 보정을 행함으로써 도 8a에 나타낸 바와 같이 어안 화상이 직사각형의 반구체 화상으로 변환된다. 촬상 소자(13)로 촬상되어 변환된 화상(31)은 도 8a의 상측 화상을 구성하고, 촬상 소자(14)로 촬상되어 변환된 화상(32)은 도 8a의 하측 화상을 구성한다. 상측 화상과 하측 화상이 중복하는 중앙부분의 화상 영역이 중복 영역(30)을 구성한다. 중복 영역(30)은 쉽게 검출될 수 있다.
이와 같이 변환된 화상은 그 화상의 상하 방향이 도 8b에 나타낸 어안 렌즈(11, 12)를 갖는 촬상 소자(13, 14)를 포함하는 전방위 촬상 카메라(10)의 화살표(A)로 나타낸 수직 방향에 대해 대략 90도 회전된 것이다.
도 9를 참조하여 연결 위치를 검출하는 처리를 설명한다. 연결 위치의 검출은 일반적으로 알려진 템플릿 매칭에 의해 수행될 수 있다. 템플릿 매칭에서는 도 8에 나타낸 바와 같이 중복 영역을 검출한 후, 도 9a에 나타낸 바와 같이 2개의 반구체 화상 중의 하나의 중복 영역(30)으로부터 소정 크기의 화상을 추출하여 템플릿 화상(34)으로서 설정한다. 템플릿 화상(34)은 소정의 일정 간격(ST)으로 수평 방향의 크기(w)와 수직 방향의 크기(h)로 복수 개 추출된다. 도 9a를 참조하면, 템플릿 화상(34)은 번호 1~6의 직사각형 화상이다. 템플릿 화상(34)은 각각 화상의 상부 좌측 코너의 좌표를 템플릿 화상(34)의 추출 좌표(sx1, sy1)로 한다. 추출된 템플릿 화상(34)은 각각 예컨대, 도 9b에 나타낸 화상이다.
연결 위치는 도 9c에 나타낸 바와 같이 템플릿 화상(34)의 상부 좌측 코너의 좌표(kx, ky)를 탐색 위치로 설정하고 그 탐색 위치를 2개의 반구체 화상 중의 다른쪽의 중복 영역 내를 이동시켜 그 평가치가 가장 높은 위치를 탐색하도록 검출을 행한다. 탐색 범위는 중복 영역 내에 속할 수 있다. 템플릿 매칭에 의해 검출된 좌표(kx, ky)와 템플릿 화상(34)의 추출 좌표의 좌표(sx1, sy1)의 차분을 연결 위치의 검출 결과로서 출력한다. 이 검출 결과는 복수 개의 템플릿 화상을 소정의 간격(ST)으로 단계적으로 추출하는 것으로 얻어지므로 이산 데이터를 구성한다. 이 때문에, 선형 보간 등을 행하는 것으로 이산 데이터 사이에 데이터를 취득할 수 있다.
중복 영역은 동일한 피사체의 화상을 나타내지만, 그 피사체에 대하여 촬상 소자(13, 14)가 향하는 방향이 다르기 때문에 시차가 생긴다. 시차가 생기면, 피사체가 이중 화상으로 나타나서 2개의 화상을 어느 하나로 맞출 필요가 있다. 연결 위치의 검출은 이러한 시차를 보정하도록 의도된 것이다. 시차는 피사체의 위치에 따라 다르기 때문에 촬상할 때마다 각 중복 영역 내에서 최적의 연결 위치를 검출할 필요가 있다.
도 7에 기술된 S730 단계에서의 변환 테이블의 보정은 템플릿 매칭에 의해 검출된 좌표를 이용하여 행해진다. 구체적으로는 하나의 어안 화상에 대해 사용되는 변환 테이블의 좌표치(x, y)에 연결 위치의 검출 결과인 차분을 가산하여 그 좌표치를 보정한다. 이 보정은 하나의 어안 화상을 다른 쪽의 어안 화상에 연결하도록 의도된 것이다. 따라서, 다른 쪽의 어안 화상에 대하여 사용되는 변환 테이블의 보정은 행하지 않는다.
전술한 설명은 2개의 촬상 소자(13, 14)를 이용하여 촬상한 어안 화상을 화상 변환하고 2개의 화상을 연결하여 전방위 화상을 생성하는 처리에 대해 주어진 것이다. 이하, 어안 화상에 플레어가 발생했는 지 여부를 판단하고, 플레어가 발생한 경우, 적절히 보정함으로써 플레어의 발생에 의해서 생긴 휘도와 색상의 차이를 감소시키는 처리를 설명한다. 다음의 설명에서, 휘도와 색상의 차이의 원인으로서 플레어를 취하는 경우를 예시한다. 그러나, 휘도와 색상의 차이가 생긴 부자연스런 결합 화상의 원인은 플레어에 한정되지 않는다.
도 10은 전술한 처리를 실현하기 위한 화상 처리 시스템의 기능 블록도이다. 화상 처리 시스템은 복수의 촬상 소자(13, 14) 등으로부터 입력된 복수의 화상에 대하여 화상 처리를 수행하도록 구성된다. 화상 처리 시스템은 연산부(40), 판단 제어부(41), 화상 결정부(42) 및 화상 보정부(43)를 포함하도록 구성된다. 이들 기능부는 예컨대, 도 2에 나타낸 CPU(23)가 SDRAM(21)에 기억된 프로그램을 실행하는 것에 의해 또는 화상 처리 블록(26)에 의해 실현된다.
연산부(40)는 각 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 각 화상을 평가하기 위한 평가치를 산출한다. 평가치는 예컨대, 각 중복 영역 내의 복수의 화소의 화소값의 평균치나 분산치일 수 있다. 컬러 화상으로 RGB 색 공간을 채용하는 경우, 화소값 각각은 RGB의 색상의 신호량을 포함할 수 있다. YCbCr 색 공간을 채용하는 경우는 휘도치, 청색의 색상 및 채도의 값, 적색의 색상 및 채도의 값을 포함할 수 있다.
판단 제어부(41)는 연산부(40)에 의해 산출된 평가치에 따라 복수의 화상 내에 보정 대상 화상의 존재 여부를 판단한다. 예컨대, 판단 제어부(41)는 임계치를 가져서 그 임계치와의 비교를 통해 보정 대상 화상의 유무를 판단할 수 있다. 구체적으로, 판단 제어부(41)는 상기 평균치 또는 분산치가 임계치를 넘는 화상을 보정 대상 화상으로 판단한다. 이러한 화상이 존재하면, 판단 제어부(41)는 보정 대상 화상이 있는 것으로 판단한다.
판단 제어부(41)가 보정 대상 화상이 존재하는 것으로 판단한 경우, 화상 결정부(42)는 연산부(40)에 의해 산출된 평가치에 따라 복수의 화상 중에서 보정을 위한 기준이 되는 보정 기준 화상을 결정한다. 보정 기준 화상은 보정 대상 화상을 제외한 복수의 화상 중에서 선택될 수 있다. 예컨대, 보정 기준 화상은 보정 대상 화상과 결합하는 화상으로서, 보정 대상 화상이 아닌 화상일 수 있다. 상기 전방위 촬상 카메라(10)의 경우, 화상 중 하나가 보정 대상 화상이면, 다른 화상을 보정 기준 화상으로서 결정할 수 있다.
화상 보정부(43)는 화상 결정부(42)에 의해 결정된 보정 기준 화상에 따라 보정 대상 화상을 보정한다. 화상 보정부(43)는 보정 기준 화상의 휘도와 색상에 근접하도록 보정 대상 화상의 휘도와 색상을 보정한다. 이 보정에 의해, 결합하는 복수의 화상의 휘도와 색상의 차이가 감소될 수 있다.
도 11을 참조하여, 화상 처리 시스템이 실행하는 처리를 설명한다. 화상 처리 시스템은 2개의 촬상 소자(13, 14)가 촬상한 2개의 어안 화상을 접수함으로써 S1100 단계에서 처리를 시작한다. S1110 단계에서는 연산부(40)가 2개의 어안 화상의 각 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 각 화상을 평가하기 위한 평가치를 산출한다.
S1120 단계에서는 판단 제어부(41)가 연산부(40)에 의해 산출된 평가치에 따라 2개의 어안 화상 내에 플레어가 발생한 화상(플레어 화상)의 존재 유무를 판단한다. S1120 단계에서, 플레어 화상이 존재하는 경우, 처리는 S1130 단계로 이동되고, 플레어 화상이 존재하지 않는 경우, 처리는 S1150 단계로 이동되어 종료된다.
S1130 단계에서는 화상 결정부(42)가 플레어가 발생하지 않는 화상을 보정 기준 화상으로서 결정하고, 화상 보정부(43)가 S1110 단계에서 산출된 평가치를 이용하여, 플레어 화상을 보정하기 위한 보정치를 맵핑한 보정 맵을 작성한다. S1140 단계에서는 화상 보정부(43)가 상기 작성된 보정 맵을 이용하여 플레어 화상을 보정한다. 보정이 종료된 후, 처리는 S1150 단계로 이동되어 종료된다.
도 11의 S1110 단계에서의 평가치의 산출을 도 12를 참조로 설명한다. 평가치는 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 산출되는 데, 화소값은 도 12a의 세로 줄무늬로 표시된 중복 영역(30) 내의 하나 이상의 화소의 화소값의 취득이 필요하다. 하나의 취득 방법을 이하에 설명한다. 다음의 방법은 하나의 예이므로, 평가치를 산출하는 임의의 다른 방법을 사용할 수 있다.
먼저, 도 12a에 나타낸 바와 같이 입력된 2개의 어안 화상 각각을 동일한 크기를 갖는 미리 결정된 개수의 직사각형의 평가 영역으로 분할한다. 예컨대, 각 어안 화상의 크기가 1952(화소)×1932(화소)인 경우, 어안 화상은 48×48 영역으로 분할될 수 있다. 이 분할 수는 하나의 예일뿐이므로, 시험 등에 의해 임의의 다른 최적의 분할 수를 결정하여 적용할 수 있다. 화상 처리 시스템은 이러한 분할을 하기 위한 기능부로서 화상을 복수의 평가 영역으로 분할하도록 구성된 영역 분할부를 포함할 수 있다.
다음에, 도 12b에 나타낸 바와 같이 세로 줄무늬로 표시되는 중복 영역(30) 내에 포함되는 평가 영역 전부를 중복 영역(30)에 대응하는 평가 영역으로서 검출한다. 도 12b에서는 검출된 평가 영역(35)이 회색으로 표시되고 있다. 화상 처리 시스템은 이 검출을 위한 기능부로서 영역 검출부를 포함할 수 있다.
검출된 평가 영역(35)은 각각 복수의 화소로 구성된다. 각 화소는 화소값을 가진다. 평가치는, 전체 평가 영역(35)에서 화소값을 합하고, 화소값의 합을 화소수값의 수로 나눠 평균치를 구하고, 전체 평가 영역에서 결정된 평균치를 합한 후, 평균치의 합을 평가 영역의 수로 나눠 평균치를 구하는 것에 의해 산출될 수 있다. 대안적으로, 평가치는 전체 평가 영역에서 결정된 평균치의 분산치를 결정하는 것에 의해 산출될 수 있다. 따라서, 평가치는 상기 평균치 또는 분산치를 이용하여 결정될 수 있다. 화상 처리 시스템은 평가 영역의 평균치를 산출하기 위한 평균치산출부를 기능부로서 포함할 수 있다.
도 1에 나타낸 바와 같은 구조의 전방위 촬상 카메라(10)로 360도 촬상하는 경우, 촬상 스위치(15)을 누르는 촬영자의 손가락이 크게 반영될 수 있다. 이러한 경우, 일측 중복 영역(30)에는 손가락이 보이지만, 타측 중복 영역(30)에는 보이지 않는다. 따라서, 손가락의 반영의 유무에 따라 산출되는 평균치 또는 분산치가 크게 변하게 된다. 따라서, 손가락의 화상의 부분은 평가치의 산출에 이용되지 않는 것이 바람직하다.
따라서, 손가락이 반영될 수 있는 중복 영역(30)의 하부 1/4의 영역은 불필요 영역으로서 설정될 수 있고, 중복 영역(30) 내에 포함되는 이외의 평가 영역을 중복 영역(30)에 대응하는 평가 영역(35)으로서 검출할 수 있다. 해당 예에서는 중복 영역의 하부 1/4의 영역을 불필요 영역으로서 설정했지만, 본 실시예는 이것에 한정되지 않는다. 대안적으로, 중복 영역의 1/5 이하 또는 1/3 이상의 영역을 불필요 영역으로서도 설정할 수도 있고, 다른 영역을 불필요 영역에 추가할 수도 있다.
불필요 영역을 설정하여 손가락 등의 장해물을 평가 대상으로부터 제외함으로써 플레어 화상과 보정 기준 화상 사이의 상관성이 높은 평가 영역만의 평균치 또는 분산치를 결정할 수 있다.
도 11의 S1120 단계에서의 플레어 화상의 유무의 판단을 도 13을 참조로 설명한다. 이 처리는 평가치를 산출시 S1300 단계에서 시작한다. S1310 단계에서는 평가치로서 산출된, 중복 영역에 대응하는 평가 영역의 모든 평균치를 평균화한다. 이 단계는 연결 대상 화상마다 수행된다. 따라서, 2개의 화상을 연결시, 2개의 화상 각각에 대해 평균치를 산출한다.
S1320 단계에서는 연결 대상 화상의 사이에서 산출된 평균치를 비교한다. 해당 예에서는 평균치의 차분의 절대치를 산출하여, 평균치가 최소인 화상을 추출한다. 이후, 이들의 정보를 비교 결과로서 출력한다. 예컨대, 화상 P와 화상 Q를 연결하고자 하고, 그 평균치를 AVE_P와 AVE_Q라고 하면, 비교 결과는 |AVE_P-AVE_Q|이고 AVE_P>AVE_Q인 경우 화상 Q이고, AVE_P<AVE_Q인 경우 화상 P가 된다.
S1330 단계에서는 비교 결과의 차분의 절대치가 미리 설정된 임계치(T)보다 큰 지 여부를 판단한다. 절대치가 큰 경우는 휘도치 등의 차이가 커서 처리가 S1340 단계로 이동되어, 플레어가 발생하였고 그 화상이 플레어 화상이라는 것을 판단한다. 이에 대하여, 절대치가 작은 경우는 그 차이 작아서 처리가 S1350 단계로 이동된다. 이 경우, 플레어가 발생하지 않았고 그 화상이 플레어 화상이 아닌 것으로 판단한다. 이 판단의 종료시, 처리는 S1360 단계로 이동되어 종료된다.
S1320 단계에서의 비교와 추출로 얻어진 최소 평균치의 화상을 플레어가 발생하지 않은 보정 기준 화상으로서 결정할 수 있다. 기본적으로, 2개의 화상을 동시 노광으로 촬상한 경우, 화상은 동일한 피사체를 동일한 휘도로 나타낸 중복 화상을 포함하여야 한다. 그러나, 한편의 화상에 플레어가 발생하고 있는 경우, 중복 영역의 상기 평균치가 높아지게 된다. 따라서, 상기와 같이 임계치를 설정함으로써 화상이 그 임계치보다 큰 평균치를 가질 때, 그 화상을 플레어 화상으로서 판단할 수 있다. 평균치가 최소인 화상은 플레어가 발생하지 않을 가능성이 높기 때문에 보정 기준 화상으로서 사용될 수 있다.
도 11에 나타낸 S1130 단계에서의 보정 맵의 작성을 도 14를 참조로 설명한다. 플레어 화상이 있다고 판단되면, 이 처리는 S1400 단계에서 시작한다. S1410 단계에서는 보정을 제외하는 영역을 지정하는 보정 제외 맵을 작성한다. 보정 제외 맵에서는 보정 대상 화상을 구성하는 복수의 화소의 화소값에 따라 판정된 보정 대상 화상 내에서 보정을 행하지 않는 보정 제외 영역에 포함되는 평가 영역에 대응하는 위치의 블록에 보정 제외 값을 저장한다. 그 이외의 블록에는 보정 제외하지 않는 값이 저장된다. 화상 처리 시스템은 이 보정 제외 맵을 작성하기 위해 보정 제외 영역을 판정하도록 구성된 영역 판정부를 기능부로서 포함할 수 있다.
평균치가 최소이고 플레어가 발생하지 않는 화상을 기초로 플레어가 발생하는 화상을 보정하는 경우, 그 플레어가 발생하고 있는 화상 전체가 보정된다. 화상 전체에 보정을 행하면, 전체적으로 휘도가 저하하고 색상 변경이 일어난다. 따라서, 결합된 화상이 부자연스럽게 보일 수 있다. 예컨대, 광원의 실제 휘도와 색상은 플레어가 발생하고 있는 화상의 휘도와 색상에 반영되지만, 보정에 의해 휘도가 감소되고 색상이 어둡게 된다. 따라서, 광원과 같이 보정되지 않는 피사체의 화상에 대해 보정을 행하지 않도록 보정 제외 맵을 작성한다.
S1420 단계에서는 중복 영역에 대응하는 평가 영역의 평균치 또는 분산치와 같은 평가치로부터 중복 영역의 보정량을 산출한다. 보정량은 휘도 감소 정도와 색상 변경 정도를 정량화하도록 의도된 것이다. S1430 단계에서는 S1420 단계에서 산출된 보정량을 기초로, 보정 대상 화상 전체, 즉 플레어가 발생하고 있는 화상 전체의 보정량을 보간 처리에 의해 산출하고, 해당 산출한 보정량을 이용하여 보정 맵을 작성한다. 보정 맵에서는 산출된 보정량을 보정 대상 화상의 평가 영역에 대응하는 위치의 블록에 저장한다.
S1440 단계에서는 S1430 단계에서 작성된 보정 맵에 대하여 S1410 단계에서 작성된 보정 제외 맵을 적용하여 보정 맵을 수정한다. 이후, S1450 단계에서는 보정 맵 내의 보정치에 극단적으로 높거나 낮은 임의의 값이 존재하는 경우, 이들 값을 평준화하는 평준화 처리, 즉 저역-통과 필터(LPF) 처리를 수행한다. LPF는 가우스 필터일 수 있다.
LPF 처리는 1회 이상 행할 수 있다. 그럼에도, LPF 처리의 횟수는 적을수록 바람직하다. 이것은 LPF 처리를 다수 회 수행시, 보정 제외된 화상의 보정치가 크게 변화되어, 보정 제외가 무의미하게 되기 때문이다. 도 14에 기술된 실시예에서는 S1460 단계에서 기술된 바와 같이 LPF 처리를 2회 실시한다. 화상 처리 시스템은 이 평준화 처리를 실시하기 위한 기능부로서 평준화 처리부를 더 포함할 수 있다.
S1460 단계에서는 LPF 처리를 2회 실시했는 지 여부를 판단한다. LPF 처리를 2회 실시하지 않은 경우, 처리는 S1440 단계로 복귀한다. LPF 처리를 2회 실시한 경우, 처리는 S1470 단계로 이동된다. S1470 단계에서는 보정 맵에 대한 리사이징(resizing) 처리를 행한다. 리사이징 처리는 보정 맵에 포함되는 평가 영역의 수를 보정 대상 화상의 화소수로 변경하도록 의도된 것이다. 따라서, 화상 처리 시스템은 리사이저(resizer)를 기능부로서 포함할 수 있다.
S1440 단계까지 작성되는 보정 맵은 도 12에 나타낸 바와 같이 어안 화상을 수평 방향 및 수직 방향으로 분할한 분할수에 따라 리사이징된다. 즉, 어안 화상이 48×48로 분할되어 있으면, 보정 맵의 크기는 48×48이다. 전술한 예에서, 어안 화상의 실제 크기는 1952(화소)×1932(화소)이다. 따라서, 리사이징 처리는 48×48로부터 1952×1932로 크기를 변경하도록 수행된다. 리사이징 처리의 종료시, 처리는 S1480 단계로 이동되어 종료된다.
리사이징 처리는 임의의 공지된 방법에 의해 수행될 수 있다. 예컨대, 크기는 이중 선형(bilinear), 최근린 내삽(nearest neighbor), 또는 쌍3차(bicubic) 방법에 의해 변경될 수 있다.
도 14의 S1410 단계에서의 보정 제외 맵의 작성 방법을 도 15를 참조로 설명한다. 도 15a에서는 광원(50)이 반사된 화상에서 이 광원(50)을 나타내는 화상의 일부를 보정을 제외하는 피사체의 화상으로 설정한다. 우선, 도 15b에 나타낸 바와 같이 전체 화상을 복수의 평가 영역으로 분할하고, 평가 영역의 평균치 또는 분산치를 산출한 후, 평가 영역 각각이 보정 제외 영역을 구성하는 지 여부를 판단한다. 이 판단은 전술한 영역 판정부에 의해 행해질 수 있다.
보정 제외 영역의 조건은 "고휘도 및 무채색" 또는 "고휘도 및 휘도의 최대치가 임계치 이상"일 수 있다. "고휘도 및 무채색"을 제1 조건이라고 하면, 예컨대, 고휘도는 휘도치가 0~255 내에 속하는 경우, 200 이상으로 설정될 수 있고, 무채색은 색차값(color difference value)이 -127~127 내에 속하는 경우, -1~1로 설정될 수 있다. "고휘도 및 휘도의 최대치가 임계치 이상"을 제2 조건이라고 하면, 예컨대, 고휘도는 휘도치가 0~255 내에 속하는 경우, 230 이상으로 설정될 수 있고, 임계치는 휘도치가 0~255 내에 속하는 경우, 250으로 설정될 수 있다. 이들 수치는 일례일 뿐이므로 본 발명은 이들 수치에 한정되지 않는다.
보정 제외 영역은 상기 제1 및 제2 조건 모두에 의해 판단되는 것이 바람직하다. 하나의 평가 영역 전체가 균일한 휘도와 색상을 가지는 경우, 보정 제외 영역을 제1 조건하에서만 판단할 수 있다. 그러나, 하나의 평가 영역 내에 광원(50) 등의 고휘도 피사체와 트리 브랜치(tree branch) 등의 저 휘도의 피사체가 보이는 경우, 제1 조건이 적용되지 않으므로, 광원(50)의 화상이 보정되어 어둡고 부자연스럽게 된다. 제1 조건은 물론 제2 조건 하에서의 판단에 의해 이러한 광원(50)과 트리 브랜치 등을 나타내는 부분을 보정 제외 영역으로서 적절히 추출할 수 있다.
도 15b를 참조하면, 이들 조건을 만족하는 영역으로서, 8개의 영역(51)이 추출된다. 보정 제외 맵은 보정 대상 화상을 복수의 평가 영역으로 분할하는 경우와 동일한 방식의 형식을 가진다. 보정 제외 맵은 도 15c에 나타낸 바와 같이 조건을 만족하는 평가 영역에 대응하는 위치의 블록에 보정 제외를 나타내는 값으로서 "1"이 저장된다. 조건을 만족하지 않는 평가 영역에 대응하는 위치의 블록에는 보정 제외의 배제를 나타내는 값으로서 "0"이 저장된다.
도 14의 S1420 단계에서의 보정량의 산출 방법을 도 16을 참조로 설명한다. 도 16a는 플레어 화상과 기준 화상을 예시하며, 도 16b는 도 16a의 파선으로 표시된 중복 영역(30)에 포함되는 평가 영역(35)의 확대도를 포함한다. 연결 위치에 대응하는 평가 영역(35)은 동일한 참조 부호로 주어진다. 구체적으로, 도 16b의 좌측 도면에서 플레어 화상으로부터 추출된 참조 부호의 평가 영역과, 도 16b의 우측 도면에서 기준 화상으로부터 추출된 참조 부호의 평가 영역은 연결되어 맞춰진다. 이것은 전방위 촬상 카메라(10)가 전후면을 동시에 촬상하기 때문에 중복 영역 내의 화상은 서로 180도 회전된 위치가 되기 때문이다.
2개의 화상이 연결될 때, 참조 부호 a의 2개의 평가 영역의 값 중에서 일측은 플레어의 발생에 따라 더 높고, 타측은 플레어가 발생하지 않는 것에 따라 더 낮다. 따라서, 이들 값이 동일해지도록 보정을 행한다. 보정에 이용되는 보정량(c)은 하기 수학식 2 또는 수학식 3에 의해 산출될 수 있다. 수학식 2에서, Eb는 보정 기준 화상으로서의 기준 화상의 평가치를 나타내고, Et는 보정 대상 화상, 즉 플레어 화상의 평가치를 나타낸다.
[수학식 2]
Figure 112016115132510-pct00001
[수학식 3]
C = Eb - Et
보정량(c)은 상기 수학식 2 또는 3에 의해 산츨될 수 있다. 산출된 보정량(c)은 플레어 화상에 대응하는 평가 영역의 값으로서 저장된다. 따라서, 도 16b에 나타낸 참조 부호 a에 대해 보정량(c)을 산출한 경우, 보정량(c)은 참조 부호 a의 값으로서 저장된다.
도 14의 S1430 단계에서의 보정량의 보간 처리를 도 17을 참조로 설명한다. 중복 영역의 보정량(c)은 상기 수학식 2 또는 3을 이용하여 산출된다. 중복 영역의 내측의 경우, 중복 영역 내의 복수의 평가 영역(35)에 대해 산출된 보정량을 이용하여, 도 17a의 화살표로 나타낸 바와 같이 화상의 중심 측으로 보정량을 보간함으로써 내측의 평가 영역의 보정량을 결정한다. 결정 방법은 추후 상술된다.
중복 영역의 외측의 경우, 후속 단계인 S1450 단계에서 LPF 처리를 실시한다. 따라서, LPF 처리를 실시하더라도 중복 영역의 보정량에 큰 변화가 오지 않는 보정량을 설정하는 것이 필요하다. 도 17b에 나타낸 바와 같이, 예컨대, 평가 영역(x) 각각은 바로 상측 평가 영역의 보정량과 동일한 보정량으로 보정되고, 평가 영역(y) 각각은 바로 좌측의 평가 영역의 보정량과 동일한 보정량으로 보정된다. 적용될 평가 영역의 보정량을 미리 결정할 수 있다.
도 14의 S1440 단계에서의 보정 맵의 수정을 도 18을 참조로 설명한다. 도 18a는 도 14에 기술된 처리에 의해 작성된 보정 맵의 일부를 예시하며, 도 18b는 도 15c에 나타낸 보정 제외 맵의 일부를 예시한다. 도 18a에 나타낸 보정 맵은 상기 수학식 2로 표현된 평가치 사이의 비율을 평가 영역의 보정량으로서 저장한 것이다.
도 18a에 나타낸 보정 맵의 수정에서는 도 18b에 나타낸 보정 제외 맵을 참조한다. 대응하는 평가 영역에서의 보정 제외 맵의 보정량이 "0"인 경우, 평가 영역에 대해 수정을 행하지 않는다. 이에 대해, 보정 제외 맵의 보정량이 "1"인 경우, 보정량에 대해 보정이 실시되지 않도록 값을 변경한다. 도 18b를 참조하면, 좌표 (x3, y2), (x3, y3), (x4, y2)의 평가 영역에 1의 보정량이 저장되어 있으므로, 보정 맵에서와 동일한 위치에 있는 블록의 값을 1.00으로 변경함으로써 보정 맵을 수정한다. 이에 따라, 대응하는 보정 제외 영역에 대해 보정이 덜 행해지도록 보정 맵을 수정할 수 있다.
플레어 화상은 도 14의 리사이징 처리의 실행 후의 보정 맵을 이용하여 보정한다. 보정 맵은 리사이징 처리에 의해 플레어 화상과 동일한 화소수의 화상 크기를 가진다. 보정 맵에, 수학식 2에 의해 산출된 평가치 사이의 비율을 이용하여 결정된 화소의 보정량이 저장되어 있는 경우, 플레어 화상 내의 화소의 화소값에 대응하는 화소의 보정량을 곱함으로써 플레어 화상 내의 화소의 화소값을 보정한다. 보정 맵에, 수학식 3에 의해 산출된 평가치의 차분으로부터 결정된 화소의 보정량이 저장되어 있는 경우, 플레어 화상 내의 화소의 화소값에 대해 대응하는 화소의 보정량을 가산함으로써 플레어 화상 내의 화소의 화소값을 보정한다.
단색 화상의 경우, 플레어 화상에 대해 하나의 보정 맵이 작성된다. 컬러 화상의 경우, 플레어 화상은 3개 평면으로 구성되므로 3개의 보정 맵이 작성된다. 구체적으로, 컬러 화상이 RGB 화상이면, 플레어 화상은 적색, 청색, 녹색의 3가지 색상의 평면으로 구성되므로, 평면을 보정하기 위한 3가지의 보정 맵이 작성되어 플레어 화상의 보정에 사용된다.
이와 같이 플레어 화상을 보정할 수 있기 때문에, 결합된 화상의 휘도와 색상의 차이를 감소시킬 수 있다. 또한, 광원 등을 나타낸 부분을 보정 제외함으로써 광원 등을 나타내는 부분에 보정이 행해지지 않으므로, 광원을 나타내는 부분이 어두워지지 않게 되어 색상 포화부의 색상 어긋남을 방지할 수 있다. 또한, 보정 맵에 대해 LPF로 평준화 처리를 실시함으로써 보정량의 급격한 변화를 제거하고 보정이 제외된 광원과 그 주변 사이의 화소값의 변화를 완화하여 부자연스런 보정을 방지할 수 있다.
도 13의 S1310 단계에서의 중복 영역의 평균치를 산출하는 처리의 다른 예를 도 19를 참조로 설명한다. 도 13의 예에서는 중복 영역 내의 평가 영역 전부로부터 평균치를 산출하고 있다. 한편, 도 19의 예에서는 미리 조건을 설정하여 평가 영역을 분별하여 평균치를 산출한다. 구체적으로, 처리의 실행 전에, 미리 평가 영역의 평균치에 대하여 임계치[상한(Tup), 하한(Tdw)]를 설정하여, 그 임계치를 상한치 및 하한치로서 설정한다.
이 처리는 S1900 단계에서 시작한다. S1910 단계에서는 평가 영역 중 어느 하나를 선택하여, 해당 평가 영역이 중복 영역 내에 있는 지 여부를 판단한다. 평가 영역은 예컨대, 화상의 상부 좌측 코너에 있는 평가 영역으로부터 순차적으로 선택할 수 있다. 이것은 단지 하나의 예이므로, 평가 영역은 임의의 다른 방법으로 선택될 수 있다.
평가 영역이 중복 영역 내에 있지 않은 경우, 처리는 S1920 단계로 이동되어 평가 영역의 평균치는 적산(summation)이 제외된다. 즉, 평균치는 적산되지 않는다. 이에 대해, 평가 영역이 중복 영역 내에 있는 경우, 처리는 S1930 단계로 이동되어 그 평가 영역의 평균치가 상한(Tup)보다 큰 지 여부를 판단한다. 평균치가 상한(Tup)보다 큰 경우, 처리는 S1920 단계로 이동되어 그 평가 영역의 평균치는 적산이 제외된다. 평균치가 상한(Tup) 이하인 경우, 처리는 S1940 단계로 이동되어 그 평가 영역의 평균치가 하한(Tdw)보다 작은 지 여부를 판단한다. 평균치가 하한(Tdw)보다 작은 경우, 처리는 S1920 단계로 이동되어 그 평가 영역의 평균치는 적산이 제외된다. 평균치가 하한(Tdw) 이상인 경우, 처리는 S1950 단계로 이동되어 그 평가 영역의 평균치가 적산된다.
평균치가 S1920 단계에서 적산 제외되거나 S1950 단계에서 적산되는 경우, 처리는 S1960 단계로 이동되어 전 평가 영역에 대해 처리의 종료 여부를 판단한다. 처리가 아직 전 평가 영역에 대해 종료되지 않은 경우, 처리는 S1910 단계로 복귀되어, 다음 평가 영역에 대해 동일한 처리를 수행한다. 처리가 전 평가 영역에 대해 종료된 경우, 처리는 S1970 단계로 이동되어, 중복 영역 내에 있는 평가 영역의 평균치의 적산 값을 그 평가 영역의 수로 나눠서 중복 영역의 평균치를 산출한다. 이 처리는 S1980 단계에서 종료된다.
상한(TUP)과 하한(Tdw)은 플레어 화상의 유무의 판단에 대한 영향을 고려하여, 적산을 제외하고 싶은 평가 영역을 적절히 제외할 수 있도록 결정될 수 있다.
도 13의 S1310 단계에서의 중복 영역의 평균치를 산출하는 처리의 또 다른 예를 도 20을 참조로 설명한다. 도 19의 예에서는 임계치로서 상한(TUP)과 하한(Tdw)을 설정하고 있다. 도 20의 예에서는 일치도(매칭도)로 불리는 지표를 임계치로서 설정하여, 매칭도에 따라 평가 영역이 적산되는 영역인지 또는 적산 제외되는 영역인지를 판단한다. 매칭도는 보정 기준 화상의 중복 영역에 포함되는 각 평가 영역과 보정 대상 화상인 플레어 화상의 중복 영역에 포함되는 각 평가 영역 사이의 일치도를 나타내는 지표이다. 화상 처리 시스템은 매칭도를 산출하도록 구성된 일치도 산출부를 기능부로서 포함할 수 있다.
이 처리는 S2000 단계에서 시작된다. S2010 단계에서는 평가 영역이 중복 영역 내에 있는 지 여부를 판단한다. 평가 영역이 중복 영역 내에 없는 경우, 처리는 S2020 단계로 이동되어, 평가 영역의 평균치는 적산이 제외된다. 평가 영역이 중복 영역 내에 있는 경우, 처리는 S2030 단계로 이동되어, 그 평가 영역의 매칭도를 산출한다. 매칭도 및 매칭도 산출 방법은 후술된다. S2040 단계에서는 산출된 매칭도가 미리 설정된 일치도 임계치인 매칭도의 임계치(Tm)보다 작은 지 여부를 판단한다.
산출된 매칭도가 매칭도 임계치(Tm)보다 큰 경우, 처리는 S2020 단계로 이동되어, 그 평가 영역의 평균치는 적산이 제외된다. 산출된 매칭도가 매칭도 임계치(Tm) 이하인 경우, 처리는 S2050 단계로 이동되어, 그 평가 영역의 평균치를 적산한다. S2020 단계에서 평가 영역이 적산 제외되거나 S2050 단계에서 평가 영역이 적산되는 경우, 처리는 S2060 단계로 이동되어 전 평가 영역에 대한 처리의 종료 여부를 판단한다. 처리가 아직 아직 종료되지 않은 경우, 처리는 S2010 단계로 복귀되어, 다음 평가 영역에 대하여 동일한 처리를 행한다. 처리가 종료된 경우, 처리는 S2070 단계로 이동되어, 중복 영역 내에 있는 평가 영역의 평균치의 적산치를 그 평가 영역의 수로 나눠서 중복 영역의 평균치를 산출한다. 이 처리는 S2080 단계에서 종료된다.
도 21을 참조하여, 도 20과 관련하여 사용되는 매칭도 및 매칭도 산출 방법을 설명한다. 연결 위치와 평가 영역 사이의 관계는 도 16에 나타낸 바와 같다. 그러나, 수평 방향 및 수직 방향으로 균등하게 화상을 분할하고 있기 때문에, 연결 위치와 평가 영역은 완전히 서로 일치하지 않는다.
예컨대, 도 21에 나타낸 바와 같이, 평가 영역(35)을 회색으로 나타내고, 평가 영역의 중심의 좌표를 01, O2로 설정한다. 또한, 템플릿 매칭 등에 의해 검출된 연결 위치를 P1, P2로 지정하고, 그 연결 위치를 중심으로 한 평가 영역과 동일한 크기의 파선으로 나타낸 영역을 연결 영역(36)으로 지정한다.
연결 영역(36)에 포함되는 피사체의 화상은 플레어 화상과 기준 화상 사이에서 동일하다. 평가 영역(35)의 중심(O1)과 연결 영역(36)의 중심(P1)이 평가 영역(35)의 중심(O2)와 연결 영역(36)의 중심(P2)과 각각 서로 일치하는 경우, 평가 영역(35)과 연결 영역(36)은 서로 일치한다. 따라서, 평가 영역(35)의 피사체의 화상은 서로 일치한다.
그러나, 어떤 중심 좌표도 일치하지 않는 경우, 평가 영역(35)의 피사체의 화상은 서로 일치하지 않는다. 하늘이나 평탄한 벽 등의 경사가 적은 피사체의 화상의 경우, 피사체의 화상이 서로 완전히 일치하지 않더라도, 평가치에 대한 영향은 적다. 다른 한편, 경사가 큰 피사체의 화상의 경우, 화상의 약간의 편차에도 휘도 및 색상에 차이를 야기하고 평가치에 대한 영향이 크다. 따라서, 매칭도를 지표로서 이용하여, 평가 영역(35)의 피사체의 화상이 서로 일치하고 있는지 여부를 판정하고 있다.
매칭도는 평가 영역(35)마다 산출되는 분산치를 이용하여, 하기 수학식 4 또는 5에 의해 산출될 수 있다. 수학식 4에서, m은 매칭도, σ1는 플레어 화상의 분산치, σ2는 기준 화상의 분산치를 나타낸다. 수학식 5에서, v1는 플레어 화상의 휘도치, v2는 기준 화상의 휘도치를 나타낸다.
[수학식 4]
Figure 112016115132510-pct00002
[수학식 5]
Figure 112016115132510-pct00003
상기 수학식 4에서의 매칭도(m)는 플레어 화상과 기준 화상 사이의 분산치의 차분의 절대치에 의해 정의된다. 일반적으로, 매칭도가 클수록 피사체의 화상이 서로 더 일치한다. 그러나, 이 경우는 매칭도가 작을수록 피사체의 화상이 서로 더 일치하고 있다. 피사체의 화상의 경사가 클수록 분산치가 커지고, 피사체의 화상의 경사가 작을수록 분산치가 작아지는 경향이 있다. 따라서, 경사가 더 큰 피사체의 화상은 약간의 편차에 의해서도 매칭도에 대한 영향이 크다. 다른 한편, 경사가 더 작은 피사체의 화상은 큰 편차에서도 매칭도에 대한 영향은 작다.
매칭도의 산출에 사용되는 화소값은 모든 화소의 화소값일 수 있다. 그러나, 모든 화소값을 사용하면, 산출 비용이 높아질 수 있다. 화상의 휘도에 영향을 미치는 화소값만을 사용하는 것이 바람직하다. 이러한 화소값은 RGB 화상의 G의 값, YCbCr 화상의 Y의 값일 수 있다.
수학식 5에서는 분산치를 이용하지 않고, 휘도치를 이용하여 매칭도를 산출하고 있다. 수학식 5에서의 매칭도(m)는 휘도치의 차분의 절대치로 정의되는 데, 이는 수학식 4의 경우와 같이 매칭도가 작을수록 피사체의 화상이 더 일치하고 있는 것을 나타낸다.
도 17의 보정량의 보간 방법의 하나의 예를 도 22를 참조로 설명한다. 도 22a에 회색으로 나타낸 중복 영역(30) 내에 있는 복수의 평가 영역(35)의 평균치를 평균하여, 중복 영역의 평균치를 산출한다. 그 산출된 평균치를 중복 영역(30)의 중심의 사선 부분의 보정량으로서 설정한다.
도 22b에 나타낸 바와 같이, 중심을 C, 중심(C)으로부터 중복 영역 측으로 수평 방향 및 수직 방향으로 연장된 라인의 교점에서의 중복 영역을 O, 중심(C)과 중복 영역(O) 사이의 산출 대상 영역을 T, 상기 영역(T)의 보정량을 rc, ro, rt로 지정한다. 또한, 중심(C)과 영역(T) 사이의 거리를 d1, 영역(T)과 중복 영역(O) 사이의 거리를 d2로 지정한다. 따라서, 영역(T)의 보정량(rt)은 거리를 가중치로 하여 가중 평균을 행하는 하기 수학식 6으로 나타낼 수 있다.
[수학식 6]
Figure 112016115132510-pct00004
수학식 6을 이용하여, 도 22b에서 중심(C)으로부터 중복 영역 측으로 수직 방향 및 수평 방향으로 연장되는 영역의 보정량을 산출한다. 도 22c에 나타낸 바와 같이 보정량이 산출된 회색으로 표시되는 산출 영역과 중복 영역 사이에서 백색으로 표시되는 영역의 보정량은 산출 영역과 중복 영역 사이의 거리에 따른 가중 평균에 의해 산출될 수 있다. 산출되는 영역을 T, 영역(T)으로부터 수직 상향으로 연장되는 라인과 산출 영역 사이의 교점을 H로 지정한다. 또한, 영역(T)으로부터 수직 하향으로 연장되는 라인과 중복 영역 사이의 교점을 O1, 영역(T)로부터 수평 방향 우측으로 연장되는 라인과 산출 영역 사이의 교점을 V, 영역(T)으로부터 수평 방향 좌측으로 연장되는 라인과 중복 영역 사이의 교점을 O2로 지정한다. 영역(T)과 영역(V) 사이의 거리를 dh1, 영역(T)과 영역(O2) 사이의 거리를 dh2, 영역(T)과 영역(H) 사이의 거리를 dv1, 영역(T)과 영역(O1) 사이의 거리를 dv2로 지정한다. 또한, 영역(T, H, V, O1, O2)의 보정량을 각각 rt, rh, rv, ro1, ro2로 지정한다. 따라서, 영역(T)의 보정량(rt)은 하기 수학식 7에 의해 산출될 수 있다.
[수학식 7]
Figure 112016115132510-pct00005
수학식 6과 7을 이용하여, 중복 영역 내측의 모든 평가 영역의 보정량을 산출할 수 있다.
도 22에 나타낸 보정량의 보간 방법에 따르면, 보간은 임의의 방향으로 균등하게 수행된다. 이러한 균등한 보간은 연결 대상 화상 사이의 중복 영역에 동일한 피사체의 화상이 존재하는 경우에 문제가 없다. 그러나, 균등한 보간은 예컨대, 화상 중 하나가 피사체로서 전술한 바와 같이 손가락이 반영되는 경우, 장해물의 존재에 기인하여 중복 영역에 다른 피사체의 화상이 존재하는 경우에 문제를 야기한다. 이러한 경우, 보간은 균등하게 수행될 수 없다. 따라서, 이러한 예에서 보간은 특정 방향으로 수행된다. 보간 방법을 도 23을 참조로 설명한다.
도 23a에 나타낸 바와 같이, 예컨대, 중복 영역 내의 3개의 평가 영역(O1, O2, O3)을 이용하여, 중복 영역의 수직 방향의 최상부의 한 단계 아래의 영역으로부터 순차적으로 하측으로 보정량을 산출한다. 먼저, 도 23a에 나타낸 중복 영역의 최상부의 평가 영역과 접하는 중복 영역 내측의 영역(T1)을 보정량 산출 대상의 영역으로 설정한다. 보정량은 영역(T1)의 일 단계 위의 영역으로 중복 영역 내측에 접하는 평가 영역(O1) 및 영역(T1)의 좌우의 중복 영역 내측에 접하는 평가 영역(O2, O3)의 보정량(r1, r2, r3)과, 영역(T1)과 영역(O2) 사이의 거리(d1) 및 영역(T1)과 영역(O3) 사이의 거리(d2)를 이용하여 산출한다. 보정량(rt1)은 하기 수학식 8에 의해 산출될 수 있다.
[수학식 8]
Figure 112016115132510-pct00006
수학식 8을 이용하여, 도 23b에 나타낸 영역(T1)의 좌우의 수평 방향의 중복 영역 내측의 모든 영역에 대해 보정량을 산출한다. 다음에, 중복 영역 내측의 영역(T1)의 일 단계 아래의 영역(T2)의 보정량(rt2)을 산출한다. 보정량(rt2)은 영역(T2)의 일 단계 위의 영역(P)의 보정량(rp)과, 그 수평 방향의 중복 영역 내측에 접하는 평가 영역(O4, O5)의 보정량(r4, r5)과, 영역(T2)과 영역(O4) 사이의 거리(d3)와, 영역(T2)과 영역(O5) 사이의 거리(d4)를 이용함으로써 산출된다. 보정량(rt2)은 하기 수학식 9에 의해 산출될 수 있다. 수직 하방의 산출을 반복하는 것을 통해 중복 영역 내측의 모든 영역의 보정량을 산출할 수 있다.
[수학식 9]
Figure 112016115132510-pct00007
중복 영역 내에 보정량이 매우 크거나 작은 임의의 평가 영역이 존재하는 경우, 보간에 의해 그 보정량이 전적으로 확대되어 부자연스런 화상을 가져올 수 있다.
도 14의 S1410 단계에서의 보정 제외 맵의 작성에 있어서, 보정 제외 영역이 되는 블록의 평균 좌표치를 산출하여 그 평균 좌표치를 보정 제외 영역의 중심으로서 결정할 수 있다. 결정된 중심을 포함하는 소정의 영역(중심 영역)에 대하여 보정을 행하지 않도록 보정량을 설정하여, 그 중심 영역 측으로 보간 처리를 실시한다. 이에 따라, 극단적으로 크거나 작은 보정량이 전파되는 것을 최소화할 수 있다.
보정 제외 영역 중의 중심 영역이 도 24에 나타낸 사선으로 표시되는 영역인 경우, 그 중심 영역을 보간 기준 영역으로 설정하여, 주위의 중복 영역과 보간 기준 영역의 보간 처리에 의해 중복 영역 내측의 평가 영역의 보정량을 산출한다. 보정량은 상기 수학식 6 및 7에서 나타낸 바와 같은 가중 평균을 이용하여 산출될 수 있다. 대안적으로, 보정량은 수학식 8 및 9를 이용하여 산출될 수 있다.
도 24를 참조하면, 중복 영역 내측의 평가 영역의 보정량을 보간 기준 영역 측으로 사방으로부터 보간 처리하는 것에 의해 산출하고 있다. 대안적으로, 보정량은 특정 방향으로부터의 보간 처리에 의해 산출될 수 있다. 보정량을 특정 방향으로부터 산출하여야 할 경우는, 중복 영역에 장해물이 있는 경우나 균등한 보간에 문제가 생기는 경우이다. 도 25에 나타낸 사선 영역에는 보간 기준 영역(60)이 수직 방향으로 연장되고, 보정이 실시되지 않음을 나타내는 값이 보간 기준 영역(60)에 저장되어 있다. 따라서, 중복 영역의 내측 영역은 보간 기준 영역(60)에 의해 2개로 분할된다. 분할 영역마다 상기 수학식 6 및 7에 표현된 바와 같은 가중 평균에 의해 보정량을 산출할 수 있다. 대안적으로, 수학식 8 및 9를 이용하여 보정량을 산출할 수 있다.
매칭도가 높은 중복 영역은 동일한 피사체의 화상이 포함되기 때문에, 화상 연결의 신뢰성이 높다. 다른 한편, 매칭도가 낮은 중복 영역은 다른 피사체의 화상이 포함되기 때문에, 화상 연결의 신뢰성이 낮다. 따라서, 매칭도가 낮은 중복 영역에서는 보정량을 산출한 경우에도 잘못된 값이 산출되기 쉽다.
도 26을 참조하여, 매칭도를 이용하여 중복 영역의 보정량을 보정하는 처리를 설명한다. 이 보정은 도 14에 기술된 S1420 단계에서의 중복 영역의 보정량의 산출 후에 행해질 수 있다. 처리를 개시하기 전에, 매칭도에 대하여 임계치(Tm)를 설정한다.
이 처리는 S2600 단계에서 시작된다. S2610 단계에서는 평가 영역이 중복 영역 내에 있는 지 여부를 판단한다. 평가 영역이 중복 영역 내에 없는 경우, 평가 영역에 대해서는 보정량의 보정이 수행되지 않고, 처리가 S2650 단계로 이동된다. 평가 영역이 중복 영역 내에 있는 경우, 처리는 S2620 단계로 이동되어 평가 영역의 매칭도를 참조한다. 매칭도가 산출되어 있지 않은 경우는 전술한 방법에 의해 매칭도를 산출한다.
S2630 단계에서는 참조된 매칭도가 미리 설정된 매칭도의 임계치(Tm)보다 작은 지 여부를 판단한다. 매칭도가 임계치(Tm)보다 큰 경우, 평가 영역에 대해 보정량의 보정이 행해지지 않고, 처리가 S2650 단계로 이동된다. 이에 대해, 매칭도가 임계치(Tm)보다 작은 경우, 처리는 S2640 단계로 이동되어 그 평가 영역의 보정량을 보정한다. 이 때, 평가 영역의 보정량은 보정이 실시되지 않도록 보정된다. 구체적으로, 보정량이 전술한 평가치 사이의 비율로 나타내는 경우, 보정량은 "1.0"으로 보정되고, 보정량이 평가치 사이의 차분으로 나타내는 경우, 보정량은 "0"으로 보정된다.
S2650 단계에서는 전 평가 영역에 대한 처리의 종료 여부를 판단한다. 전 평가 영역에 대해 아직 처리가 종료되지 않는 경우, 처리는 S2610 단계로 복귀되어 다음 평가 영역에 대해 동일한 처리를 수행한다. 처리가 종료된 경우, 처리는 S2660 단계로 이동되어 종료된다.
도 14에 기술된 S1420 단계에서의 중복 영역의 보정량의 산출시, 일부 산출 보정량은 의도치 않은 값을 가질 수 있다. 예컨대, 이러한 경우는 연결 대상 화상의 중복 영역 간에 동일한 피사체의 화상이 없는 경우나, 연결 대상 화상의 중복 영역 간에 휘도 차이가 매우 큰 경우에 생긴다. 이러한 경우, 보정량을 극단적으로 크거나 작지 않게 소정의 범위 내에 유지하도록 보정량을 제한하는 처리를 행할 수 있다.
도 27을 참조하여 제한 처리를 설명한다. 제한 처리는 도 14에 기술된 S1420 단계에서의 중복 영역의 보정량의 산출 후, 또는 S1430 단계에서의 보간 처리에 의한 보정량의 산출 후에 실행할 수 있다. 제한 처리를 개시하기 전에, 플레어 화상의 화소값과 제한 처리의 임계치 사이의 관계를 나타낸 임계치 테이블을 준비한다.
임계치 테이블은 예컨대, 도 28a, 28b에 나타낸 바와 같은 그래프를 나타내거나, 또는 그래프로부터 이들 수치를 보유하는 테이블을 나타낼 수 있다. 도 28a는 보정량이 평가치 사이의 비율인 경우의 테이블을 나타내고, 도 28b는 보정량이 평가치 사이의 차분인 경우의 테이블을 나타낸다. 임계치 테이블에서는 플레어 화상의 화소값으로서의 신호량에 따라 상한(Tup)과 하한(Tdw)의 임계치가 정해지고 있다.
도 28a에 있어서의 상한(Tup)과 하한(Tdw)은 플레어 화상의 신호량을 s, 보정을 허용하는 신호량을 a라고 하면, 하기 수학식 10 및 11으로 나타낼 수 있다.
[수학식 10]
Figure 112016115132510-pct00008
[수학식 11]
Figure 112016115132510-pct00009
도 28b에 있어서의 상한(Tup)과 하한(Tdw)은 플레어 화상의 신호량을 s, 보정을 허용하는 신호량을 a라고 하면, 하기 수학식 12 및 13으로 나타낼 수 있다.
[수학식 12]
Figure 112016115132510-pct00010
[수학식 13]
Figure 112016115132510-pct00011
이 처리는 S2700 단계에서 시작된다. S2710 단계에서는 평가 영역이 중복 영역 내에 있는 지 여부를 판단한다. 평가 영역이 중복 영역 내에 없는 경우, 평가 영역에 대해서 보정량의 보정이 행해지지 않고, 처리는 S2750 단계로 이동된다. 평가 영역이 중복 영역 내에 있는 경우, 처리는 S2720 단계로 이동되어, 도 28에 나타낸 임계치 테이블을 참조하여, 보정량의 임계치(Tup, Tdw)를 취득한다. 임계치(Tup, Tdw)는 수학식 10 및 11 또는 수학식 12 및 13에 의해 산출될 수 있다.
S2730 단계에서는 평가 영역의 보정량이 임계치 테이블의 상한(Tup)보다 크거나 하한(Tdw)보다 작은 지 여부를 판단한다. 보정량이 상한(Tup) 이하 하한(Tdw) 이상인 경우, 평가 영역의 보정량에 대해 제한 처리를 실행하지 않고, 처리는 S2750 단계로 이동된다. 이에 대해, 보정량이 상한(Tup)보다 크거나 하한(Tdw)보다 작은 경우, 처리는 S2740 단계로 이동되어 평가 영역의 보정량에 대하여 제한 처리를 실행한다.
제한 처리는 보정이 행해지지 않도록 평가 영역의 보정량을 보정하도록 의도된다. 구체적으로, 보정량이 전술한 평가치 사이의 비율로 나타내는 경우, 보정량은 "1.0"으로 보정되며, 보정량이 전술한 평가치 사이의 차분으로 나타내는 경우, 보정량은 "0"으로 보정된다.
S2750 단계에서는 전 평가 영역에 대한 처리의 종료 여부를 판단한다. 전 평가 영역에 대해 처리가 아직 종료되지 않는 경우, 처리는 S2710 단계로 복귀되어, 다음 평가 영역에 대하여 동일한 처리를 수행한다. 처리가 종료된 경우, 처리는 S2760 단계로 이동되어 종료된다.
전술한 바와 같이, 본 발명에 따른 실시예는 화상에 플레어가 발생하더라도 적절히 보정을 행할 수 있다. 보정시, 플레어 발생 확률이 가장 낮은 화상을 보정 기준 화상으로 하여, 이외의 화상을 보정한다. 또한, 통상적으로 매칭도가 낮은 평균치(수학식 4 및 5의 경우는 매칭도가 높은 평균치)는 적산을 행하지 않으므로, 플레어 화상과 보정 기준 화상 간에 상관성이 높은 평균치만을 사용하여 중복 영역의 평균치를 산출할 수 있다. 광원과 같이 극단적으로 밝은 피사체나 극단적으로 어두운 피사체가 반영되는 경우에도, 이러한 피사체의 화상의 평균치를 사용하지 않고 중복 영역의 평균치를 산출하고 있다. 이에 따라, 중복 영역의 평균치 산출에 대한 영향을 줄일 수 있다.
제한 처리를 실시하는 것으로부터, 극단적으로 보정량이 큰 경우에 보정이 행해지는 것을 방지할 수 있다. 평준화 처리를 실시하는 것으로부터, 부분적으로 극단적인 보정이 행해지는 것을 방지할 수 있다. 보정 맵에 대하여 리사이징 처리를 실시하는 것으로부터, 화소 단위의 연산으로 보정이 가능해져, 보정 맵에 복잡한 변환이 필요없게 된다. 가중 평균을 이용하여 평가 영역 전체에 대하여 보정량을 산출하는 것으로부터, 보정에 의해 화상 내에 휘도 및 색상의 차이를 나타내는 신호 단차가 발생되는 것을 방지할 수 있어서 자연스러운 보정이 이루어진다. 전술한 비율 또는 차분에 의해 보정량을 산출하기 때문에, 보정시 신호 단차가 발생되지 않는다.
화상 처리 시스템 및 화상 처리 방법의 실시예를 이상 설명하였다. 그러나, 본 발명은 전술한 실시예에 한정되지 않는다. 본 발명은 다른 실시예, 또는 추가, 변경, 삭제 등, 당업자가 인지할 수 있는 한, 임의의 다른 모드로 대체되는 것으로 수정될 수 있다. 수정의 어떤 양태도 해당 수정이 본 발명의 작용 및 효과를 나타낼 수 있는 한, 본 발명의 범위에 포함된다. 따라서, 본 발명은 화상 처리 방법을 컴퓨터로 실행시키기 위한 프로그램, 해당 프로그램이 기록된 컴퓨터-판독 가능 저장 매체, 해당 프로그램을 네트워크를 통해 제공하는 서버 장치 등을 제공할 수 있다.
전술한 실시예에 따르면, 복수의 결합 대상의 화상 간의 휘도 및 색상의 차이를 감소시킬 수 있다.
본 발명은 완전하고 분명한 개시를 위해 특정 실시 형태를 참조로 설명하였지만, 첨부된 특허청구범위는 그렇게 한정되지 않으며 당업자가 떠올릴 수 있으면서 여기 언급된 기본적인 개시 내용에 정당하게 속할 수 있는 모든 변형 및 대안적 구성을 구현하는 것으로 해석되어야 한다.

Claims (19)

  1. 중복 화상 영역을 중복 영역으로서 포함하는 복수의 화상에 대하여 화상 처리를 행하는 화상 처리 시스템으로서, 이 시스템은:
    각각의 상기 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 상기 복수의 화상 각각을 평가하기 위한 평가치를 산출하도록 구성된 연산부;
    상기 연산부에 의해 산출된 상기 평가치를 기초로 상기 복수의 화상 내에 보정 대상 화상의 존재 유무를 판단하도록 구성된 판단 제어부;
    상기 판단 제어부에 의해 상기 보정 대상 화상이 존재하는 것으로 판단된 경우, 상기 평가치를 기초로 상기 복수의 화상 중에서 보정을 위한 기준이 되는 보정 기준 화상을 결정하도록 구성된 화상 결정부;
    상기 화상 결정부에 의해 결정된 상기 보정 기준 화상을 기초로 상기 보정 대상 화상을 보정하도록 구성된 화상 보정부;
    상기 복수의 화상 각각을 복수의 평가 영역으로 분할하도록 구성된 영역 분할부;
    각각의 상기 평가 영역을 구성하는 복수의 화소의 화소값을 평균하여 평가 영역 각각의 평균치를 산출하도록 구성된 평균치 산출부; 및
    상기 중복 영역에 포함되는 복수의 평가 영역을 검출하도록 구성된 영역 검출부
    를 포함하고,
    상기 연산부는 상기 영역 검출부에 의해 검출된 상기 복수의 평가 영역에 대해 상기 평균치 산출부에 의해 각각 산출된 상기 평균치들을 평균하여 상기 평가치를 산출하며,
    상기 화상 보정부는 상기 보정 기준 화상의 상기 평가치와 상기 보정 대상 화상의 상기 평가치를 이용하는 것에 의해 상기 보정 대상 화상의 상기 중복 영역에 포함되는 상기 복수의 평가 영역의 보정량을 산출하고,
    상기 화상 보정부는 상기 복수의 평가 영역의 상기 보정량을 이용하는 것에 의해 상기 중복 영역에 포함되는 상기 복수의 평가 영역 이외의 평가 영역의 보정량을 산출하고,
    상기 화상 보정부는 상기 산출된 상기 보정량을 이용하는 것에 의해 상기 보정 대상 화상을 보정하는 것을 특징으로 하는 화상 처리 시스템.
  2. 제1항에 있어서, 상기 보정 대상 화상을 구성하는 복수의 화소의 화소값을 이용하여 상기 보정 대상 화상 내에서 보정을 행하지 않는 보정 제외 영역을 판정하도록 구성된 영역 판정부를 더 포함하고,
    상기 화상 보정부는 상기 보정 제외 영역을 제외하고 상기 화상 영역을 보정하는 것을 특징으로 하는 화상 처리 시스템.
  3. 제1항에 있어서, 상기 화상 결정부는 최소 평가치의 화상을 상기 보정 기준 화상으로서 결정하고, 상기 복수의 화상 중 상기 보정 기준 화상을 제외한 하나 이상의 화상을 상기 보정 대상 화상으로서 결정하는 것을 특징으로 하는 화상 처리 시스템.
  4. 삭제
  5. 제1항에 있어서, 상기 보정 기준 화상의 상기 중복 영역에 포함되는 각각의 상기 평가 영역의 화상과 상기 보정 대상 화상의 상기 중복 영역에 포함되는 각각의 상기 평가 영역의 화상 간의 일치도를 산출하도록 구성된 일치도 산출부를 더 포함하고,
    상기 연산부는 상기 일치도가 미리 설정된 일치도 임계치보다 작은 상기 평가 영역의 평균치를 제외하고 상기 평가치를 산출하는 것을 특징으로 하는 화상 처리 시스템.
  6. 제1항에 있어서, 상기 연산부는 상한치와 하한치를 유지하고, 상기 영역 검출부에 의해 검출된 상기 평가 영역에 대해 각각 상기 상한치보다 크거나 상기 하한치보다 작은 평균치를 제외하고 상기 평가치를 산출하는 것을 특징으로 하는 화상 처리 시스템.
  7. 삭제
  8. 제1항에 있어서, 상기 화상 보정부는 상기 중복 영역에 포함되는 상기 복수의 평가 영역의 보정량에 대한 보정량 임계치를 유지하고,
    상기 복수의 평가 영역 중에서 하나 이상의 평가 영역에 대하여 상기 보정량 임계치를 넘는 임의의 보정량이 산출된 경우, 상기 화상 보정부는 상기 하나 이상의 평가 영역에 보정이 행해지지 않도록 상기 산출된 보정량을 변경하는 것을 특징으로 하는 화상 처리 시스템.
  9. 제1항에 있어서, 상기 화상 보정부는 상기 보정 기준 화상의 상기 중복 영역에 포함되는 각각의 상기 평가 영역의 화상과 상기 보정 대상 화상의 상기 중복 영역에 포함되는 각각의 상기 평가 영역의 화상 간의 일치도를 참조하고,
    상기 일치도가 미리 설정된 일치도 임계치보다 작은 경우, 상기 화상 보정부는 상기 일치도가 작은 상기 평가 영역에 대하여 상기 산출된 보정량을 상기 평가 영역에 보정이 행해지지 않는 보정량으로 변경하는 것을 특징으로 하는 화상 처리 시스템.
  10. 제1항에 있어서, 상기 화상 보정부는 상기 보정량을 상기 보정 기준 화상의 상기 중복 영역에서의 상기 평가치와 상기 보정 대상 화상의 상기 중복 영역에서의 상기 평가치 사이의 비율로서 산출하는 것을 특징으로 하는 화상 처리 시스템.
  11. 제1항에 있어서, 상기 보정량은 상기 보정 기준 화상의 상기 중복 영역에서의 상기 평가치와 상기 보정 대상 화상의 상기 중복 영역에서의 상기 평가치 사이의 차분으로서 산출되는 것을 특징으로 하는 화상 처리 시스템.
  12. 제1항에 있어서, 상기 화상 보정부는 상기 중복 영역에 포함되는 상기 복수의 평가 영역 이외의 평가 영역의 보정량을, 이 보정량을 산출하는 대상의 평가 영역과 상기 중복 영역에 포함되는 상기 복수의 평가 영역 사이의 거리를 가중치로 하여 가중 평균하는 것에 의해 산출하는 것을 특징으로 하는 화상 처리 시스템.
  13. 제1항에 있어서, 상기 화상 보정부는 상기 산출된 상기 보정량을 상기 보정 대상 화상의 각각의 상기 평가 영역에 대응하는 위치에 저장한 보정 맵을 작성하고, 상기 보정 맵을 적용하는 것을 통해 상기 보정 대상 화상에 보정을 행하는 것을 특징으로 하는 화상 처리 시스템.
  14. 제13항에 있어서, 상기 화상 보정부는 상기 보정 대상 화상을 구성하는 복수의 화소의 화소값에 따라 판정된, 상기 보정 대상 화상 내에 보정을 행하지 않는 보정 제외 영역에 포함되는 평가 영역의 위치에 보정 제외되는 값을 저장한 보정 제외 맵을 이용하여 상기 작성된 상기 보정 맵을 수정하고, 수정된 보정 맵을 적용하는 것을 통해 상기 보정 대상 화상에 보정을 행하는 것을 특징으로 하는 화상 처리 시스템.
  15. 제13항에 있어서, 상기 보정 맵에 대하여 평준화 처리를 실시하도록 구성된 평준화 처리부를 더 포함하는 것을 특징으로 하는 화상 처리 시스템.
  16. 제13항에 있어서, 상기 보정 맵에 유지되는 평가 영역의 수를 상기 보정 대상 화상의 화소수로 변경하도록 구성된 리사이저(resizer)를 더 포함하는 것을 특징으로 하는 화상 처리 시스템.
  17. 촬상 장치로서:
    복수의 촬상 소자; 및
    상기 복수의 촬상 소자에 의해 촬상된 중복 화상 영역을 중복 영역으로서 포함하는 복수의 화상에 대하여 화상 처리을 수행하도록 구성된 화상 처리 시스템
    을 포함하며,
    상기 화상 처리 시스템은:
    각각의 상기 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 상기 복수의 화상 각각을 평가하기 위한 평가치를 산출하도록 구성된 연산부;
    상기 연산부에 의해 산출된 상기 평가치를 기초로 상기 복수의 화상 내에 보정 대상 화상의 존재 유무를 판단하도록 구성된 판단 제어부;
    상기 판단 제어부에 의해 상기 보정 대상 화상이 존재하는 것으로 판단된 경우, 상기 평가치를 기초로 상기 복수의 화상 중에서 보정을 위한 기준이 되는 보정 기준 화상을 결정하도록 구성된 화상 결정부;
    상기 화상 결정부에 의해 결정된 상기 보정 기준 화상을 기초로 상기 보정 대상 화상을 보정하도록 구성된 화상 보정부
    상기 복수의 화상 각각을 복수의 평가 영역으로 분할하도록 구성된 영역 분할부;
    각각의 상기 평가 영역을 구성하는 복수의 화소의 화소값을 평균하여 평가 영역 각각의 평균치를 산출하도록 구성된 평균치 산출부; 및
    상기 중복 영역에 포함되는 복수의 평가 영역을 검출하도록 구성된 영역 검출부
    를 포함하고,
    상기 연산부는 상기 영역 검출부에 의해 검출된 상기 복수의 평가 영역에 대해 상기 평균치 산출부에 의해 각각 산출된 상기 평균치들을 평균하여 상기 평가치를 산출하며,
    상기 화상 보정부는 상기 보정 기준 화상의 상기 평가치와 상기 보정 대상 화상의 상기 평가치를 이용하는 것에 의해 상기 보정 대상 화상의 상기 중복 영역에 포함되는 상기 복수의 평가 영역의 보정량을 산출하고,
    상기 화상 보정부는 상기 복수의 평가 영역의 상기 보정량을 이용하는 것에 의해 상기 중복 영역에 포함되는 상기 복수의 평가 영역 이외의 평가 영역의 보정량을 산출하고,
    상기 화상 보정부는 상기 산출된 상기 보정량을 이용하는 것에 의해 상기 보정 대상 화상을 보정하는 것을 특징으로 하는 촬상 장치.
  18. 중복 화상 영역을 중복 영역으로서 포함하는 복수의 화상에 대하여 화상 처리를 수행하는 화상 처리 시스템에서 실행되는 화상 처리 방법으로서, 상기 화상 처리 방법은:
    각각의 상기 중복 영역 내의 하나 이상의 화소의 화소값을 이용하여 상기 복수의 화상 각각을 평가하기 위한 평가치를 산출하는 단계;
    상기 산출된 평가치를 기초로 상기 복수의 화상 내에 보정 대상 화상의 존재 유무를 판단하는 단계;
    상기 보정 대상 화상이 존재하는 것으로 판단된 경우, 상기 평가치를 기초로 상기 복수의 화상 중에서 보정을 위한 기준이 되는 보정 기준 화상을 결정하는 단계;
    상기 보정 기준 화상을 기초로 상기 보정 대상 화상을 보정하는 단계;
    상기 복수의 화상 각각을 복수의 평가 영역으로 분할하는 단계;
    각각의 상기 평가 영역을 구성하는 복수의 화소의 화소값을 평균하여 평가 영역 각각의 평균치를 산출하는 단계; 및
    상기 중복 영역에 포함되는 복수의 평가 영역을 검출하는 단계
    를 포함하고,
    상기 평가치를 산출하는 단계는, 검출된 상기 복수의 평가 영역에 대해 각각 산출된 상기 평균치들을 평균하여 상기 평가치를 산출하며,
    상기 보정 대상 화상을 보정하는 단계는,
    상기 보정 기준 화상의 상기 평가치와 상기 보정 대상 화상의 상기 평가치를 이용하는 것에 의해 상기 보정 대상 화상의 상기 중복 영역에 포함되는 상기 복수의 평가 영역의 보정량을 산출하고,
    상기 복수의 평가 영역의 상기 보정량을 이용하는 것에 의해 상기 중복 영역에 포함되는 상기 복수의 평가 영역 이외의 평가 영역의 보정량을 산출하고,
    상기 산출된 상기 보정량을 이용하는 것에 의해 상기 보정 대상 화상을 보정하는 것
    을 포함하는 것을 특징으로 하는 화상 처리 방법.
  19. 제18항에 따른 화상 처리 방법을 실행하도록 컴퓨터에 지시하는 실행 가능한 프로그램을 내부에 저장하고 있는 것을 특징으로 하는 컴퓨터-판독 가능 저장 매체.
KR1020167032914A 2014-05-27 2015-05-20 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체 Expired - Fee Related KR101869637B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-109112 2014-05-27
JP2014109112A JP6467787B2 (ja) 2014-05-27 2014-05-27 画像処理システム、撮像装置、画像処理方法およびプログラム
PCT/JP2015/065151 WO2015182626A1 (en) 2014-05-27 2015-05-20 Image processing system, imaging apparatus, image processing method, and computer-readable storage medium

Publications (2)

Publication Number Publication Date
KR20160148635A KR20160148635A (ko) 2016-12-26
KR101869637B1 true KR101869637B1 (ko) 2018-06-20

Family

ID=54698951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167032914A Expired - Fee Related KR101869637B1 (ko) 2014-05-27 2015-05-20 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체

Country Status (9)

Country Link
US (1) US10554880B2 (ko)
EP (1) EP3149931B1 (ko)
JP (1) JP6467787B2 (ko)
KR (1) KR101869637B1 (ko)
CN (1) CN106416226B (ko)
CA (1) CA2949473C (ko)
MY (1) MY176502A (ko)
PH (1) PH12016502339A1 (ko)
WO (1) WO2015182626A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10298864B2 (en) 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US9922398B1 (en) 2016-06-30 2018-03-20 Gopro, Inc. Systems and methods for generating stabilized visual content using spherical visual content
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
JP6811935B2 (ja) * 2016-09-21 2021-01-13 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US10326932B2 (en) * 2016-11-29 2019-06-18 Chengdu Eapil Technology. Ltd Panoramic image acquisition device
WO2018124268A1 (en) * 2016-12-28 2018-07-05 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
US10789671B2 (en) 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
JP2019057264A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019057903A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10638039B2 (en) 2016-12-28 2020-04-28 Ricoh Company, Ltd. Apparatus, system, and method of controlling image capturing, and recording medium
JP6812862B2 (ja) * 2017-03-14 2021-01-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法及びプログラム
CN108632589A (zh) 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像系统以及记录介质
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN107318010B (zh) 2017-07-05 2019-10-11 上海小蚁科技有限公司 用于生成立体全景图像的方法和设备
WO2019079403A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. LOCAL EXPOSURE COMPENSATION
CN108227365A (zh) * 2017-12-26 2018-06-29 余姚舜宇智能光学技术有限公司 一种全景摄像模组及其组装方法
JP6626081B2 (ja) * 2017-12-28 2019-12-25 株式会社九電工 影の影響の予測装置及びプログラム
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10630921B2 (en) * 2018-05-21 2020-04-21 Gopro, Inc. Image signal processing for reducing lens flare
US10750092B2 (en) 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
CN109685721B (zh) * 2018-12-29 2021-03-16 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
JP6696596B2 (ja) * 2019-01-16 2020-05-20 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP7379884B2 (ja) 2019-06-27 2023-11-15 株式会社リコー 撮像装置、画像処理システム、方法およびプログラム
US11503232B2 (en) 2019-09-17 2022-11-15 Gopro, Inc. Image signal processing for reducing lens flare
CN112929640A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示装置、显示方法、显示屏校正方法
JP7424076B2 (ja) 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP7415707B2 (ja) * 2020-03-19 2024-01-17 株式会社リコー 撮像装置、補正方法、及び、プログラム
US12198466B2 (en) * 2020-03-31 2025-01-14 Gopro, Inc. Face detection in spherical images using overcapture
WO2023032125A1 (ja) * 2021-09-02 2023-03-09 日本電信電話株式会社 パノラマ画像生成装置、パノラマ画像生成方法、及びパノラマ画像生成プログラム
DK181751B1 (en) * 2023-07-12 2024-11-26 Phase One As METHOD AND APPARATUS FOR GENERATION OF PHOTOGRAMMETRY DATA

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001399A1 (en) * 2000-06-30 2002-01-03 Takashi Yoshida Rendering device
KR100781552B1 (ko) * 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
JP2009059119A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
US20090097745A1 (en) * 2007-10-11 2009-04-16 Korea Advanced Institute Of Science And Technology Method of performing robust auto white balance
US20100110234A1 (en) * 2008-11-04 2010-05-06 Fujitsu Limited Image synthesis apparatus and image synthesis method
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
US20100321470A1 (en) * 2009-06-22 2010-12-23 Fujifilm Corporation Imaging apparatus and control method therefor
JP2011228856A (ja) * 2010-04-16 2011-11-10 Panasonic Corp 車載カメラシステム、画像処理装置、画像処理方法、およびプログラム
JP2012231406A (ja) * 2011-04-27 2012-11-22 Toshiba Corp 画像処理装置及び画像処理方法
KR20120136813A (ko) * 2011-06-10 2012-12-20 삼성전자주식회사 영상 처리 장치 및 방법
JP2013114678A (ja) * 2011-11-30 2013-06-10 Sharp Corp 画像判定装置およびプログラム
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same
JP2014078926A (ja) * 2012-09-18 2014-05-01 Ricoh Co Ltd 画像調整装置、画像調整方法およびプログラム
US20140118578A1 (en) * 2012-10-25 2014-05-01 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20140085892A (ko) * 2012-12-28 2014-07-08 아진산업(주) 차량 주변 영상 표시 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4739122Y1 (ko) 1969-08-21 1972-11-27
JPS518840A (ko) 1974-07-09 1976-01-24 Fujitsu Ltd
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
JP2002042109A (ja) 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP3934006B2 (ja) 2002-08-09 2007-06-20 株式会社リコー 撮像装置
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
KR100652156B1 (ko) * 2003-03-26 2006-11-30 마츠시다 덴코 가부시키가이샤 밝기 조절 필터 생성 방법 및 가상 공간 생성 시스템
JP4810999B2 (ja) * 2005-12-05 2011-11-09 日産自動車株式会社 車両周辺画像表示装置
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
JP4739122B2 (ja) 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
EP1874034A3 (en) 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Apparatus and method of recovering high pixel image
JP2008070844A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 撮像装置
KR100790887B1 (ko) * 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
JP5108840B2 (ja) 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
EP2698999B1 (en) * 2011-04-12 2017-01-04 Sun Patent Trust Motion-video encoding method, motion-video encoding apparatus, motion-video decoding method, motion-video decoding apparatus, and motion-video encoding/decoding apparatus
US8928783B2 (en) 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
JP5935432B2 (ja) 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
KR20140034703A (ko) 2012-09-12 2014-03-20 한국전자통신연구원 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001399A1 (en) * 2000-06-30 2002-01-03 Takashi Yoshida Rendering device
KR100781552B1 (ko) * 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
JP2009059119A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
US20090097745A1 (en) * 2007-10-11 2009-04-16 Korea Advanced Institute Of Science And Technology Method of performing robust auto white balance
US20100110234A1 (en) * 2008-11-04 2010-05-06 Fujitsu Limited Image synthesis apparatus and image synthesis method
US20100321470A1 (en) * 2009-06-22 2010-12-23 Fujifilm Corporation Imaging apparatus and control method therefor
JP2011228856A (ja) * 2010-04-16 2011-11-10 Panasonic Corp 車載カメラシステム、画像処理装置、画像処理方法、およびプログラム
JP2012231406A (ja) * 2011-04-27 2012-11-22 Toshiba Corp 画像処理装置及び画像処理方法
KR20120136813A (ko) * 2011-06-10 2012-12-20 삼성전자주식회사 영상 처리 장치 및 방법
JP2013114678A (ja) * 2011-11-30 2013-06-10 Sharp Corp 画像判定装置およびプログラム
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same
JP2014078926A (ja) * 2012-09-18 2014-05-01 Ricoh Co Ltd 画像調整装置、画像調整方法およびプログラム
US20140118578A1 (en) * 2012-10-25 2014-05-01 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20140085892A (ko) * 2012-12-28 2014-07-08 아진산업(주) 차량 주변 영상 표시 방법

Also Published As

Publication number Publication date
US10554880B2 (en) 2020-02-04
JP6467787B2 (ja) 2019-02-13
CN106416226A (zh) 2017-02-15
CA2949473C (en) 2020-03-24
CA2949473A1 (en) 2015-12-03
EP3149931A4 (en) 2017-07-12
MY176502A (en) 2020-08-12
CN106416226B (zh) 2019-09-17
EP3149931B1 (en) 2021-04-21
PH12016502339A1 (en) 2017-02-13
US20170094169A1 (en) 2017-03-30
KR20160148635A (ko) 2016-12-26
WO2015182626A1 (en) 2015-12-03
EP3149931A1 (en) 2017-04-05
JP2015226144A (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
KR101869637B1 (ko) 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
JP5089405B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
US20140049666A1 (en) Image processing device, image capturing device including image processing device, image processing method, and program
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6600936B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP2017168982A (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2016042629A (ja) 撮影装置、撮影方法、およびプログラム
US20170154454A1 (en) Image processing apparatus and image processing method
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
CN113691795A (zh) 图像处理设备、图像处理方法和存储介质
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2015192338A (ja) 画像処理装置および画像処理プログラム
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
US20100053360A1 (en) Image processing method and image processing apparatus
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP6881646B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP2013012089A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP7011694B2 (ja) 画像処理装置およびその制御方法、プログラム
JP6610740B2 (ja) 撮影装置、撮影方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20161124

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170727

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180129

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170727

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180129

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170927

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180319

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180302

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180129

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170927

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180614

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180614

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee