KR101855224B1 - 이미지 처리 방법 및 장치 - Google Patents
이미지 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR101855224B1 KR101855224B1 KR1020177000423A KR20177000423A KR101855224B1 KR 101855224 B1 KR101855224 B1 KR 101855224B1 KR 1020177000423 A KR1020177000423 A KR 1020177000423A KR 20177000423 A KR20177000423 A KR 20177000423A KR 101855224 B1 KR101855224 B1 KR 101855224B1
- Authority
- KR
- South Korea
- Prior art keywords
- blurring
- background
- pixels
- dimensional image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 142
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000005669 field effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G06T5/004—
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 개시는 이미지 처리 방법 및 장치를 기재한다. 이미지 처리 방법은, 2차원 이미지를 획득하는 단계, 2차원 이미지에서 타겟 영역을 결정하는 단계로서, 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 배경 영역은 타겟 영역의 외부 영역인, 타겟 영역을 결정하는 단계, 2차원 이미지에서 타겟 영역의 위치를 검출하는 단계, 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리(blurring process)를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하는 단계, 및 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 단계를 포함한다. 본 개시는, 이미지에서의 상이한 타겟 영역에 따라서 블러링 처리 방식이 상응하게 조정되지 못하는 종래 기술에서의 문제점을 해결하기 위한 것이다. 따라서, 상이한 타겟 영역에 대해, 상응하는 블러링 처리 방식이 사용될 수 있다.
Description
본 발명은 이미지 처리 기술에 관한 것으로, 구체적으로 이미지 처리 방법 및 장치에 관한 것이다.
피사계심도(depth of field)는 선명하게 나타나는 초점(focus point)의 앞뒤 범위를 지칭한다. 피사계심도는 촬영된 대상(object)을 강조하기(highlight) 위해 배경을 블러(blur)할지 또는 선명한 배경을 디스플레이할지를 결정할 수 있다. 2차원 이미지에 대해, 피사계심도 효과가 몇몇 처리를 수행하는 것에 의해 시뮬레이션될 수 있고, 이에 의해 이미지의 대상을 강조하기 위한 목적이 달성된다.
기존의 피사계심도 효과 시뮬레이션 해법은 핀홀 이미징 모델 기반 필터링 해법(pinhole imaging model based filtering solution)을 사용한다. 이 해법에서, 각 픽셀의 심도 값 z는 표준 핀홀 카메라 모델에 따라서 결정되고, 각각의 샘플링 지점(point)에 대한 착란원(circle of confusion)(착란원: 초점면 앞의, 또는 뒤의, 또는 근처의 이미징 평면 상에서 점광원으로부터의 광선이 하나의 지점에 집중되지 않고, 따라서 이미지는 착락원이 됨)은 심도 값 z, 구경, 초점 거리 등에 따라서 결정되고, 각 픽셀의 최종 값은 픽셀을 커버하는 모든 착락원의 가중된 평균에 의해 결정된다. 이 해법에서, 핀홀 이미징 모델 또는 렌즈 모델에 기반한 시뮬레이션 계산 프로세스에서, 카메라의 초점 길이 및 구경 파라미터는 미리 알려져야만 한다. 그러나, 실제 적용에서, 임의의 2차원 이미지의 카메라 촬영 파라미터를 정확하게 획득하기는 어렵고, 이에 의해 이 해법의 응용 경우(scenarios)는 제한되고 피사계심도 효과 시뮬레이션은 아무 2차원 이미지나 수행될 수 없다. 이에 더하여, 이 해법의 계산 프로세스는 카메라의 파라미터에 의존하므로, 계산 프로세스가 복잡하고 계산량이 크다.
이에 더하여, 사람 얼굴 영역을 둘러싼 레이어 옆의 배경 레이어를 블러링(blurring)하는 해법이 사용된다. 이 해법은 사람 얼굴 인식 기술에 기초하여 사람 열굴 영역을 둘러싼 레이어 옆의 배경 레이어를 블러링하는 것이다. 이 해법의 단점은 사람 얼굴 인식 기술이 오직 초상(portrait)의 경우에만 적용된다는 점이고, 그리고 이 해법에서, 피사계심도는 중심을 둘러싼 그라디언트(gradient) 블러링 수행의 방식을 사용하여 시뮬레이션되고 블러링 처리에 대한 파라미터는 고정되어 있으므로, 블러링 처리 방식이 이미지에서의 상이한 타겟 영역에 따라서 상응하게 조정될 수 없고 단일 피사계심도 효과만이 발생된다. 따라서 블러링 정도에 대한 픽셀 심도 정보의 영향이 효과적으로 반영될 수 없다. 그러나, 실제 카메라에 의해 촬영된 피사계심도 효과는 초점 길이, 구경, 및 대상 거리에 따라서 변하고, 이는 일 방향 또는 양 방향 그라디언트 블러링의 특징을 야기한다. 타겟 영역(target area)은 강조되는 대상이 위치한 영역이다.
전술한 목적을 달성하기 위한 본 발명의 실시예의 일 측면에 따른 이미지 처리 방법이 제공된다. 본 발명의 실시예에 따른 이미지 처리 방법은, 2차원 이미지를 획득하는 단계; 2차원 이미지에서 타겟 영역을 결정하는 단계 - 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 배경 영역은 타겟 영역의 외부 영역임 - ; 2차원 이미지에서 타겟 영역의 위치를 검출하는 단계; 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리(blurring process)를 수행하기 위해 사용되는 디폴트(default) 처리 방식을 선택하는 단계; 및 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 단계를 포함한다.
전술한 목적을 달성하기 위한 본 바명의 실시예의 다른 측면에 다른 이미지 처리 장치가 제공된다. 본 발명의 실시예에 따른 이미지 처리 장치는, 2차원 이미지를 획득하도록 구성된 획득 유닛; 2차원 이미지에서 타겟 영역을 결정하도록 구성된 결정 유닛 - 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 배경 영역은 타겟 영역의 외부 영역임 - ; 2차원 이미지에서 타겟 영역의 위치를 검출하도록 구성된 검출 유닛; 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하도록 구성된 선택 유닛; 및 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하도록 구성된 제 1 처리 유닛을 포함한다.
본 명세서의 일부를 구성하는 첨부된 도면이 본 개시의 추가적인 이해를 제공하기 위해 포함되었다. 본 명세서의 개략적인 실시예 및 설명은 본 개시를 설명하기 위한 것으로 본 발명을 부적절하게 제한하지 않는다. 도면은 이하와 같다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 바람직한 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 결과의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 다른 바람직한 이미지 처리 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 바람직한 이미지 처리 장치의 개략도이다.
도 7은 본 발명의 일 실시예에 따른 다른 바람직한 이미지 처리 장치의 개략도이다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 바람직한 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 결과의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 다른 바람직한 이미지 처리 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 바람직한 이미지 처리 장치의 개략도이다.
도 7은 본 발명의 일 실시예에 따른 다른 바람직한 이미지 처리 장치의 개략도이다.
당업자가 본 개시의 기술적 해법들을 더 잘 이해할 수 있도록, 이하에서 본 발명의 실시예들에 첨부된 도면들을 참조하여, 본 발명의 실시예들의 기술적인 해법들을 명확하고 완전하게 설명한다. 명백하게, 설명된 실시예들은 본 발명의 모든 실시예가 아닌 단지 부분일 뿐이다. 창의적인 노력 없이 본 발명의 실시예들에 기초하여 당업자에 의해 얻어지는 다른 모든 실시예들은 본 개시의 보호 범위 내에 포함된다.
본 개시의 상세한 설명과 청구항과 전술한 도면에서 "제 1", "제 2" 등과 같은 용어들은, 꼭 특정한 관계 또는 순서(sequence)를 설명하는 것이 아닌 유사한 대상을 구분하기 위한 것임을 주목해야한다. 이러한 데이터는 적절한 경우에서 교환될 수 있으며, 따라서 여기서 설명된 본 발명의 실시예는 여기서 도시되거나 또는 설명된 순서를 제외한 순서로 수행될 수 있음이 이해되어야 한다. 이에 더하여 "포함한다", "포함하는", "가진다", "가지는" 또는 다른 변형의 용어들은 비배타적인 포함을 의도한 것으로, 이에 의해 일련의 단계 또는 유닛을 포함하는, 갖는 프로세스, 방법, 시스템, 제품, 또는 장치는 오직 이러한 단계 또는 유닛만 포함하는 것이 아니며, 명백하게 나열되지 않았거나 또는 본 프로세스, 방법, 제품, 또는 장치에 내포된 다른 단계 또는 유닛을 포함할 수 있다.
실시예 1
본 발명의 실시예에 따라서, 본 출원의 장치 실시예를 구현하기 위한 방법 실시예가 제공된다. 첨부된 도면의 흐름도에 도시된 단계들이 컴퓨터 실행가능 명령의 그룹과 같은 컴퓨터 시스템에서 수행될 수 있고, 또한 논리적 순서가 흐름도에 도시되어 있으나, 몇몇의 경우에서 도시되거나 설명된 단계들은 본 개시의 순서와는 상이한 순서에 기초하여 수행될 수 있다.
이하에서 개시된 이미지 처리 방법은 빠른 이미지 처리를 위해 사용되고, 이 방법은 하나 이상의 프로세서와 메모리를 포함하는 임의의 적절한 컴퓨팅 디바이스에 의해 구현될 수 있다. 여기서 사용되는 컴퓨팅 디바이스는, 개인 컴퓨터(PC), 워크 스테이션(work station) 컴퓨터, 휴대용 컴퓨터 디바이스(타블렛), 모바일 단말기(모바일 폰 또는 스마트 폰), 서버, 네트워크 서버, 스마트 단말기, 또는 임의의 사용자 측 또는 서버 측 컴퓨팅 디바이스와 같은, 특정 컴퓨팅 능력(예를 들어 일정한 속도로 배치되어야하는 미디어 데이터의 제어 능력)을 가진 임의의 적절한 디바이스를 지칭할 수 있다. 메모리는 저장 매체를 포함하고, 이는 예를 들어 ROM(Read-Only Memory), RAM(Random Access Memory), 및 플래쉬 메모리 모듈과 같은 메모리 모듈과, 예를 들어 CD-ROM, U-disk, 제거 가능 하드 디스크 등과 같은 대용량 기억 장치를 더 포함할 수 있고, 이는 모두 비-일시적 저장 매체이다. 저장 매체는, 프로세서에 의해 실행될 때 다양한 프로세스를 구현하기 위한 컴퓨터 프로그램을 저장할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다. 도 1에 도시된 바와 같이, 방법은 이하의 단계들을 포함한다.
단계 S102: 2차원 이미지를 획득한다.
2차원 이미지는 임의의 2차원 이미지일 수 있고 임의의 카메라에 의해 촬영된 이미지로 제한되지는 않으며, 2차원 이미지는 풍경 사진 또는 초상 사진 일 수 있다. 2차원 이미지는, 2차원 이미지에 블러링 처리를 수행하기 위해 획득된다.
단계 S104: 2차원 이미지에서 타겟 영역을 결정한다. 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 배경 영역은 타겟 영역의 외부 영역이다.
2차원 이미지가 획득된 후, 2차원 이미지에서 타겟 영역이 결정된다. 타겟 영역은 피사계심도 효과를 시뮬레이션하기 위해 강조되는(highlighted) 대상(object)일 수 있다. 예를 들어, 초상 이미지에서, 초상이 강조되어야 하고 초상의 외부 영역에 블러링 처리가 수행되어야 하므로, 초상이 포함된 영역이 타겟 영역이고, 초상의 외부 영역은 배경 영역이다.
구체적으로, 2차원 이미지의 타겟 영역은 자동적으로 생성될 수 있거나 또는 그래프컷(Graphcut)에 기초한 수동 지능형 교정(manual intelligent calibration)에 의해 획득될 수 있다. 이에 더하여, 타겟 영역의 MASK가 생성된다. MASK는 타겟 영역을 보호하는 보호 레이어로, 이에 의해 블러링 처리가 타겟 영역에는 수행되지 않고 타겟 영역의 원래의 픽셀이 유지된다.
단계 S106: 2차원 이미지에서 타겟 영역의 위치를 검출한다.
2차원 이미지에서 타겟 영역을 결정한 후에, 2차원 이미지에서 타겟 영역의 위치가 검출되고, 즉 타겟 영역과 2차원 이미지 사이의 기하학적 위치 관계가 판정된다. 2차원 이미지의 평면의 미리 설정된 좌표계에 따라서, 타겟 영역의 좌표 특성(예를 들어 타겟 영역의 중심 위치 좌표 또는 경계 좌표)이 결정될 수 있고, 타겟 영역의 위치가 결정될 수 있다. 구체적으로, 타겟 영역의 중심 위치가 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용되는 차이 인자(discrepancy factor) 및 타겟 영역이 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용되는 차이 인자가 계산될 수 있고, 그리고 타겟 영역의 위치가 이러한 차이 인자에 따라서 판정되고 결정된다.
단계 S108: 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택한다.
2차원 이미지에서 타겟 영역의 위치가 검출된 후에, 위치에 따라서 디폴트 처리 방식이 선택될 수 있다. 디폴트 처리 방법은 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 미리 설정된 처리 방법이다. 예를 들어, 타겟 영역이 2차원 이미지의 중심 위치에 근접하면, 타겟 영역의 경계로부터 시작하여 2차원 이미지의 두 개의 경계로 향하는 두 개의 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위해 사용되는 제 1 처리 방법이 선택되고, 그리고 타겟 영역이 2차원 이미지의 경계에 근접하면, 배경 영역의 픽셀에 일 방향 그라디언트 블러링 처리를 수행하기 위해 사용되는 제 2 처리 방법이 선택된다.
단계 S110: 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행한다.
디폴트 처리 방식이 선택되면, 선택된 처리 방식에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리가 수행될 수 있다. 구체적으로, 평균 블러링 처리가 배경 영역의 픽셀에 우선 수행될 수 있고, 이에 의해 배경 영역 모든 곳의 픽셀의 블러링 정도가 동일하게 되고, 배경 평균 블러링 이미지가 획득된다. 그리고 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위한 동적 계산 파라미터가 타겟 영역의 위치에 따라서 계산되고, 마지막으로 계산 파라미터, 배경 평균 블러링 이미지, 및 배경 영역의 원래의 픽셀에 따라서 배경 영역의 각 지점의 픽셀 값이 계산된다. 따라서, 배경 영역의 픽셀에 그라디언트 블러링 처리가 실행된다.
본 발명의 실시예에 따라, 2차원 이미지에서 타겟 영역의 위치를 검출하고, 배경 영역의 픽셀에 블러링 처리를 수행하는 데 사용되는 디폴트 방식을 선택하고, 그리고 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 것에 의해, 상이한 위치의 타겟 영역에 대해 동일한 처리 방식을 사용하는 것에 의해 야기되는 시뮬레이션된 좋지 못한 피사계심도 효과가 회피될 수 있고, 따라서 이미지의 상이한 타겟 영역에 따라서 상응하도록 블러링 처리 방식이 조정되지 못하는 종래 기술의 문제점이 해결될 수 있다. 따라서, 상이한 타겟 영역에 대해 그 영역에 대응하는 블러링 처리 방식이 사용된다.
본 발명의 실시예에서, 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 타겟 영역의 위치에 따라서 대응하는 방식이 선택되고, 그리고 전술한 방식이 임의의 2차원 이미지에 블러링 처리를 수행하기 위해 사용될 수 있다. 따라서, 종래 기술의 핀홀 이미징 모듈 기반 필터링 해법에 비교하여, 본 실시예의 해법은 더 넓은 범위의 응용 경우에 적용될 수 있다. 이에 더하여, 타겟 영역은 2차원 이미지 상에서 교정된(calibrate) 임의의 영역일 수 있고, 초상으로 제한되지는 않는다. 따라서, 열굴 인식 기반 해법과 비교하여, 본 발명의 실시예의 해법은 더 넓은 범위의 응용 경우에 적용될 수 있다.
도 2는 본 발명의 실시예에 따른 바람직한 이미지 처리 방법이다. 본 실시예에 따른 이미지 처리 방법은 전술한 실시예의 이미지 처리 방법의 바람직한 구현 방식일 수 있다. 도 2에 도시된 바와 같이, 이미지 처리 방법은 이하의 단계들을 포함한다.
단계 S202 및 단계 S2040는 도 1에 도시된 단계 S102 및 단계 S104와 순서상 동일하고, 여기서 다시 반복되지 않는다.
단계 S206: 타겟 영역의 중심 위치와 2차원 이미지의 중심 위치의 제 1 편차 인자를 계산한다. 제 1 편차 인자는 타겟 영역의 중심 위치가 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용된다.
타겟 영역의 중심 위치 및 2차원 영역의 중심 위치가 우선 결정될 수 있고, 그리고 제 1 편차 인자는 두 개의 중심 위치에 따라서 계산되고, 타겟 영역의 중심 위치와 2차원 이미지의 중심 위치 사이의 위치 관계는 제 1 편차 인자를 사용하여 판정될 수 있다.
단계 S208: 타겟 영역과 2차원 이미지의 경계의 제 2 편차 인자를 계산한다. 제 2 편차 인자는 타겟 영역이 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용된다.
타겟 영역의 경계 및 2차원 이미지의 경계가 우선 결정될 수 있고, 여기서 2차원 이미지의 경계는 타겟 영역의 경계에 대응하는 경계이고, 그리고 두 개의 경계 사이의 위치 관계에 따라서 제 2 편차 인자가 계산된다.
단계 S210: 제 1 편차 인자가 제 2 편차 인자보다 작은지 여부를 판정한다.
단계 S212: 제 1 편차 인자가 제 2 편차 인자보다 작다고 판정되면, 타겟 영역이 제 1 영역 내에 있다고 결정한다. 제 1 영역은 2차원 이미지의 중심 위치에 가까운(toward) 영역이다.
제 1 영역은 2차원 이미지의 중심 위치 근처의 영역일 수 있고, 이 영역과 2차원 이미지의 중심 위치 사이의 거리는 제 1 미리 설정된 거리이다.
단계 S214: 제 1 편차 인자가 제 2 편차 인자와 동일하거나 또는 더 큰 경우, 타겟 영역이 제 2 영역 내에 있다고 결정한다. 제 2 영역은 2차원 이미지의 경계에 가까운 영역이다.
제 2 영역은 2차원 이미지의 경계 근처의 영역일 수 있고, 이 영역과 2차원 이미지의 경계 사이의 거리는 제 2 미리 설정된 거리이다.
구체적으로, 좌표계는 2차원 이미지가 위치한 평면 상에 설정될 수 있다. 도 3에 도시된 바와 같이, 타겟 영역(101)은 2차원 이미지(10)에서 교정되고, 좌표계의 기점 0은 2차원 이미지(10)의 상부 좌측 모서리에 위치하고, Y축 양의 방향은 이미지의 상부 좌측 모서리로부터 하부 좌측 모서리로의 방향이고, X축 양의 방향은 이미지의 상부 좌측 모서리로부터 상부 우측 모서리로의 방향이다. 타겟 영역의 경계는 각각 Xmin(X축 방향의 최소 값), Xmax(X축 방향의 최대 값), Ymin(Y축 방향의 최소 값), 및 Ymax(Y축 방향의 최대 값)로 표현된다. 입력 2차원 이미지의 폭 및 길이는 각각 Bw 및 Bh로 표현된다. 타겟 영역의 폭 및 길이는 각각 Fw 및 Fh로 표현된다. 계산 결과는, 파라미터 R_up_inner(Y축 양의 방향에서의 그라디언트 블러링 시작 경계), R_up_outer(Y축 양의 방향에서의 그라디언트 블러링 종료 경계), R_down_inner(Y축 음의 방향에서의 그라디언트 블러링 시작 경계), 및 R_down_outer(Y축 음의 방향에서의 그라디언트 블러링 종료 경계)로 표현될 수 있다.
우선적으로, Y축에서의 타겟 영역의 중심점의 위치가 Yc=Ymin+Fh/2을 사용하여 계산될 수 있고, Y축에서의 2차원 이미지의 중심 여역의 위치가 Bc=Bh/2를 사용하여 계산될 수 있다.
Y축의 양의 방향을 따른 타겟 영역의 중심 위치 및 2차원 이미지의 중심 위치의 편차 인자는 offset_center=abs(Yc-Bc)/Bh를 사용하여 계산되고, 여기서 abs는 절대값을 나타낸다.
Y축의 양의 방향을 따른 타겟 영역 및 2차원 이미지의 경계의 편차 인자는 offset_y=(Bh-Ymax)/Bh를 사용하여 계산된다.
offset_center와 offset_y의 값을 비교하여, 타겟 영역이 2차원 이미지의 중심 가까이에 있는지 또는 2차원 이미지의 경계 가까이에 있는지를 결정한다.
만약 offset_center의 값이 offset_y의 값보다 작다면, 타겟 영역이 2차원 이미지의 중심에 가깝다고 결정될 수 있다.
만약 offset_center의 값이 offset_y의 값보다 크거나 또는 동일하다면, 타겟 영역이 2차원 이미지의 경계에 가깝다고 결정될 수 있다.
본 발명의 실시예에서 편차 인자를 계산하는 방식이 예시의 계산 방식에 제한되지는 않는다. 예를 들어 좌표계는 다른 형태의 좌표계일 수 있다.
본 발명의 실시예에 따라서 제 1 편차 인자 및 제 2 편차 인자는 계산에 의해 획득되고, 2차원 이미지에서의 타겟 영역의 위치는 제 1 편차 인자 및 제 2 편차 인자를 사용하여 결정되며, 이에 의해 타겟 영역의 위치 결정이 더욱 정확해지고 위치 결정의 정밀도가 개선된다.
본 발명의 실시예에서, 디폴트 처리 방식은 제 1 처리 방식 및 제 2 처리 방식을 포함하고, 도 2에 도시된 바와 같이, 2차원 이미지에서 타겟 영역의 위치에 따라서, 배경의 픽셀에 블러링 처리를 수행할 디폴트 처리 방식을 선택하는 단계는 단계 S216: 타겟 영역이 제 1 영역 내에 있다고 결정한 후 제 1 처리 방식을 선택하는 단계를 포함한다. 제 1 처리 방식은, 제 1 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는데 사용되고, 여기서 제 1 방향은 타겟 영역의 경계로부터, 타겟 영역의 경계에 대응하는 2차원 이미지의 경계로의 방향이다. 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 단계는 단계 S218: 제 1 처리 방식에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계를 포함한다.
구체적으로, 전술한 예시의 좌표계에서, 제 1 처리 방식은 도 3에 도시된 방향 F1 및 방향 F2와 같은 Y축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향(two-way) 그라디언트 블러링 처리를 수행하는 것일 수 있다. 블러링 처리의 경계는 차례로 R_up_inner=Fh*a, R_up_outer=R_up_inner+Fh*b, R_down_inner=Fh*c, 및 R_down_outer=R_down_inner+Fh*d이고, 여기서 a, b, c, 및 d는 미리 설정된 파라미터로서 이들의 값은 요구사항에 따라서 조정될 수 있고, 예를 들어 a, b, c, 및 d의 값은 차례대로 0.3, 0.5, 0.1, 및 0.5이다. 물론, 제 1 처리 방식이 X축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향 그라디언트 블러링 처리를 수행하는 것일 수도 있고, 또는 X축의 양의 방향 및 음의 방향과 Y축의 양의 방향 및 음의 방향을 각각 따라서 배경 영역에 그라디언트 블러링 처리를 수행하는 것일 수도 있으며, 이러한 방식들의 원리는 Y축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향 그라디언트 블러링 처리를 수행하는 원리와 동일하고, 이는 여기서 다시 반복되어 설명되지 않는다.
추가적으로, 도 2에 도시된 바와 같이, 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리를 수행하는 데 사용되는 디폴트 처리 방식을 선택하는 단계는 단계 S220: 타겟 영역이 제 2 영역 내에 있다고 결정한 후 제 2 처리 방식을 선택하는 단계를 포함한다. 제 2 처리 방식은, 제 2 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 데 사용되고, 여기서 제 2 방향은 2차원 아미지의 타겟 영역에 가장 가까운 경계로부터, 타겟 영역에 가장 먼 경계로의 방향이다. 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 단계는 단계 S222: 제 2 처리 방식에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계를 포함한다.
구체적으로, 전술한 예시의 좌표계에서, 제 2 처리 방식은 Y축의 양의 방향을 따라서 배경 영역에 일 방향(one-way) 그라디언트 블러링을 수행하는 것일 수 있고, 여기서 블러링 처리의 경계는 R_up_inner=Fh*a, R_up_outer=R_up_inner+Fh*b, R_down_inner=0, 및 R_down_outer=0이다. 물론, 제 1 처리 방식은 또한 Y축의 음의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링 처리를 수행하는 것일 수도 있고, 또는 X축의 양의 방향 또는 X축의 음의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링 처리를 수행하는 것일 수도 있으며, 또는 X축 또는 Y축 각각 상에서 배경 영역에 일 방향 그라디언트 블러링 처리를 수행하는 것일 수 있으며, 이러한 방식들의 원리는 Y축의 양의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링을 수행하는 원리와 동일하고, 이는 여기서 다시 반복되어 설명되지 않는다.
바람직하게, 본 발명의 실시예에서, 2차원 이미지에서 타겟 영역의 위치가 검출되기 전에, 이미지 처리 방법은, 타겟 영역의 폭과 2차원 이미지의 폭 사이의 폭 비율(width ratio)을 계산하는 단계; 타겟 영역의 길이와 2차원 이미지의 길이 사이의 길이 비율(length ratio)을 계산하는 단계; 폭 비율이 제 1 비율 임계치를 초과하는지 여부 및 길이 비율이 제 2 비율 임계치를 초과하는지 여부를 판정하는 단계; 폭 비율이 제 1 비율 임계치를 초과하고 길이 비율이 제 2 비율 임계치를 초과하는 경우, 디폴트 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계를 더 포함하고, 여기서 디폴트 방향은 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위해 사용되는 미리 설정된 방향이다.
제 1 비율 임계치 및 제 2 비율 임계치는 요구사항에 따라서 조정되고 설정될 수 있고, 예를 들어 0.7 및 0.8이다. 제 1 비율 임계치 및 제 2 비율 임계치는 타겟 영역의 영역과 2차원 이미지 영역의 영역 사이의 비율 관계를 판정하기 위해 사용될 수 있다.
구체적으로, 전술한 실시예의 좌표에서, Y축 방향에서의 타겟 영역의 길이와 2차원 이미지의 길이 사이의 길이 비율은 Yr=Fh/Bh를 사용하여 계산되고, 그리고 X출 방향에서의 타겟 영역의 폭과 2차원 이미지의 폭 사이의 폭 비율은 Xr=Fw/Bw를 사용하여 계산된다.
폭 비율이 제 1 비율 임계치를 초과하는지 여부 및 길이 비율이 제 2 비율 임계치를 초과하는지 여부가 판정된다. 예를 들어, 제 1 비율 임계치가 0.8이고 제 2 비율 임계치가 0.7인 경우, Xr>0.8이고 Yr>0.7이라면 타겟 영역과 2차원 이미지의 폭 비율과 길이 비율은 모두 임계치 값을 초과하고, 배경 영역에 대한 그라디언트 블러링 처리는 디폴트 방향으로 수행된다. 예를 들어, 배경 영역에 빠른 그라디언트 블러링 처리가 Y축의 양의 방향을 따라서 수행되어야 하고, 블러링 처리의 경계는 R_up_inner=Fw*(1-Fh/Ymax), R_up_outer=R_up_inner*e, R_down_inner=0, 및 R_down_outer=0이고, 여기서 e는 미리 설정된 파라미터로서 요구사항에 따라서 설정될 수 있고, 예를 들어 e는 1.1이다.
본 발명의 실시예에 따르면, 타겟 영역의 영역이 상대적으로 크다고 판정되면, 처리되어야하는 배경 영역의 영역은 상대적으로 작고, 이에 의해 배경 영역에 대해 빠른 그라디언트 처리가 디폴트 방향으로 수행될 수 있고, 따라서 이미지 처리의 속도가 이러한 경우 개선될 수 있다.
바람직하게, 본 발명의 실시예에서, 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계는, 배경 영역의 픽셀에 블러링 처리를 수행하기 위한 시작 경계 및 종료 경계를 결정하는 단계; 및 시작 경계와 종료 경계 사이의 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계를 포함하고, 여기서 시작 경계에서의 픽셀의 블러링 정도는 종료 경계에서의 픽셀의 블러링 정도에 비해 적다.
앞에서 설명된 R_up_inner(Y축의 양의 방향에서의 그라디언트 블러링 시작 경계), R_up_outer(Y축의 양의 방향에서의 그라디언트 블러링 종료 경계), R_down_inner(Y축의 음의 방향에서의 그라디언트 블러링 시작 경계), 및 R_down_outer(Y축의 음의 방향에서의 그라디언트 블러링 종료 경계)와 같은 시작 경계 및 종료 경계가 결정된다. 블러링 되야하는 영역은, Y축의 양의 방향에서의 시작 경계와 Y축의 양의 방향에서의 종료 경계 사이의 배경 영역이고, 그리고 Y축의 음의 방향에서의 시작 경계와 Y축의 음의 방향에서의 종료 경계 사이의 배경 영역이다. 구체적으로, 배경 영역에 평균 블러링 처리가 수행된 후, 그라디언트 블러링 처리가 Y축의 양의 방향의 시작 경계와 Y축의 양의 방향의 종료 경계 사이의 배경 영역의 픽셀 및 Y축의 음의 방향의 시작 경계와 Y축의 음의 방향의 종료 경계 사이의 배경 영역의 픽셀에 수행될 수 있다. 다른 배경 영역의 픽셀은 평균 블러링 처리 이후에 획득된 픽셀을 사용한다.
바람직하게, 본 발명의 실시예에서, 2차원 이미지에서 타겟 영역이 결정된 후, 이미지 처리 방법은, 배경의 픽셀에 평균 블러링 처리를 수행하여 배경 평균 블러링 이미지를 획득하는 단계를 더 포함하고, 여기서 평균 블러링 처리는 배경 평균 블러링 이미지의 모든 곳의 픽셀이 동일한 블러링 정도를 갖도록 하기 위해 사용된다. 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 단계는, 배경의 픽셀 및 배경 평균 블러링 이미지의 픽셀을 획득하는 단계; 디폴트 처리 방식을 사용하여 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위한 계산 파리미터를 결정하는 단계; 및 계산 파라미터, 배경 영역의 픽셀, 및 배경 평균 블러링 이미지의 픽셀 값에 따른 배경 영역의 그라디언트 블러링 처리 이후 획득되는 픽셀 값을 계산하는 단계를 포함한다.
평균 블러링 처리는, 배경 평균 블러링 이미지를 획득하기 위해, 가우시안 블러(Gaussian blur)와 같은 처리 방식을 사용하여 배경 영역의 모든 곳의 픽셀이 동일한 블러링 정도를 갖도록 배경 영역의 픽셀을 처리한다.
본 발명의 실시예에서, 배경 영역 내의 픽셀들에 대해, 픽셀의 계산 파라미터가 한 개씩 계산되고, 배경 영역 및 배경 평균 블러링 이미지가 계산 파라미터를 사용하여 융합된다. 결과적으로, 피사계심도 효과 이미지가 획득된다. 전술한 좌표계에서, (x, y)는 배경 영역의 각각의 지점의 좌표를 지시하고, D(x, y)는 처리 이후의 지점의 타겟 픽셀을 지시하며, Bg(x, y)는 지점의 배경 평균 블러링 픽셀을 지시하고, 그리고 Fg(x, y)는 지점의 배경 영역의 원래의 픽셀을 지시한다. 계산 방법은 아래와 같다.
a) D(x,y)=Bg(x,y),y<=R_up_outeror,y>=R_down_outer;
b) D(x,y)=Bg(x,y)*alpha+Fg(x,y)*(1-alpha),R_up_inner<y<Ymax,
alpha=(Ymax-y)/(Ymax-R_up_inner);
c) D(x,y)=Bg(x,y)*(1-alpha)+Fg(x,y)*alpha,Ymax<y<R_down_inner,
alpha=(R_down_inner-y)/(R_down_inner-Ymax);
d) D(x,y)=Fg(x,y),R_up_inner<=y<=R_down_inner;
따라서, 각각의 지점의 픽셀이 게산되고, 배경 영역의 픽셀에 대해 그라디언트 처리가 실행된다.
도 4는 본 발명의 실시예에 따른 바람직한 이미지 처리 방법의 흐름도이다. 도 4에 도시된 바와 같이, 이미지 처리 방법에서, 우선 이미지가 입력되고, 즉 2차원 이미지가 획득된다. 이미지는 전경 영역 및 배경 영역을 결정하기 위해 지능적으로 교정되고, 여기서 전경 영역은 본 발명의 실시예의 타겟 영역을 지칭한다. 전경 영역의 위치가 검출되고, 전경 영역이 배경 영역에 근사한 것으로 결정되면, 즉 타겟 영역의 크기가 원래의 2차원 이미지의 크기와 유사한 것으로 결정되면, 배경 영역에 빠른 일 방향 그라디언트 블러링 처리가 수행되고, 전경 영역이 배경의 중심에 가까운 것으로 결정되면, 즉 타겟 영역이 2차원 이미지의 중심에 가까운 것으로 결정되면, 배경 영역에 양 방향 그라디언트 블러링 처리가 수행되고, 그리고 전경 영역이 배경 영역의 경계에 가까운 것으로 결정되면, 즉 타겟 영역이 2차원 이미지의 경계에 가까운 것으로 결정되면, 배경 영역에 일 방향 그라디언트 블러링 처리가 수행된다. 블러링 파라미터는 동적으로 추정되고, 즉 이미지에 그라디언트 블러링 처리를 수행하기 위한 파라미터가 계산되고, 그리고 파라미터를 사용하여, 대응하는 처리가, 배경 영역의 평균 블러링 처리 이 후 획득된 평균 블러링 배경에 수행되어 그라디언트 블러링 배경이 획득된다. 그리고 그라디언트 블러링 배경 및 전경 영역에 대해 이미지 융합이 수행되어 피사계심도 효과 이미지가 획득된다.
전술한 방법 실시예들이 간결함을 위해 일련의 동작 조합들로 설명되나, 몇몇 단계들은 본 개시에 따라 다른 순서 또는 동시에 수행될 수 있기 때문에, 당업자는 본 개시가 동작들의 설명된 순서에 한정되지 않음을 주목해야 한다. 추가적으로, 당업자는 본 명세서에서 설명된 실시예들 전체가 바람직한 실시예이며, 관련된 동작 및 모듈은 본 개시에 필수적인 것이 아님을 알아야 한다.
구현 방식들의 전술한 설명을 통해, 전술한 실시예들에 따른 이미지 처리 방법은 소프트웨어와 필수적인 범용 하드웨어 플랫폼에 의해 구현될 수 있고, 또한 하드웨어에 의해 구현될 수 있으나, 대부분의 경우는 전자가 선호되는 구현 방식임을 당업자는 명백하게 이해할 수 있다. 이러한 이해를 바탕으로, 본 개시의 기술적인 해법들은 필수적으로, 또는 부분적으로 종래 기술의 기여로, 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체(롬(ROM)/램(RAM), 자기 디스크, 또는 광디스크와 같은 저장매체) 에 저장되고, 본 발명의 각각의 실시예에서 설명된 방법을 수행하기 위하여, 단말 장치(휴대 전화, 컴퓨터, 서버, 또는 네트워크 디바이스)에 명령을 내리기 위한 다수의 명령들을 포함할 수 있다.
실시예 2
본 발명의 실시예에 따라서 전술한 이미지 처리 방법을 구현하기 위한 이미지 처리 장치가 또한 제공된다. 이미지 처리 장치는, 본 발명의 실시예의 전술한 내용에 따른 이미지 처리 방법을 수행하도록 주로 구성된다. 이하에서 본 발명의 실시예에 따른 이미지 처리 장치를 설명한다.
도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 개략도이다. 도 5에 도시된 바와 같이, 이미지 처리 장치는, 획득 유닛(20), 결정 유닛(30), 검출 유닛(40), 선택 유닛(50), 및 제 1 처리 유닛(60)을 포함한다.
획득 유닛(20)은 2차원 이미지를 획득하도록 구성된다.
2차원 이미지는 임의의 2차원 이미지일 수 있고 임의의 카메라에 의해 촬영된 이미지로 제한되지는 않으며, 2차원 이미지는 풍경 사진 또는 초상 사진 일 수 있다. 2차원 이미지는, 2차원 이미지에 블러링 처리를 수행하기 위해 획득된다.
결정 유닛(30)은 2차원 이미지에서 타겟 영역을 결정하도록 구성된다. 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 배경 영역은 타겟 영역의 외부 영역이다.
2차원 이미지가 획득된 후, 2차원 이미지에서 타겟 영역이 결정된다. 타겟 영역은 피사계심도 효과를 시뮬레이션하기 위해 강조되는(highlighted) 대상(object)일 수 있다. 예를 들어, 초상 이미지에서, 초상이 강조되어야 하고 초상의 외부 영역에 블러링 처리가 수행되어야 하므로, 초상이 포함된 영역이 타겟 영역이고, 초상의 외부 영역은 배경 영역이다.
구체적으로, 2차원 이미지의 타겟 영역은 자동적으로 생성될 수 있거나 또는 그래프컷(Graphcut)에 기초한 수동 지능형 교정(manual intelligent calibration)에 의해 획득될 수 있다. 이에 더하여, 타겟 영역의 MASK가 생성된다. MASK는 타겟 영역을 보호하는 보호 레이어로, 이에 의해 블러링 처리가 타겟 영역에는 수행되지 않고 타겟 영역의 원래의 픽셀이 유지된다.
검출 유닛(40)은 2차원 이미지에서 타겟 영역의 위치를 검출하도록 구성된다.
2차원 이미지에서 타겟 영역을 결정한 후에, 2차원 이미지에서 타겟 영역의 위치가 검출되고, 즉 타겟 영역과 2차원 이미지 사이의 기하학적 위치 관계가 판정된다. 2차원 이미지의 평면의 미리 설정된 좌표계에 따라서, 타겟 영역의 좌표 특성(예를 들어 타겟 영역의 중심 위치 좌표 또는 경계 좌표)이 결정될 수 있고, 타겟 영역의 위치가 결정될 수 있다. 구체적으로, 타겟 영역의 중심 위치가 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용되는 차이 인자(discrepancy factor) 및 타겟 영역이 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용되는 차이 인자가 계산될 수 있고, 그리고 타겟 영역의 위치가 이러한 차이 인자에 따라서 판정되고 결정된다.
선택 유닛(50)은 2차원 이미지에서의 타겟 영역의 위치에 따라서, 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하도록 구성된다.
2차원 이미지에서 타겟 영역의 위치가 검출된 후에, 위치에 따라서 디폴트 처리 방식이 선택된다. 디폴트 처리 방법은 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 미리 설정된 처리 방법이다. 예를 들어, 타겟 영역이 2차원 이미지의 중심 위치에 근접하면, 타겟 영역의 경계로부터 시작하여 2차원 이미지의 두 개의 경계로 향하는 두 개의 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위해 사용되는 제 1 처리 방법이 선택되고, 그리고 타겟 영역이 2차원 이미지의 경계에 근접하면, 배경 영역의 픽셀에 일 방향 그라디언트 블러링 처리를 수행하기 위해 사용되는 제 2 처리 방법이 선택된다.
제 1 처리 유닛(60)은 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하도록 구성된다.
디폴트 처리 방식이 선택된 후, 선택된 처리 방식에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리가 수행된다. 구체적으로, 평균 블러링 처리가 배경 영역의 픽셀에 우선 수행될 수 있고, 이에 의해 배경 영역 모든 곳의 픽셀의 블러링 정도가 동일하게 되고, 따라서 배경 평균 블러링 이미지가 획득된다. 그리고 배경 영역의 픽셀을 처리하기 위한 동적 계산 파라미터가 타겟 영역의 위치에 따라서 계산되고, 마지막으로 계산 파라미터, 배경 평균 블러링 이미지, 배경 영역의 원래의 픽셀에 따라서 배경 영역의 각 지점의 픽셀이 계산된다. 따라서, 배경 영역의 픽셀에 그라디언트 블러링 처리가 실행된다.
본 발명의 실시예에 따라, 2차원 이미지에서 타겟 영역의 위치를 검출하고, 배경 영역의 픽셀에 블러링 처리를 수행하는 데 사용되는 디폴트 방식을 선택하고, 그리고 디폴트 처리 방식에 따라서 배경 영역의 픽셀에 블러링 처리를 수행하는 것에 의해, 상이한 위치의 타겟 영역에 대해 동일한 처리 방식을 사용하는 것에 의해 야기되는 시뮬레이션된 좋지 못한 피사계심도 효과가 회피될 수 있고, 따라서 이미지에서 상이한 타겟 영역에 따라서 상응하도록 블러링 처리 방식이 조정되지 못하는 종래 기술의 문제점이 해결될 수 있다. 따라서, 상이한 타겟 영역에 대해 그 영역에 대응하는 블러링 처리 방식이 사용된다.
본 발명의 실시예에서, 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 타겟 영역의 위치에 따라서 대응하는 방식이 선택되고, 그리고 전술한 방식이 임의의 2차원 이미지에 블러링 처리를 수행하기 위해 사용될 수 있다. 따라서, 종래 기술의 핀홀 이미징 모듈 기반 필터링 해법에 비교하여, 본 실시예의 해법은 더 넓은 범위의 응용 경우에 적용될 수 있다. 이에 더하여, 타겟 영역은 2차원 이미지 상에서 교정된 임의의 영역일 수 있고, 초상으로 제한되지는 않는다. 따라서, 열굴 인식 기반 해법과 비교하여, 본 발명의 실시예의 해법은 더 넓은 범위의 응용 경우에 적용될 수 있다.
도 6은 본 발명의 실시예에 따른 바람직한 이미지 처리 장치의 개략되이다. 실시예의 이미지 처리 장치는 전술한 실시예의 이미지 처리 장치의 바람직한 구현 빙식일 수 있다. 이미지 처리 장치는 획득 유닛(20), 결정 유닛(30), 검출 유닛(40), 선택 유닛(50), 및 제 1 처리 유닛(60)을 포함하고, 여기서 검출 유닛(40)은 제 1 계산 모듈(401), 제 2 계산 모듈(402), 판정 모듈(403), 제 1 결정 모듈(404), 및 제 2 결정 모듈(405)을 포함한다.
제 1 계산 모듈(401)은 타겟 영역의 중심 위치와 2차원 이미지의 중심 위치의 제 1 편차 인자를 계산하도록 구성되고, 여기서 제 1 편차 인자는 타겟 영역의 중심 위치가 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용된다.
타겟 영역의 중심 위치 및 2차원 영역의 중심 위치가 우선 결정될 수 있고, 그리고 제 1 편차 인자는 두 개의 중심 위치에 따라서 계산되고, 타겟 영역의 중심 위치와 2차원 이미지의 중심 위치 사이의 위치 관계는 제 1 편차 인자를 사용하여 판정될 수 있다.
제 2 계산 모듈(402)은 타겟 영역과 2차원 이미지의 경계의 제 2 편차 인자를 계산하도록 구성되고, 여기서 제 2 편차 인자는 타겟 영역이 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용된다.
타겟 영역의 경계 및 2차원 이미지의 경계가 우선 결정될 수 있고, 여기서 2차원 이미지의 경계는 타겟 영역의 경계에 대응하는 경계이고, 그리고 두 개의 경계 사이의 위치 관계에 따라서 제 2 편차 인자가 계산된다.
판정 모듈(403)은 제 1 편차 인자가 제 2 편차 인자보다 작은지 여부를 판정하도록 구성된다.
제 1 결정 모듈(404)은 제 1 편차 인자가 제 2 편차 인자보다 작다고 판정되면, 타겟 영역이 제 1 영역 내에 있다고 결정하도록 구성된다. 제 1 영역은 2차원 이미지의 중심 위치에 가까운 영역이다.
제 1 영역은 2차원 이미지의 중심 영역 근처의 영역일 수 있고, 이 영역과 2차원 이미지의 중심 위치 사이의 거리는 제 1 미리 설정된 거리이다.
제 2 결정 모듈(405)은 제 1 편차 인자가 제 2 편차 인자와 동일하거나 또는 더 크다고 판정되면, 타겟 영역이 제 2 영역 내에 있다고 결정하도록 구성된다. 제 2 영역은 2차원 이미지의 경계에 가까운 영역이다.
제 2 영역은 2차원 이미지의 경계 근처의 영역일 수 있고, 이 영역과 2차원 이미지의 경계 사이의 거리는 제 2 미리 설정된 거리이다.
구체적으로, 좌표계는 2차원 이미지가 위치한 평면상에 설정될 수 있다. 도 3에 도시된 바와 같이, 타겟 영역(101)은 2차원 이미지(10)에서 교정되고, 좌표계의 기점 0은 2차원 이미지(10)의 상부 좌측 모서리에 위치하고, Y축 양의 방향은 이미지의 상부 좌측 모서리로부터 하부 좌측 모서리로의 방향이고, X축 양의 방향은 이미지의 상부 좌측 모서리로부터 상부 우측 모서리로의 방향이다. 타겟 영역의 경계는 각각 Xmin(X축 방향의 최소 값), Xmax(X축 방향의 최대 값), Ymin(Y축 방향의 최소 값), 및 Ymax(Y축 방향의 최대 값)로 표현된다. 입력 2차원 이미지의 폭 및 길이는 각각 Bw 및 Bh로 표현된다. 타겟 영역의 폭 및 길이는 각각 Fw 및 Fh로 표현된다. 계산 결과는, 파라미터 R_up_inner(Y축 양의 방향에서의 그라디언트 블러링 시작 경계), R_up_outer(Y축 양의 방향에서의 그라디언트 블러링 종료 경계), R_down_inner(Y축 음의 방향에서의 그라디언트 블러링 시작 경계), 및 R_down_outer(Y축 음의 방향에서의 그라디언트 블러링 종료 경계)로 표현될 수 있다.
우선적으로, Y축에서의 타겟 영역의 중심점의 위치가 Yc=Ymin+Fh/2을 사용하여 계산될 수 있고, Y축에서의 2차원 이미지의 중심 지점의 위치가 Bc=Bh/2를 사용하여 계산될 수 있다.
Y축의 양의 방향을 따른 타겟 영역의 중심 위치 및 2차원 이미지의 중심 위치의 편차 인자는 offset_center=abs(Yc-Bc)/Bh를 사용하여 계산되고, 여기서 abs는 절대값을 나타낸다.
Y축의 양의 방향을 따른 타겟 영역 및 2차원 이미지의 경계의 편차 인자는 offset_y=(Bh-Ymax)/Bh를 사용하여 계산된다.
offset_center와 offset_y의 값을 비교하여, 타겟 영역이 2차원 이미지의 중심 가까이에 있는지 또는 2차원 이미지의 경계 가까이에 있는지를 결정한다.
만약 offset_center의 값이 offset_y의 값보다 작다면, 타겟 영역이 2차원 이미지의 중심에 가깝다고 결정될 수 있다.
만약 offset_center의 값이 offset_y의 값보다 크거나 또는 동일하다면, 타겟 영역이 2차원 이미지의 경계에 가깝다고 결정될 수 있다.
본 발명의 실시예에서 편차 인자를 계산하는 방식이 예시의 계산 방식에 제한되지는 않는다. 예를 들어 좌표계는 다른 형태의 좌표계일 수 있다.
본 발명의 실시예에 따라서 제 1 편차 인자 및 제 2 편차 인자는 계산에 의해 획득되고, 2차원 이미지에서의 타겟 영역의 위치는 제 1 편차 인자 및 제 2 편차 인자를 사용하여 결정되며, 이에 의해 타겟 영역의 위치 결정이 더욱 정확해지고 위치 결정의 정밀도가 개선된다.
도 7은 본 발명의 실시예에 따른 다른 바람직한 이미지 처리 장치의 개략도이다. 본 실시예의 이미지 처리 장치는 전술한 실시예의 이미지 처리 장치의 바람직한 구현 방식일 수 있다. 이미지 처리 장치는, 획득 유닛(20), 결정 유닛(30), 검출 유닛(40), 선택 유닛(50), 및 제 1 처리 유닛(60)을 포함하고, 여기서 검출 유닛(40)은 제 1 계산 모듈(401), 제 2 계산 모듈(402), 판정 모듈(403), 제 1 결정 모듈(404), 및 제 2 결정 모듈(405)을 포함한다. 선택 유닛(50)은 제 1 선택 모듈(501)을 포함한다. 제 1 처리 유닛(60)은 제 1 처리 모듈(601)을 포함한다.
제 1 선택 모듈(501)은 타겟 영역이 제 1 영역 내에 있다고 결정한 후 제 1 처리 방식을 선택하도록 구성된다. 제 1 처리 방법은, 제 1 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는데 사용되고, 여기서 제 1 방향은 타겟 영역의 경계로부터, 타겟 영역의 경계에 대응하는 2차원 이미지의 경계로의 방향이다. 제 1 처리 모듈(601)은 제 1 처리 방법에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하도록 구성된다.
구체적으로, 전술한 예시의 좌표계에서, 제 1 처리 방식은 도 3에 도시된 방향 F1 및 방향 F2와 같은 Y축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향 그라디언트 블러링 처리를 수행하는 것일 수 있다. 블러링 처리의 경계는 차례로 R_up_inner=Fh*a, R_up_outer=R_up_inner+Fh*b, R_down_inner=Fh*c, 및 R_down_outer=R_down_inner+Fh*d이고, 여기서 a, b, c, 및 d는 미리 설정된 파라미터로서 이들의 값은 요구사항에 따라서 조정될 수 있고, 예를 들어 a, b, c, 및 d의 값은 차례대로 0.3, 0.5, 0.1, 및 0.5이다. 물론, 제 1 처리 방식은 X축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향 그라디언트 블러링 처리를 수행하는 것일 수도 있고, 또는 X축의 양의 방향 및 음의 방향과 Y축의 양의 방향 및 음의 방향을 각각 따라서 배경 영역에 그라디언트 블러링 처리를 수행하는 것일 수도 있으며, 이러한 방식의 원리는 Y축의 양의 방향 및 음의 방향을 따라서 배경 영역에 양 방향 그라디언트 블러링 처리를 수행하는 원리와 동일하고, 이는 여기서 다시 반복되어 설명되지 않는다.
추가적으로, 도 7에 도시된 바와 같이, 선택 유닛(50)은 제 2 선택 모듈(502)을 포함한다. 제 2 선택 모듈(502)은 타겟 영역이 제 2 영역 내에 있다고 결정한 후 제 2 처리 방식을 선택하도록 구성된다. 제 2 처리 방식은, 제 2 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 데 사용되고, 여기서 제 2 방향은 2차원 이미지에서 타겟 영역에 가장 가까운 경계로부터, 타겟 영역에 가장 먼 경계로의 방향이다. 제 1 처리 유닛(60)은 제 2 처리 모듈(602)을 포함하고, 제 2 처리 모듈(602)은 제 2 처리 방식에 따라서 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하도록 구성된다.
구체적으로, 전술한 예시의 좌표계에서, 제 2 처리 방식은 Y축의 양의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링을 수행하는 것일 수 있고, 블러링 처리의 경계는 R_up_inner=Fh*a, R_up_outer=R_up_inner+Fh*b, R_down_inner=0, 및 R_down_outer=0이다. 물론, 제 2 처리 방식은 또한 Y축의 음의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링 처리를 수행하는 것일 수 있고, 또는 X축의 양의 방향 또는 X축의 음의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링 처리를 수행하는 것일 수 있으며, 또는 X축 또는 Y축 각각 상에서 일 방향 그라디언트 블러링 처리를 수행하는 것일 수 있으며, 이러한 방식의 원리는 Y축의 양의 방향 및 음의 방향을 따라서 배경 영역에 일 방향 그라디언트 블러링을 수행하는 원리와 동일하고, 이는 여기서 다시 반복되어 설명되지 않는다.
바람직하게, 이미지 처리 장치는, 2차원 이미지에서 타겟 영역의 위치가 검출되기 전에, 타겟 영역의 폭과 2차원 이미지의 폭 사이의 폭 비율을 계산하도록 구성된 제 1 계산 유닛; 타겟 영역의 길이와 2차원 이미지의 길이 사이의 길이 비율을 계산하도록 구성된 제 2 계산 유닛; 및 폭 비율이 제 1 비율 임계치를 초과하는지 여부 및 길이 비율이 제 2 비율 임계치를 초과하는지 여부를 판정하도록 구성된 판정 유닛을 더 포함하고, 제 1 처리 유닛은 또한 폭 비율이 제 1 비율 임계치를 초과하고 길이 비율이 제 2 비율 임계치를 초과하는 경우, 디폴트 방향으로 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하도록 구성되고, 여기서 디폴트 방향은 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위해 사용되는 미리 설정된 방향이다.
제 1 비율 임계치 및 제 2 비율 임계치는 요구사항에 따라서 조정되고 설정될 수 있고, 예를 들어 0.7 및 0.8이다. 제 1 비율 임계치 및 제 2 비율 임계치는 타겟 영역의 영역과 2차원 이미지 영역의 영역 사이의 비율 관계를 판정하기 위해 사용될 수 있다.
구체적으로, 전술한 실시예의 좌표에서, Y축 방향에서의 타겟 영역의 길이와 2차원 이미지의 길이 사이의 길이 비율은 Yr=Fh/Bh를 사용하여 계산되고, 그리고 타겟 영역의 폭과 2차원 이미지의 폭 사이의 폭 비율은 Xr=Fw/Bw를 사용하여 계산된다.
폭 비율이 제 1 비율 임계치를 초과하는지 여부 및 길이 비율이 제 2 비율 임계치를 초과하는지 여부가 판정된다. 예를 들어, 제 1 비율 임계치가 0.8이고 제 2 비율 임계치가 0.7인 경우, Xr>0.8이고 Yr>0.7이라면 타겟 영역과 2차원 이미지의 폭 비율과 길이 비율은 모두 임계치 값을 초과하고, 배경 영역에 대한 그라디언트 블러링 처리는 디폴트 방향으로 수행된다. 예를 들어, 배경 영역에 빠른 그라디언트 블러링 처리가 Y축의 양의 방향을 따라서 수행되어야 하고, 블러링 처리의 경계는 R_up_inner=Fw*(1-Fh/Ymax), R_up_outer=R_up_inner*e, R_down_inner=0, 및 R_down_outer=0이고, 여기서 e는 미리 설정된 파라미터로서 요구사항에 따라서 설정될 수 있고, 예를 들어 e는 1.1이다.
본 발명의 실시예에 따르면, 타겟 영역의 영역이 상대적으로 크다고 판정되면, 처리되어야하는 배경 영역의 영역은 상대적으로 작고, 이에 의해 배경 영역에 대해 빠른 그라디언트 처리가 디폴트 방향으로 수행될 수 있고, 따라서 이미지 처리의 속도가 이러한 경우 개선될 수 있다.
바람직하게, 배경 영역에 그라디언트 블러링 처리를 수행하기 위해 이하의 서브모듈들, 배경 영역의 픽셀에 블러링 처리를 수행하기 위한 시작 경계 및 종료 경계를 결정하도록 구성된 결정 서브모듈; 및 시작 경계와 종료 경계 사이에서 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하도록 구성된 처리 서브모듈이 사용될 수 있고, 여기서 시작 경계에서의 픽셀의 블러링 정도는 종료 경계에서의 픽셀의 블러링 정도에 비해 적다.
앞에서 설명된 R_up_inner(Y축의 양의 방향에서의 그라디언트 블러링 시작 경계), R_up_outer(Y축의 양의 방향에서의 그라디언트 블러링 종료 경계), R_down_inner(Y축의 음의 방향에서의 그라디언트 블러링 시작 경계), 및 R_down_outer(Y축의 음의 방향에서의 그라디언트 블러링 종료 경계)와 같은 시작 경계 및 종료 경계가 결정된다. 블러링 되야하는 영역은, Y축 양의 방향에서의 시작 경계와 Y축 양의 방향에서의 종료 경계 사이의 배경 영역이고, 그리고 Y축 음의 방향에서의 시작 경계와 Y축 음의 방향에서의 종료 경계 사이의 배경 영역이다. 구체적으로, 배경 영역에 평균 블러링 처리가 수행된 후, 그라디언트 블러링 처리가 Y축 양의 방향의 시작 경계와 Y축 양의 방향의 종료 경계 사이의 배경 영역의 필셀 및 Y축 음의 방향의 시작 경계와 Y축 음의 방향의 종료 경계 사이의 배경 영역의 픽셀에 수행될 수 있다. 다른 배경 영역의 픽셀은 평균 블러링 처리 후 획득된다.
바람직하게, 이미지 처리 장치는, 2차원 이미지에서 타겟 영역이 결정된 후, 배경의 픽셀에 평균 블러링 처리를 수행하여 배경 평균 블러링 이미지를 획득하도록 구성된 제 2 처리 유닛을 더 포함하고, 여기서 평균 블러링 처리는 배경 평균 블러링 이미지의 모든 곳의 픽셀이 동일한 블러링 정도를 갖도록 하기 위해 사용된다. 제 1 처리 유닛은, 배경 영역의 픽셀 및 배경 평균 블러링 이미지의 픽셀을 획득하도록 구성된 획득 모듈; 디폴트 처리 방식을 사용하여 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위한 계산 파리미터를 결정하도록 구성된 제 3 결정 모듈; 및 계산 파라미터, 배경 영역의 픽셀, 및 배경 평균 블러링 이미지의 픽셀 값에 따른 배경 영역의 그라디언트 블러링 처리 이후 획득되는 픽셀 값을 계산하도록 구성된 제 3 계산 유닛을 포함한다.
평균 블러링 처리는, 배경 평균 블러링 이미지를 획득하기 위해, 가우시안 블러(Gaussian blur)와 같은 처리 방식을 사용하여 배경 영역의 모든 곳의 픽셀이 동일한 블러링 정도를 갖도록 배경 영역의 픽셀을 처리한다.
본 발명의 실시예에서, 배경 영역 내의 픽셀들에 대해, 픽셀의 계산 파라미터가 한 개씩 계산되고, 배경 영역 및 배경 평균 블러링 이미지가 계산 파라미터를 사용하여 융합된다. 결과적으로, 피사계심도 효과 이미지가 획득된다. 전술한 좌표계에서, (x, y)는 배경 영역의 각각의 지점의 좌표를 지시하고, D(x, y)는 처리 이후의 지점의 타겟 픽셀을 지시하며, Bg(x, y)는 지점의 배경 평균 블러링 픽셀을 지시하고, 그리고 Fg(x, y)는 지점의 배경 영역의 원래의 픽셀을 지시한다. 계산 방법은 아래와 같다.
a) D(x,y)=Bg(x,y),y<=R_up_outeror,y>=R_down_outer;
b) D(x,y)=Bg(x,y)*alpha+Fg(x,y)*(1-alpha),R_up_inner<y<Ymax,
alpha=(Ymax-y)/(Ymax-R_up_inner);
c) D(x,y)=Bg(x,y)*(1-alpha)+Fg(x,y)*alpha,Ymax<y<R_down_inner,
alpha=(R_down_inner-y)/(R_down_inner-Ymax);
d) D(x,y)=Fg(x,y),R_up_inner<=y<=R_down_inner;
따라서, 각각의 지점의 픽셀이 게산되고, 배경의 픽셀에 대해 그라디언트 블러링 처리가 수행된다.
본 발명의 전술한 실시예의 순서(sequence) 번호들은 단지 설명의 편의를 위한 것이며, 실시예들 사이에서 우선 순위를 내포하는 것은 아니다.
본 발명의 전술한 실시예에서, 실시예 각각의 설명은 자신의 초점을 가지고 있다. 특정 실시예에서 상세하게 설명되지 않은 부분은 다른 실시예의 관련된 설명을 참조할 수 있다.
본 명세서에서 제공된 몇몇 실시예에서 설명된 장치 실시예는 단지 예시적인 것이다. 예를 들어, 유닛 분할은 단지 논리적인 기능 분할일 뿐이고, 실제 구현에서는 다른 분할일 수도 있다. 예를 들어, 복수의 유닛들 또는 컴포넌트들은 결합되거나 다른 시스템에 집적될 수도 있고, 또는 몇몇 특성들은 무시되거나 수행되지 않을수 있다. 이에 더하여, 보여진 또는 논의된 상호 연결들 또는 직접적인 연결들 또는 송수신 연결들은 몇 가지 인터페이스들을 통해 구현될 수 있다. 유닛들 또는 모듈들 간의 간접적인 연결들 또는 통신 연결들은 전기적으로 또는 다른 형태들로 구현될 수 있다.
별개의 부분들로서 설명된 유닛들은 물리적으로 분리된 것일 수도 있고 아닐 수도 있으며, 유닛들로 보여진 부분들은 물리적인 컴포넌트들일 수도 아닐 수도 있고, 하나의 지점에 위치하거나 또는 복수의 네트워크 유닛들(network units) 상에 분산될 수 있다. 유닛들의 일부 또는 전부는 본 실시예의 해결 수단의 목적을 달성하기 위한 실제의 필요에 따라 선택될 수 있다.
이에 더하여, 본 발명의 실시예의 기능적인 유닛들은 하나의 프로세싱 유닛에 집적되거나, 각각의 유닛이 물리적으로 별도로 존재하거나, 또는 둘 또는 그 이상의 유닛들이 하나의 유닛으로 집적될 수 있다. 집적된 유닛은 하드웨어의 형태로 구현되거나, 또는 소프트웨어 기능적 유닛의 형태로 구현될 수 있다.
집적된 유닛이 소프트웨어 기능적 유닛의 형태로 구현되고 독립적인 제품으로 판매되고 사용될 때, 집적된 유닛은 컴퓨터 판독 가능한 저장 매체(computer-readable storage medium)에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술적인 해결 수단은 필수적으로, 또는 종래 기술에 부분적으로 기대어, 모든 또는 일부의 기술적인 해결 수단들이 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고 본 발명의 실시예에 설명된 방법의 전부 또는 일부의 단계들을 수행하도록 (개인용 컴퓨터, 서버, 네트워크 디바이스 등과 같은) 컴퓨터 장치에게 명령하기 위한 다수의 명령들을 포함할 수 있다. 전술한 저장 매체는 프로그램 코드를 저장할 수 있는 임의의 매체, 즉 USB 플래쉬 드라이브(USB flash drive), 롬(ROM), 램(RAM), 떼어낼 수 있는 하드 디스크(removable hard disk), 자기 디스크, 또는 광디스크를 포함한다.
전술한 설명들은 본 발명의 바람직한 실시예들일 뿐이고, 당업자는 원리에서 벗어나지 않고 다양한 변형과 변이들을 만들어 낼 수 있고, 또한 이러한 변형과 변이들은 본 개시의 기술적 해결 방안의 범위 안에 있음이 이해되어야 한다.
Claims (14)
- 이미지(image) 처리 방법으로서,
하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에 의해 실행되는 프로그램을 저장한 메모리를 포함하는 컴퓨팅 디바이스에서,
2차원 이미지를 획득하는 단계;
상기 2차원 이미지에서 타겟 영역(target area)을 결정하는 단계 - 상기 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 상기 배경 영역은 상기 타겟 영역의 외부 영역임 - ;
상기 타겟 영역의 중심 위치와 상기 2차원 이미지의 중심 위치의 제 1 편차 인자(factor)를 계산하는 단계 - 상기 제 1 편차 인자는 상기 타겟 영역의 중심 위치가 상기 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용됨 - ;
상기 타겟 영역과 상기 2차원 이미지의 경계의 제 2 편차 인자를 계산하는 단계 - 상기 제 2 편차 인자는 상기 타겟 영역이 상기 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용됨 - ;
상기 제 1 편차 인자가 상기 제 2 편차 인자보다 작은지 여부를 판정하는 단계;
상기 제 1 편차 인자가 상기 제 2 편차 인자보다 작은 경우, 상기 타겟 영역이 제 1 영역 안에 있다고 결정하는 단계 - 상기 제 1 영역은 상기 2차원 이미지의 중심 영역에 인접하는 영역임 - ;
상기 제 1 편차 인자가 상기 제 2 편차 인자와 동일하거나 또는 큰 경우, 상기 타겟 영역이 제 2 영역 안에 있다고 결정하는 단계 - 상기 제 2 영역은 상기 2차원 이미지의 경계에 인접하는 영역임 - ;
상기 2차원 이미지에서의 상기 타겟 영역의 위치에 따라서, 상기 배경 영역의 픽셀에 블러링 처리(blurring process)를 수행하기 위해 사용되는 디폴트(default) 처리 방식을 선택하는 단계; 및
상기 디폴트 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 블러링 처리를 수행하는 단계
를 포함하는 이미지 처리 방법. - 삭제
- 제1항에 있어서,
상기 2차원 이미지에서의 상기 타겟 영역의 위치에 따라서, 상기 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하는 단계는, 상기 타겟 영역이 상기 제 1 영역 안에 있다고 결정된 후 제 1 처리 방식을 선택하는 단계 - 상기 제 1 처리 방식은 제 1 방향으로 상기 배경 영역의 픽셀에 그라디언트(gradient) 블러링 처리를 수행하는 데 사용되고, 상기 제 1 방향은 상기 타겟 영역의 경계로부터, 상기 타겟 영역의 경계에 대응하는 상기 2차원 이미지의 경계로의 방향임 - 를 포함하고,
상기 디폴트 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 블러링 처리를 수행하는 단계는, 상기 제 1 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하는 단계를 포함하는,
이미지 처리 방법. - 제1항에 있어서,
상기 2차원 이미지에서의 상기 타겟 영역의 위치에 따라서, 상기 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하는 단계는, 상기 타겟 영역이 상기 제 2 영역 안에 있다고 결정된 후 제 2 처리 방식을 선택하는 단계 - 상기 제 2 처리 방식은 제 2 방향으로 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 데 사용되고, 상기 제 2 방향은 상기 2차원 이미지의 상기 타겟 영역에 가장 가까운 경계로부터, 상기 타겟 영역에 가장 먼 경계로의 방향임 - 를 포함하고,
상기 디폴트 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 블러링 처리를 수행하는 단계는, 상기 제 2 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하는 단계를 포함하는,
이미지 처리 방법. - 제1항에 있어서,
상기 2차원 이미지에서 상기 타겟 영역의 위치를 검출하는 단계 이전에,
상기 이미지 처리 방법은,
상기 타겟 영역의 폭과 상기 2차원 이미지의 폭의 폭 비율을 계산하는 단계;
상기 타겟 영역의 길이와 상기 2차원 이미지의 길이의 길이 비율을 계산하는 단계;
상기 폭 비율이 제 1 비율 임계치를 초과하는지 여부를 판정하고, 상기 길이 비율이 제 2 비율 임계치를 초과하는지 여부를 판정하는 단계;
상기 폭 비율이 상기 제 1 비율 임계치를 초과하고 상기 길이 비율이 상기 제 2 비율 임계치를 초과하는 경우, 디폴트 방향으로 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 단계
를 더 포함하고,
상기 디폴트 방향은 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하기 위해 사용되는 미리 설정된 방향인,
이미지 처리 방법. - 제3항에 있어서,
상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하는 단계는,
상기 배경 영역의 픽셀에 블러링 처리를 수행하기 위한 시작 경계와 종료 경계를 결정하는 단계; 및
상기 시작 경계와 상기 종료 경계 사이의 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하는 단계
를 포함하고,
시작 경계에서의 픽셀의 블러링 정도는 종료 경계에서의 픽셀의 블러링 정도 보다 적은,
이미지 처리 방법. - 제1항에 있어서,
상기 2차원 이미지에서 타겟 영역을 결정하는 단계 이후에,
상기 이미지 처리 방법은,
배경 평균 블러링 이미지를 획득하기 위해 상기 배경 영역의 픽셀에 평균 블러링 처리를 수행하는 단계 - 상기 평균 블러링 처리는, 상기 배경 평균 블러링 이미지의 모든 곳의 픽셀들이 동일한 블러링 정도를 갖게 하기 위해 사용됨 - 를 더 포함하고,
상기 디폴트 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 블러링 처리를 수행하는 단계는,
상기 배경 영역의 픽셀 및 상기 배경 평균 블러링 이미지의 픽셀을 획득하는 단계;
상기 디폴트 처리 방식을 사용하여 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위한 계산 파라미터를 결정하는 단계; 및
상기 계산 파라미터, 상기 배경 영역의 픽셀, 및 상기 배경 평균 블러링 이미지의 픽셀에 따른 상기 배경 영역의 그라디언트 블러링 처리 이 후에 획득되는 픽셀을 계산하는 단계
를 포함하는,
이미지 처리 방법. - 이미지 처리 장치로서,
2차원 이미지를 획득하도록 구성된 획득 유닛;
상기 2차원 이미지에서 타겟 영역을 결정하도록 구성된 결정 유닛 - 상기 2차원 이미지는 배경 영역과 타겟 영역을 포함하고, 상기 배경 영역은 상기 타겟 영역의 외부 영역임 - ;
상기 2차원 이미지에서 상기 타겟 영역의 위치를 검출하도록 구성된 검출 유닛;
상기 2차원 이미지에서의 상기 타겟 영역의 위치에 따라서, 상기 배경 영역의 픽셀에 블러링 처리를 수행하기 위해 사용되는 디폴트 처리 방식을 선택하도록 구성된 선택 유닛; 및
상기 디폴트 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 블러링 처리를 수행하도록 구성된 제 1 처리 유닛
을 포함하고,
상기 검출 유닛은,
상기 타겟 영역의 중심 위치와 상기 2차원 이미지의 중심 위치의 제 1 편차 인자를 계산하도록 구성된 제 1 계산 모듈 - 상기 제 1 편차 인자는 상기 타겟 영역의 중심 위치가 상기 2차원 이미지의 중심 위치로부터 벗어난 정도를 나타내기 위해 사용됨 - ;
상기 타겟 영역과 상기 2차원 이미지의 경계의 제 2 편차 인자를 계산하도록 구성된 제 2 계산 모듈 - 상기 제 2 편차 인자는 상기 타겟 영역이 상기 2차원 이미지의 경계로부터 벗어난 정도를 나타내기 위해 사용됨 - ;
상기 제 1 편차 인자가 상기 제 2 편차 인자보다 작은지 여부를 판정하도록 구성된 판정 모듈;
상기 제 1 편차 인자가 상기 제 2 편차 인자보다 작다고 판정된 경우, 상기 타겟 영역이 제 1 영역 안에 있다고 결정하도록 구성된 제 1 결정 모듈 - 상기 제 1 영역은 상기 2차원 이미지의 중심 영역에 인접하는 영역임 - ; 및
상기 제 1 편차 인자가 상기 제 2 편차 인자와 동일하거나 또는 크다고 판정된 경우, 상기 타겟 영역이 제 2 영역 안에 있다고 결정하도록 구성된 제 2 결정 모듈 - 상기 제 2 영역은 상기 2차원 이미지의 경계에 인접하는 영역임 -
을 포함하는,
이미지 처리 장치. - 삭제
- 제8항에 있어서,
상기 선택 유닛은, 상기 타겟 영역이 상기 제 1 영역 안에 있다고 결정된 후 제 1 처리 방식을 선택하도록 구성된 제 1 선택 모듈을 포함하고,
상기 제 1 처리 방식은 제 1 방향으로 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 데 사용되고, 상기 제 1 방향은 상기 타겟 영역의 경계로부터, 상기 타겟 영역의 경계에 대응하는 상기 2차원 이미지의 경계로의 방향이고,
상기 제 1 처리 유닛은, 상기 제 1 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하도록 구성된 제 1 처리 모듈을 포함하는,
이미지 처리 장치. - 제8항에 있어서,
상기 선택 유닛은, 상기 타겟 영역이 상기 제 2 영역 안에 있다고 결정된 후 제 2 처리 방식을 선택하도록 구성된 제 2 선택 모듈을 포함하고,
상기 제 2 처리 방식은 제 2 방향으로 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하는 데 사용되고, 상기 제 2 방향은 상기 2차원 이미지의 상기 타겟 영역에 가장 가까운 경계로부터, 상기 타겟 영역에 가장 먼 경계로의 방향이고,
상기 제 1 처리 유닛은, 상기 제 2 처리 방식에 따라서 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하도록 구성된 제 2 처리 모듈을 포함하는,
이미지 처리 장치. - 제8항에 있어서,
상기 이미지 처리 장치는,
상기 2차원 이미지에서 상기 타겟 영역의 위치가 검출되기 전에, 상기 타겟 영역의 폭과 상기 2차원 이미지의 폭의 폭 비율을 계산하도록 구성된 제 1 계산 유닛;
상기 타겟 영역의 길이와 상기 2차원 이미지의 길이의 길이 비율을 계산하도록 구성된 제 2 계산 유닛;
상기 폭 비율이 제 1 비율 임계치를 초과하는지 여부를 판정하고, 상기 길이 비율이 제 2 비율 임계치를 초과하는지 여부를 판정하도록 구성된 판정 유닛을 더 포함하고,
상기 제 1 처리 유닛은 또한, 상기 폭 비율이 상기 제 1 비율 임계치를 초과하고 상기 길이 비율이 상기 제 2 비율 임계치를 초과하는 경우, 디폴트 방향으로 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하도록 구성되고,
상기 디폴트 방향은 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하기 위해 사용되는 미리 설정된 방향인,
이미지 처리 장치. - 제10항에 있어서,
상기 배경 영역의 픽셀에 블러링 처리를 수행하기 위한 시작 경계와 종료 경계를 결정하도록 구성된 결정 서브모듈; 및
상기 시작 경계와 상기 종료 경계 사이의 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하도록 구성된 처리 서브모듈
이 상기 배경 영역의 픽셀에 상기 그라디언트 블러링 처리를 수행하기 위해 사용되고,
시작 경계에서의 픽셀의 블러링 정도는 종료 경계에서의 픽셀의 블러링 정도 보다 적은,
이미지 처리 장치 - 제8항에 있어서,
상기 이미지 처리 장치는,
상기 2차원 이미지에서 타겟 영역이 결정된 이후에, 배경 평균 블러링 이미지를 획득하기 위해 상기 배경 영역의 픽셀에 평균 블러링 처리를 수행하도록 구성된 제 2 처리 유닛 - 상기 평균 블러링 처리는, 상기 배경 평균 블러링 이미지의 모든 곳의 픽셀들이 동일한 블러링 정도를 갖게 하기 위해 사용됨 - 을 더 포함하고,
상기 제 1 처리 유닛은,
상기 배경 영역의 픽셀 및 상기 배경 평균 블러링 이미지의 픽셀을 획득하도록 구성된 획득 모듈;
상기 디폴트 처리 방식을 사용하여 상기 배경 영역의 픽셀에 그라디언트 블러링 처리를 수행하기 위한 계산 파라미터를 결정하기 위한 제 3 결정 모듈; 및
상기 계산 파라미터, 상기 배경 영역의 픽셀, 및 상기 배경 평균 블러링 이미지의 픽셀에 따른 상기 배경 영역의 그라디언트 블러링 처리 이 후에 획득되는 픽셀을 계산하도록 구성된 제 3 계산 모듈
을 포함하는,
이미지 처리 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410271385.5A CN105303514B (zh) | 2014-06-17 | 2014-06-17 | 图像处理方法和装置 |
| CN201410271385.5 | 2014-06-17 | ||
| PCT/CN2015/081318 WO2015192738A1 (en) | 2014-06-17 | 2015-06-12 | Image processing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170018009A KR20170018009A (ko) | 2017-02-15 |
| KR101855224B1 true KR101855224B1 (ko) | 2018-05-08 |
Family
ID=54934861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177000423A Active KR101855224B1 (ko) | 2014-06-17 | 2015-06-12 | 이미지 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9569854B2 (ko) |
| KR (1) | KR101855224B1 (ko) |
| CN (1) | CN105303514B (ko) |
| MY (1) | MY187576A (ko) |
| WO (1) | WO2015192738A1 (ko) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105979165B (zh) * | 2016-06-02 | 2019-02-05 | Oppo广东移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106060423B (zh) | 2016-06-02 | 2017-10-20 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106327448A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 一种基于深度学习的图片风格化处理方法 |
| CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
| CN107038681B (zh) * | 2017-05-31 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像虚化方法、装置、计算机可读存储介质和计算机设备 |
| CN109474780B (zh) * | 2017-09-07 | 2023-07-25 | 虹软科技股份有限公司 | 一种用于图像处理的方法和装置 |
| KR102117050B1 (ko) | 2017-09-08 | 2020-05-29 | 삼성전자주식회사 | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 |
| CN107864336B (zh) * | 2017-11-24 | 2019-07-26 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
| CN108230333B (zh) * | 2017-11-28 | 2021-01-26 | 深圳市商汤科技有限公司 | 图像处理方法、装置、计算机程序、存储介质和电子设备 |
| CN107945105B (zh) * | 2017-11-30 | 2021-05-25 | Oppo广东移动通信有限公司 | 背景虚化处理方法、装置及设备 |
| CN108234865A (zh) * | 2017-12-20 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN108764325B (zh) * | 2018-05-23 | 2022-07-08 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN108765271B (zh) * | 2018-05-30 | 2022-06-03 | 北京小米移动软件有限公司 | 图像处理方法及设备 |
| WO2020036468A1 (ko) * | 2018-08-16 | 2020-02-20 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
| KR102192899B1 (ko) * | 2018-08-16 | 2020-12-18 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
| CN111127303A (zh) * | 2018-11-01 | 2020-05-08 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及计算机可读存储介质 |
| TWI693576B (zh) * | 2019-02-26 | 2020-05-11 | 緯創資通股份有限公司 | 影像模糊處理方法與系統 |
| CN110728632B (zh) * | 2019-09-04 | 2022-07-12 | 北京奇艺世纪科技有限公司 | 图像模糊处理方法、装置、计算机设备和存储介质 |
| KR102262671B1 (ko) * | 2019-09-06 | 2021-06-09 | 주식회사 날비컴퍼니 | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 |
| CN110889352A (zh) * | 2019-11-18 | 2020-03-17 | 珠海全志科技股份有限公司 | 图像模糊化处理方法、计算机装置及计算机可读存储介质 |
| CN113034427B (zh) * | 2019-12-25 | 2024-01-23 | 合肥欣奕华智能机器股份有限公司 | 图像识别方法及图像识别装置 |
| CN111199514B (zh) * | 2019-12-31 | 2022-11-18 | 无锡宇宁智能科技有限公司 | 图像背景虚化方法、装置、设备及可读存储介质 |
| KR20220005820A (ko) * | 2020-07-07 | 2022-01-14 | 삼성전자주식회사 | 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법 |
| WO2022019710A1 (en) * | 2020-07-23 | 2022-01-27 | Samsung Electronics Co., Ltd. | Method and electronic device for determining boundary of region of interest |
| CN112541867B (zh) * | 2020-12-04 | 2024-08-09 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN119131075B (zh) * | 2024-11-18 | 2025-02-18 | 深圳市麦谷科技有限公司 | 一种红外摄像头遮挡检测方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070286520A1 (en) | 2006-06-07 | 2007-12-13 | Microsoft Corporation | Background blurring for video conferencing |
| JP2008233470A (ja) * | 2007-03-20 | 2008-10-02 | Sanyo Electric Co Ltd | 絞り制御装置及び画像処理装置 |
| US20080259154A1 (en) | 2007-04-20 | 2008-10-23 | General Instrument Corporation | Simulating Short Depth of Field to Maximize Privacy in Videotelephony |
| CN101764925A (zh) | 2008-12-25 | 2010-06-30 | 华晶科技股份有限公司 | 数字图像的浅景深模拟方法 |
| US20100266207A1 (en) | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
| JP4725105B2 (ja) | 2004-01-06 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
| CN102932541A (zh) | 2012-10-25 | 2013-02-13 | 广东欧珀移动通信有限公司 | 手机拍照方法及系统 |
| CN103152521A (zh) | 2013-01-30 | 2013-06-12 | 广东欧珀移动通信有限公司 | 一种移动终端中实现景深效果的方法及移动终端 |
| US20140355671A1 (en) | 2013-05-30 | 2014-12-04 | Ya-Ti Peng | Bit-rate control for video coding using object-of-interest data |
| US20150195491A1 (en) | 2015-03-18 | 2015-07-09 | Looksery, Inc. | Background modification in video conferencing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011254233A (ja) * | 2010-06-01 | 2011-12-15 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
| JP6218378B2 (ja) * | 2012-12-27 | 2017-10-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| CN104063858B (zh) * | 2013-03-19 | 2017-04-26 | 展讯通信（上海）有限公司 | 图像模糊处理方法及装置 |
-
2014
- 2014-06-17 CN CN201410271385.5A patent/CN105303514B/zh active Active
-
2015
- 2015-06-12 WO PCT/CN2015/081318 patent/WO2015192738A1/en active Application Filing
- 2015-06-12 US US15/109,345 patent/US9569854B2/en active Active
- 2015-06-12 KR KR1020177000423A patent/KR101855224B1/ko active Active
- 2015-06-12 MY MYPI2016702097A patent/MY187576A/en unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4725105B2 (ja) | 2004-01-06 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
| US20070286520A1 (en) | 2006-06-07 | 2007-12-13 | Microsoft Corporation | Background blurring for video conferencing |
| JP2008233470A (ja) * | 2007-03-20 | 2008-10-02 | Sanyo Electric Co Ltd | 絞り制御装置及び画像処理装置 |
| US20080259154A1 (en) | 2007-04-20 | 2008-10-23 | General Instrument Corporation | Simulating Short Depth of Field to Maximize Privacy in Videotelephony |
| CN101764925A (zh) | 2008-12-25 | 2010-06-30 | 华晶科技股份有限公司 | 数字图像的浅景深模拟方法 |
| US20100266207A1 (en) | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
| CN102932541A (zh) | 2012-10-25 | 2013-02-13 | 广东欧珀移动通信有限公司 | 手机拍照方法及系统 |
| CN103152521A (zh) | 2013-01-30 | 2013-06-12 | 广东欧珀移动通信有限公司 | 一种移动终端中实现景深效果的方法及移动终端 |
| US20140355671A1 (en) | 2013-05-30 | 2014-12-04 | Ya-Ti Peng | Bit-rate control for video coding using object-of-interest data |
| US20150195491A1 (en) | 2015-03-18 | 2015-07-09 | Looksery, Inc. | Background modification in video conferencing |
Non-Patent Citations (2)
| Title |
|---|
| "Using blur to affect perceived distance and size.", ACM transactions on graphics vol.29, no.2 (2010)* |
| Huang. et al., "Real time depth of field simulation on GPU' Application research of computers vol.25, no.10(2008) |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160328853A1 (en) | 2016-11-10 |
| KR20170018009A (ko) | 2017-02-15 |
| US9569854B2 (en) | 2017-02-14 |
| WO2015192738A1 (en) | 2015-12-23 |
| MY187576A (en) | 2021-09-30 |
| CN105303514A (zh) | 2016-02-03 |
| CN105303514B (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101855224B1 (ko) | 이미지 처리 방법 및 장치 | |
| EP3480784B1 (en) | Image processing method, and device | |
| US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
| KR102143456B1 (ko) | 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스 | |
| CN107945105B (zh) | 背景虚化处理方法、装置及设备 | |
| US10726580B2 (en) | Method and device for calibration | |
| KR102113909B1 (ko) | 3차원 모델링 방법 및 장치 | |
| WO2019105261A1 (zh) | 背景虚化处理方法、装置及设备 | |
| US20190236807A1 (en) | Method and device for determining external parameter of stereoscopic camera | |
| JP2020535758A (ja) | 画像処理方法、装置、及び、デバイス | |
| JP2020536457A (ja) | 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 | |
| WO2019221013A2 (en) | Video stabilization method and apparatus and non-transitory computer-readable medium | |
| CN108848367B (zh) | 一种图像处理的方法、装置及移动终端 | |
| US20170324950A1 (en) | Methods and apparatus for controlling light field capture | |
| KR20160048140A (ko) | 올-인-포커스 이미지를 생성하기 위한 방법 및 장치 | |
| JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
| US10212331B2 (en) | Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program | |
| US20200202495A1 (en) | Apparatus and method for dynamically adjusting depth resolution | |
| CN107077719B (zh) | 数码照片中基于深度图的透视校正 | |
| CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
| CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| CN104754316A (zh) | 一种3d成像方法、装置及成像系统 | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN115661258A (zh) | 标定方法及装置、畸变校正方法及装置、存储介质、终端 | |
| CN106131401A (zh) | 一种拍摄方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20170105 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170920 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180327 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180430 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180430 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210420 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220331 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230330 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240402 Start annual number: 7 End annual number: 7 |