KR101809384B1

KR101809384B1 - Method and Apparatus for Region-based green channel extraction using the correlation of white channel and luminance for RWB color filter array

Info

Publication number: KR101809384B1
Application number: KR1020160183690A
Authority: KR
Inventors: 송병철; 김용준
Original assignee: 인하대학교 산학협력단
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2017-12-14
Anticipated expiration: 2036-12-30

Abstract

RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치가 제시된다. 본 발명에서 제안하는 RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법은 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정하는 단계, 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정하는 단계, 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원하는 단계를 포함한다.A method and apparatus for extracting a green channel using a correlation between a white region and a brightness based on a region of interest when using an RWB color filter array is presented. In the case of using the RWB color filter array proposed in the present invention, the green channel extraction method using the correlation between the white region of interest and the brightness is performed by using the R and B values given in the white region and the region of interest for the demosaiced input image Estimating a green channel using a correlation of R, G, and B values in a white region and using a ycbcr equation, and restoring a green channel using the estimated green channel and ycbcr.

Description

FIELD OF THE INVENTION [0001] The present invention relates to a method and apparatus for extracting a green channel using a color-filter array,

본 발명은 RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for extracting a green channel using a correlation between a white region of interest and a brightness in a case of using an RWB color filter array.

최근 모바일용 카메라 센서가 고 픽셀로 개발됨에 따라 종래에 사용되던 도 1과 같이 베이어 필터(bayer filter)를 대신하여 RWB 컬러 필터 어레이(Color Filter Array; CFA)를 사용한 센서들이 만들어 지고 있다. 실제 스마트폰에 적용되고 있다. RWB CFA의 경우 종래의 사용되던 베이어 필터와는 다르게 그린(Green; G) 채널을 클리어(clear)하여 모든 컬러 대역이 통과된 화이트(White; W) 채널을 얻을 수 있다. 이로 인해 카메라 감도가 매우 향상되게 된다. 특히 저조도 환경에서 그 효과가 검증되어 RWB CFA을 이용한 카메라 센서 개발이 활발히 이루어지고 있다.In recent years, as a camera sensor for a mobile device has been developed as a high-resolution pixel, a sensor using a color filter array (CFA) instead of a bayer filter as shown in FIG. 1 has been made. It is being applied to the actual smartphone. In the case of the RWB CFA, unlike a conventional Bayer filter, a green (G) channel is cleared and a white (W) channel in which all color bands are passed can be obtained. This greatly improves camera sensitivity. Especially, in the low illumination environment, the effect is verified and camera sensor using RWB CFA is actively developed.

RWB CFA를 사용할 경우, CFA로부터 얻을 수 있는 정보가 R, W, B 정보이기 때문에 정확한 G 채널에 대한 정보가 없다는 문제점이 있다. 따라서 정확한 G 채널을 추정할 수 있는 기술이 필요하다. 정확한 G 채널 정보를 추정하지 못할 경우 컬러 왜곡과 같은 문제가 발생할 수 있기 때문이다. G 채널 정보를 얻기 위해 기본적으로 W 정보에서 R, B 정보의 차분을 통해 G 채널 정보를 추출할 수 있다. 하지만 W 채널의 경우 R, B 채널에 비해 빨리 포화되어 컬러 왜곡이 발생하기 쉬운 문제점이 있다. When RWB CFA is used, there is a problem that there is no information on the accurate G channel because the information obtained from CFA is R, W, and B information. Therefore, there is a need for a technique for accurately estimating the G channel. If accurate G channel information can not be estimated, problems such as color distortion may occur. In order to obtain the G channel information, the G channel information can be basically extracted from the W information through the difference between the R and B information. However, in the case of the W channel, color saturation occurs more quickly than R and B channels.

본 발명이 이루고자 하는 기술적 과제는 RWB CFA을 통해 얻은 각 채널의 상관관계를 이용하여 관심영역을 설정하고, 관심영역에 대한 최적의 밝기 값을 추출할 수 있는 파라미터를 통해 추정된 밝기 값과 R, B 정보를 통해 그린 채널을 추출하여 색 왜곡이 개선된 결과를 얻을 수 있는 방법 및 장치를 제공하는데 있다. According to an aspect of the present invention, there is provided a method of setting a region of interest using a correlation between channels obtained through an RWB CFA, calculating an optimal brightness value for a region of interest, B information to extract a green channel to obtain a color distortion-improved result.

일 측면에 있어서, 본 발명에서 제안하는 RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법은 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정하는 단계, 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정하는 단계, 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원하는 단계를 포함한다. In one aspect, a method of extracting a green channel using a correlation between a white channel of interest and a brightness when using the RWB color filter array proposed in the present invention is a method of extracting a demosaiced input image Estimating a green channel using a correlation of R, G, and B values in a white region and using a ycbcr formula, restoring a green channel using the estimated green channel and ycbcr equations .

상기 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정하는 단계는 에너지 함수가 최소가 되는 파라미터를 찾기 위한 화이트 영역을 설정하기 위해, 화이트 영역에서 R, G, B 값이 유사한 특징을 이용하여 R, B 값이 문턱치를 충족하는 경우 관심영역으로 지정하거나, 컬러 체커 보드 상에서 화이트 영역에 대한 범위를 관심영역으로 지정한다. Wherein the step of setting the region of interest for the demosaiced input image using the values of R and B given in the white region comprises the steps of setting a white region for finding a parameter having the minimum energy function, If the R and B values satisfy the threshold value, the region of interest is designated as the region of interest or the region of the white region on the color checker board is designated as the region of interest.

상기 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정하는 단계는 화이트 영역에서의 R, G, B 값을 이용하여 해당 영역에서의 그린 채널을 추정하고, 추정된 그린 채널과 ycbcr 식을 이용하여 복원된 그린 채널을 비교하고, 에너지 함수가 최소가 되는 파라미터를 추정한다. The step of estimating the green channel using the correlation of R, G, and B values in the white region and the ycbcr expression includes estimating a green channel in the corresponding region using R, G, and B values in the white region, Compares the restored green channel with the green channel and the ycbcr equation, and estimates the parameter with the minimum energy function.

상기 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원하는 단계는 추정된 그린 채널에 따른 에너지 함수가 최소가 되는 파라미터와 ycbcr 식을 이용하여 RWB 컬러 필터 어레이로부터 획득한 화이트 영역을 밝기 값으로 보정하고, 보정된 밝기 값을 이용하여 그린 채널을 복원하고, 추정된 그린 채널과 복원된 그린 채널 간의 오차가 최소가 되는 최종 파라미터를 계산하여 컬러 왜곡이 없는 그린 채널을 구하고, 한번 계산된 최종 파라미터는 고정 값으로 사용된다. The step of reconstructing the green channel using the estimated green channel and the ycbcr expression comprises: obtaining a white region acquired from the RWB color filter array as a brightness value by using a parameter having the minimum energy function according to the estimated green channel and a ycbcr expression A green channel is restored by using the corrected brightness value, a final parameter which minimizes an error between the estimated green channel and the restored green channel is calculated to obtain a green channel without color distortion, Is used as a fixed value.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 장치는 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정하는 관심영역 설정부, 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정하는 그린 채널 추정부, 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원하는 그린 채널 복원부를 포함한다. According to another aspect of the present invention, there is provided an apparatus for extracting a green channel using a correlation between a white channel of interest and a brightness when using the RWB color filter array proposed in the present invention, A green channel estimator for estimating a green channel using a correlation of R, G, and B values and a ycbcr equation in a white region, an estimated green channel and a ycbcr expression, And a green channel reconstructing unit for reconstructing the green channel using the reconstructed image.

상기 관심영역 설정부는 에너지 함수가 최소가 되는 파라미터를 찾기 위한 화이트 영역을 설정하기 위해, 화이트 영역에서 R, G, B 값이 유사한 특징을 이용하여 R, B 값이 문턱치를 충족하는 경우 관심영역으로 지정하거나, 컬러 체커 보드 상에서 화이트 영역에 대한 범위를 관심영역으로 지정한다. In order to set a white region for finding a parameter having the minimum energy function, the ROI setting unit uses a feature having similar R, G, and B values in a white region, Or designate a range for the white area on the color checker board as the area of interest.

상기 그린 채널 추정부는 화이트 영역에서의 R, G, B 값을 이용하여 해당 영역에서의 그린 채널을 추정하고, 추정된 그린 채널과 ycbcr 식을 이용하여 복원된 그린 채널을 비교하고, 에너지 함수가 최소가 되는 파라미터를 추정한다. The green channel estimator estimates a green channel in the corresponding region using the R, G, and B values in the white region, compares the restored green channel with the estimated green channel and the ycbcr expression, Is estimated.

상기 그린 채널 추정부는 추정된 그린 채널에 따른 에너지 함수가 최소가 되는 파라미터와 ycbcr 식을 이용하여 RWB 컬러 필터 어레이로부터 획득한 화이트 영역을 밝기 값으로 보정하고, 보정된 밝기 값을 이용하여 그린 채널을 복원하고, 추정된 그린 채널과 복원된 그린 채널 간의 오차가 최소가 되는 최종 파라미터를 계산하여 컬러 왜곡이 없는 그린 채널을 구하고, 한번 계산된 최종 파라미터는 고정 값으로 사용된다. The green channel estimator corrects the white area acquired from the RWB color filter array to the brightness value using the parameter having the minimum energy function according to the estimated green channel and the ycbcr formula, And calculates a final parameter that minimizes an error between the estimated green channel and the restored green channel to obtain a green channel free from color distortion, and the final parameter calculated once is used as a fixed value.

본 발명의 실시예들에 따르면 RWB CFA를 통해 얻은 W 채널 정보가 밝기와 상관관계가 크다고 가정하고 밝기는 화이트(그레이(gray)) 영역에 민감하다는 점을 고려하여 화이트 영역을 관심영역으로 설정함으로써, 불필요한 연산을 생략하여 수행시간을 절약할 수 있다. 또한, 추정된 G 채널과 복원된 G 채널 간의 오차가 최소가 되는 스케일 값, 오프셋 값을 구하여 최종적으로 색 왜곡이 없는 G 채널을 구할 수 있다. 이러한 방식으로 스케일 값, 오프셋 값이 한번 정해지면 고정 값으로 사용할 수 있다. 또한, RWB CFA를 이용한 카메라 센서 개발에 있어 센서 특성에 따라 한번 스케일 값, 오프셋 값이 정해지면 고정된 값으로 설정하여 다시 계산하지 않아도 된다. 따라서 실제 카메라 시스템에서 효과적이다.According to embodiments of the present invention, it is assumed that the W channel information obtained through the RWB CFA is highly correlated with the brightness, and that the white region is sensitive to white (gray) region, , The execution time can be saved by omitting unnecessary operations. In addition, a scale value and an offset value that minimize the error between the estimated G channel and the reconstructed G channel are calculated, and a G channel without color distortion is finally obtained. In this way, once the scale value and the offset value are determined, they can be used as a fixed value. In developing a camera sensor using RWB CFA, once the scale value and the offset value are determined according to the characteristics of the sensor, it is not necessary to set the fixed value and recalculate it. Therefore, it is effective in real camera system.

도 1은 종래기술에 따른 RGB CFA와 본 발명의 일 실시예에 따른 RWB CFA의 구조를 비교하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 RWB CFA와 또 다른 실시예의 CFA를 비교하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 저조도 환경에서 베이어 CFA와 RWB CFA의 성능을 비교하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 RWB 로부터 RGB를 추출하는 과정을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 그린 채널 추출 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 그린 채널 추출 장치의 구성을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 선택된 관심영역을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 복원된 RGB 결과를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 그린 채널 추출 방법에 대한 전체 알고리즘을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 목표 RGB를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 로 데이터를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 복원된 RGB 데이터를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 수정된 RGB 데이터를 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 단말을 통해 촬영된 결과를 나타내는 도면이다. 1 is a diagram for comparing the structure of RGB CFA according to the prior art and the structure of RWB CFA according to an embodiment of the present invention.
2 is a diagram comparing a RWB CFA according to an embodiment of the present invention with a CFA of another embodiment.
FIG. 3 is a graph comparing performance of Bayer CFA and RWB CFA in a low-illuminance environment according to an embodiment of the present invention.
4 is a diagram illustrating a process of extracting RGB from an RWB according to an embodiment of the present invention.
5 is a flowchart illustrating a green channel extraction method according to an embodiment of the present invention.
6 is a diagram illustrating a configuration of a green channel extracting apparatus according to an embodiment of the present invention.
7 is a diagram illustrating selected regions of interest in accordance with one embodiment of the present invention.
8 is a diagram illustrating a restored RGB result according to an embodiment of the present invention.
9 is a diagram illustrating an overall algorithm for a green channel extraction method according to an embodiment of the present invention.
10 is a diagram illustrating target RGB according to an embodiment of the present invention.
11 is a view showing RO data according to an embodiment of the present invention.
12 is a diagram illustrating restored RGB data according to an embodiment of the present invention.
13 is a diagram illustrating modified RGB data according to an embodiment of the present invention.
FIG. 14 is a diagram illustrating a result of photographing through a terminal according to an embodiment of the present invention.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 종래기술에 따른 RGB CFA와 본 발명의 일 실시예에 따른 RWB CFA의 구조를 비교하는 도면이다.1 is a diagram for comparing the structure of RGB CFA according to the prior art and the structure of RWB CFA according to an embodiment of the present invention.

RWB CFA의 경우 종래의 사용되던 베이어 필터(bayer filter)와는 다르게 G 채널을 제거하여 모든 컬러 대역이 통과된 W 채널을 얻을 수 있다. 이로 인해 카메라 감도가 매우 향상되게 된다. 특히 저조도 환경에서 그 효과가 검증되어 RWB CFA을 이용한 카메라 센서 개발이 활발히 이루어지고 있다.In the RWB CFA, unlike the conventional bayer filter, the G channel is removed and a W channel in which all the color bands are passed can be obtained. This greatly improves camera sensitivity. Especially, in the low illumination environment, the effect is verified and camera sensor using RWB CFA is actively developed.

RWB CFA 을 사용할 경우, G 채널 정보를 얻기 위해 기본적으로 W 정보에서 R, B 정보의 차분을 통해 G 정보를 추출할 수 있다. 하지만 W 채널의 경우 R, B 채널에 비해 빨리 포화되어 이 경우 색 왜곡이 발생되기 쉽다. 이를 보완하기 위해 본 발명에서는 관심영역을 설정하고 W, R, G, B 의 상관관계를 이용하여 더 정확한 G 채널을 추정한다.When RWB CFA is used, G information can be extracted through difference of R and B information in W information basically to obtain G channel information. However, the W channel is saturated faster than the R and B channels, and color distortion is likely to occur in this case. In order to compensate for this, the present invention sets a region of interest and estimates a more accurate G channel using the correlation of W, R, G, and B.

본 발명의 실시 예에 따르면, 먼저 RWB CFA을 통해 얻은 W 채널 정보가 밝기(luminance) 값과 상관관계가 있다고 가정한다. 또한, 각 채널의 상관관계를 이용하여 관심영역을 설정하고 관심영역에 대해서 최적의 밝기 추출할 수 있는 파라미터를 구한다. 추정된 밝기와 R, B 정보를 통해 G 채널을 추출하여 색 왜곡이 개선된 결과를 얻을 수 있다.According to the embodiment of the present invention, it is assumed that the W channel information obtained through the RWB CFA has a correlation with a luminance value. In addition, we set the region of interest using the correlation of each channel and obtain the parameters that can extract the optimal brightness for the region of interest. By extracting the G channel through the estimated brightness, R and B information, it is possible to obtain the improved color distortion.

또한, RWB CFA을 사용 시 G 채널을 추정하는 과정에서 발생되는 색 왜곡을 개선할 수 있다. 최종적으로 RWB CFA을 사용하여 얻을 수 있는 이점들을 충분히 활용할 수 있는 카메라 센서 개발이 활발해질 것으로 전망된다. In addition, when the RWB CFA is used, the color distortion caused in the process of estimating the G channel can be improved. Finally, it is expected that the development of a camera sensor capable of fully exploiting the advantages obtained by using the RWB CFA is expected to become active.

제안하는 방법은 RWB CFA를 사용한 카메라로부터 획득한 로 데이터(raw data)(다시 말해, R(red), W(white), B(blue))를 이용하여 선형 보간 기법으로 보간한 후, R, W, B 채널로부터 G(green) 채널을 생성한다. 이러한 과정에서 W 채널을 밝기(luminance)라고 가정하고 ycbcr 식을 통해 G 채널을 추정하여 색 왜곡이 없는 G 채널을 추출하고자 한다. 크게 관심영역 설정 과정과 G 채널 추정 및 복원 과정으로 나눌 수 있다. The proposed method is interpolated by linear interpolation using raw data (ie, R (red), W (white), B (blue)) obtained from a camera using RWB CFA, W, and B channels. In this process, the W channel is assumed to be luminance, and the G channel is estimated through the expression ycbcr to extract the G channel having no color distortion. And the G channel estimation and restoration process.

관심영역 설정 과정에서는 W 채널 정보가 밝기와 상관관계가 크다고 가정하고 화이트 영역을 R, B을 가지고 영역을 설정하거나 사용자가 직접 컬러 체커보드(color checkerboard)에서 영역을 지정한다.In the process of setting the region of interest, it is assumed that the W channel information has a large correlation with the brightness, and the region is set with R and B as the white region, or the region is designated by the user directly on the color checkerboard.

G 채널 추정 및 복원 과정은 앞서 RWB CFA을 통해 얻은 W 채널 정보가 밝기 값과 상관관계가 있다고 가정한 것을 바탕으로 W 채널로부터 최적의 밝기 값을 추출할 수 있는 파라미터를 구하여 추정된 밝기를 통해 G 채널을 추출하여 색 왜곡이 발생하지 않는 결과를 얻는다.Based on the assumption that the W channel information obtained through the RWB CFA is correlated with the brightness value, the G channel estimation and restoration process obtains a parameter capable of extracting the optimal brightness value from the W channel, The channel is extracted to obtain a result that color distortion does not occur.

G 채널 추정 및 복원하기 위해 W 채널 정보가 밝기 값과 상관관계가 있다고 가정한다. 또한 각 채널의 상관관계를 이용하여 관심영역을 설정하고 관심영역에 대해서 최적의 밝기 추출할 수 있는 파라미터를 추정한다. 이를 통해 최종적으로 추정된 밝기와 R, B 정보를 통해 G 채널을 추출하여 색 왜곡이 발생되지 않는 결과를 얻을 수 있다.
It is assumed that the W channel information correlates with the brightness value in order to estimate and restore the G channel. In addition, we set the region of interest using the correlation of each channel and estimate the parameters that can extract optimal brightness for the region of interest. In this way, the G channel is extracted through the finally estimated brightness, R and B information, and color distortion is not generated.

도 2는 본 발명의 일 실시예에 따른 RWB CFA와 또 다른 실시예의 CFA를 비교하는 도면이다. 2 is a diagram comparing a RWB CFA according to an embodiment of the present invention with a CFA of another embodiment.

최근 RWB CFA를 이용한 모바일용 CMOS 센서에서, RWB CFA를 사용할 경우 기존 RGB CFA나 RGBW CFA를 사용할 때보다 다음과 같은 특징을 가진다. 도 2와 같이, 다른 CFA에 비해 고감도(high sensitivity) 및 고해상도(high resolution)을 얻을 수 있다. 또한 아티펙트에 강인하며 색과 잡음 측면에서 다른 CFA 필터에 비해 우수하다.
Recently, when RWB CFA is used in mobile CMOS sensor using RWB CFA, it has the following characteristics as compared with conventional RGB CFA or RGBW CFA. As shown in FIG. 2, a high sensitivity and a high resolution can be obtained as compared with other CFAs. It is also robust to artifacts and superior to other CFA filters in terms of color and noise.

도 3은 본 발명의 일 실시예에 따른 저조도 환경에서 베이어 CFA와 RWB CFA의 성능을 비교하는 도면이다. FIG. 3 is a graph comparing performance of Bayer CFA and RWB CFA in a low-illuminance environment according to an embodiment of the present invention.

도 3에서 보이는 것과 같이, RWB CFA를 사용할 경우 기존 RGB CFA나 RGBW CFA를 사용할 때보다 저조도 환경에서 감도가 매우 우수하다는 것을 알 수 있다. 하지만 RWB CFA을 사용할 경우 종래기술에서 사용되는 베이어 RGB CFA와는 다르게 G 채널 정보가 존재하지 않는다.
As shown in FIG. 3, when the RWB CFA is used, it can be seen that the sensitivity is excellent in a low-light environment compared to the conventional RGB CFA or RGBW CFA. However, when RWB CFA is used, G channel information does not exist unlike Bayer RGB CFA used in the prior art.

도 4는 본 발명의 일 실시예에 따른 RWB 로부터 RGB를 추출하는 과정을 나타내는 도면이다. 4 is a diagram illustrating a process of extracting RGB from an RWB according to an embodiment of the present invention.

RWB CFA을 사용할 경우 종래기술에서 사용되는 베이어 RGB CFA와는 다르게 G 채널 정보가 존재하지 않기 때문에 도 4에서 나타낸 것과 같이, G 채널을 추출하기 위한 방법을 필요로 한다. G 채널을 정확히 추정하지 못할 경우 색 왜곡이 발생하기 때문에 정확한 G 채널을 추정할 필요가 있다.When RWB CFA is used, since there is no G channel information unlike the Bayer RGB CFA used in the prior art, a method for extracting a G channel is required as shown in FIG. If the G channel can not be precisely estimated, color distortion occurs, so it is necessary to estimate an accurate G channel.

종래기술에 따르면, RWB에서 RGB을 추출하는 과정은 단순히 W 채널에서 R, B 채널의 차분을 통해 구할 수 있다. 예를 들어, CCM(Color Correction Matrix)를 이용하여 최종적으로 RGB 값을 구할 수 있다. 하지만 종래기술과는 다르게, 본 발명에서는 R, G, B, W의 칼라 간 상관관계를 이용하여 좀 더 정확한 G 채널 추정을 통해 모바일용 센서에서 감시 카메라용 센서로 적용하기 위한 개선된 RWB CFA를 대해 제안하고자 한다.
According to the related art, the process of extracting RGB from the RWB can be obtained simply by the difference between the R and B channels in the W channel. For example, RGB values can be finally obtained using CCM (Color Correction Matrix). However, unlike the prior art, in the present invention, an improved RWB CFA is applied to a sensor for a surveillance camera using a more accurate G channel estimation using the correlation between colors of R, G, B, .

도 5는 본 발명의 일 실시예에 따른 그린 채널 추출 방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a green channel extraction method according to an embodiment of the present invention.

그린 채널 추출 방법은 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정하는 단계(510), 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정하는 단계(520), 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원하는 단계(530)를 포함할 수 있다. A green channel extraction method includes a step 510 of setting a region of interest for a demosaiced input image using R and B values in a white region, a correlation of R, G, and B values in a white region, and a ycbcr expression Estimating a green channel using the estimated green channel, and restoring the green channel using the estimated green channel and the ycbcr equation.

단계(510)에서, 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정한다. 관심영역 설정 과정에서, 밝기가 화이트(white) 영역에 민감하기 때문에 주어진 R, B 값을 이용하여 관심영역을 지정하거나, 또는 사용자가 직접 컬러 체커보드 상에서 범위를 지정하여 불필요한 연산을 줄여 효율성을 높인다. 다시 말해, 에너지 함수가 최소가 되는 파라미터를 찾기 위한 화이트 영역을 설정하기 위해, 화이트 영역에서 R, G, B 값이 유사한 특징을 이용하여 R, B 값이 문턱치를 충족하는 경우 관심영역으로 지정하거나, 컬러 체커 보드 상에서 화이트 영역에 대한 범위를 관심영역으로 지정한다. In step 510, the region of interest for the demosaiced input image is set using the R and B values given in the white region. In the process of setting the area of interest, since the brightness is sensitive to the white area, it is possible to designate the area of interest by using the given values of R and B, or to designate a range on the color checker board by the user to increase efficiency by reducing unnecessary operations . In other words, in order to set the white region for finding the parameter with the minimum energy function, if the R, B value satisfies the threshold by using the characteristic similar to R, G, B in the white region, , The range for the white area on the color checker board is designated as the area of interest.

단계(520)에서, 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정한다. 그린 채널을 추정 과정에서, 화이트 영역에서의 R, G, B 값을 이용하여 해당 영역에서의 그린 채널을 추정하고, 추정된 그린 채널과 ycbcr 식을 이용하여 복원된 그린 채널을 비교하고, 에너지 함수가 최소가 되는 파라미터를 추정한다. In step 520, the green channel is estimated using the correlation of the R, G, and B values in the white region and the ycbcr equation. In the estimation process of the green channel, the green channel is estimated in the corresponding region using the R, G, and B values in the white region, the recovered green channel is compared using the estimated green channel and the ycbcr expression, Is minimized.

단계(530)에서, 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원한다. 단계(520)에서, 추정된 그린 채널에 따른 에너지 함수가 최소가 되는 파라미터와 ycbcr 식을 이용하여 RWB 컬러 필터 어레이로부터 획득한 화이트 영역을 밝기 값으로 보정하고, 보정된 밝기 값을 이용하여 그린 채널을 복원한다. 이후, 추정된 그린 채널과 복원된 그린 채널 간의 오차가 최소가 되는 최종 파라미터를 계산하여 컬러 왜곡이 없는 그린 채널을 구한다. 이때, 한번 계산된 최종 파라미터는 고정 값으로 사용된다. 도 7 및 도 8을 참조하여 그린 채널 추출 방법에 대해 더욱 상세히 설명한다.
In step 530, the green channel is restored using the estimated green channel and the ycbcr equation. In step 520, the white area acquired from the RWB color filter array is corrected to a brightness value using a parameter having the minimum energy function according to the estimated green channel and a ycbcr formula, . Thereafter, a final parameter that minimizes an error between the estimated green channel and the restored green channel is calculated to obtain a green channel without color distortion. At this time, the final parameter calculated once is used as a fixed value. The method of extracting a channel will be described in more detail with reference to FIGS. 7 and 8. FIG.

도 6은 본 발명의 일 실시예에 따른 그린 채널 추출 장치의 구성을 나타내는 도면이다. 6 is a diagram illustrating a configuration of a green channel extracting apparatus according to an embodiment of the present invention.

그린 채널 추출 장치(600)는 관심영역 설정부(610), 그린 채널 추정부(620), 그린 채널 복원부(630)를 포함한다. The green channel extracting apparatus 600 includes a region of interest setting unit 610, a green channel estimating unit 620, and a green channel restoring unit 630.

관심영역 설정부(610)는 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정한다. 관심영역 설정부(610)는 밝기가 화이트(white) 영역에 민감하기 때문에 주어진 R, B 값을 이용하여 관심영역을 지정하거나, 또는 사용자가 직접 컬러 체커보드 상에서 범위를 지정하여 불필요한 연산을 줄여 효율성을 높인다. 다시 말해, 에너지 함수가 최소가 되는 파라미터를 찾기 위한 화이트 영역을 설정하기 위해, 화이트 영역에서 R, G, B 값이 유사한 특징을 이용하여 R, B 값이 문턱치를 충족하는 경우 관심영역으로 지정하거나, 컬러 체커 보드 상에서 화이트 영역에 대한 범위를 관심영역으로 지정한다. The region of interest setting unit 610 sets a region of interest for the demosaiced input image using the values of R and B given in the white region. Since the brightness region is sensitive to the white region, the region-of-interest setting unit 610 may designate a region of interest using a given R and B values, or may designate a range on the color checker board by a user, . In other words, in order to set the white region for finding the parameter with the minimum energy function, if the R, B value satisfies the threshold by using the characteristic similar to R, G, B in the white region, , The range for the white area on the color checker board is designated as the area of interest.

그린 채널 추정부(620)는 화이트 영역에서 R, G, B 값의 상관관계 및 ycbcr 식을 이용하여 그린 채널을 추정한다. 그린 채널 추정부(620)는 화이트 영역에서의 R, G, B 값을 이용하여 해당 영역에서의 그린 채널을 추정하고, 추정된 그린 채널과 ycbcr 식을 이용하여 복원된 그린 채널을 비교하고, 에너지 함수가 최소가 되는 파라미터를 추정한다. The green channel estimation unit 620 estimates a green channel using a correlation of R, G, and B values in the white region and a ycbcr equation. The green channel estimation unit 620 estimates a green channel in the corresponding region using the R, G, and B values in the white region, compares the restored green channel with the estimated green channel and the ycbcr formula, Estimate the parameter that minimizes the function.

그린 채널 복원부(630)는 추정된 그린 채널과 ycbcr 식을 이용하여 그린 채널을 복원한다. 그린 채널 복원부(630)는 그린 채널 추정부(620)에서 추정된 그린 채널에 따른 에너지 함수가 최소가 되는 파라미터와 ycbcr 식을 이용하여 RWB 컬러 필터 어레이로부터 획득한 화이트 영역을 밝기 값으로 보정하고, 보정된 밝기 값을 이용하여 그린 채널을 복원한다. 이후, 추정된 그린 채널과 복원된 그린 채널 간의 오차가 최소가 되는 최종 파라미터를 계산하여 컬러 왜곡이 없는 그린 채널을 구한다. 이때, 한번 계산된 최종 파라미터는 고정 값으로 사용된다.
The green channel restoration unit 630 restores the green channel using the estimated green channel and the ycbcr equation. The green channel restoring unit 630 corrects the white area acquired from the RWB color filter array to a brightness value by using the parameter that minimizes the energy function according to the green channel estimated by the green channel estimating unit 620 and the expression ycbcr , And restores the green channel using the corrected brightness value. Thereafter, a final parameter that minimizes an error between the estimated green channel and the restored green channel is calculated to obtain a green channel without color distortion. At this time, the final parameter calculated once is used as a fixed value.

도 7은 본 발명의 일 실시예에 따른 선택된 관심영역을 나타내는 도면이다. 7 is a diagram illustrating selected regions of interest in accordance with one embodiment of the present invention.

관심영역 설정 과정에서, 화이트 영역에서 주어진 R, B 값을 이용하여 디모자이킹된 입력 영상에 대한 관심영역을 설정한다. 밝기가 화이트(white) 영역에 민감하기 때문에 주어진 R, B 값을 이용하여 관심영역을 지정하거나, 또는 사용자가 직접 컬러 체커보드 상에서 범위를 지정하여 불필요한 연산을 줄여 효율성을 높인다. 다시 말해, 에너지 함수가 최소가 되는 파라미터를 찾기 위한 화이트 영역을 설정하기 위해, 화이트 영역에서 R, G, B 값이 유사한 특징을 이용하여 R, B 값이 문턱치를 충족하는 경우 관심영역으로 지정하거나, 컬러 체커 보드 상에서 화이트 영역에 대한 범위를 관심영역으로 지정한다.In the process of setting the region of interest, the region of interest for the demosaiced input image is set using the R and B values given in the white region. Since the brightness is sensitive to the white area, the user can specify the area of interest by using the given values of R and B, or the range is specified by the user directly on the color checker board to increase the efficiency by reducing unnecessary operations. In other words, in order to set the white region for finding the parameter with the minimum energy function, if the R, B value satisfies the threshold by using the characteristic similar to R, G, B in the white region, , The range for the white area on the color checker board is designated as the area of interest.

RWB CFA를 통해 얻은 W 채널 정보가 밝기와 상관관계가 크다고 가정하고 식(1)과 같이 가정한다. Assuming that the W channel information obtained through the RWB CFA is highly correlated with the brightness, it is assumed that Equation (1) is satisfied.

(1)

(One)

(2)

식(1)에서 a는 스케일(scale), b는 오프셋(offset) 값을 의미한다. 최적의 a, b 값을 찾기 위해 우선 밝기는 화이트(그레이(gray)) 영역에 민감하다는 점을 이용하여 화이트 영역을 설정한다. 화이트 영역에서는 식(2)와 같이 RGB 정보가 유사하다는 특성을 이용한다. 이러한 특성을 이용하여 R, B 값이 문턱치(threshold)를 충족하는 경우 관심영역으로 지정하거나 사용자가 직접 컬러 체커보드 상에서 화이트 영역에 대한 범위를 지정하여 불필요한 연산을 생략하여 수행시간을 절약할 수 있다. 도 7은 실제 데이터에서 관심영역으로 선택된 영역을 나타낸다.In Equation (1), a denotes a scale and b denotes an offset value. In order to find the optimal values of a and b, first, the brightness is set to white by using the fact that it is sensitive to white (gray) area. In the white area, we use the property that RGB information is similar as shown in equation (2). By using these characteristics, if the R and B values meet the threshold, the user can designate the region of interest, or the user can specify the range for the white region directly on the color checker board, thereby omitting unnecessary operations and saving the execution time . FIG. 7 shows an area selected as a region of interest in the actual data.

다음으로 G 채널 추정 과정에서는 화이트 영역에서 RGB 값이 식(2)와 같다는 점을 이용하여 식(3)와 같이 해당 영역에 서의 G값을 추정할 수 있다. In the G channel estimation process, G value in the corresponding region can be estimated as Equation (3) by using the fact that the RGB value in the white region is equal to Equation (2).

(3)

이와 같이 추정된 G 값과 ycbcr 표준 식(예를 들어, BT. 601)을 적용한 식(4)를 이용하여 복원된 G값을 비교할 수 있다. The reconstructed G value can be compared using the estimated G value and the equation (4) using the ycbcr standard equation (for example, BT. 601).

(4)

복원된 G값을 비교하여 에너지 함수 식(5)가 최소가 되는 방향으로 a, b 값을 추정한다.The values of a and b are estimated in the direction that minimizes the energy function equation (5) by comparing the restored G values.

(5)

G 채널을 복원하는 과정에서는, G 채널 추정 과정에서 에너지 함수가 최소가 되는 파라미터 값을 a', b' 라고 할 때 식(6)과 같이 ycbcr 수식을 통해 RWB CFA 로부터 얻은 화이트 영역의 값을 밝기 값으로 보정할 수 있다. In the process of restoring the G channel, if the parameter value that minimizes the energy function in the G channel estimation process is a ', b', the value of the white area obtained from the RWB CFA through the ycbcr equation is expressed by equation Value.

(6)

보정된 밝기 값을 이용하여 식(7)을 통해 G 채널을 복원하여 최종적으로 색 왜곡이 없는 G 채널을 구한다.Using the corrected brightness value, the G channel is restored through equation (7), and a G channel without color distortion is finally obtained.

(7)

도 8은 본 발명의 일 실시예에 따른 복원된 RGB 결과를 나타내는 도면이다. 8 is a diagram illustrating a restored RGB result according to an embodiment of the present invention.

추정된 G 값과 복원된 G 값 간의 오차가 최소가 되는 a, b 값을 구하여 최종적으로 색 왜곡이 없는 G 채널을 구할 수 있다. 이러한 방식으로 a, b이 한번 정해지게 되면 고정 값으로 사용할 수 있다. 다시 말해, RWB CFA를 이용한 카메라 센서 개발에 있어 센서 특성에 따라 한번 a, b 값이 정해지게 되면 고정된 값으로 설정하여 다시 계산하지 않아도 된다. 따라서 실제 카메라 시스템에서 효과적이라고 할 수 있다.
The a and b values at which the error between the estimated G value and the reconstructed G value become minimum can be obtained, and finally, the G channel without color distortion can be obtained. Once a and b are determined in this way, they can be used as fixed values. In other words, in the development of camera sensor using RWB CFA, once a and b values are determined according to the characteristics of the sensor, it is not necessary to set it to a fixed value and recalculate it. Therefore, it can be said that it is effective in a real camera system.

도 9는 본 발명의 일 실시예에 따른 그린 채널 추출 방법에 대한 전체 알고리즘을 나타내는 도면이다. 9 is a diagram illustrating an overall algorithm for a green channel extraction method according to an embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 목표 RGB를 나타내는 도면이다.10 is a diagram illustrating target RGB according to an embodiment of the present invention.

실험에서 스틸(still) 촬영한 RWB 로 데이터를 이용하였고, 영상 사이즈는 3264x2448을 이용하였다. 전체적인 실험은 도 9와 같이 먼저 입력 영상으로 로 데이터가 입력되면 CFA에 따라 RWB 채널로 디모자이킹 시킨다. 다음으로, 디노이즈 알고리즘 BM3D로 노이즈를 제거한 후, 제안하는 방법으로 파라미터 값을 이용하여 G 채널을 복원시킨다. 또한 변환된 RGB정보가 정확한지 알아보기 위해 CCM(color correction matrix)을 계산하여 결과를 본다. 본 실험에서 적용한 디모자이킹 기법은 바이-큐빅(bi-cubic) 선형 보간 기법으로 보간하였다. 또한, 디노이즈 알고리즘으로는 BM3D 기법으로 노이즈를 제거하였다. 마지막으로 CCM은 식(8) 이용하여 도 10에 나타난 RGB 값을 목표(target) 값으로 하여 계산하고 적용시켰다. In the experiment, the data was used as still images of RWB and the image size was 3264x2448. As shown in FIG. 9, when the data is input to the input image, the entire experiment is demosaiced to the RWB channel according to the CFA. Next, after the noise is removed by the denoise algorithm BM3D, the G channel is restored by using the parameter value in the proposed method. We also calculate the color correction matrix (CCM) to see if the converted RGB information is correct. The demosaicing technique applied in this experiment is interpolated by bi-cubic linear interpolation. In addition, noise is removed by the BM3D method in the denoise algorithm. Finally, the CCM is calculated and applied using the RGB value shown in FIG. 10 as a target value using Equation (8).

(8)

여기서 R _t , G _t , B _t 는 타켓 RGB 값을 의미하고 R _s , G _s , B _s 는 입력 RGB 값을 의미한다. 또한 a₁₁, a₁₂, ..., a₃₃ 는 CCM을 의미하며, ε₁, ε₂, ε₃은 미소 값을 의미한다.
Where R _t , G _t , and B _t refer to the target RGB values, and R _s , G _s , and B _s refer to input RGB values. Also, a ₁₁ , a ₁₂ , ..., a ₃₃ mean CCM, and ε ₁ , ε ₂ , and ε ₃ mean a small value.

도 11은 본 발명의 일 실시예에 따른 로 데이터를 나타내는 도면이다. 11 is a view showing RO data according to an embodiment of the present invention.

도 12는 본 발명의 일 실시예에 따른 복원된 RGB 데이터를 나타내는 도면이다. 12 is a diagram illustrating restored RGB data according to an embodiment of the present invention.

도 13은 본 발명의 일 실시예에 따른 수정된 RGB 데이터를 나타내는 도면이다. 13 is a diagram illustrating modified RGB data according to an embodiment of the present invention.

도 14는 본 발명의 일 실시예에 따른 단말을 통해 촬영된 결과를 나타내는 도면이다.FIG. 14 is a diagram illustrating a result of photographing through a terminal according to an embodiment of the present invention.

더욱 상세하게는, 도 11은 초기 입력된 로 데이터 값을 나타내고, 도 12는 제안 기법으로 추정된 G 값을 이용하여 복원한 RGB 데이터를 나타낸다. 도 13은 목표 RGB로부터 추출한 CCM 값을 가지고 수정된 RGB 데이터를 나타내며, 마지막으로 도 14는 실제 컬러 체커 보드를 촬영하여 얻은 결과이다. More specifically, FIG. 11 shows the initial input data value, and FIG. 12 shows the RGB data restored using the G value estimated by the proposed technique. FIG. 13 shows modified RGB data with CCM values extracted from the target RGB, and finally FIG. 14 shows the result obtained by photographing the actual color checker board.

실험 결과를 비교하면, 도 9와 같은 과정을 거쳐 로 데이터로부터 적절한 G 값을 추출하도록 해주는 a, b 값이 각각 0.46, 26으로 측정되었다. 또한, 이러한 값을 이용하여 Y 값을 추정하고, 추정된 값으로부터 식(6)과 식(7)을 통해 각 픽셀별로 G 값을 추출하여 도 12와 같은 복원된 RGB 값을 생성하였다. 이에 따른 결과에 CCM을 적용시켜 칼라를 더 풍부하게 만들어 지도록 하였다. CCM 추출과정은 Joo 방법을 참고하여 추출하였다. 최종적으로 CCM까지 적용시킨 결과가 도 13이며 도 14와 비교하였을 때 약간의 컬러 차이는 보이지만, 목표 RGB 값과 비교하였을 때 더욱 개선된 컬러가 추출된 것을 확인할 수 있다. 여기에서 컬러 차이가 보이는 원인으로는, 우선 촬영된 영상의 경우 별도의 영상처리 필터처리가 적용된 결과이기 때문이며, 또한 실험 데이터와 실제 촬영 데이터의 실험 환경이 동일하지 않아 조도 차이가 나기 때문에 컬러 차이가 나타나는 것으로 판단된다.As a result of comparing the experimental results, the values of a and b for extracting the appropriate G value from the data through the process as shown in FIG. 9 were measured to be 0.46 and 26, respectively. In addition, the Y value is estimated using these values, and the G value is extracted for each pixel from the estimated value by using equations (6) and (7) to generate the reconstructed RGB value as shown in FIG. CCM was applied to the result to make the color more abundant. CCM extraction procedure was extracted with reference to Joo method. 13 and FIG. 14, but it can be seen that the improved color is extracted when compared with the target RGB value. Here, the reason for the color difference is that, first, a separate image processing filter process is applied to the photographed image. Also, since the experiment environment of the experimental data and the actual photographed data are not the same, .

앞서 설명된 바와 같이, 본 발명에서는 RWB 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치에 대해 제안한다. 여기서 R, G, B, W 의 상관관계와 밝기 값과 W값의 상관성에 주목하여 수식화 하였으며, 이를 통해 추정된 Y 값을 가지고 표준으로 정의되어 있는 ycbcr 식을 이용하여 G 값을 추출한다. 또한 추정된 G 값의 정확성을 보기 위해 목표 RGB 값을 정의하고, CCM을 추출하여 적용시킴으로써 더욱 확대된 RGB 값을 얻을 수 있었다. As described above, the present invention proposes a method and apparatus for extracting a green channel using a correlation between a white region and a brightness of a region of interest when using the RWB color filter array. Here, the correlation between R, G, B, and W, and the correlation between the brightness value and the W value are expressed, and the G value is extracted using the ycbcr formula defined as the standard with the estimated Y value. In addition, the target RGB value was defined to obtain the accuracy of the estimated G value, and CCM was extracted and applied to obtain a further enlarged RGB value.

본 발명의 실시예에 따르면, RWB CFA를 통해 얻은 W 채널 정보가 밝기와 상관관계가 크다고 가정하고 밝기는 화이트(그레이(gray)) 영역에 민감하다는 점을 고려하여 화이트 영역을 관심영역으로 설정함으로써, 불필요한 연산을 생략하여 수행시간을 절약할 수 있다. 또한, 추정된 G 채널과 복원된 G 채널 간의 오차가 최소가 되는 스케일 값, 오프셋 값을 구하여 최종적으로 색 왜곡이 없는 G 채널을 구할 수 있다. 이러한 방식으로 스케일 값, 오프셋 값이 한번 정해지면 고정 값으로 사용할 수 있다. 또한, RWB CFA를 이용한 카메라 센서 개발에 있어 센서 특성에 따라 한번 스케일 값, 오프셋 값이 정해지면 고정된 값으로 설정하여 다시 계산하지 않아도 된다. 따라서 실제 카메라 시스템에서 효과적이다.
According to the embodiment of the present invention, it is assumed that the W channel information obtained through the RWB CFA is highly correlated with the brightness, and that the brightness is sensitive to white (gray) region, , The execution time can be saved by omitting unnecessary operations. In addition, a scale value and an offset value that minimize the error between the estimated G channel and the reconstructed G channel can be obtained, and finally, a G channel without color distortion can be obtained. In this way, once the scale value and the offset value are determined, they can be used as a fixed value. In developing a camera sensor using RWB CFA, once the scale value and the offset value are determined according to the characteristics of the sensor, it is not necessary to set the fixed value and recalculate it. Therefore, it is effective in real camera system.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

Setting a region of interest for a demosaiced input image using R and B values given in a white region;
Estimating a green channel using a correlation of R, G, and B values and a ycbcr equation in a white region; And
Restoring the green channel using the estimated green channel and the ycbcr equation
/ RTI >

The method according to claim 1,
The step of setting the region of interest for the demosaiced input image using the values of R and B given in the white region may include:
In order to set the white region for finding the parameter with the minimum energy function, if the R, B values satisfy the threshold value by using the characteristic similar to the R, G, B values in the white region, To specify a range of white areas on the board as areas of interest
Channel extraction method.

The method according to claim 1,
The step of estimating the green channel using the correlation of the R, G, and B values and the ycbcr equation in the white region may include:
Estimates the green channel in the corresponding region using the R, G, and B values in the white region, compares the restored green channel using the estimated green channel with the ycbcr formula, and estimates the parameter with the minimum energy function doing
Channel extraction method.

The method according to claim 1,
And restoring the green channel using the estimated green channel and the ycbcr equation,
The white region obtained from the RWB color filter array is corrected to the brightness value using the parameter having the minimum energy function according to the estimated green channel and the ycbcr expression, the green channel is restored using the corrected brightness value,
The final parameter, which minimizes the error between the estimated green channel and the recovered green channel, is calculated to obtain a green channel free from color distortion, and the final parameter calculated once is used as a fixed value
Channel extraction method.

An interest region setting unit for setting a region of interest for a demosaiced input image using R and B values given in a white region;
A green channel estimator for estimating a green channel using a correlation of R, G, and B values in a white region and a ycbcr equation; And
A green channel restoration unit for restoring the green channel using the estimated green channel and the ycbcr equation,
And a channel extracting unit.

6. The method of claim 5,
Wherein the ROI setting unit comprises:
In order to set the white region for finding the parameter with the minimum energy function, if the R, B values satisfy the threshold value by using the characteristic similar to the R, G, B values in the white region, To specify a range of white areas on the board as areas of interest
Channel extraction device.

6. The method of claim 5,
Wherein the green channel estimator comprises:
Estimates the green channel in the corresponding region using the R, G, and B values in the white region, compares the restored green channel using the estimated green channel with the ycbcr formula, and estimates the parameter with the minimum energy function doing
Channel extraction device.

6. The method of claim 5,
Wherein the green channel estimator comprises:
The white region obtained from the RWB color filter array is corrected to the brightness value using the parameter having the minimum energy function according to the estimated green channel and the ycbcr expression, the green channel is restored using the corrected brightness value,
The final parameter, which minimizes the error between the estimated green channel and the recovered green channel, is calculated to obtain a green channel free from color distortion, and the final parameter calculated once is used as a fixed value
Channel extraction device.