KR100960176B1 - 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 - Google Patents
화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 Download PDFInfo
- Publication number
- KR100960176B1 KR100960176B1 KR1020047014531A KR20047014531A KR100960176B1 KR 100960176 B1 KR100960176 B1 KR 100960176B1 KR 1020047014531 A KR1020047014531 A KR 1020047014531A KR 20047014531 A KR20047014531 A KR 20047014531A KR 100960176 B1 KR100960176 B1 KR 100960176B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- change detection
- color filter
- change
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000008859 change Effects 0.000 claims abstract description 169
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 33
- 230000003044 adaptive effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000007257 malfunction Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Blocking Light For Cameras (AREA)
Abstract
휘도 신호를 얻을 때에 의사 신호가 발생할 수 있었다. 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 촬상을 행하는 촬상소자(1)와, 촬상 결과에 관한 색 변화 검출을 패턴을 고려하여 행하는 색 변화 검출부(15)와, 촬상 결과에 관한 휘도 신호 생성을 색 변화 검출 결과에 기초하여 행하는 가산기(19), 코어 처리부(20)를 구비한 화상 신호 처리 장치이다.
휘도 신호, 색 필터, 촬상소자, 가산기, 코어 처리부
Description
본 발명은 디지털 스틸 카메라나 무비 등에 이용되는 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체에 관한 것이다.
디지털 스틸 카메라나 무비 등에 있어서는 CCD(Charge Coupled Device) 등의 촬상 소자가 이용되고 있다.
촬상 소자의 표면에는 컬러화를 위해 화소마다 소정의 반복 패턴을 갖는 색 분리 필터가 장착되어 있다.
이러한 색 분리 필터로는 다양한 것이 알려져 있다.
널리 사용되고 있는 색 분리 필터의 필터 배열 중 하나로, 도 2에 도시한 바와 같은 수평 방향의 제 1 라인에는 마젠타, 그린 순으로 색 필터가 교대로 배열되고, 제 2 라인에는 옐로우, 시안 순으로 색 필터가 교대로 배열되고, 제 3 라인에는 그린, 마젠타 순으로 색 필터가 교대로 배열되고, 제 4 라인에는 옐로우, 시안 순으로 색 필터가 교대로 배열되는 수평 2 화소, 수직 4 화소가 반복되는 보색 필터 배열이 있다.
이하, 이 필터 배열을 색차선 순차 배열(色差線 順次 配列;color difference line sequential arrangement)이라고 부른다.
색차선 순차 배열의 색 분리 필터를 구비한 촬상 소자 출력으로부터 휘도 신호를 생성하는 방법으로서는, 세로 2 × 가로 2 화소를 가산하는 방법이 일반적이다(예를 들면, 일본국 특개평8-070466호 공보(2페이지, 도 4) 참조).
또한, 일본국 특개평8-070466호 공보의 모든 개시는 그대로 여기에 인용(참조)함으로써 일체화된다.
또한, 색차선 순차 배열 외에 널리 사용되고 있는 필터 배열 중 하나로, 도 10에 도시한 바와 같은, 수평 방향의 제 1 라인에는 레드, 그린 순으로 색 필터가 교대로 배열되고, 제 2 라인에는 그린, 블루 순으로 색 필터가 교대로 배열되는 수평 2 화소, 수직 2 화소가 반복되는 원색 필터 배열이 있다.
이하 이 필터 배열을 원색 베이어 배열(primary color Bayer arrangement)이라고 부른다.
원색 베이어 배열의 색 필터를 구비한 촬상 소자 출력으로부터 휘도 신호를 생성하는 방법으로도, 세로 2 × 가로 2 화소의 가산에 의해서 생성하는 것이 있다.
원색 베이어 배열의 색 분리 필터를 구비한 촬상 소자 출력으로부터 휘도 신호를 생성하는 그 밖의 방법으로서는, 세로 2 × 가로 2 화소 영역 내의 그린 신호만을 가산하여 휘도의 고주파 성분을 생성하는 방법이 있다 (예를 들면, 일본국 특개평8-237672호 공보(7페이지, 도 10∼13) 참조).
또한, 일본국 특개평8-237672호 공보의 모든 개시는 그대로 여기에 인용(참조)함으로써 일체화된다.
그러나, 세로 2 × 가로 2 화소의 신호를 가산함으로써 휘도 신호를 생성하면, 색차선 순차 배열의 색 분리 필터 배열을 사용하고 있는 경우, 수평 방향에 색 변화가 심한 피사체를 촬상했을 때에 도트형의 의사(疑似) 신호가 발생한다는 과제가 있었다.
예를 들면, 도 6은 색차선 순차 배열의 색 필터 배열의 일부를 나타낸 도면이고, 도 6의 m 열과 m+1 열 사이에서 피사체의 색이 변하고 있다.
변화점의 우측은 Ye=Mg=l, Gr=Cy=0, 변화점의 좌측은 Ye=Mg=Gr=Cy=0이다.
도 7은 이 때의 각 색 필터 위치에 대응한 촬상 소자의 출력을 나타낸 것이다.
좌표 (m,n-l), (m+1,n-1), (m,n), (m+1,n)의 세로 2 × 가로 2 화소의 가산치는 2가 되지만, 좌표 (m,n+1), (m+1,n+1), (m,n+2), (m+1,n+2)의 화소의 가산치는 1이 된다.
이와 같이, 수직 방향으로 휘도의 변화가 없는 피사체임에도 불구하고 휘도 신호가 변하는 것을 알 수 있다.
이것이 도트형의 의사 신호가 되어 나타나서 촬상 화질을 현저히 손상시키는 요인이 되는 것을 본 발명자는 알게 되었다.
마찬가지로, 원색 베이어 배열의 색 분리 필터를 사용하고 있는 경우에는, 경사 방향(대각선 방향)으로 색 변화가 심한 피사체를 촬상했을 때 도트형의 의사 신호가 발생한다는 과제가 있었다.
예를 들면, 도 11은 원색 베이어 배열의 색 필터 배열의 일부를 나타낸 도면이고, 좌표 (m-2,n-2)와 (m+3,n+3)을 연결하는 대각선을 경계로 피사체의 색이 변한다.
변화점의 우측 위는 R=Gr=0, B=1, 변화점의 좌측 아래는 B=Gr=0, R=1이다.
도 12는 이 때의 각 색 필터 위치에 대응한 촬상 소자의 출력을 나타낸 것이다.
좌표 (m-2,n-2),(m-1,n-2),(m-2,n-1),(m-1,n-1)의 세로 2 × 가로 2 화소의 가산치는 0이 되지만, 좌표 (m-1,n-1),(m,n-1),(m-1,n),(m,n)의 세로 2 × 가로 2 화소의 가산치는 2가 된다.
이와 같이, 경사 방향으로 휘도의 변화가 없는 피사체임에도 불구하고 휘도 신호가 변하는 것을 알 수 있다.
이것이 도트형의 의사 신호가 되어 나타나서 촬상 화질을 현저히 손상시키는 요인이 되는 것을 본 발명자는 알게 되었다.
또한, 세로 2 × 가로 2 화소 영역 내의 그린 신호만을 사용하여 휘도의 고주파 신호를 생성한 경우에는, 전술의 도트형의 의사 신호는 발생하지 않지만, 특히 경사 방향의 샘플링 간격이 레드, 그린, 블루를 모두 사용한 경우의 2배가 되어 버리기 때문에 경사 방향의 해상도가 손상되어 버린다.
본 발명은 상기한 종래의 과제를 고려하여, 의사 신호의 발생이 보다 억압된 휘도 신호를 얻을 수 있는 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체를 제공하는 것을 목적으로 한다.
제 1의 본 발명은, 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 촬상을 행하는 촬상 수단과, 상기 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 수단과, 상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 수단과, 상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 수단을 구비한 화상 신호 처리 장치이다.
제 2의 본 발명은, 상기 색 변화 검출은 상기 패턴에 따른 소정 방향에 관하여 행해지고, 상기 휘도 신호의 생성은, 검출된 상기 소정 방향에 관한 상기 색 변화가 상기 휘도 변화에 관한 소정 레벨을 넘는 색 변화점에서는 의사(疑似) 신호가 억압되도록 행해지는 제 1의 본 발명의 화상 신호 처리 장치이다.
제 3의 본 발명은, 상기 패턴은, 수평 방향의 제 1 라인에는 마젠타의 색 필터와 그린의 색 필터를 상기 마젠타의 색 필터 및 상기 그린의 색 필터 순으로 배열하고, 수평 방향의 제 2 라인에는 옐로우의 색 필터와 시안의 색 필터를 상기 옐로우의 색 필터 및 상기 시안의 색 필터 순으로 배열하고, 수평 방향의 제 3 라인에는 그린의 색 필터와 마젠타의 색 필터를 상기 그린의 색 필터 및 상기 마젠타의 색 필터 순으로 배열하고, 수평 방향의 제 4 라인에는 옐로우의 색 필터와 시안의 색 필터를 상기 옐로우의 색 필터 및 상기 시안의 색 필터 순으로 배열하기 위하여, 수평 방향에 2 화소, 수직 방향에 4 화소를 갖는 패턴이고, 상기 소정 방향은 수평 방향인 제 2의 본 발명의 화상 신호 처리 장치이다.
제 4의 본 발명은, 상기 색 변화 검출은 상기 마젠타의 수평 방향의 변화와 상기 그린의 수평 방향의 변화에 기초하여 행해지는 제 3의 본 발명의 화상 신호 처리 장치이다.
제 5의 본 발명은, 상기 색 변화 검출은 상기 옐로우의 수직 방향의 변화와 상기 시안의 수직 방향의 변화에 다시 기초하여 행해지는 제 4의 본 발명의 화상 신호 처리 장치이다.
제 6의 본 발명은, 상기 색 변화 검출은 상기 마젠타의 수직 방향의 변화와 상기 그린의 수직 방향의 변화에 다시 기초하여 행해지는 제 4의 본 발명의 화상 신호 처리 장치이다.
제 7의 본 발명은, 상기 패턴은, 수평 방향의 제 1 라인에는 레드의 색 필터와 그린의 색 필터를 상기 레드의 색 필터 및 상기 그린의 색 필터 순으로 배열하고, 수평 방향의 제 2 라인에는 그린의 색 필터와 블루의 색 필터를 상기 그린의 색 필터 및 상기 블루의 색 필터 순으로 배열하기 위하여, 수평 방향에 2 화소, 수직 방향에 2 화소를 갖는 패턴이고, 상기 소정 방향은 대각선 방향인 제 2의 본 발명의 화상 신호 처리 장치이다.
제 8의 본 발명은, 상기 색 변화 검출은 상기 레드의 대각선 방향의 변화와 상기 블루의 대각선 방향의 변화에 기초하여 행해지는 제 7의 본 발명의 화상 신호 처리 장치이다.
제 9의 본 발명은, 상기 의사 신호를 억압하기 위한 연산은 상기 레드의 대각선 방향의 변화와 상기 블루의 대각선 방향의 변화에 기초하여 행해지는 제 7의 본 발명의 화상 신호 처리 장치이다.
제 10의 본 발명은, 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 수단과, 상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 수단과, 상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 수단을 구비한 화상 신호 처리 회로이다.
제 11의 본 발명은, 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 신호의 생성을 행하는 휘도 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 단계를 포함하는 화상 신호 처리 방법이다.
삭제
제 13의 본 발명은, 제 11 본 발명의 화상 신호 처리 방법의, 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 단계를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록매체로서, 컴퓨터에 의해 처리 가능한 기록매체이다.
도 1 은 본 발명의 실시예 1의 화상 신호 처리 장치의 구성을 나타내는 블록도,
도 2는 본 발명의 실시예 1의 촬상 소자(1)가 구비하는 색 필터 배열을 나타내는 도면,
도 3은 본 발명의 실시예 1의 코어 처리부(20)의 입출력 신호의 관계를 나타내는 도면,
도 4는 본 발명의 실시예 1의 코어 처리부(20)의 입력 신호에 있어서, 촬상소자(1)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타내는 도면,
도 5는 본 발명의 실시예 1의 코어 처리부(20)의 입력 신호 in과 th가 변동한 경우의 적응 저역 통과 필터부(21)의 출력 신호에 있어서, 촬상소자(1)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타내는 도면,
도 6은 본 발명의 실시예 1의 촬상소자(1)가 구비하는 색 필터 배열의 일부를 나타내는 도면,
도 7은 본 발명의 실시예 1의 각 색 필터 위치에 대응한 촬상소자(1)의 출력의 예를 나타내는 도면,
도 8은 본 발명의 실시예 1의 각 색 필터 위치에 대응한 촬상소자(1)의 출력의 예를 나타내는 도면,
도 9는 본 발명의 실시예 2의 화상 신호 처리 장치의 구성을 나타내는 블록도,
도 10은 본 발명의 실시예 2의 촬상소자(30)가 구비하는 색 필터 배열을 나타내는 도면,
도 11은 본 발명의 실시예 2의 촬상소자(30)가 구비하는 색 필터 배열의 일부를 나타내는 도면,
도 12는 본 발명의 실시예 2의 각 색 필터 위치에 대응한 촬상소자(30)의 출 력의 예를 나타내는 도면,
도 13은 본 발명의 실시예 2의 휘도 변화 검출부(31)에서의 필터 처리의 탭 계수를 나타내는 도면,
도 14는 본 발명의 실시예 2의 1 화소 지연부(37)의 출력에 있어서, 촬상소자(30)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타내는 도면,
도 15는 본 발명의 실시예 2의 적응 저역 통과 필터부(33)에서 실시되는 필터 처리의 탭 계수를 나타내는 도면,
도 16은 본 발명의 실시예 2의 색 변화 검출부(32)에서 실시되는 필터 처리의 탭 계수를 나타내는 도면이다.
* 도면의 주요부분에 대한 부호의 설명 *
1 : 촬상소자 2 : A/D 변환부
3∼7 : 라인 메모리 14 : 휘도 신호 생성부
15 : 색 변화 검출부 21 : 적응 저역 통과 필터부
22 : 휘도 신호 출력 단자
우선, 본 발명에 대한 이해를 보다 쉽게 하기 위해서 그 요점에 관하여 간결히 설명한다.
상술한 바와 같이, 종래의 화상 신호 처리에 있어서는, 색 필터의 배열에 이용되는 패턴에 따른 소정 방향에 관한 색 변화가 심한 색 변화점에 있어서, 휘도 신호에 소위 의사 신호가 발생할 수 있었다.
본 발명자는, (1) 색 변화 검출을 전술한 패턴을 고려하여 행하고, (2) 휘도 신호의 생성을 색 변화 검출 결과에 기초하여 적절하게 행함으로써, 이러한 의사 신호의 발생을 제대로 억압할 수 있다는 데 생각이 미쳤다.
보다 구체적으로는, 색 분리 필터가 색차선 순차 배열을 이용하여 배열된 색 필터(도 2 참조)를 갖는 경우에는, (1) 수평 방향에 관한 색 변화 검출을 적절한 색 필터에 대하여 근방의 화소끼리의 출력값의 차분을 조사함으로써 행하고, (2) 휘도 신호의 생성을 수평 방향에 관한 색 변화가 소정 레벨을 넘는 색 변화점에서 의사 신호가 억압되도록 행하면 된다.
또한, 이러한 수평 방향에 관한 색 변화가 소정 레벨을 넘는 색 변화점은, 예를 들어, 화면 상에서 좌측의 반(半)과 우측의 반이 상이한 단색으로 표시되는 단순한 화상(도 7 참조)에서는 이들의 경계선 상에 발생한다.
상술한 바와 같은 휘도 신호의 생성을 행함으로써, 이러한 단순한 화상(또는 이러한 단순한 화상을 부분 화상으로서 포함하는 화상)의 표시 품질은 특히 현저하게 향상된다고 할 수 있다.
이하에, 본 발명에 따른 실시예에 대하여 도면을 참조하면서 설명한다.
(실시예 1)
우선, 본 실시예의 화상 신호 처리 장치의 블록도인 도 1을 주로 참조하면서, 본 실시예의 화상 신호 처리 장치의 구성에 대하여 설명한다.
도 1에 있어서, 1은 촬상소자, 2는 A/D 변환부, 3∼7은 라인 메모리, 14는 휘도 신호 생성부, 15는 색 변화 검출부, 21은 적응 저역 통과 필터부, 22는 휘도 신호 출력 단자이다.
또한, 도 1에 있어서 8∼10은 가산기, 11∼13은 저역 통과 필터부이다. 이들이 휘도 신호 생성부(14)를 구성한다.
또한, 도 1에 있어서 16, 19는 가산기, 17은 감산기, 18은 승산기, 20은 코어 처리부, 23, 24는 1 화소 지연부이다. 이들이 적응 저역 통과 필터부(21)를 구성한다.
적응 저역 통과 필터부(21)는, 색 변화 검출부(15)의 출력에 따라서 촬상소자(1)의 출력 신호에 적응적으로 저역 통과 필터 처리를 실시함으로써, 색 변화점의 의사 신호가 억압된 휘도 신호를 생성하기 위한 수단이다.
또한, 적응 저역 통과 필터부(21)는, 촬상소자(1)의 출력 신호로부터 휘도 변화를 검출하기 위한 감산기(17)를 가지며, 1 화소 지연부(24)에 의해서 지연된 감산기(17)로부터의 출력과 색 변화 검출부(15)의 출력을 비교한 결과에 따라서 저역 통과 필터 특성을 제어할 수 있다.
또한, 촬상소자(1)는 본 발명의 촬상 수단에 대응하고, 색 변화 검출부(15)는 본 발명의 색 변화 검출 수단에 대응하고, 가산기(19), 코어 처리부(20)를 포함하는 수단은 본 발명의 휘도 신호 생성 수단에 대응한다.
다음에, 본 실시예의 화상 신호 처리 장치의 동작에 대하여 설명한다. 또한, 본 실시예의 화상 신호 처리 장치의 동작에 대하여 설명하면서 본 발명의 화상 신호 처리 방법의 일 실시예에 대해서도 설명한다(그 외의 실시예에 있어서도 마찬가지다).
촬상소자(1)는, 표면에 도 2에 나타내는 배열의 보색 필터를 구비하고 있고, 필터의 색에 따른 마젠타, 그린, 옐로우, 시안의 보색 신호를 수평 1 라인씩 출력한다.
촬상소자(1)의 출력 신호는, A/D 변환부(2)에 의해 디지털화되고 라인 메모리(3∼7)을 통해 지연되어 휘도 신호 생성부(14) 및 색 변화 검출부(15)에 입력된다.
라인 메모리(3∼7)는 각각 촬상소자(1)의 수평 1 라인분의 신호를 지연하여 출력한다.
따라서, 색 변화 검출부(15)에는 동시에 6 라인분의 보색 신호가 입력되고, 휘도 신호 생성부(14)에는 동시에 4 라인분의 보색 신호가 입력된다.
휘도 신호 생성부(14)에서는, 수직 방향에 인접하는 보색 신호가 가산기(8∼10)에서 가산된 후, 수평 방향에 인접하는 신호가 저역 통과 필터부(11∼13)에 의해 가산된다.
결과적으로, 수평 2 × 수직 2 화소의 보색 신호의 가산치가 휘도 신호로서 동시에 3 라인분 출력된다.
휘도 신호 생성부(14)의 출력은 상술의 종래예에서 설명한 수평 방향의 색 변화점의 의사 신호를 포함하고 있다.
본 실시예에서는, 휘도 신호 생성부(14)의 출력은 적응 저역 통과 필터부(21)에 입력된다.
적응 저역 통과 필터부(21)에서는, 휘도 신호 생성부(14)의 출력 3 라인 중 상하 라인의 신호가 가산기(16)에서 가산되고 중심 라인의 신호가 승산기(18)에서 2배가 된다.
그리고, 감산기(17)에 의해 가산기(16)의 출력에서 승산기(18)의 출력이 감산되고, 그 차는 1 화소 지연부(24)에서 지연된 후 코어 처리부(20)에 입력된다.
도 4는 코어 처리부(20)의 입력 신호에 있어서, 촬상소자(1)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타낸 것이다.
도 4의 필터는 수직 방향의 휘도 엣지를 검출하는 필터로 되어 있고, 수평 방향의 색 변화점에서는 의사 신호의 레벨을 검출하는 필터로 되어 있다.
보다 구체적으로 설명하면, 이러한 필터 처리란, 대응하는 탭 계수가 곱해진, 촬상소자(1)의 각 화소의 출력값을 가산함으로써 필터의 중심 위치에 대응하여 생성되는 신호의 출력값을 산출하기 위한 처리이다(이하 동일함).
도 3은 코어 처리부(20)의 입출력 관계를 나타내는 도면이다.
코어 처리부(20)에서는, 색 변화 검출부(15)의 출력인 th(임계치)와 감산기(17)의 출력인 코어 처리부(20)로의 입력 in이 비교된다.
그리고, in<-2th, 2th<in인 경우는 0이 출력되고, -2th<in<th인 경우는 -2th-in이 출력되고, -th<in<th인 경우는 in이 출력되고, th<in<2th인 경우는 2th-in이 출력된다.
코어 처리부(20)의 출력은, 가산기(19)에서 1 화소 지연부(23)에 의해서 지연된 승산기(18)의 출력과 가산되고, 그 합이 휘도 신호 출력 단자(22)로 출력된다.
도 5는 적응 저역 통과 필터부(21)의 출력에 있어서, 촬상소자(1)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타낸 것이다.
도 5 (a)는 2×th<｜in｜인 경우, 도 5 (b)는 ｜in｜=1.5×th인 경우, 도 5 (c)는 ｜in｜<th인 경우의 탭 계수를 나타내고 있다.
｜in｜에 대하여 th가 클수록 수직 방향으로 협대역(狹帶域)의 저역 통과 필터 처리가 이루어지고 있어서 수평 방향의 색 변화점에서의 의사 신호의 억압 효과가 커진다.
도 5 (c)의 필터를, 예를 들어 도 7의 색 경계부인 m열, m+1열의 신호에 대하여 실시하면, 어느 위치에서도 출력값은 3이 되어 의사 신호가 완전하게 억압되는 것을 알 수 있다.
따라서, 색 변화 검출부(15)는 수평 방향의 색 변화점에서 ｜in｜<th가 되는 출력 th를 생성하면 된다. 다만, 수평 방향의 색 변화점 이외에서 2×th<｜in｜가 되지 않으면 오동작이 발생하게 된다.
이하에서는, 색 변화 검출부(15)의 동작에 대하여 보다 상세히 설명한다.
도 8은 도 6의 m열과 m+1열을 경계로 하여 Mg=M0, Gr=G0, Ye=Y0, Cy=C0에서 Mg=M3, Gr=G3, Ye=Y3, Cy=C3으로 변할 경우의 촬상소자(1)의 각 화소의 출력값을 나타낸 도면이다.
다만, 렌즈(도시 생략)나 촬상소자(1)의 개구, 수정 광학 저역 통과 필터(도시 생략) 등의 영향을 고려하여, 중간색으로서 m열은 Mg=M1, Gr=Gl, Ye=Y1, Cy=C1, m+1열은 Mg=M2, Gr=G2, Ye=Y2, Cy=C2로 되어 있는 경우에 대해 설명한다.
여기서, 예를 들면 Mg에 관해서는 M0<M1<M2<M3 또는 M0>M1>M2>M3의 관계가 성립할 경우에 대해서 설명한다. Gr, Ye, Cy에 관해서도 마찬가지의 관계가 성립할 경우에 대해서 설명한다.
이 때의 색 경계선에서의 코어 처리부(20)의 입력 in은 수학식 1과 같이 된다(물론, 제 1 등호는 일반적으로 in을 정의하는 등호이다. 이하 동일함).
- Mg (m, n) - Gr (m + 1, n)
- Ye (m, n + 1) - Cy (m + 1, n + 1)
+ Gr (m, n + 2) + Mg (m + 1, n + 2)
= G1 - G2 + M2 - M1
이것은 수평 방향의 색 변화에 관한 경계선에서의 의사 신호가 마젠타, 그린 신호에 의해서 발생하고 있다는 것을 나타내고 있다.
이 때, 색 변화 검출부(15)에서는, 예를 들면 수학식 2와 같이 th를 연산하면 된다.
｜Mg (m - 1, n + 2) - Mg (m + 1, n + 2)｜)
+ Max (｜Gr (m - 1, n) - Gr (m + 1, n)｜,
｜Gr (m, n + 2) - Gr (m + 2, n + 2)｜)
= Max (｜M1 - M3｜, ｜M0 - M2｜) + Max (｜G1 - G3｜,｜G0 - G2｜)
다만, Max (a, b)는 a와 b 중 큰 쪽을 선택하는 함수로 한다.
M0<M1<M2<M3 또는 M0>M1>M2>M3이고 G0<G1<G2<G3 또는 G0>G1>G2>G3이므로, 항상 th>｜in｜의 관계가 성립한다.
따라서, 수학식 2에 의한 th를 사용함으로써 색 변화점에서의 의사 신호는 억압된다.
① 또한, 수학식 2에 의한 th를 이용하면 수평 방향으로 휘도 변화가 색 변화로서 검출되어 버릴 수 있다.
이 때문에, 특히 경사 방향(대각선 방향)으로 휘도 변화가 있는 피사체에 있어서, 적응 저역 통과 필터부(21)의 오동작이 발생하고 경사의 해상도가 손상되는 경우가 발생한다.
이러한 오동작의 발생을 보다 억제하기 위해서는 예를 들어 수학식 3과 같이 th를 연산한다.
a = Max (｜Mg (m, n) - Mg (m + 2, n)｜,
｜Mg (m - 1, n + 2) - Mg (m + 1, n + 2)｜)
+ Max (｜Gr (m - 1, n) - Gr (m + 1, n)｜,
｜Gr (m, n + 2) - Gr (m + 2, n + 2)｜)
- b × (｜2 × Ye(m, n + 1) - Ye (m, n - l) - Ye (m, n + 3)｜
+ ｜2 ×C y (m + 1, n + 1) - Cy (m + 1, n - 1)
- Cy (m + 1, n + 3)｜)
수학식 3에 있어서, b는 보정의 정도를 조정하기 위한 계수이고 b>O이다.
수학식 3에 있어서 n-1, n+1, n+3 행에 대한 연산 부분은 수직 방향의 옐로우, 시안 신호의 수직 방향 변동을 나타내고 있다.
옐로우, 시안 신호는 수평 방향의 색 변화점에서 수직 방향으로는 변동하지 않는다.
따라서, 수학식 3에 의해서, 수평 방향의 색 변화점에서의 의사 신호 억압에 영향을 주지 않고, 경사 방향의 휘도 변화가 있는 부분의 오동작의 발생을 억제할 수 있다.
② 또한, 수학식 3에서의 옐로우, 시안 신호의 수직 방향의 변화 검출 중에는, 비교적 저주파수의 변화와 촬상소자의 화소 피치로 결정되는 수직 나이키스트 주파수에 가까운 변화를 검출하기 어렵다.
이 때문에, 그와 같은 주파수의 경사의 휘도 변화 부분에서의 오동작의 발생을 억제하는 것이 곤란한 경우가 있다.
이러한 오동작의 발생을 보다 억제하기 위해서 수직 방향의 마젠타, 그린 신호의 변동 패턴을 조사한다.
그리고, 수직 방향의 마젠타, 그린 신호의 변동 패턴이 색 변화점의 의사 신호의 패턴으로 되어 있지 않은 경우에는 색 변화점이 아니라고 판단하면 된다.
예를 들면, 수학식 4에 의해서 마젠타, 그린 신호의 변동 패턴을 조사한다.
- (Gr (m, n - 2) + Mg (m + 1, n - 2))}
× { (Mg (m, n) + Gr (m + 1, n))
- (Gr (m, n + 2) + Mg (m + 1, n + 2))}
색 변화점에서의 의사 신호가 발생하고 있는 경우 c>O이 된다. 그래서, c<O인 경우에는 th=O으로 함으로써(물론, c≥O인 경우에는 상술한 th가 그대로 이용된다), 적응 저역 통과 필터부(21)의 오동작의 발생을 보다 억제할 수 있다.
③ 또한, 수학식 2 ∼ 수학식 4는 코어 처리부(20)의 입력 in이 수학식 1로 주어지는 경우의 연산식이다.
수직 방향으로의 평행 이동을 고려한 경우에는 1 라인마다 마젠타, 그린의 행과 옐로우, 시안의 행이 교체되기 때문에, 수학식 1 ∼ 수학식 4를 조금 수정해야 한다.
보다 구체적으로는, 1 라인 아래에 수직 방향으로의 평행 이동을 고려한 경우에는, 수학식 1 ∼ 수학식 4는 각각 다음의 수학식 5 ∼ 수학식 8이 된다.
- Ye (m, n + 1) - Cy (m + 1, n + 1)
- Gr (m, n + 2) - Mg (m + 1, n + 2)
+ Ye (m, n + 3) + Cy (m + 1, n + 3)
｜Mg (m - 1, n + 2)
-Mg (m + 1, n + 2)｜)
+ Max (｜Gr (m - 1, n) - Gr (m + 1, n)｜,
｜Gr(m, n + 2) - Gr (m + 2, n + 2)｜)
a = Max (｜Mg (m, n) - Mg (m + 2, n)｜,
｜Mg ( m - 1, n + 2) - Mg (m + 1, n + 2)｜)
+ Max (｜Gr (m - 1, n) - Gr (m + 1, n)｜,
｜Gr (m, n + 2) - Gr (m + 2, n + 2)｜)
- b × (｜2 × Ye (m, n + 1) - Ye (m, n - 1)
-Ye (m, n + 3)｜
+｜2 × Cy (m + 1, n + 1) - Cy (m + 1, n - 1)
-Cy (m + 1, n + 3)｜)
- (Gr (m, n) + Mg (m + 1, n))}
× { (Mg (m, n + 2) + Gr (m + 1, n + 2))
- (Gr (m, n + 4) + Mg (m + 1, n + 4))}
이와 같이, 1 라인 아래에 수직 방향으로의 평행 이동을 고려한 경우에는, 수학식 5에서의 수직 방향의 좌표값은 수학식 1에서의 수직 방향의 좌표값에 1을 더한 것으로 되어 있지만, 수학식 6, 수학식 7은 각각 수학식 2, 수학식 3과 동일하고, 수학식 8에서의 수직 방향의 좌표값은 수학식 1에서의 수직 방향의 좌표값에 2를 더한 것으로 되어 있다.
또한, 2 라인 아래에 수직 방향으로의 평행 이동을 고려한 경우에는, 수학식 5 ∼ 수학식 8에서의 수직 방향의 좌표값은 각각 수학식 1 ∼ 수학식 4에서의 수직 방향의 좌표값에 2를 더한 것이 된다.
또한, 3 라인 아래에 수직 방향으로의 평행 이동을 고려한 경우에는, 수학식 5에서의 수직 방향의 좌표값은 수학식 1에서의 수직 방향의 좌표값에 3을 더한 것이 되고, 수학식 6, 수학식 7에서의 수직 방향의 좌표값은 각각 수학식 2, 수학식 3에서의 수직 방향의 좌표값에 2를 더한 것이 되고, 수학식 8에서의 수직 방향의 좌표값은 수학식 1에서의 수직 방향의 좌표값에 4를 더한 것이 된다.
물론, 수평 방향으로의 평행 이동을 고려한 경우에도, (1 라인 우측으로 평행 이동을 고려했을 때에는) 동일하게 수학식 1 ∼ 수학식 4를 조금 수정해야 한다.
또한, 본 실시예의 색 필터는 수평 방향에 2 화소, 수직 방향에 4 화소를 갖는 패턴의 반복에 기초하여 배열되어 있는 것을 고려함으로써, 그 외의 경우도 상술인 경우에 준하여 취급할 수 있다.
이상과 같은 구성과 동작에 의해서, 휘도 신호 출력 단자(22)로부터는 색 변 화점에서의 의사 신호가 억압된 휘도 신호가 출력된다.
또한, 경사의 휘도 변화가 있는 경우라도, 적응 저역 통과 필터부(21)의 오동작에 의한 해상도의 저하가 없는 신호를 얻을 수 있다.
(실시예 2)
우선, 본 실시예의 화상 신호 처리 장치의 블록도인 도 9를 주로 참조하면서, 본 실시예의 화상 신호 처리 장치의 구성에 대하여 설명한다.
본 실시예에 있어서는, (색차선 순차 배열이 아니고) 원색 베이어 배열의 색 필터 배열이 이용된다.
도 9에 있어서, 30은 촬상소자, 2는 A/D 변환부, 3∼7은 라인 메모리, 31은 휘도 변화 검출부, 32는 색 변화 검출부, 22는 휘도 신호 출력 단자이다.
또한, 도 9에 있어서, 9, 19는 가산기, 34는 승산기, 12는 저역 통과 필터, 20은 코어 처리부, 35∼39는 1 화소 지연부이다. 이들이 적응 저역 통과 필터부(33)를 구성한다.
또한, 촬상소자(30)는 본 발명의 촬상 수단에 대응하고, 색 변화 검출부(32)는 본 발명의 색 변화 검출 수단에 대응하고, 가산기(19), 코어 처리부(20)를 포함하는 수단은 본 발명의 휘도 신호 생성 수단에 대응한다.
다음에, 본 실시예의 화상 신호 처리 장치의 동작에 대하여 설명한다. 촬상소자(30)는 표면에 도 10에 나타내는 배열의 원색 필터를 구비하고 있고, 필터의 색에 따른 레드, 그린, 블루의 원색 신호를 수평 1 라인씩 출력한다.
촬상소자(30)의 출력은, A/D 변환부(2)에서 디지털화되고 라인 메모리(3∼7) 를 통해 지연되어 적응 저역 통과 필터부(33), 휘도 변화 검출부(31), 색 변화 검출부(32)에 입력된다.
휘도 변화 검출부(31)는, 레드와 블루의 가산치의 변화량을 검출한다. 예를 들면, 도 13 (a), (b)는 휘도 변화 검출부(31)의 출력에 있어서, 촬상소자(30)의 출력에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타낸 것이다.
도시되어 있는 세로 4 × 가로 4의 영역의 좌측 위의 화소가 그린인 경우는 (a)의 필터가 이용된다. 또한, 동일한 영역의 좌측 위의 화소가 레드 또는 블루인 경우는 (b)의 필터가 이용된다.
따라서, 도 13에 도시한 필터는 레드와 블루의 가산치의 경사 방향(대각선 방향)의 변화를 검출하는 필터로 되어 있다.
휘도 변화 검출부(31)의 출력은 1 화소 지연부(38,39)를 통해 코어 처리부(20)에 입력된다.
코어 처리부(20)에서는 전술한 실시예 1과 마찬가지의 처리가 행해진다(도 3 참조).
코어 처리부(20)의 출력은 가산기(19)로 입력되고 1 화소 지연부(37)의 출력과 가산된다.
도 14는, 도 9에서의 1 화소 지연부(37)의 출력에 있어서, 촬상소자(30)의 출력 신호에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타낸 것이다.
도 15는, 가산기(19)의 출력에 있어서, 촬상소자(30)의 출력 신호에 대하여 이루어지고 있는 필터 처리의 탭 계수를 나타내고 있다.
즉, 코어 처리부(20)의 입력 신호 in과 th의 관계가 변한 경우의 적응 저역 통과 필터부(33)의 필터 탭 계수의 변화가 도시되어 있다.
보다 구체적으로는, 도 15 (a)는 2×th<｜in｜인 경우의 탭 계수를 나타낸 것이다. 또한, 도 15 (b), (c)는 ｜in｜=1.5×tn인 경우의 탭 계수를 나타낸 것이다. 또한, 도 15 (d), (e)는 ｜in｜≤th인 경우의 탭 계수를 나타낸 것이다.
또한, 도 15(b),(d)는 도시한 세로 4 × 가로 4의 영역의 좌측 위의 화소가 그린에 대응할 경우의 필터 계수를 나타낸 것이다. 또한, 도 15 (c), (e)는 도시한 세로 4 × 가로 4의 영역의 좌측 위의 화소가 레드 또는 블루에 대응할 경우의 필터 계수를 나타낸 것이다.
도 12의 신호에 대하여, 도 15 (d), (e)의 필터를 이용하는 필터 처리를 실시하면, 어떤 위치에서도 필터 출력값은 4가 되어 의사 신호가 억압된 신호를 얻을 수 있음을 알 수 있다.
색 변화 검출부(32)는 레드와 블루의 차분값의 변화량을 검출한다.
th는 색 변화 검출부(32)의 출력이다. 따라서, 의사 신호가 발생하는 색 변화점에서 ｜in｜<th가 되도록 색 변화 검출부(32)에서의 연산을 행하면 된다.
도 16은, 색 변화 검출부(32)에 있어서, 촬상소자(30)의 출력 신호에 대하여 이루어지는 필터 처리의 탭 계수를 나타낸 것이다.
따라서, 도 16에 도시한 필터는 레드와 블루의 차분값의 경사 방향(대각선 방향)의 변화를 검출하는 필터로 되어 있다.
도시하고 있는 세로 4 × 가로 8 화소의 좌측 위 코너의 화소가 그린인 경우 는 도 16 (a), (c)의 필터를 이용하는 필터 처리가 이루어지고, 각각의 필터 처리 결과의 절대값의 최대값이 색 변화 검출부(32)로부터 출력된다.
도시하고 있는 세로 4 × 가로 8 화소의 좌측 위 코너의 화소가 레드 또는 블루인 경우는 도 16 (b), (d)의 필터를 이용하는 필터 처리가 이루어지고, 각각의 필터 처리 결과의 절대값의 최대값이 색 변화 검출부(32)로부터 출력된다.
예를 들면, 도 11은 촬상소자(30)가 구비하는 색 필터 배열의 일부를 나타낸 도면이다.
도 11에 도시한 좌표 (m-2, n-2)와 좌표 (m+3,n+3)을 연결하는 대각선을 경계로 하여 피사체의 색이 변할 경우에 대해 설명한다.
구체적으로는, 변화점의 우측 위에서는 R=R0, B=B0이고, 변화점의 좌측 아래에서는 R=R1, B=B1인 경우에 대해 설명한다.
이 때, 색이 변하는 경계선 상에 있는 좌표 (m,n), (m,n+l), (m+1,n), (m+1,n+1)을 중심으로 하는 색 변화 검출부(32)의 출력은 수학식 9와 같이 된다.
- R (m + 1, n) - R (m + 3, n)
- B (m - 2, n + 1) - B (m, n + 1)
+ B (m + 2, n - 1) - B (m + 4, n - 1)｜,
｜R (m + 1, n + 2) + R (m + 3, n + 2)
- R (m - 3, n) - R (m - 1, n)
-B (m + 2, n + 1) - B (m + 4, n + 1)
+B (m - 2, n -1) + B (m, n - 1)｜)
= Max (｜2R1 - 2R0 - 2B1 + 2B0｜,
｜R0 - R1 - B0 + B1｜)
=｜2R1 - 2R0 - 2B1 + 2B0｜
또한, 이 때의 코어 처리부(20)의 입력 in은 다음과 같이 된다.
- 2R (m + 1, n) - 2B (m, n + 1)
+ B (m, n - 1) + B (m + 2, n + 1)
= 2R1 - 2R0 - 2B1 - 2B0
따라서, 색이 변하는 경계선 상에서는 ｜in｜≤th의 관계가 성립하기 때문에, 적응 저역 통과 필터부(33)로부터는 의사 신호가 억압된 신호가 출력된다.
또한, 이상에서는, 우측 위에서 좌측 아래 방향으로 색이 변할 경우에 대해 설명했지만, 좌측 위에서 우측 아래로 색이 변할 경우에 대해서도 마찬가지다.
본 실시예에서는, 레드, 그린, 블루 중 레드와 블루 성분에 대해서만 저역 통과 필터 처리를 한다. 이 때문에, 색이 변하는 경계선 상 이외에서 오동작이 행해진 경우에도 그린 성분의 고주파 성분은 유지된다. 따라서, 오보정에 의한 해상도의 열화를 최소한으로 억제할 수 있다.
또한, 본 실시예에서는, 색 변화 검출부(32)의 출력과 휘도 변화 검출부(31) 의 출력을 비교하여 적응 저역 통과 필터부(33)의 특성을 정하고 있다. 이 때문에, 예를 들어 동일한 피사체를 촬영하고 있을 때 광원의 밝기가 변하여 피사체의 밝기가 변한 경우에도, 색 변화 검출부(32)의 출력과 휘도 변화 검출부(31)의 출력은 모두 피사체의 밝기에 따라서 변한다. 따라서, 피사체의 밝기에 상관없이 적합한 적응 저역 통과 필터 처리를 행할 수 있다.
이상과 같은 구성과 동작에 의해서, 휘도 신호 출력 단자(22)로부터는 색 변화점에서의 의사 신호가 억압된 휘도 신호가 출력된다.
또한, 색 변화가 없는 부분에서는 레드, 그린, 블루 모두를 사용하여 휘도 신호를 생성하기 때문에, 경사 방향으로도 해상도가 높은 휘도 신호를 얻을 수 있다.
물론, 상술한 실시예에서는, A/D 변환부(2) 이후의 처리를 하드웨어에 의해서 실현하고 있지만, 이러한 처리의 전부 또는 일부를 마이크로 컴퓨터 등을 이용하여 소프트웨어에 의해서 실현할 수도 있다.
또한, 본 발명의 프로그램은 상술한 본 발명의 화상 신호 처리 방법의 전부 또는 일부 단계(또는 공정, 동작, 작용 등)의 동작을 컴퓨터에 의해 실행시키기 위한 프로그램으로서, 컴퓨터와 협동하여 동작하는 프로그램이다.
또한, 본 발명의 기록매체는 상술한 본 발명의 화상 신호 처리 방법의 전부 또는 일부 단계(또는 공정, 동작, 작용 등)의 전부 또는 일부 동작을 컴퓨터에 의해 실행시키기 위한 프로그램을 담지한 기록매체이고, 컴퓨터에 의해 판독가능하고 또한 판독된 상기 프로그램이 상기 컴퓨터와 협동하여 상기 동작을 실행하는 기록 매체이다.
또한, 본 발명의 상기 「일부 단계(또는 공정, 동작, 작용 등)」란, 이들 복수 단계 내의 하나 또는 몇개의 단계를 의미한다.
또한, 본 발명의 상기 「단계(또는 공정, 동작, 작용 등)의 동작」이란, 상기 단계의 전부 또는 일부의 동작을 의미한다.
또한, 본 발명의 프로그램의 이용 형태의 하나는, 컴퓨터에 의해 판독 가능한 기록매체에 기록되고 컴퓨터와 협동하여 동작하는 형태이어도 된다.
또한, 본 발명의 프로그램의 이용 형태의 하나는, 전송매체를 통해 전송되고 컴퓨터에 의해 판독되어 컴퓨터와 협동하여 동작하는 형태이어도 된다.
또한, 기록매체로서는 ROM 등이 포함되고, 전송매체로서는 인터넷 등의 전송매체, 광·전파·음파 등이 포함된다.
또한, 상술한 본 발명의 컴퓨터는 CPU 등의 퓨어 하드웨어(pure hardware)에 한하지 않고 펌웨어(firmware)나 0S, 나아가 주변 기기를 포함하는 것이어도 된다.
또한, 이상 설명한 바와 같이, 본 발명의 구성은 소프트웨어적으로 실현하여도 되고 하드웨어적으로 실현하여도 된다.
본 발명은 의사 신호의 발생이 보다 억압된 휘도 신호를 얻을 수 있다는 장점을 갖는다.
Claims (13)
- 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 촬상을 행하는 촬상 수단과,상기 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 수단과,상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 수단과,상기 촬상 결과에 관한 휘도 신호 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 수단을 구비한 화상 신호 처리 장치.
- 제 1 항에 있어서,상기 색 변화 검출은 상기 패턴에 따른 소정 방향에 관하여 행해지고,상기 휘도 신호의 생성은, 검출된 상기 소정 방향에 관한 상기 색 변화가 상기 휘도 변화에 관한 소정 레벨을 넘는 색 변화점에서는 의사(疑似) 신호가 억압되도록 행해지는 화상 신호 처리 장치.
- 제 2 항에 있어서,상기 패턴은, 수평 방향의 제 1 라인에는 마젠타의 색 필터와 그린의 색 필터를 상기 마젠타의 색 필터 및 상기 그린의 색 필터 순으로 배열하고, 수평 방향의 제 2 라인에는 옐로우의 색 필터와 시안의 색 필터를 상기 옐로우의 색 필터 및 상기 시안의 색 필터 순으로 배열하고, 수평 방향의 제 3 라인에는 그린의 색 필터와 마젠타의 색 필터를 상기 그린의 색 필터 및 상기 마젠타의 색 필터 순으로 배열하고, 수평 방향의 제 4 라인에는 옐로우의 색 필터와 시안의 색 필터를 상기 옐로우의 색 필터 및 상기 시안의 색 필터 순으로 배열하기 위하여, 수평 방향에 2 화소, 수직 방향에 4 화소를 갖는 패턴이고,상기 소정 방향은 수평 방향인 화상 신호 처리 장치.
- 제 3 항에 있어서,상기 색 변화 검출은 상기 마젠타의 수평 방향의 변화와 상기 그린의 수평 방향의 변화에 기초하여 행해지는 화상 신호 처리 장치.
- 제 4 항에 있어서,상기 색 변화 검출은 상기 옐로우의 수직 방향의 변화와 상기 시안의 수직 방향의 변화에도 기초하여 행해지는 화상 신호 처리 장치.
- 제 4 항에 있어서,상기 색 변화 검출은 상기 마젠타의 수직 방향의 변화와 상기 그린의 수직 방향의 변화에도 기초하여 행해지는 화상 신호 처리 장치.
- 제 2 항에 있어서,상기 패턴은, 수평 방향의 제 1 라인에는 레드의 색 필터와 그린의 색 필터를 상기 레드의 색 필터 및 상기 그린의 색 필터 순으로 배열하고, 수평 방향의 제 2 라인에는 그린의 색 필터와 블루의 색 필터를 상기 그린의 색 필터 및 상기 블루의 색 필터 순으로 배열하기 위하여, 수평 방향에 2 화소, 수직 방향에 2 화소를 갖는 패턴이고,상기 소정 방향은 대각선 방향인 화상 신호 처리 장치.
- 제 7 항에 있어서,상기 색 변화 검출은 상기 레드의 대각선 방향의 변화와 상기 블루의 대각선 방향의 변화에 기초하여 행해지는 화상 신호 처리 장치.
- 제 7 항에 있어서,상기 의사 신호를 억압하기 위한 연산은 상기 레드의 대각선 방향의 변화와 상기 블루의 대각선 방향의 변화에 기초하여 행해지는 화상 신호 처리 장치.
- 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 수단과,상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 수단과,상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 수단을 구비한 화상 신호 처리 회로.
- 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 단계와,상기 촬상 결과에 관한 휘도 신호의 생성을 행하는 휘도 변화 검출 단계와,상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 단계를 포함하는 화상 신호 처리 방법.
- 삭제
- 청구항 11에 기재된 화상 신호 처리 방법의, 미리 정해진 패턴의 반복에 기초하여 배열된 복수 종류의 색 필터를 이용하여 행해진 촬상 결과에 관한 색 변화 검출을 행하는 색 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 변화 검출을 행하는 휘도 변화 검출 단계와, 상기 촬상 결과에 관한 휘도 신호의 생성을 상기 색 변화 검출 결과와 상기 휘도 변화 검출 결과에 기초하여 행하는 휘도 신호 생성 단계를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록매체로서, 컴퓨터에 의해 처리 가능한 기록매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2002-00132683 | 2002-05-08 | ||
| JP2002132683 | 2002-05-08 | ||
| JP2002294490A JP4284960B2 (ja) | 2002-05-08 | 2002-10-08 | 画像信号処理装置 |
| JPJP-P-2002-00294490 | 2002-10-08 | ||
| PCT/JP2003/005596 WO2003096702A1 (en) | 2002-05-08 | 2003-05-02 | Image signal processing device, image signal processing circuit, image signal processing method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040104518A KR20040104518A (ko) | 2004-12-10 |
| KR100960176B1 true KR100960176B1 (ko) | 2010-05-26 |
Family
ID=29422372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020047014531A Expired - Fee Related KR100960176B1 (ko) | 2002-05-08 | 2003-05-02 | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7499086B2 (ko) |
| EP (1) | EP1503600B1 (ko) |
| JP (1) | JP4284960B2 (ko) |
| KR (1) | KR100960176B1 (ko) |
| CN (1) | CN1326402C (ko) |
| CA (1) | CA2479662A1 (ko) |
| TW (1) | TWI242988B (ko) |
| WO (1) | WO2003096702A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080128466A1 (en) | 2003-12-04 | 2008-06-05 | Takao Hasegawa | Stapling Apparatus |
| EP1675407A1 (en) * | 2004-12-27 | 2006-06-28 | Robert Bosch Gmbh | Colour separation |
| JP2012049891A (ja) * | 2010-08-27 | 2012-03-08 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
| KR102500291B1 (ko) * | 2016-09-05 | 2023-02-16 | 삼성전자주식회사 | 통신 인터페이스 장치 및 디스플레이 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54107623A (en) | 1978-02-13 | 1979-08-23 | Sony Corp | Suppression circuit for luminance signal |
| JP2000197067A (ja) | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6159992A (ja) * | 1984-08-31 | 1986-03-27 | Hitachi Ltd | 映像信号処理回路 |
| JPH0724423B2 (ja) | 1987-12-29 | 1995-03-15 | 日本ビクター株式会社 | 動き適応型輝度信号色信号分離装置及び動き検出回路 |
| US5457447A (en) * | 1993-03-31 | 1995-10-10 | Motorola, Inc. | Portable power source and RF tag utilizing same |
| JPH0724423A (ja) | 1993-07-05 | 1995-01-27 | Murata Mach Ltd | 空ボビン判別装置 |
| JP3322017B2 (ja) * | 1994-08-30 | 2002-09-09 | 松下電器産業株式会社 | 輪郭補正装置 |
| JP3392564B2 (ja) | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
| JP3185847B2 (ja) | 1995-04-06 | 2001-07-11 | 三協アルミニウム工業株式会社 | 障子の開閉装置 |
| JP3419651B2 (ja) | 1997-06-12 | 2003-06-23 | 松下電器産業株式会社 | 画像信号処理装置 |
| JP3540758B2 (ja) * | 2000-09-08 | 2004-07-07 | 三洋電機株式会社 | 単板式カラーカメラにおける水平輪郭信号生成回路 |
-
2002
- 2002-10-08 JP JP2002294490A patent/JP4284960B2/ja not_active Expired - Lifetime
-
2003
- 2003-05-02 WO PCT/JP2003/005596 patent/WO2003096702A1/ja active Application Filing
- 2003-05-02 EP EP03725726.8A patent/EP1503600B1/en not_active Expired - Lifetime
- 2003-05-02 US US10/510,291 patent/US7499086B2/en not_active Expired - Lifetime
- 2003-05-02 CA CA002479662A patent/CA2479662A1/en not_active Abandoned
- 2003-05-02 CN CNB03809262XA patent/CN1326402C/zh not_active Expired - Fee Related
- 2003-05-02 KR KR1020047014531A patent/KR100960176B1/ko not_active Expired - Fee Related
- 2003-05-07 TW TW092112431A patent/TWI242988B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54107623A (en) | 1978-02-13 | 1979-08-23 | Sony Corp | Suppression circuit for luminance signal |
| JP2000197067A (ja) | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7499086B2 (en) | 2009-03-03 |
| CN1650639A (zh) | 2005-08-03 |
| TW200405729A (en) | 2004-04-01 |
| US20050168600A1 (en) | 2005-08-04 |
| EP1503600A4 (en) | 2006-11-22 |
| JP4284960B2 (ja) | 2009-06-24 |
| WO2003096702A1 (en) | 2003-11-20 |
| WO2003096702B1 (fr) | 2004-02-19 |
| EP1503600A1 (en) | 2005-02-02 |
| CA2479662A1 (en) | 2003-11-20 |
| KR20040104518A (ko) | 2004-12-10 |
| EP1503600B1 (en) | 2015-07-01 |
| CN1326402C (zh) | 2007-07-11 |
| JP2004032662A (ja) | 2004-01-29 |
| TWI242988B (en) | 2005-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100786931B1 (ko) | 화상 신호 처리 장치 및 화상 신호 처리 방법 | |
| JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| KR100978688B1 (ko) | 디지털 이미지의 컬러 아티팩트 저감 기법 | |
| US8515210B2 (en) | Image processing method and image processing device | |
| US7570288B2 (en) | Image processor | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH11215515A (ja) | 画像センサのライン毎ノイズ除去装置及び方法 | |
| US20100283874A1 (en) | Non-Linear Transformations for Enhancement of Images | |
| JP2008289090A (ja) | 撮像信号処理装置 | |
| JP4305071B2 (ja) | 信号補正方法 | |
| JP5425343B2 (ja) | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム | |
| KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR100831970B1 (ko) | 결함 화소 검출 방법 및 이를 위해 사용되는 장치 | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP2001186534A (ja) | 固体撮像装置 | |
| JP7299398B1 (ja) | 画像処理装置および画像処理方法 | |
| JP5106221B2 (ja) | 撮像装置 | |
| JP3663105B2 (ja) | ディジタルカメラ | |
| JP3322017B2 (ja) | 輪郭補正装置 | |
| JP2002051349A (ja) | 色分離回路及びそれを備えた色信号処理装置 | |
| KR100816299B1 (ko) | 허위 색 억제 장치 및 방법 | |
| JP2006080767A (ja) | 信号処理装置及び撮像装置 | |
| JP2010041251A (ja) | 映像信号処理装置、撮像装置及び映像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20040915 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20080304 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20090922 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20100322 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20100519 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20100519 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20130419 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130419 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140421 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140421 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150417 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150417 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20160418 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160418 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20180418 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180418 Start annual number: 9 End annual number: 9 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20200228 |