KR100687645B1

KR100687645B1 - 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치

Info

Publication number: KR100687645B1
Application number: KR1020047020952A
Authority: KR
Inventors: 모리노히데키
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2002-06-25
Filing date: 2003-06-24
Publication date: 2007-02-27
Anticipated expiration: 2023-06-24
Also published as: KR20050013151A; US7903179B2; JPWO2004002135A1; AU2003246185A1; CN1663239A; EP1515544A1; CN100566379C; WO2004002135A1; JP3856031B2; US20050168651A1; EP1515544A4

Abstract

잡음 제거 효과를 크게 할 수 있으며 잡음 제거 효과의 증대에 따른 움직이는 부분의 테일링 발생을 억제할 수 있어, 강전계에서 약전계에 이르기까지 잡음 제거 효과를 크게 할 수 있음과 동시에, 그에 수반되는 잔상이나 부착감 등의 외관의 부자연스러움을 해소할 수 있는 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치가 제공된다. 이 움직임 검출 장치는 프레임 차분을 문턱값과 비교하여, 다수 화소의 블록에 대하여 그 결과의 총합을 구해 문턱값과 비교하여 원하는 신호를 출력하고, 또한 이 출력을 수평 혹은 수직 방향으로 몇 화소 확대 적용하는 등에 의해 검출을 실행한다. 상기 잡음 제거 장치는 상기 움직임 검출 장치를 이용한다.

움직임 검출 장치, 잡음 제거 장치

Description

움직임 검출 장치 및 그것을 이용한 잡음 제거 장치{MOTION DETECTION DEVICE AND NOISE REDUCTION DEVICE USING THAT}

본 발명은 텔레비젼 수신기의 영상 신호 처리기술에 관한 것이다.

잡음이 들어간 영상 입력 신호로부터 잡음을 제거하는 방법으로서 프레임 순회형의 잡음 제거 방법이 있다. 예를 들면, 영상 출력 신호(잡음 제거된 것)를 프레임 지연시킨 것과 영상 입력 신호와의 차분을 구하여, 이 차분값에 소망하는 순회계수(0 이상 1 미만)를 곱하고, 이것을 원래의 영상 입력 신호로부터 덧셈/뺄셈함으로써 잡음을 제거하는 것이 있다.

그 외에도, 움직임 검출이나 잡음 제거의 종래기술에 대해서는, 일본 공개특허 제2002-94834호 공보나 "트랜지스터 기술 SPECIAL"(마쯔이 순야, No. 52, 1999년, CQ 출판 주식회사, 89-92 페이지) 등에 기재되어 있다.

이하, 종래의 기술에 대하여 예를 들어 설명한다.

도 18A와 도 18B는 종래의 프레임 순회형 잡음 제거 장치의 일례를 나타낸다. 도 18A에서 프레임 메모리(1801)는 영상 출력 신호(잡음 제거된 것, 1807)를 프레임 지연한다. 뺄셈기(1802)는 프레임 메모리(1801)의 출력과 영상 입력 신호(1806)와의 프레임 차분(frame difference)을 구한다. 이 차분값은 움직임 검출과 순회(recursive) 계수의 생성을 수행하는 움직임 검출 및 순회계수 생성회로(1803)에 입력된다. 움직임 검출 및 순회계수 생성회로(1803)는 차분값에 따라 순회계수를 생성한다.

도 18B는, 이 차분값과 순회계수와의 관계의 일례를 나타내고 있다. 도 18B에 있어서, 가로축(1810)은 차분값을, 세로축(1811)은 순회계수를, 곡선(1812)은 차분값과 순회계수와의 관계를 각각 나타내고 있다. 곡선(1812)이 나타내는 바와 같이, 움직임 검출 및 순회계수 생성회로(1803)는 차분이 커짐에 따라 순회계수를 비선형적으로 작게 하는 특성을 가지고 있다. 이것은 움직임이 커지는 것과 차분이 커지는 것과의 관련성을 이용하여 움직임을 검출하고 있다는 것이 된다. 이렇게 얻어진 순회계수와 프레임 차분이 곱셈기(1804)에서 곱해진다. 또한, 덧셈/뺄셈기(1805)가 곱셈기(1804)의 출력을 프레임 차분의 부호에 따라 영상 입력 신호(1806)로부터 덧셈/뺄셈함으로써, 잡음이 제거된 영상 출력 신호(1807)를 얻을 수 있다.

상기한 종래 방식에서는, 순회계수를 크게 함으로써 잡음 제거의 효과는 커지지만, 이 경우 움직임이 있는 부분에 대해서는 프레임 차분에 기인하는 테일링(tailing)의 폐해가 발생한다. 그런 점에서 프레임 차분값에 따라 비선형 처리하거나, 움직임 검출을 하여 그 결과에 따라 순회 계수를 바꾸거나 하는 방법이 있다. 그러나, 종래의 움직임 검출은 프레임 차분값을 그대로 이용하거나 수평 및 수직의 에지 검출을 이용하는 것이기 때문에, 잡음 레벨과 같은 정도이거나 그 이하의 레벨인 움직임 부분에 대해서는 잡음와 움직임의 구별을 할 수 없다. 이 상태에서 잡음을 제거하려고 하면, 테일링 현상이 발생한다. 따라서, 이러한 상태에서는 테일 링의 폐해를 방지하는 관점에서 잡음 제거 효과는 제한되어 있다.

또한, 차분값에 따라 비선형 처리하거나, 움직임 검출을 하여 그 결과에 따라 순회계수를 변경하거나 하는 방법이 있다. 이 방법은 상기한 비특허 문헌에 기재되어 있다. 그러나, 종래의 움직임 검출은 프레임 혹은 필드 차분값을 그대로 이용하거나 하는 것이다. 이 경우 잡음 레벨과 동등하거나 그 이하의 레벨인 움직임 부분에 대해서는 잡음와 움직임의 구별이 불가능하다. 이 상태에서 잡음을 제거하려고 하면 잔상 현상이 발생한다. 따라서, 이러한 상태에서는 잔상의 폐해를 방지하는 관점에서 잡음 제거 효과는 제한되어 있다.

상기의 구성에서는, 프레임 차분에 있어서 움직임에 기인하는 차분값이 잡음에 기인하는 차분값과 동등하거나 그 이하의 레벨인 경우에는 양자의 구별이 불가능하기 때문에 테일링의 발생을 방지하는 목적에서 순회계수를 크게 할 수 없으므로 잡음 제거 효과는 제한된다.

또한, 잡음 양이 많아지기 쉬운 어두운 부분에 대해서 적응적으로 잡음 제거 효과를 높이기 위해서, 자동이득제어(automatic gain control, 이하 AGC라 함) 회로로부터의 정보나 입력 신호 레벨에 의해 잡음 제거 레벨을 제어하는 방법도 생각할 수 있다. 그러나, AGC 회로와의 제휴에 새로운 제어 회로를 부가할 필요가 있으며, 또한 입력 신호 레벨 그 자체를 사용하는 방법에서는 잡음의 영향에 의해 공간 방향에서 제어 레벨의 변동이 일어나기 쉽다.

또한, 순회형 잡음 제거과 공간 방향의 필터를 이용한 비순회형 잡음 제거를 움직임 검출 결과에 따라 적응적으로 병용할 경우, 종래의 불연속적인 움직임 검출 결과를 이용하면 공간 방향의 불연속인 처리에 수반하여 시각적인 부자연스러움이 생기기 쉬울 뿐만 아니라 윤곽을 포함한 움직임 화면 영역에 대하여 공간 방향의 필터를 적용하기 때문에 움직임 화면에 있어서 윤곽이 흐려지기 쉬워 윤곽 보정 회로를 부가할 필요가 있다.

또한, 일반적으로 영상 안에서는 정지 화면 부분이나 움직임 화면 부분은 어떤 일관성을 가지고 출현한다. 따라서, 그 영역에 있어서는 움직임 검출의 결과로부터 인접 화소간에 같은 순회계수를 이용할 가능성이 높으며, 특히 순회계수를 크게 한 경우에는 이로 인해 영상의 부착감(pasting feel) 등 시각적인 부자연스러움이 생기기 쉽다. 또한 약전계시에는 움직임 검출에 있어서의 문턱값이 커져, 순회계수를 크게 하면 화면 전체에 막이 씌어진 듯한 부자연스러움이 생기기 쉽다.

움직임 검출 장치는 적어도, 영상 입력 신호를 프레임 지연시키는 프레임 메모리와, 영상 입력 신호와 프레임 메모리로부터 판독되는 프레임 지연 신호와의 차분을 구하는 뺄셈기와, 뺄셈기의 출력과 임의의 문턱값과의 비교를 수행하는 비교부와, 비교부로부터 출력되는 신호를 지연시키는 제 1 라인 메모리와, 제 1 라인 메모리의 신호를 더욱 지연시키는 제 2 라인 메모리와, 영상 신호의 각 화소를 중심으로 수평 및 수직 방향으로 인접하는 다수의 화소를 하나의 블록으로 하고, 비교부로부터의 출력과 상기 제 1 라인 메모리로부터의 출력과 제 2 라인 메모리로부터의 출력에 대하여 블록 내의 각 화소의 총합을 구하여, 그 합과 임의의 문턱값을 비교하는 블록 판별부를 구비한다.

잡음 제거 장치는 적어도, 상기한 움직임 검출 장치와, 뺄셈기의 출력에 대하여 계수를 곱하여 영상 입력 신호와 덧셈/뺄셈을 수행함으로써 잡음을 제거하는 잡음 제거 처리부와, 비교부와 특이점 제거부의 라인 지연량 만큼 잡음 제거 처리부로부터의 출력을 지연시키는 제 3 라인 메모리와, 비교부와 특이점 제거부의 라인 지연량만큼 영상 입력 신호를 지연시키는 제 4 라인 메모리와, 제 3 라인 메모리의 출력과 제 4 라인 메모리의 출력을 움직임 검출 결과 신호에 따라 선택하여 영상 출력 신호를 출력하는 선택기를 구비하며, 프레임 메모리에 선택기에 의해 선택된 영상 출력 신호가 입력된다.

도 1은 본 발명의 제 1 실시예에 있어서의 블록 판별을 이용한 움직임 검출 장치를 나타내는 도면.

도 2는 본 발명의 제 2 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 3은 본 발명의 제 3 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 4A 내지 도 4C는 블록 판별에 따른 움직임 검출의 설명도.

도 5는 본 발명의 제 4 실시예에 있어서의 움직임 검출 장치를 나타내는 도면.

도 6A 내지 도 6E는 본 발명의 제 4 실시예에 있어서의 움직임 검출의 설명도.

도 7은 본 발명의 제 5 실시예에 있어서의 움직임 검출 장치를 나타내는 도면.

도 8은 본 발명의 제 5 실시예에 있어서의 특이점 제거의 설명도.

도 9는 본 발명의 제 6 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 10은 본 발명의 제 7 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 11A 와 도 11B는 본 발명의 제 7 실시예에 있어서의 이득 제어의 설명도.

도 12는 본 발명의 제 8 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 13은 본 발명의 제 8 실시예에 있어서의 레벨 조정의 설명도.

도 14는 본 발명의 제 9 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 15A와 도 15B는 본 발명의 제 9 실시예에 있어서의 이득 조정의 설명도.

도 16은 본 발명의 제 10 실시예에 있어서의 잡음 제거 장치를 나타내는 도면.

도 17은 본 발명의 제 10 실시예에 있어서의 블렌딩 계수의 산출 방법 설명도.

도 18A와 도 18B는 종래의 프레임 순회형 잡음 제거 장치를 나타내는 도면.

(도면의 주요 부분에 대한 부호의 설명)

101, 201, 301 : 프레임 메모리

102, 202, 302, 502, 702, 902, 1002, 1202, 1402, 1602 : 뺄셈기

103, 203, 303 : 비교부

104, 204, 304, 504, 704, 904, 1004, 1204, 1404, 1604 : 제 1 라인 메모리

105, 205, 305, 505, 705, 905, 1005, 1205, 1405, 1605 : 제 2 라인 메모리

106, 206, 306, 508, 731, 931, 1031, 1231, 1431, 1631 : 블록 판별부

107, 207, 307, 710, 910, 1010, 1210, 1410, 1610 : 특이점 제거부

108, 212, 313, 551, 732, 951, 1051, 1251, 1451, 1651 : 영상 입력 신호

208, 308 : 잡음 제거 처리부

209, 309 : 제 3 라인 메모리

210, 310 : 제 4 라인 메모리

211, 311 : 선택기

213, 314, 952, 1052, 1252, 1452, 1652 : 영상 출력 신호

312 : 필터

501, 701, 901, 1001, 1201, 1401, 1601 : 메모리

503, 703, 903, 1003, 1203, 1403, 1603 : 가중 처리부

506, 706, 906, 1006, 1206, 1406, 1606 : 제 1 덧셈부

507, 707, 907, 1007, 1207, 1407, 1607 : 움직임 계수 생성부

708, 908, 1008, 1208, 1408, 1608 : 제 2 덧셈기

709, 909, 1009, 1209, 1409, 1609 : 제 3 덧셈기

911, 1011, 1211, 1411, 1611 : 제 5 라인 메모리

912, 1012, 1212, 1412, 1612 : 제 6 라인 메모리

914, 1014, 1214, 1414, 1614 : 제 1 곱셈기

915, 1015, 1215, 1415, 1615 : 제 2 곱셈기

916, 1016, 1216, 1416, 1616 : 덧셈/뺄셈기

917 : 이득

913, 1013, 1213, 1413, 1613 : 제 2 뺄셈기

1017, 1217, 1417, 1617 : 제 1 선택기

1041, 1241, 1441 : 제 1 이득

1042, 1242, 1442 : 제 2 이득

1043, 1243, 1443 : 제어신호

1218, 1418, 1618 : 레벨 조정부

1419, 1619 : 평균값 회로

1420, 1620 : 이득 조정부

1621 : 필터 처리부

1622 : 블렌딩 계수 연산부

1623 : 블렌딩 처리부

1624 : 윤곽 검출부

1625 : 제 2 선택기

본 발명은 종래의 움직임 검출 장치나 잡음 제거 장치에서의 과제를 해결하는 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치를 제공한다.

이하, 본 발명의 실시예에 대하여 도면을 참조하면서 설명한다.

(제 1 실시예)

먼저, 제 1 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명 제 1 실시예의 움직임 검출 장치의 구성도를 나타낸다.

프레임 메모리(101)는 영상 입력 신호(108)를 프레임 지연시키고, 뺄셈기(102)는 영상 입력 신호(108)와 프레임 메모리(101)로부터 판독되는 프레임 지연 신호와의 차분을 구한다. 비교부(103)는 뺄셈기(102)로부터의 출력과 소정의 문턱값과의 비교를 수행하고, 그 결과에 따라 소망하는 신호를 발생시킨다. 제 1 라인 메모리(도 1에서는 라인 메모리라고 기재한다, 104)는 비교부(103)로부터 출력되는 신호를 1 라인(1 수평 주사 시간) 지연시키고, 제 2 라인 메모리(도 1에서는 라인 메모리라고 기재한다, 105)는 제 1 라인 메모리(104)의 출력을 다시 1 라인 지연시킨다. 블록 판별부(106)는 블록 내의 각 화소의 총합을 구하고, 이 총합과 소정의 문턱값을 비교하여, 그 결과에 따라 소망하는 신호를 그 블록의 중심 화소의 값으로 출력한다. 이 블록은 각 화소를 중심으로 하여, 그 화소와 수평 및 수직 방향 근방의 몇 개의 화소로 구성된다. 블록을 구성하는 화소는 비교부(103) 및 제 1 라인 메모리(104) 및 제 2 라인 메모리(105)로부터 얻을 수 있다. 특이점 제거부(107)는 블록 판별부(106) 등에서의 일련의 처리로 발생하는 특이점을 제거하여 움직임 검출 결과로서 출력한다. 특이점 제거부(107)에서 특이점을 제거하는 처리는 블록 판별부(106)의 결과를 수평 혹은 수직 방향으로 몇 화소 확대 적용하거나, 시간축 방향으로 확대 적용하거나, 블록 판별부(106)에서의 처리 전 신호와 각 화소에 있어서 비교하거나 함으로써 실행된다.

이하 구체적인 예를 들어 그 동작을 설명한다.

뺄셈기(102)는 영상 입력 신호(108)가 프레임 메모리(101)에 있어서 1 프레임 지연된 신호와 영상 입력 신호(108)와의 사이에서 프레임 차분을 구하고, 그 프레임 차분을 비교부(103)에 입력한다. 비교부(103)는 프레임 차분과 소정의 문턱값과의 레벨을 비교하여, 그 비교 결과에 따라 소망하는 신호를 출력한다. 비교부(103)는 프레임 차분값의 절대값을 구하고, 이것과 문턱값과의 대소 관계를 비교하여, 차분값의 절대값이 문턱값보다 작으면 0, 그 이상이면 1의 1 비트의 신호를 출력한다.

도 4A는 비교부(103)의 특성 예를 나타내고 있다. 도 4A에 있어서, 가로축(411)은 상기한 프레임 차분, 세로축(412)은 프레임 차분의 절대값, 직선(413 및 414)은 프레임 차분과 프레임 차분의 절대값과의 관계를 나타내고 있다. 또한, 프레임 차분과 프레임 차분의 절대값은, 문턱값(415)을 경계로 하여 영역(416)과 영역(417)으로 분할된다. 비교부(103)는 영역(416)에서는 0을, 영역(417)에서는 1을 각각 출력한다.

이 때, 프레임 차분 신호에 대하여 저역 통과 필터 처리를 하거나 하여 다소의 잡음을 제거하는 것도 가능하다. 이 1 비트의 신호와, 이것이 제 1 라인 메모리(104)에서 1 라인 지연된 신호와, 제 1 라인 메모리(104)의 출력 신호가 제 2 라인 메모리(105)에서 1 라인 더 지연된 신호가 블록 판별부(106)에 입력된다.

블록 판별부(106)의 동작을 도 4B 및 도 4C를 이용하여 설명한다. 도 4B에 있어서, 화살표(421)는 화면의 수평방향을, 화살표(422)는 화면의 수직방향을 각각 나타내고 있다. 화소(P6)를 중심으로 3화소, 5화소, 3화소의 총 11 화소가 하나의 블록으로 처리된다. 이 때 비교부(103)의 출력은 화소(P9), 화소(P10), 화소(P11)이고, 제 1 라인 메모리(104)의 출력은 화소(P4), 화소(P5), 화소(P6), 화소(P7), 화소(P8)이며, 제 2 라인 메모리(105)의 출력은 화소(P1), 화소(P2), 화소(P3)이다.

도 4C는, 도 4B의 각 화소에 대한 비교부(103)의 출력을 나타내고 있다. 사선이 그어진 화소는 0을, 사선이 그어지지 않은 화소는 1을 의미하고 있다. 블록 판별부(106)에 있어서는 이 11화소에 대하여, 비교부(103)와 라인 메모리(104)와 라인 메모리(105)로부터 출력된 1 비트의 신호(1이나 0)의 총합을 구하여, 그 총합과 소정의 문턱값으로 그 대소 관계를 비교한다. 이 때 총합의 최소값은 0이고 최대값은 11이다. 블록 판별부(106)는, 이것이 문턱값보다도 작으면 0을, 그 이상이면 1의 1 비트의 신호를 중심 화소(P6)의 값으로 출력한다. 여기에서 1의 값을 갖는 화소는 움직임이 있는 화소로 간주된다. 도 4C에서는 총합이 7이고, 문턱값이 6이기 때문에, 블록 판별부(106)는 P6이 움직임 부분이라고 판단하여 1을 출력한다. 이 처리는, 영상의 움직임 부분은 다수의 인접 화소에서 어느 정도의 일관성을 가지고 나타난다는 것과, 잡음은 인접 화소 사이에서 제각각 출현한다고 하는 랜덤 특성을 이용하고 있다. 블록 판별부(106)는 이러한 블록에 의한 판별을 각 화소에서 수행하고, 그 판별 결과를 특이점 제거부(107)에 입력한다.

여기에서는, 수평 혹은 수직 방향으로 블록 판별부(106)의 결과를 몇 화소 확대 적용하거나, 시간축 방향으로 확대 적용하는 경우를 예로 든다. 예를 들면, 수평으로 1 화소 확대 적용한다는 것은, 도 4B에 있어서 화소(P6)가 1(움직임)이라면 화소(P5), 화소(P7)도 1로 하여 움직임이 있는 화소로 하는 것이다. 이것은 상기한 바와 같은 블록 판별에 있어서는 움직임의 부분과 그렇지 않은 부분의 경계에서 (본래 1인 부분이 0으로 판정되는) 오판정이 일어나기 쉽기 때문에, 움직임 부분을 확대하여 오판정을 보정하는 것이다. 이렇게 하여 오검출을 보정한 신호를 움직임 검출의 결과 출력 신호로서 출력한다. 이러한 블록에 의한 판별을 이용함으로써 입력 신호에 포함되는 잡음의 영향을 억제하고 영상의 움직임 부분만을 검출하는 것이 가능해진다.

(제 2 실시예)

다음으로 본 발명의 제 2 실시예에 대하여 상세하게 설명한다.

도 2에 제 2 실시예의 잡음 제거 장치의 구성도를 나타낸다. 도 2의 프레임 메모리(201), 뺄셈기(202), 비교부(203), 제 1 라인 메모리(도 2에서는 라인 메모리라고 기재한다, 204), 제 2 라인 메모리(도 2에서는 라인 메모리라고 기재한다, 205), 블록 판별부(206), 특이점 제거부(207)는 도 1의 프레임 메모리(101), 뺄셈기(102), 비교부(103), 제 1 라인 메모리(104), 제 2 라인 메모리(105), 블록 판별부(106), 특이점 제거부(107)와 각각 동등한 기능을 갖는다. 따라서, 이들에 대해서는 상세한 설명을 생략한다. 다만, 프레임 메모리(201)는 이 잡음 제거 장치의 영상 출력 신호를 프레임 지연시킨다.

잡음 제거 처리부(208)는 뺄셈기(202)의 출력에 대하여 소정의 계수를 곱하고, 영상 입력 신호(212)와 덧셈/뺄셈을 수행하거나 하여 잡음을 제거한다. 제 3 라인 메모리(도 2에서는 라인 메모리라고 기재한다, 209)는, 비교부(203)와 특이점 제거부(207)의 라인 지연량만큼 잡음 제거 처리부(208)로부터의 출력을 지연한다. 제 4의 라인 메모리(도 2에서는 라인 메모리라고 기재한다, 210)는, 비교부(203)와 특이점 제거부(207)의 라인 지연량만큼 영상 입력 신호(212)를 지연한다. 선택기(211)는 제 3의 라인 메모리(209)에 의해 지연된 잡음 제거 처리부(208)로부터의 출력과 제 4 라인 메모리(210)에 의해 지연된 영상 입력 신호(212)를 특이점 제거부(207)로부터의 움직임 검출 결과에 따라 선택한다. 그렇게 하여 선택기(211)는 선택한 신호를 영상 출력 신호(213)로서 출력한다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

뺄셈기(202)는 프레임 메모리(201)에서 프레임 지연된 영상 출력 신호(213)와 영상 입력 신호(212)와의 프레임 차분을 구한다. 이 프레임 차분을 이용하여 상기한 제 1 실시예와 같은 방법으로 움직임 검출이 수행되고, 특이점 제거부(207)로부터 움직임 검출의 결과 신호로서 각 화소에 대하여 움직임 부분이면 1이, 그렇지 않으면 0이 출력된다. 한편, 잡음 제거 처리부(208)는 뺄셈기(202)의 출력 결과(프레임 차분)에 대해서 그 차분량에 따른 소정의 계수(0 이상 1 미만)를 곱하고, 그 결과를 영상 입력 신호(212)로부터 프레임 차분의 부호에 따라 덧셈/뺄셈함으로써 잡음 제거를 수행한다. 제 3 라인 메모리(209)는 비교부(203)와 특이점 제거부(207)의 라인 지연량만큼 잡음 제거 처리부(208)로부터의 출력을 지연한다. 또한 제 4 라인 메모리(210)는 비교부(203)와 특이점 제거부(207)의 라인 지연량만큼 영상 입력 신호(212)를 지연한다. 즉 이 경우, 도 4B에 나타난 바와 같이 3 라인의 블록 판별을 수행하여 그 중심 화소가 1 라인 지연 신호에 해당하기 때문에, 제 3 라인 메모리(209)와 제 4 라인 메모리(210)에서는 1 라인 지연이 실행된다. 선택기(211)는 제 3 라인 메모리(209)에 의해 지연된 잡음 제거 처리부(208)로부터의 출력과 제 4 라인 메모리(210)에 의해 지연된 영상 입력 신호(212)를 특이점 제거부(207)로부터의 움직임 검출 결과에 따라 선택한다. 구체적으로는, 선택기(211)는 움직임 검출 결과가 1(움직임)이면 제 4 라인 메모리(210)에서 지연된 영상 입력 신호를, 0이면 제 3 라인 메모리(209)에서 지연된 잡음 제거 처리부(208)로부터의 신호를 선택하여 영상 출력 신호(213)로서 출력한다. 이 잡음 제거 장치에서는 도 1에 나타낸 움직임 검출 장치에 의해 잡음의 영향을 억제한 움직임 검출이 가능하기 때문에, 잡음 제거 처리부(208)에 있어서 종래보다도 잡음 제거 효과를 크게 할 수 있음과 동시에 움직임 부분에 기인하는 테일링의 폐해도 억제할 수 있게 된다.

(제 3 실시예)

다음으로 본 발명의 제 3 실시예에 대하여 상세하게 설명한다.

도 3은 제 3 실시예에 있어서의 잡음 제거 장치의 구성 예를 나타낸다.

도 3은 프레임 메모리(301), 뺄셈기(302), 비교부(303), 제 1 라인 메모리(도 3에서는 라인 메모리라고 기재한다, 304), 제 2 라인 메모리(도 3에서는 라인 메모리라고 기재한다, 305), 블록 판별부(306), 특이점 제거부(307), 잡음 제거 처리부(308), 제 3 라인 메모리(도 3에서는 라인 메모리라고 기재한다, 309), 제 4 라인 메모리(도 3에서는 라인 메모리라고 기재한다, 310), 선택기(311)는 도 2의 프레임 메모리(201), 뺄셈기(202), 비교부(203), 제 1 라인 메모리(204), 제 2 라 인 메모리(205), 블록 판별부(206), 특이점 제거부(207), 잡음 제거 처리부(208), 제 3 라인 메모리(209), 제 4 라인 메모리(210), 선택기(211)와 각각 동등한 기능을 갖는다. 따라서, 이들에 대해서는 상세한 설명을 생략한다. 필터(312, 도 3에서는 LPF라고 기재한다)는 잡음이 들어간 영상 입력 신호(313)에 대하여 저역 통과 필터 처리에 의해 잡음 성분을 경감시킨다. 도 2에 기재된 잡음 제거 장치에서는, 움직임 부분으로서 검출되며, 또한, 잡음을 많이 포함한 영상 입력 신호(212)가 그대로 출력되는 부분과, 잡음 제거 처리부(208)에서 잡음이 제거되는 부분과의 잡음량의 차에 따른 시각적인 부자연스러움이 발생하는 경우가 있다. 이에 대하여, 도 3의 구성을 취함으로써 상기한 잡음량의 차에 따른 시각적인 부자연스러움을 경감할 수 있게 된다.

또한, 잡음량이 그다지 많지 않은 경우에는 필터 처리에 따른 화질 저하를 피하기 위하여 필터 처리를 하지 않도록 제어하는 것도 가능하다.

(제 4 실시예)

다음으로 본 발명의 제 4 실시예에 대하여 상세하게 설명한다.

도 5는 제 4 실시예에 있어서의 움직임 검출 장치의 구성도를 나타낸다.

도 5는 영상 입력 신호(551), 뺄셈기(502), 제 1 라인 메모리(도 5에서는 라인 메모리라고 기재한다, 504), 제 2 라인 메모리(도 5에서는 라인 메모리라고 기재한다, 505), 블록 판별부(508)는 각각 도 1의 영상 입력 신호(108), 뺄셈기(102), 제 1 라인 메모리(104), 제 2 라인 메모리(105), 블록 판별부(106)와 같다. 따라서, 이들에 대해서는 상세한 설명을 생략한다.

메모리(501)는 도 1의 프레임 메모리(101)에 대응한다. 가중 처리부(503)는 도 1의 비교부(103)에 대응한다. 가중 처리부(503)는 도 1의 비교부(103)보다도 많은 문턱값을 가지며, 출력 패턴 수도 많다. 즉, 가중 처리부(503)는 뺄셈기(502)의 출력을 그 값에 따라 소정의 문턱값에 따라 다수의 레벨로 가중을 수행한다. 제 1 덧셈기(도 5에서는 덧셈기라고 기재한다, 506)와 움직임 계수 생성부(507)가 블록 판별부(508)를 구성하고 있다.

제 1 덧셈기(506)는 영상 신호의 각 화소를 중심으로 수평 및 수직 방향으로 인접하는 다수의 화소를 하나의 블록으로 취급하고, 가중 처리부(503)의 출력과 제 1 라인 메모리(504)의 출력과 제 2 라인 메모리(505)의 출력에 대하여 블록 내의 각 화소의 총합을 구한다. 움직임 계수 생성부(507)는 제 1 덧셈기(506)에 있어서의 덧셈 결과에 따라 비선형인 연속 함수를 이용하여 블록의 중심 화소에 대한 움직임 계수(532)를 생성하고 그 움직임 계수(532)를 출력한다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

가중 처리부(503)는 뺄셈기(502)의 출력을 그 값에 따라 소정의 문턱값에 의해 다수의 레벨로 가중을 수행한다. 여기에서는 4개의 레벨로 가중을 수행하는 예를 설명한다.

도 6A는 4개의 레벨로 가중을 수행하는 가중 처리부(503)의 입출력 관계를 나타내고 있다. 도 6A에 있어서, 가로축(611)은 프레임 차분, 세로축(612)은 프레임 차분의 절대값, 직선(613, 614)은 프레임 차분과 프레임 차분의 절대값과의 관계를 나타내고 있다. 또한, 프레임 차분과 프레임 차분의 절대값은, 문턱값(615, 616, 617)를 경계로 하여, 영역(618)과 영역(619)과 영역(620)과 영역(621)으로 분할된다. 가중 처리부(503)는 프레임 차분값의 절대값을 구하고, 그 크기에 따라 3개의 문턱값(th1, th2, th3)을 이용하여 이것을 0부터 3까지 4개의 레벨로 가중을 수행한다. 그 절대값이 th1보다 작으면 영역(618)에 해당하므로 0을, 문턱값 th1 이상 th2 미만이면 영역(619)에 해당하므로 1을, th2 이상 th3 미만이면 영역(620)에 해당하므로 2를, th3 이상이면 영역(621)에 해당하므로 3이 출력된다. 이렇게, 가중 처리부(503)는 0부터 3 중 어느 하나를 나타내는 2 비트의 신호를 출력한다. 이 때 프레임 차분 신호에 대하여 저역 통과 필터 처리를 하거나 하여 다소의 잡음을 제거하는 것도 가능하다.

상기 2 비트의 신호와, 이것이 제 1 라인 메모리(504)에서 1 라인 지연된 신호와, 제 1 라인 메모리(504)의 출력 신호가 제 2 라인 메모리(505)에서 1 라인 더 지연된 신호가 제 1 덧셈기(506)에 입력된다. 제 1 덧셈기(506)는 예를 들면 도 6B와 같이 화소(P6)의 화소를 중심으로 한 합계 11화소를 하나의 블록으로 하여 덧셈 처리를 수행한다. 가중 처리부(503)의 출력은 화소(P9), 화소(P10), 화소(P11)이며, 제 1 라인 메모리(504)의 출력은 화소(P4), 화소(P5), 화소(P6), 화소(P7), 화소(P8)이고, 제 2 라인 메모리(505)의 출력은 화소(P1), 화소(P2), 화소(P3)이다. 화살표(631)와 화살표(632)는 도 4B의 화살표(421)와 화살표(422)와 각각 같다. 제 1 덧셈기(506)는 이들 화소(P1)부터 화소(P11)의 11화소의 가중된 2 비트의 값을 덧셈 처리하여 중심 화소(P6)의 값으로 출력한다. 즉 덧셈 결과의 최소값은 0이고 최대값은 33이며, 이 값이 클수록 그 영역이 움직임 영역일 가능성이 높다. 움직임 계수 생성부(507)는 이 덧셈 결과에 따라 비선형인 연속 함수를 이용하여 중심 화소(P6)에 대한 움직임 계수(532)를 생성하고 출력한다.

도 6C는, 움직임 계수 생성부(507)의 특성 예를 나타내고 있다. 도 6C에 있어서, 가로축(651)은 제 1 덧셈기(506)의 덧셈 결과를, 세로축(652)은 움직임 계수 생성부(507)에서 출력되는 움직임 계수를, 선(653)은 입력되는 덧셈 결과와 출력되는 움직임 계수와의 관계를 각각 나타낸다. 도 6C가 나타내는 바와 같이, 덧셈 결과가 작을수록 움직임 계수는 1에 가깝고, 덧셈 결과가 크면 움직임 계수는 0에 가까워진다. 즉, 정지 화면일수록 1에 가까워지고, 덧셈 결과가 큰 움직임 화면일수록 0에 가까운 값이 움직임 계수로 산출된다. 실제로 디지털 처리할 경우, 예를 들면 32부터 0이라는 정수값이 출력되어, 처리의 마지막에 32로 나누어지게 된다. 이 때 덧셈 결과가 0에 가까운 부분(덧셈 결과가 a 이하)에 대해서는 잡음에 기인한 값일 가능성이 높기 때문에, 정지 화면 즉 움직임 계수는 1로 한다. 또한 덧셈 결과가 커지면(덧셈 결과가 b보다 큰 부분) 움직임 화면일 가능성이 높기 때문에 움직임 화면 즉 움직임 계수를 0으로 한다. 나머지 부분에 대해서는 고차 함수에 의해 비선형인 움직임 계수가 산출된다. 이 때 덧셈 결과는 a 및 b의 위치에서 각각 1 및 0이 되도록 한다.

이 일례를 도 6D와 도 6E를 이용하여 설명한다. 도 6D에서 가로축(661)은 덧셈 결과를, 세로축(662)은 연산 결과를, 선(663)은 입력되는 덧셈 결과와 연산 결과와의 관계를 각각 나타낸다. 또한, 도 6E에서, 가로축(671)은 덧셈 결과를, 세로축(672)은 움직임 계수를, 선(673)은 입력되는 덧셈 결과와 출력되는 움직임 계수 와의 관계를 각각 나타내고 있다. 먼저 덧셈 결과로부터 a(1 이상의 정수)가 마이너스되어, 결과는 (-a) 이상 (33-a) 이하가 된다. 다음으로 32에서 이 결과가 마이너스되어, (a-1) 이상 (32+a) 이하가 되고, 그것이 32로 제한되면 선(663)과 같이 된다. 이 연산 결과를 x, a를 3으로 하여 x에 대하여 (x⁴)/(32³)이라는 4차 함수를 구하면 도 6E와 같은 움직임 계수를 얻을 수 있다.

여기에서는 움직임 계수를 32배한 것이 된다(이 움직임 계수를 곱셈하는 경우에는 곱셈한 후에 32로 나누게 된다). 디지털 처리를 고려하면 실제로는 소수점 이하는 버리게 되기 때문에, 덧셈 결과가 22 이상이고 움직임 계수가 0이 된다. 이로 인해 가중 처리에서 이용하는 문턱값만으로 보다 많은 움직임 계수를 구할 수 있기 때문에, 보다 연속적인 움직임 계수를 이용한 처리가 가능하게 된다. 문턱값에 의해 움직임 계수를 판별하는 방법에서는, 연속적인 계수를 얻기 위해서는 보다 많은 문턱값이 필요하기 때문에 제어가 복잡해지는 등의 문제가 생긴다. 본 실시예는, 가중 처리를 수행하여 소정의 블록 단위에서 그 가중치의 덧셈을 수행하고, 그로부터 비선형의 함수에 의해 움직임 계수를 구하는 방법이다. 이 방법에서는, 가중함으로써 보다 적은 회로 규모로 비선형 특성의 연속적인 움직임 계수를 얻을 수 있다. 물론, 가중하지 않고 프레임 차분값을 그대로 블록 단위로 덧셈하여, 그 결과로부터 비선형 특성을 갖는 움직임 계수를 구할 수도 있다(가중의 문턱값을 늘려 가는 것에 해당한다). 또한 블록 단위로 덧셈 처리하는 목적은, 영상의 움직임 부분은 다수의 인접 화소에서 어느 정도 일관성을 갖고 나타난다는 것과, 잡음은 인 접 화소간에 제각각 출현하는 랜덤 특성을 갖는다는 것을 이용한 것이다. 이로 인해 잡음과 움직임을 구별하고 입력 신호에 포함되는 잡음의 영향을 억제하여 영상의 움직임 부분만을 검출하는 것이 가능해진다.

(제 5 실시예)

다음으로 본 발명의 제 5 실시예에 대하여 상세하게 설명한다.

도 7은 제 5 실시예에 있어서의 움직임 검출 장치의 구성도를 나타낸다. 도 7에 있어서, 영상 입력 신호(732), 메모리(701), 뺄셈기(702), 가중 처리부(703), 제 1 라인 메모리(도 7에서는 라인 메모리라고 기재한다, 704), 제 2 라인 메모리(도 7에서는 라인 메모리라고 기재한다, 705), 블록 판별부(731), 제 1 덧셈기(도 7에서는 덧셈기라고 기재한다, 706), 움직임 계수 생성부(707), 움직임 계수(733)는 각각 도 5의 영상 입력 신호(551), 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 블록 판별부(508), 제 1 덧셈기(506), 움직임 계수 생성부(507), 움직임 계수(532)와 같다. 따라서, 이들에 대한 상세한 설명을 생략한다.

제 2 덧셈기(도 7에서는 덧셈기라고 기재한다, 708)는 가중 처리부(703)로부터의 출력에 대하여, 처리 단위인 상기한 블록 내의 동일 라인에 있는 화소의 합을 구한다. 제 3 덧셈기(도 7에서는 덧셈기라고 기재한다, 709)는 제 2 라인 메모리(705)로부터의 출력에 대하여 블록 내의 동일 라인에 있는 화소의 합을 구한다. 특이점 제거부(710)는 제 2 덧셈기(708)의 덧셈 결과 및 제 3 덧셈기(709)의 덧셈 결과에 따라, 움직임 계수 생성부(707)로부터 출력되는 움직임 계수를 보정한다. 즉, 특이점 제거부(710)는 움직임 계수 생성부(707)로부터 출력되는 움직임 계수를 수직 방향으로 움직임 부분을 확대하거나, 혹은 움직임 계수 생성부(707)로부터의 움직임 계수에 대하여 수평 방향으로 움직임 부분을 확대하거나 함으로써, 블록 단위에서의 처리에서 발생하기 쉬운 특이점을 제거한다.

이하 구체적인 예를 들어 그 동작을 설명한다.

제 4 실시예와 같은 방법으로 영상 입력 신호(732)에 대한 움직임 계수가 움직임 계수 생성부(707)로부터 출력된다. 제 2 덧셈기(708)는 도 6B의 화소(P9), 화소(P10), 화소(P11)의 3화소에 대한 가중 처리부(703)에서 가중된 2 비트의 값을 덧셈한다. 또한 제 3 덧셈기(709)는 제 2 라인 메모리(705)로부터 출력되는 도 6B의 화소(P1), 화소(P2), 화소(P3)의 3화소에 대한 가중된 2 비트의 값을 덧셈한다. 각각의 덧셈 결과가 특이점 제거부(710)에 입력된다.

특이점 제거부(710)는, 그 덧셈 결과에 따라 움직임 계수 생성부(707)로부터의 움직임 계수를 보정하여 수직 방향으로 움직임 부분을 확대하거나 움직임 계수 생성부(707)로부터의 움직임 계수에 대하여 수평 방향으로 움직임 부분을 확대하여 블록 단위의 처리에서 발생하기 쉬운 특이점을 제거한다.

다음으로, 특이점 제거부(710)에서의 처리의 일례를 설명한다. 먼저 각 화소에 대하여 움직임 계수 생성부(707)로부터 출력되는 제 4 실시예에서 나타낸 도 6E와 같은 움직임 계수에 대하여, 좌우 1화소 내지 2 화소의 최소값을 그 중심 화소의 움직임 계수로 함으로써 수평 방향으로 움직임 부분을 확대할 수 있다. 또한 수직 방향의 움직임 부분의 확대에서는, 도 8에 나타난 바와 같이, 제 2 덧셈기(708) 혹은 제 3 덧셈기(709)의 덧셈 결과(최소값은 0, 최대값은 9이다)에 의해 처리 블록 단위의 중심 화소(P6)의 움직임 계수를 보정한다. 도 8의 화살표(801), 화살표(802), 화소(P1)부터 화소(P11)는, 도 6B의 화살표(631), 화살표(632), 화소(P1)부터 화소(P11)에 대응한다. 특이점 제거부(710)는 예를 들면, 덧셈 결과가 7 이상이면 화소(P6)의 움직임 계수를 0으로 하는 식으로 하여 움직임 계수 생성부(707)로부터의 움직임 계수를 보정하여 움직임 부분을 확대한다. 이러한 처리에 의해 블록 단위의 처리에서 발생하기 쉬운 특이점을 제거할 수 있게 된다.

(제 6 실시예)

다음으로 본 발명의 제 6 실시예에 대하여 상세하게 설명한다.

도 9는 제 6 실시예에 있어서의 잡음 제거 장치의 구성 예를 나타낸다. 도 9에 있어서의 영상 입력 신호(951), 메모리(901), 뺄셈기(902), 가중 처리부(903), 제 1 라인 메모리(도 9에서는 라인 메모리라고 기재한다, 904), 제 2 라인 메모리(도 9에서는 라인 메모리라고 기재한다, 905), 블록 판별부(931), 제 1 덧셈기(도 9에서는 덧셈기라고 기재한다, 906), 움직임 계수 생성부(907)의 각 블록은 도 5의 영상 입력 신호(551), 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 블록 판별부(531), 제 1 덧셈기(506), 움직임 계수 생성부(507)의 각 블록과 동등한 기능을 갖는다. 또한, 제 2 덧셈기(도 9에서는 덧셈기라고 기재한다, 908), 제 3 덧셈기(도 9에서는 덧셈기라고 기재한다, 909), 특이점 제거부(910)의 각 블록은 도 7의 제 2 덧셈기(708), 제 3 덧셈기(709), 특이점 제거부(710)의 각 블록과 동등한 기능을 갖는다. 따라서, 이들에 대 해서는 상세한 설명을 생략한다.

도 5의 라인 메모리(911, 도 9에서는 라인 메모리라고 기재한다)는 영상 입력 신호(951)를 1 라인 지연시킨다. 제 6 라인 메모리(도 9에서는 라인 메모리라고 기재한다, 912)는 메모리(901)로부터 판독되는 신호를 1 라인 지연시킨다. 제 2 뺄셈기(913)는 제 5 라인 메모리(911)로부터의 신호와 제 6 라인 메모리(912)로부터의 신호의 차분을 구한다. 제 1 곱셈기(914)는 제 2 뺄셈기(913)의 출력에 소정의 이득(0 이상 1 이하)을 곱한다. 제 2 곱셈기(915)는 제 1 곱셈기(914)의 결과에 움직임 계수 생성부(907) 및 특이점 제거부(910)에 의해 결정되는 움직임 계수를 곱한다. 덧셈/뺄셈기(916)는 제 2 뺄셈기(913)에 있어서의 뺄셈 결과의 플러스 마이너스 부호에 따라 제 2 곱셈기(915)의 출력을 제 5 라인 메모리(911)의 신호에 덧셈/뺄셈한다. 메모리(901)는 덧셈/뺄셈기(916)로부터의 영상 출력 신호(952)를 (1 프레임 - 1 라인) 지연한 신호를 출력한다. 이것은 제 4 실시예 혹은 제 5 실시예에서 나타낸 움직임 검출 장치를 이용한 순회형 잡음 제거 장치이다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

뺄셈기(902)는 영상 출력 신호(잡음 제거된 신호, 952)를 메모리(901)에 있어서 (1 프레임 - 1 라인) 지연한 신호와 영상 입력 신호(951)와의 차분을 구한다. 메모리(901)에서의 지연량이 1 프레임보다도 1 라인 적은 이유는, 제 4 실시예 혹은 제 5 실시예에서 나타내어진 움직임 검출 장치에 있어서 움직임 계수의 출력이 영상 입력 신호(951)에 대하여 1 라인 늦어지기 때문이다. 이 차분에 대하여, 제 4 실시예 및 제 5 실시예에서 설명된 방법에 의해, 움직임 계수 생성부(907) 및 특이 점 제거부(910)를 거쳐 움직임 계수가 결정된다. 한편, 제 2 뺄셈기(913)는, 영상 입력 신호(951)가 제 5 라인 메모리(911)에 있어서 1 라인 지연된 신호와, 메모리(901)로부터의 신호가 제 6 라인 메모리(912)에 있어서 1 라인 지연된 신호와의 차분을 구한다. 제 1 곱셈기(914)는 그 차분에 대하여 임의의 이득(0 이상 1 이하, 917)을 곱한다. 이 이득(917)은 움직임 계수와는 독립적으로 곱하는 계수로서 순회량을 결정하는 요소 중 하나이다. 이득(917)을 크게 하면 잡음 제거 효과가 커진다. 디지털 처리의 경우를 가정하면, 제 1 곱셈기(914)는 실제로는 예를 들면 32배 한 것, 즉 0 이상 32 이하의 정수값을 차분값에 곱한 후에 그 결과를 32로 나눈다. 제 2 곱셈기(915)는 이 제 1 곱셈기(914)의 결과에 대하여, 움직임 계수 생성부(907) 및 특이점 제거부(910)에 의해 결정되는 움직임 계수를 곱한다. 이 때 움직임 계수로는 예를 들면 제 4 실시예에서 나타낸 도 6E와 같은 계수를 곱한다. 즉, 제 2 곱셈기(915)는 움직임에 따라 0부터 32까지의 정수값을 곱하고, 그 후 32로 나누게 된다. 이로 인해, 제 1 곱셈기(914)에서 곱해진 전체 화소에 대해 일정한 이득(순회량)이 그 화소의 움직임량에 따라 조정되게 된다. 제 2 곱셈기(915)의 결과를 제 5 라인 메모리(911)의 신호에 대하여 제 2 뺄셈기(913)에서의 뺄셈 결과의 플러스 마이너스 부호에 따라 덧셈/뺄셈기(916)에서 덧셈/뺄셈함으로써 잡음을 제거할 수 있다.

이 잡음 제거 장치는 제 4 실시예 혹은 제 5 실시예에 기재된 움직임 검출 장치를 채용하고 있다. 이들 움직임 검출 장치를 채용함으로써, 강전계로부터 약전계에 이르기까지 잡음의 영향을 억제한 움직임 검출이 가능함과 동시에 인접 화소 간에 영상의 움직임량에 따라 보다 연속적인 움직임 계수를 얻을 수 있다. 그 때문에, 본 실시예에 있어서의 잡음 제거 장치는 잡음 제거 효과를 크게 할 수 있음과 동시에, 잔상이나 불연속적인 계수를 이용한 처리에 수반되는 영상의 시각적인 부자연스러움을 경감할 수 있게 된다.

(제 7 실시예)

다음으로 본 발명의 제 7 실시예에 대하여 상세하게 설명한다.

도 10은 제 7 실시예에 있어서의 잡음 제거 장치의 구성예를 나타낸다. 도 10에 있어서의 영상 입력 신호(1051), 메모리(1001), 뺄셈기(1002), 가중 처리부(1003), 제 1 라인 메모리(도 10에서는 라인 메모리라고 기재한다, 1004), 제 2 라인 메모리(도 10에서는 라인 메모리라고 기재한다, 1005), 블록 판별부(1031), 제 1 뺄셈기(도 10에서는 덧셈기라고 기재한다, 1006), 움직임 계수 생성부(1007)의 각 블록은 도 5의 영상 입력 신호(551), 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 블록 판별부(508), 제 1 덧셈기(506), 움직임 계수 생성부(507)의 각 블록과 동등한 기능을 갖는다. 또한, 제 2 덧셈기(도 10에서는 덧셈기라고 기재한다, 1008), 제 3 덧셈기(도 10에서는 덧셈기라고 기재한다, 1009), 특이점 제거부(1010)의 각 블록은 도 7의 제 2 덧셈기(708), 제 3 덧셈기(709), 특이점 제거부(710)의 각 블록과 동등한 기능을 갖는다. 또한, 제 5 라인 메모리(도 10에서는 라인 메모리라고 기재한다, 1011), 제 6 라인 메모리(도 10에서는 라인 메모리라고 기재한다, 1012), 제 2 뺄셈기(1013), 제 1 곱셈기(1014), 제 2 곱셈기(1015), 덧셈/뺄셈기(1016) 각 블록은 도 9의 제 5 라인 메모리(911), 제 6 라인 메모리(912), 제 2 뺄셈기(913), 제 1 곱셈기(914), 제 2 곱셈기(915), 덧셈/뺄셈기(916)의 각 블록과 동등한 기능을 갖는다. 따라서, 이들의 상세한 설명은 생략한다.

제 1 선택기(1017)는 제어 신호(1043)에 의해 제어되고, 제 1 이득(1041)과 제 2 이득(1042) 중 어느 한 쪽을 선택한다. 제 1 선택기(1017)는 수평 및 수직 방향 및 프레임 혹은 필드 방향으로 화소마다 결정되는 제어 신호(1043)에 의해 다수의 이득을 스위칭한다.

이하 구체적인 예를 들어 그 동작을 설명한다.

제 6 실시예에서 나타낸 방법에 의해 잡음을 제거하는 잡음 제거 장치에 있어서는, 영상 입력 신호(951)에 대하여 제 1 곱셈기(914)에서 제 2 뺄셈기(913)의 차분 결과에 대하여 이득을 곱한다. 본 실시예의 잡음 제거 장치에 있어서는, 이 이득을 다수 이용하여 이들을 수평 및 수직 방향 및 프레임 혹은 필드 방향으로 화소마다 스위칭한다.

도 11A와 도 11B는 상기한 스위칭의 예를 나타내고 있다. 양 도면은 프레임 내 또는 필드 내에서의 각 화소에 있어서의 이득을 표시하고 있다. G1은 제 1 이득(1041), G2는 제 2 이득(1042)을 나타낸다. 화면(1101)과 화면(1102)은 이웃하는 프레임 또는 필드이다. 화면(1101) 및 화면(1102)에서는 수평 방향 및 수직 방향으로 G1과 G2가 교대로 스위칭되고 있다. 동시에, 화면 내의 동일 위치의 화소에 대하여, 화면(1101)과 화면(1102) 사이에서도 G1과 G2가 교대로 스위칭되고 있다.

상기한 바와 같이 수평 및 수직 방향 그리고 필드 또는 프레임 방향으로 이 웃하는 화소끼리에서 두 개의 이득을 스위칭하는 제어 신호(1043)가 발생되어, 제 1 선택기(1017)에 입력된다. 제 1 선택기(1017)는 이 제어 신호(1043)에 따라 두 개의 이득을 스위칭한다. 이 경우, 한 쪽 이득에 대하여 다른 이득을 그보다 작게 설정함으로써 의도적으로 미세한 잡음을 부가하여, 이득이 커짐에 따른 잔상이나 공간 방향에서의 영상의 부착감 등 시각적 부자연스러움을 경감할 수 있다. 또한 이득을 스위칭함으로써 하나의 이득으로 처리를 수행하는 경우보다도 한 쪽의 이득을 크게 설정할 수 있기 때문에, 보다 큰 잡음 제거 효과를 얻을 수 있다. 따라서, 예를 들면 강전계시에 있어서 부착감이 없도록 이득을 설정하면 한 쪽 이득을 1로 하는 것도 가능해진다. 잡음 제거의 과정에서는 일반적으로 같은 순회 계수를 갖는 화소가 모이기 쉽기 때문에 (특히 정지 화면에 가까운 영역에 대해서는) 부착감 등 시각적인 부자연스러움이 발생하기 쉽다. 그러나, 이렇게 화소 단위로 이득을 제어함으로써 이 현상을 억제할 수 있다. 이 방법은 물론 다른 잡음 제거 장치에서도 적용 가능하다.

(제 8 실시예)

다음으로 본 발명의 제 8 실시예에 대하여 상세하게 설명한다.

도 12는 제 8 실시예에 있어서의 잡음 제거 장치의 구성예를 나타낸다. 도 12에서의 영상 입력 신호(1251), 메모리(1201), 뺄셈기(1202), 가중 처리부(1203), 제 1 라인 메모리(도 12에서는 라인 메모리라고 기재한다, 1204), 제 2 라인 메모리(도 12에서는 라인 메모리라고 기재한다, 1205), 블록 판별부(1231), 제 1 덧셈기(도 12에서는 덧셈기라고 기재한다, 1206), 움직임 계수 생성부(1207)의 각 블록 은 도 5의 영상 입력 신호(551), 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 블록 판별부(508), 제 1 덧셈기(506), 움직임 계수 생성부(507)의 각 블록과 동등한 기능을 갖는다. 또한, 제 2 덧셈기(도 12에서는 덧셈기라고 기재한다, 1208), 제 3 덧셈기(도 12에서는 덧셈기라고 기재한다, 1209), 특이점 제거부(1210)의 각 블록은 도 7의 제 2 덧셈기(708), 제 3 덧셈기(709), 특이점 제거부(710)의 각 블록과 동등한 기능을 갖는다. 또한, 제 5 라인 메모리(도 12에서는 라인 메모리라고 기재한다, 1211), 제 6 라인 메모리(도 12에서는 라인 메모리라고 기재한다, 1212), 제 2 뺄셈기(1213), 제 1 곱셈기(1214), 제 2 곱셈기(1215), 덧셈/뺄셈기(1216)의 각 블록은 도 9의 제 5 라인 메모리(911), 제 6 라인 메모리(912), 제 2 뺄셈기(913), 제 1 곱셈기(914), 제 2 곱셈기(915), 덧셈/뺄셈기(916)와 동등한 기능을 갖는다. 또한 제 1 선택기(1217)는 도 10의 제 1 선택기(1017)와 동등한 기능을 갖는다. 제 1 이득(1241), 제 2 이득(1242), 제어 신호(1243)는 도 10의 제 1 이득(1041), 제 2 이득(1042), 제어 신호(1043)에 해당한다. 따라서, 이들에 대한 상세한 설명을 생략한다.

레벨 조정부(1218)는, 제 2 뺄셈기(1213)로부터 출력되는 신호의 절대값 레벨이 소정의 레벨 이하이면 이것을 원래의 절대값보다 작은 값으로 연속적으로 조정한다. 그 조정된 값은 제 1 곱셈기(1214)에 입력된다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

제 6 실시예 및 제 7 실시예에 나타낸 잡음 제거 장치에서는, 영상 입력 신호(1251)에 대하여 제 1 곱셈기(1214)에서 제 2 뺄셈기(1213)의 차분 결과에 대하 여 이득을 곱하고 있다. 본 실시예에서는 이 차분의 절대값이 소정의 값 이하이면, 레벨 조정부(1218)는 그 차분의 절대값을 원래의 값보다 작은 값으로 연속적으로 조정을 수행한다.

도 13은 레벨 조정부(1218)의 입출력 특성의 일례를 나타내고 있다. 도 13에 있어서, 가로축(1301)은 레벨 조정부(1218)에 입력되는 차분값, 세로축(1302)은 레벨 조정부(1218)로부터 입력되는 값, 꺾임선(1303)은 레벨 조정부(1218)의 입출력 관계를 각각 나타내고 있다. 레벨 조정부(1218)에 입력되는 차분값을 D라 하고, 문턱값을 th라 한다. 레벨 조정부(1218)는, 입력되는 차분값 D가 th/2 이하이면 D/2를 출력하고, th/2보다 크고 th 이하이면 3D/2 - th/2를 출력하고, th 이상이면 D를 출력한다. 이 입출력 특성에 의해, 문턱값(th) 이하의 차분값에서 잡음 제거 효과는 작아진다. 이것은 낮은 레벨의 잡음 제거량을 의도적으로 어느 정도 제한하게 된다. 그런데, 약전계시의 잡음 제거 처리에서는 화면 전체의 막부착감(filming feel) 등의 시각적인 부자연스러움이 생기기 쉽다. 본 실시예와 같이 하여 저레벨의 잡음을 어느 정도 남김으로써, 이 시각적인 부자연스러움을 경감할 수 있다. 전계의 레벨에 따라 문턱값을 제어하여, 강전계에서는 레벨 조정이 되지 않도록 하고 약전계로 됨에 따라 저레벨의 잡음 제거량을 제한하도록 할 수 있다. 약전계시에는 가중 처리부(1203)의 문턱값을 크게 하기 때문에, 잡음 제거 처리에 수반하여 영상 전체의 막부착감이 증가하는 경향이 있다. 그러나, 이러한 레벨 조정을 수행함으로써 시각적인 부자연스러움을 억제하면서, 보다 눈에 띄기 쉬운 레벨의 큰 잡음을 중점적으로 제거할 수 있게 된다. 차분값을 조정하는 대신에 문턱값 이하의 이득을 작게 하는 등, 이 레벨 조정의 방법은 몇 가지 정도 생각할 수 있지만, 낮은 차분 레벨의 잡음 제거 효과를 억제한다는 점에서는 같은 것이다.

(제 9 실시예)

다음으로 본 발명의 제 9 실시예에 대하여 상세하게 설명한다.

도 14는 제 9 실시예에 있어서의 잡음 제거 장치의 구성예를 나타낸다. 도 14의 메모리(1401), 뺄셈기(1402), 가중 처리부(1403), 제 1 라인 메모리(도 14에서는 라인 메모리라고 기재한다, 1404), 제 2 라인 메모리(도 14에서는 라인 메모리라고 기재한다, 1405), 제 1 덧셈기(도 14에서는 덧셈기라고 기재한다, 1406), 움직임 계수 생성부(1407), 블록 판별부(1431)의 각 블록은 도 5에서의 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 제 1 덧셈기(506), 움직임 계수 생성부(507), 블록 판별부(508)의 각 블록과 등등한 기능을 갖는다. 또한 제 2 덧셈기(도 14에서는 덧셈기라고 기재한다, 1408), 제 3 덧셈기(도 14에서는 덧셈기라고 기재한다, 1409), 특이점 제거부(1410)의 각 블록은, 도 7의 제 2 덧셈기(708), 제 3 덧셈기(709), 특이점 제거부(710)의 각 블록과 동등한 기능을 갖는다. 또한 제 5 라인 메모리(도 14에서는 라인 메모리라고 기재한다, 1411), 제 6 라인 메모리(도 14에서는 라인 메모리라고 기재한다, 1412), 제 2 뺄셈기(1413), 제 1 곱셈기(1414), 제 2 곱셈기(1415), 덧셈/뺄셈기(1416)의 각 블록은 도 9의 제 5 라인 메모리(911), 제 6 라인 메모리(912), 제 2 뺄셈기(913), 제 1 곱셈기(914), 제 2 곱셈기(915), 덧셈/뺄셈기(916)의 각 블록과 동등한 기능을 갖는다. 또한 제 1 선택기(1417)는 도 10의 제 1 선택 기(1017)와 동등한 기능을 갖는다. 또한 레벨 조정부(1418)는 도 12의 레벨 조정부(1218)와 동등한 기능을 갖는다. 또한 제 1 이득(1441), 제 2 이득(1442), 제어 신호(1443)는 도 10의 제 1 이득(1041), 제 2 이득(1042), 제어 신호(1043)에 대응한다. 따라서, 이들의 상세한 설명은 생략한다.

평균값 회로(1419)는 영상 입력 신호(1451)와 제 5 라인 메모리(1411)의 신호에 대하여 제 4 실시예에서 나타낸 처리 블록 내에 대응하는 화소의 총합을 구하고, 그 평균 신호 레벨을 산출한다. 이득 조정부(1420)는 평균값 회로(1419)에서 산출되는 평균값에 따라 제 1 곱셈기(1414)에서 곱하는 이득을 조정한다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

제 8 실시예에 나타낸 방법에 따라 잡음을 제거하는 잡음 제거 장치에 있어서는, 제 1 곱셈기(1414)는 레벨 조정부(1418)의 출력에 대하여 제 1 선택기(1417)로부터 출력되는 이득을 곱하고 있다. 본 실시예에서는 이 이득을 처리 대상의 화소와 그 주변 화소의 평균 신호 레벨을 기초로 하여 제어한다.

도 15A와 도 15B는 그 제어의 일례를 나타내는 도면이다. 도 15A에 나타내고 있는 바와 같이, 영상 입력 신호(1451)의 데이터(1502)와 제 5 라인 메모리(1411)로부터의 데이터(1501)에 있어서 제 4 실시예에 나타낸 처리 블록 내에 대응하는 화소, 즉 도 6B 중의 화소(P4)부터 화소(P11)에 해당하는 8화소의 평균 신호 레벨을 평균값 회로(1419)가 산출한다. 그리고, 이득 조정부(1420)는 그 평균 신호 레벨에 따라 이득을 조정한다. 이득 조정부(1420)는 이 평균 신호 레벨이 큰, 즉 밝은 부분에 대해서는 이득을 상대적으로 작게 하고, 휘도 레벨이 작은, 즉 어두운 부분에 대해서는 이득을 크게 설정한다.

도 15B는, 이득 조정부(1420)의 특성의 일례를 나타내고 있다. 도 15B에 있어서, 가로축(1521)은 평균값 회로(1419)로부터의 평균 신호 레벨을, 세로축(1524)은 이득 조정부(1420)에서의 이득 조정량을, 꺾임선(1523)은 그 평균 신호 레벨과 그 이득 조정량과의 관계의 일례를 나타내고 있다. 여기에서는, 이득 조정부(1420)는 제 1 선택기(1417)로부터의 이득에 대하여, 예를 들면, 도 15B와 같이 꺾임선적으로 조정하고, 어느 평균 신호 레벨(th) 이상에서는 이득을 90% 정도로 설정한다. 즉 원래의 이득 설정은 평균 신호 레벨이 작은 경우를 기준으로 하여 설정하게 된다. 이렇게 평균 신호 레벨로 이득을 조정함으로써, 동일 프레임 내에서 또는 동일 필드 내에서도, 잡음량이 많아지는 신호 레벨이 작은 영역에 대하여 화소마다 잡음 제거 효과를 높일 수 있다. 또한, AGC 회로와의 연동을 할 필요도 없다. 또한 여기에서는 회로나 연산량의 관점에서 이러한 일그러진 8화소를 하나의 블록으로 하여 평균 신호 레벨을 구하고 있는데, 이 블록은 임의로 결정할 수 있다. 요점은 다수의 화소의 평균 신호 레벨을 구하고, 이것으로 이득을 조정하는 것에 있다. 입력 신호 레벨 그 자체를 사용하는 방법에서는 잡음의 영향으로 공간 방향에서 제어 레벨의 변동이 일어나기 쉬워진다. 본 실시예는 이 변동을 경감하기 위하여 주변의 화소로 평균화한 것에 따라 제어한다.

(제 10 실시예)

다음으로 본 발명의 제 10 실시예에 대하여 상세하게 설명한다.

도 16은 제 10 실시예에 있어서의 잡음 제거 장치의 구성예를 나타낸다.

도 16의 메모리(1601), 뺄셈기(1602), 가중 처리부(1603), 제 1 라인 메모리(도 16에서는 라인 메모리라고 기재한다, 1604), 제 2 라인 메모리(도 16에서는 라인 메모리라고 기재한다, 1605), 제 1 덧셈기(도 16에서는 덧셈기라고 기재한다, 1606), 움직임 계수 생성부(1607), 블록 판별부(1631)의 각 블록은 도 5에서의 메모리(501), 뺄셈기(502), 가중 처리부(503), 제 1 라인 메모리(504), 제 2 라인 메모리(505), 제 1 덧셈기(506), 움직임 계수 생성부(507), 블록 판별부(508)의 각 블록과 동등한 기능을 갖는다. 또한 제 2 덧셈기(도 16에서는 덧셈기라고 기재한다, 1608), 제 3 덧셈기(도 16에서는 덧셈기라고 기재한다, 1609), 특이점 제거부(1610)의 각 블록은, 도 7의 제 2 덧셈기(708), 제 3 덧셈기(709), 특이점 제거부(710)의 각 블록과 동등한 기능을 갖는다. 또한 제 5 라인 메모리(1611), 제 6 라인 메모리(1612), 제 2 뺄셈기(1613), 제 1 곱셈기(1614), 제 2 곱셈기(1615), 덧셈/뺄셈기(1616)의 각 블록은 도 9의 제 5 라인 메모리(911), 제 6 라인 메모리(912), 제 2 뺄셈기(913), 제 1 곱셈기(914), 제 2 곱셈기(915), 덧셈/뺄셈기(916)의 각 블록과 동등한 기능을 갖는다. 또한 제 1 선택기(1617)는 도 10의 제 1 선택기(1017)와 동등한 기능을 갖는다. 또한 레벨 조정부(1618)는 도 12의 레벨 조정부(1218)와 동등한 기능을 갖는다. 또한 평균값 회로(1619), 이득 조정부(1620)는 도 14의 평균값 회로(1419), 이득 조정부(1420)와 동등한 기능을 갖는다. 따라서, 이들의 상세한 설명은 생략한다.

필터 처리부(1621)는 덧셈/뺄셈기(1616)의 출력에 대하여 공간 방향의 저역 통과 필터 처리를 수행한다. 블렌딩 계수 연산부(1622)는 움직임 계수 생성부 (1607) 및 특이점 제거부(1610)로부터 얻어지는 연속적인 움직임 계수의 값에 의해, 필터 처리부(1621)의 출력과 덧셈/뺄셈기(1616)의 출력 신호와의 블렌딩 비를 결정한다. 블렌딩 처리부(1623)는 필터 처리부(1621)의 출력과 덧셈/뺄셈기(1616)의 출력 신호를 블렌딩 계수 연산부(1622)에서 결정되는 블렌딩 계수에 의해 블렌딩한다. 윤곽 검출부(1624)는 덧셈/뺄셈기(1616)의 출력 신호로부터 영상의 윤곽부를 추출한다. 제 2 선택기(1625)는 윤곽 검출부(1624)로부터의 출력에 의해, 블렌딩 처리부(1623)의 출력과 덧셈/뺄셈기(1616)의 출력 신호를 스위칭한다.

이하, 구체적인 예를 들어 그 동작을 설명한다.

본 실시예는 영상 입력 신호(1651)에 대하여 제 6 실시예, 제 7 실시예, 제 8 실시예, 제 9 실시예에서 나타낸 방법에 의해 잡음을 제거하는 잡음 제거 장치의 출력 신호에 대하여, 필터 처리부(1621)에서 공간 방향의 저역 통과 필터 처리를 수행한다. 예를 들면 도 16의 필터 처리부(1621)는 라인 메모리를 추가하지 않고 수평 방향만의 필터를 이용한다. 이 필터 처리부(1621)의 출력 신호와 필터 처리부(1621)의 입력 신호가 블렌딩됨으로써, 공간 필터의 효과가 조정된다. 이 때, 블렌딩 계수 연산부(1622)는 움직임 계수 생성부(1607) 및 특이점 제거부(1610)로부터 얻어지는 움직임 계수의 값에 따라 블렌딩 계수를 결정한다. 즉, 제 6 실시예, 실시예7, 제 8 실시예, 제 9 실시예에서 나타낸 잡음 제거 장치에 있어서는, 잔상 등의 영향과 관련하여 잡음을 제거하기 어려운 움직임 부분에서 잔류 잡음이 발생하는 경우가 있다. 이로 인해, 시각적인 부자연스러움이 발생하는 경우가 있다. 본 실시예는 이 부자연스러움을 경감한다. 그 때문에, 예를 들면 제 4 실시예에서 나 타낸 도 6E와 같은 움직임 계수에 대하여, 도 17에 나타낸 것과 같은 블렌딩 비가 설정된다.

도 17을 참조하여 상기 블렌딩의 비를 설명한다. 도 17의 가로축(1701), 세로축(1702), 곡선(1703)은 도 6E의 가로축(671), 세로축(672), 곡선(673)에 각각 해당한다. 따라서, 이들의 상세한 설명은 생략한다. 도 17에 나타낸 바와 같이, 움직임에 가까운 즉 움직임 계수가 작은 화소일수록 공간 방향의 필터의 블렌딩 비율은 커진다. 어느 문턱값 th(1704)를 설정하여, 움직임 계수(1702)가 th 이상(정지에 가까운)의 영역(1709)이라면 필터 처리부(1621)의 출력의 블렌딩 비율은 0(즉 제 9 실시예 이전에서 나타낸 잡음 제거 장치의 출력 그 자체)으로, 3th/4 이상이고 th 미만의 영역(1708)이라면 그 비율은 1/4로, th/2 이상이고 3th/4 미만의 영역(1707)이라면 그 비율은 1/2로, th/4 이상이고 th/2 미만의 영역(1706)이라면 그 비율은 3/4로, th/4 미만의 영역(1705)이라면 그 비율은 1(즉 필터 처리부(1621)의 출력 그 자체)로 설정된다. 이 문턱값 th(1704)를 변화시킴으로써 공간 방향의 필터의 효과를 제어할 수 있기 때문에, 약전계로 됨에 따라 이 문턱값을 크게 하면 좋다. 또한 이 블렌딩 계수(상기한 블렌딩 비율)도 함수를 이용하여 계산하는 등 몇 가지 산출 방법을 생각할 수 있다. 이렇게 결정되는 블렌딩 계수에 의해, 블렌딩 처리부(1623)에서 필터 처리되지 않은 신호와 필터 처리된 신호가 블렌딩됨으로써, 움직임량에 따라 공간 방향의 필터 처리 효과가 조정된다. 또한 공간 방향의 필터를 적용함에 따른 영상의 흐릿함을 방지하기 때문에, 윤곽 검출부(1624)에서 윤곽 부분이 검출된다. 예를 들면 수평 방향만의 필터를 적용하는 경우에는 수평 차분을 구하고, 이 차분이 어느 레벨 이상이면 윤곽이라고 판단하여, 그 좌우 1, 2화소에 대해서는 공간 방향의 필터를 적용하지 않도록 제 2 선택기(1625)가 제어된다. 그 결과, 필터 처리되지 않은 신호가 출력된다. 이러한 처리에 의해, 순회형의 잡음 제거 처리에 수반하여 발생하기 쉬운 잔류 잡음에 의한 움직임 부분의 시각적인 부자연스러움을 경감할 수 있게 된다. 동시에 윤곽 보정 회로를 부가하지 않고, 공간 방향의 필터 처리에 수반되는 윤곽부의 흐릿함을 어느 정도 억제할 수 있다.

이상에 기재한 바와 같이 본 발명에서는, 잡음의 랜덤 특성을 이용하여 영상 출력 신호를 프레임 지연시킨 신호와 영상 입력 신호와의 프레임 차분을 구하고, 이 차분값에 대하여 소정의 문턱값과의 비교가 수행된다. 그 결과 출력되는 신호에 대하여, 각 화소를 중심으로 수평 및 수직 방향으로 인접하는 몇 화소의 블록의 총합이 구해지고, 이 총합이 소정의 문턱값과 비교되어 블록의 중심 화소의 값으로서 소망하는 신호가 출력된다. 또한 이 출력을 수평 혹은 수직 방향으로 몇 개의 화소에 확대 적용하거나, 시간축 방향으로 확대 적용하거나, 블록 판별부에서의 처리 전의 신호와 각 화소에 있어서 비교하거나 하여 블록 단위의 처리에서 발생하기 쉬운 특이점이 제거된다. 이렇게 함으로써 영상 입력 신호에 포함되는 잡음의 영향을 억제하여 영상의 움직임 부분만을 검출하는 것이 가능해진다. 또한 프레임 차분에 대하여 소망하는 계수를 곱하여 영상 입력 신호와 덧셈/뺄셈을 수행하거나 함으로써, 잡음을 제거한 신호와 영상 입력 신호가 이 움직임 검출 결과에 따라 화소마다 선택되어 영상 출력 신호로 된다. 이렇게 함으로써 잡음 제거 효과를 크게 할 수 있음과 동시에 영상의 움직임에 기인하는 테일링의 폐해를 억제하는 것이 가능해진 다.

또한, 본 발명은 잡음이 들어간 영상 입력 신호에 대하여 프레임 차분값이 큰 움직임 부분의 검출뿐만 아니라, 잡음 레벨과 같은 정도이거나 그 이하의 프레임 차분값을 갖는 영상의 움직임 부분과 잡음을 구별하여 잡음의 영향을 억제한 영상의 움직임 검출을 수행하고, 또한 이것을 이용한 잡음 제거 장치를 구축한다. 그렇게 함으로써, 종래보다도 잡음 제거 효과를 크게 함과 동시에, 잡음 제거 효과의 증대에 수반되는 움직임 부분의 테일링의 발생을 억제할 수 있다.

또한, 본 발명에 의해, 잡음이 많은 경우에 잡음이 제거되는 부분과의 잡음량의 차에 따른 시각적인 부자연스러움을 경감할 수 있게 된다.

또한, 본 발명은 잡음의 랜덤 특성을 이용하여 공간 방향의 몇 개의 화소 정보로부터 움직임 검출을 수행하여, 룩업(look up) 테이블 등을 이용하지 않고 회로 규모를 줄인 방법으로 영상의 움직임량에 따라 인접 화소간에 보다 연속적인 움직임 계수를 출력하는 움직임 검출 장치를 제공한다. 또한, 이것을 이용한 잡음 제거 장치를 구축함으로써 잡음 제거 효과를 향상시킴과 동시에 잔상이나 불연속적인 계수를 이용한 처리에 수반되는 영상의 시각적인 부자연스러움을 억제할 수 있도록 한다.

또한, 본 발명은, 주변에 대하여 잡음량이 많아지기 쉬운 어두운 부분에 있어서, AGC 회로 등의 정보를 이용하지 않고 잡음의 영향을 억제하여 적응적으로 잡음 제거 효과를 높인다. 또한 잡음 제거에 수반하는 움직임 부분의 잔류 잡음에 따른 시각적인 부자연스러움을 경감하고, 강전계로부터 약전계에 이르기까지 움직임 화면 및 정지 화면에 대하여 잡음 제거 효과를 향상시키고 그에 수반하여 발생하는 잔상이나 시각적인 부자연스러움을 방지한다.

본 발명에 따르면, 가중된 프레임 혹은 필드 차분에 대하여 인접하는 다수의 화소를 하나의 처리 단위로 하여 덧셈 처리가 수행되고, 이로 인해 문턱값을 이용하지 않고 비선형인 함수에 의해 연속적인 움직임 계수를 출력하는 움직임 검출 장치를 제공할 수 있다. 이렇게 함으로써 잡음의 랜덤 특성을 이용한 잡음과 움직임의 구별에 의해, 입력 신호에 포함되는 잡음의 영향을 억제하고 영상의 움직임에 따라 연속적인 움직임 계수를 제공할 수 있다. 또한 이것을 이용한 순회형의 잡음 제거 장치를 구축함으로써, 잡음 제거 효과를 크게 할 수 있음과 동시에 잔상이나 불연속적인 계수를 이용한 처리에 수반되는 영상의 시각적인 부자연스러움을 경감할 수 있게 된다. 또한, 다수의 이득을 화소마다 스위칭함으로써, 의도적으로 미소한 잡음을 부가할 수 있어, 이득이 커짐에 따른 잔상이나 공간 방향에 있어서의 잡음의 부착감 등 시각적인 부자연스러움을 경감할 수 있다. 덧붙여, 이득을 크게 함에 따른 잡음 제거 효과의 향상을 실현할 수 있다. 또한, 약전계시에는 저레벨의 차분값을 조정하여 의도적으로 저차분 레벨의 잡음 제거 효과를 제한함으로써, 막부착감 등의 시각적인 부자연스러움을 경감함과 동시에 눈에 띄기 쉬운 큰 레벨의 잡음을 중점적으로 제거할 수 있다. 또한, 인접하는 다수의 화소에 대한 평균 신호 레벨에 기초하여 이득을 조정함으로써, 동일 화면 내에서도 잡음량이 많아지는 신호 레벨이 작은 영역에 대하여 화소마다 잡음 제거 효과를 높일 수 있다. 또한, 공간 방향의 필터를 움직임 검출 장치로부터의 움직임 계수와 윤곽 검출부로부터의 윤곽 정보에 따라 적응적으로 병용함으로써, 움직임 부분의 윤곽을 둔화시키는 일 없이 순회형의 잡음 제거 처리에 수반하여 발생하기 쉬운 잔류 잡음에 의한 움직임 화면 부분의 시각적인 부자연스러움을 경감할 수 있게 된다.

이러한 순회형 잡음 제거 장치를 이용함으로써, 강전계로부터 약전계에 이르기까지 움직임 화면 및 정지 화면에 대하여 잡음 제거 효과의 향상과 그에 수반하여 발생하는 잔상이나 영상의 부착감 등 시각적인 부자연스러움의 경감을 양립시킬 수 있게 된다.

또한, 본 발명은 동일 화면 내에서도 잡음량이 많아지는 신호 레벨이 작은 영역에 대하여, 화소마다 잡음 제거 효과를 높일 수 있다.

또한, 본 발명에 의해, 움직임 부분의 윤곽을 둔화시키는 일 없이, 순회형의 잡음 제거 처리에 수반하여 발생하기 쉬운 잔류 잡음에 의한 움직임 화면 부분의 시각적인 부자연스러움을 경감할 수 있게 된다.

이러한 순회형 잡음 제거 장치를 이용함으로써 강전계로부터 약전계에 이르기까지 움직임 화면 및 정지 화면에 대하여 잡음 제거 효과를 향상시킬 수 있고 그에 수반하여 발생하는 잔상이나 시각적인 부자연스러움의 방지할 수 있게 된다.

본 발명에 따른 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치는, 잡음 제거 효과를 크게 할 수 있음과 동시에 잡음 제거 효과의 증대에 수반되는 움직임 부분의 테일링의 발생을 억제할 수 있다. 또한, 강전계로부터 약전계에 이르기까지 잡음 제거 효과를 크게 할 수 있음과 동시에 그에 수반되는 잔상이나 부착감 등 시 각적인 부자연스러움을 해소할 수 있다.

Claims

영상 입력 신호를 프레임 지연시키는 프레임 메모리,

상기 영상 입력 신호와 상기 프레임 메모리로부터 판독되는 프레임 지연 신호와의 차분을 구하는 뺄셈기,

상기 뺄셈기의 출력을 소정의 문턱값과 비교하는 비교부,

상기 비교부로부터 출력되는 신호를 지연시키는 제 1 라인 메모리,

상기 제 1 라인 메모리의 신호를 지연시키는 제 2 라인 메모리, 및,

영상 신호의 각 화소를 중심으로 수평 및 수직 방향으로 인접하는 다수의 화소를 하나의 블록으로 하여 상기 비교부로부터의 출력과 상기 제 1 라인 메모리로부터의 출력과 상기 제 2 라인 메모리로부터의 출력에 대하여 상기 블록 내의 각 화소의 총합을 구하고, 상기 총합과 소정의 문턱값을 비교하는 블록 판별부를 구비하는 움직임 검출 장치.
제 1항에 있어서,

상기 제 1 라인 메모리의 입력에 대하여 상기 블록 내의 동일 라인에 있는 화소의 덧셈 결과 및 상기 제 2 라인 메모리의 출력에 대하여 상기 블록 내의 동일 라인에 있는 화소의 덧셈 결과를 기초로 하여, 상기 블록 판별부가 출력하는 판별 결과를 보정하는 특이점 제거부를 추가로 구비하는 것을 특징으로 하는 움직임 검출 장치.
제 1항 또는 제 2항에 기재된 움직임 검출 장치와,

상기 뺄셈기의 출력에 소정의 계수를 곱하고, 상기 영상 입력 신호와 덧셈/뺄셈을 수행함으로써 잡음을 제거하는 잡음 제거 처리부와,

상기 비교부와 상기 특이점 제거부의 라인 지연량만큼 상기 잡음 제거 처리부로부터의 출력을 지연시키는 제 3 라인 메모리와,

상기 비교부와 상기 특이점 제거부의 라인 지연량만큼 상기 영상 입력 신호를 지연시키는 제 4 라인 메모리와,

상기 제 3 라인 메모리의 출력과 상기 제 4 라인 메모리의 출력을 상기 움직임 검출 결과 신호에 따라 선택하여 영상 출력 신호를 출력하는 선택기를 구비하고,

상기 프레임 메모리에 상기 선택기에 의해 선택된 영상 출력 신호가 입력되는 것을 특징으로 하는 잡음 제거 장치.
제 3항에 있어서,

상기 제 4 라인 메모리와 상기 선택기 사이에 삽입되어, 상기 제 4 라인 메모리 출력에 필터 처리를 수행하는 소정의 필터를 구비하는 것을 특징으로 하는 잡음 제거 장치.
제 1항 또는 제 2항에 있어서,

상기 비교부는 상기 뺄셈기의 출력을 그 값에 따라 소정의 문턱값에 의해 다수의 레벨로 가중을 수행하는 가중 처리부로 구성되며,

상기 블록 판별부는, 상기 제 1 라인 메모리로부터의 출력 및 제 2 라인 메모리로부터의 출력 및 상기 가중 처리부에 대하여 상기 블록 내의 각 화소의 총합을 구하는 제 1 덧셈기와, 상기 덧셈기의 덧셈 결과에 따라 비선형인 연속 함수를 이용하여 상기 블록의 중심 화소에 대한 움직임 계수를 출력하는 움직임 계수 생성부로 구성되는 것을 특징으로 하는 움직임 검출 장치.
제 5항에 있어서,

상기 가중 처리부로부터의 출력에 대하여 상기 블록 내의 동일 라인에 있는 화소의 합을 구하는 제 2 덧셈기와,

상기 제 2 라인 메모리로부터의 출력에 있어서 상기 블록 내의 동일 라인에 있는 화소의 합을 구하는 제 3 덧셈기를 구비하며,

상기 특이점 제거부는, 상기 제 2 덧셈기의 결과 및 상기 제 3 덧셈기의 결과에 따라 상기 움직임 계수를 보정하고,

수직 방향으로 움직임 부분을 확대하거나 혹은 상기 움직임 계수 생성부로부터의 움직임 계수에 대하여 수평 방향으로 움직임 부분을 확대하거나 또는 필드/프레임 방향으로 확대하여 블록 단위에서의 처리에서 발생하는 특이점을 제거하는 것을 특징으로 하는 움직임 검출 장치.
제 5 항에 기재된 움직임 검출 장치와,

상기 영상 입력 신호를 1라인 지연시키는 제 5 라인 메모리와,

메모리로부터 판독되는 프레임 혹은 필드 지연 신호를 1 라인 지연시키는 제 6 라인 메모리와,

상기 제 5 라인 메모리로부터의 신호 및 상기 제 6 라인 메모리로부터의 신호의 차분을 구하는 제 2 뺄셈기와,

상기 제 2 뺄셈기의 출력에 소정의 이득을 곱하는 제 1 곱셈기와,

상기 제 1 곱셈기의 결과에 제 5 항에 기재된 상기 움직임 검출 장치로부터 출력되는 움직임 계수를 곱하는 제 2 곱셈기와,

상기 제 2 곱셈기의 출력을 상기 제 5 라인 메모리의 신호에 상기 제 2 뺄셈기에서의 뺄셈 결과의 플러스 마이너스 부호에 따라 덧셈/뺄셈을 수행하는 덧셈/뺄셈기를 구비하며,

상기 메모리에 상기 덧셈/뺄셈기의 영상 출력 신호가 입력되고,

상기 메모리는 (1 필드 -1 라인) 혹은 (1 프레임 -1 라인)의 지연 신호를 출력하는 것을 특징으로 하는 잡음 제거 장치.
제 7항에 있어서,

수평 및 수직 방향 및 프레임 혹은 필드 방향으로 화소마다 다수의 이득을 스위칭하는 선택기를 추가로 구비하며,

상기 제 1 곱셈기는 상기 선택기로부터의 이득을 상기 제 2 뺄셈기의 출력에 곱하는 것을 특징으로 하는 잡음 제거 장치.
제 7항에 있어서,

상기 제 2 뺄셈기의 출력 신호의 절대값이 소정의 레벨 이하이면 상기 제 2 뺄셈기의 출력 신호의 절대값을 원래의 값보다 작은 값으로 연속적인 조정을 수행하고 상기 제 1 곱셈기로 출력하는 레벨 조정부를 추가로 구비하는 것을 특징으로 하는 잡음 제거 장치.
제 9항에 있어서,

상기 영상 입력 신호와 상기 제 5 라인 메모리의 신호에 있어서 상기 블록 내에 대응하는 화소의 총합을 구하여, 그 평균 신호 레벨을 산출하는 평균값 회로와,

상기 평균값 회로의 값에 따라 상기 제 1 곱셈기에서 곱하는 이득을 조정하는 이득 조정부를 추가로 구비하는 것을 특징으로 하는 잡음 제거 장치.
제 10항에 있어서,

제 10항에 기재된 잡음 제거 장치의 출력에 대하여 공간 방향의 저역 통과 필터 처리를 수행하는 필터 처리부와,

제 10항에 기재된 움직임 검출 장치로부터 얻어지는 연속적인 움직임 계수의 값에 의해 상기 필터 처리부의 출력과 상기 잡음 제거 장치의 출력 신호와의 블렌 딩 비를 결정하는 블렌딩 계수 연산부와,

상기 필터 처리부의 출력과 상기 잡음 제거 장치의 출력 신호를 상기 블렌딩 계수 연산부에서 결정되는 블렌딩 계수에 따라 블렌딩하는 블렌딩 처리부와,

상기 잡음 제거 장치의 출력 신호로부터 영상의 윤곽부를 추출하는 윤곽 검출부와,

상기 윤곽 검출부로부터의 출력에 의해 상기 블렌딩 처리부의 출력과 상기 잡음 제거 장치로부터의 출력 신호를 스위칭하는 제 2 선택기를 구비하며,

상기 제 2 선택기에서 선택된 신호를 상기 메모리에 입력하는 것을 특징으로 하는 잡음 제거 장치.