[go: up one dir, main page]

KR100746839B1 - 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 - Google Patents

데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 Download PDF

Info

Publication number
KR100746839B1
KR100746839B1 KR1020000031365A KR20000031365A KR100746839B1 KR 100746839 B1 KR100746839 B1 KR 100746839B1 KR 1020000031365 A KR1020000031365 A KR 1020000031365A KR 20000031365 A KR20000031365 A KR 20000031365A KR 100746839 B1 KR100746839 B1 KR 100746839B1
Authority
KR
South Korea
Prior art keywords
data
tap
extracted
input data
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020000031365A
Other languages
English (en)
Other versions
KR20010007300A (ko
Inventor
콘도테츄지로
와타나베요시노리
앤도카주타카
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP16052899A external-priority patent/JP4135045B2/ja
Priority claimed from JP26170699A external-priority patent/JP4324825B2/ja
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010007300A publication Critical patent/KR20010007300A/ko
Application granted granted Critical
Publication of KR100746839B1 publication Critical patent/KR100746839B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 데이터 처리 장치는 입력 데이터로부터 추출되는 복수의 데이터에 따라 상기 입력 데이터로부터 추출되는 상기 복수의 데이터 사이의 불규칙한 간격을 결정할 수 있는 결정 유닛, 상기 결정 유닛에 의한 결정 결과에 따라 상기 입력 데이터로부터 예측되는 주목 출력 데이터(output data of interest)에 대응하는 복수의 데이터를 추출하는 추출 유닛, 및 상기 추출 유닛에 의해 추출된 복수의 데이터에 기초하여 주목 출력 데이터의 예측 값을 발견하기 위한 예측 유닛을 포함한다.
프레임 메모리, 판독 유닛, 표준 편차 산출기, 클래스-탭 발생 회로, 예측-탭 발생 회로

Description

데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습 방법, 및 매체{Data processing apparatus, data processing method, learning apparatus, learning method, and medium}
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 블록도.
도 2는 도 1에 나타낸 이미지 처리 장치에 의한 처리의 예시도.
도 3a는 탭 폭이 0 인 도 1에 나타낸 탭-결정 회로(7)로부터 출력된, 3 x 3 화소로 구성된 탭의 예시도.
도 3b는 탭 폭이 1인 도 1에 나타낸 탭-결정 회로(7)로부터 출력된, 3 x 3 화소로 구성된 탭의 예시도.
도 4는 도 1에 나타낸 이미지 처리 장치로 처리된 흐림-감소 처리를 예시하는 흐름도.
도 5는 도 1에 나타낸 탭-결정 회로(7)를 나타내는 블록도.
도 6은 도 5에 나타낸 탭-결정 회로(7)에 의한 탭-결정 처리를 예시하는 흐름도.
도 7은 본 발명이 적용된 이미지 처리 장치의 제1 실시예를 나타내는 블록 도.
도 8은 도 7에 나타낸 학습 장치에 의한 학습 처리를 예시하는 흐름도.
도 9는 도 7에 나타낸 탭-결정 회로(72)를 나타내는 블록도.
도 10은 도 9에 나타낸 탭-결정 회로(72)에 의한 탭-결정 처리를 예시하는 흐름도.
도 11은 도 9에 나타낸 기준값 발생기(84)에 의한 처리에 사용되는 것으로, 탭 폭과 탭의 표준 편차의 평균값 간의 관계를 나타내는 그래프도.
도 12는 도 9에 나타낸 기준값 발생기(84)에 의한 처리에 사용되는 것으로, 탭 폭과 탭의 예측 값의 신호-잡음비 간의 관계를 나타내는 그래프도.
도 13은 본 발명의 제2 실시예에서 탭-결정 회로(7)에 의해 설정된 기본 탭의 예시도.
도 14는 도 1에 나타낸 탭-결정 회로(7)에 의해 검출된 것으로, 시작점으로서 중심 화소로부터 방향들의 예시도.
도 15는 탭이 도 1에 나타낸 탭-결정 회로(7)에 의해 도 14에 나타낸 방향들의 파형 특성들에 따라 이동되는 탭 배열의 예시도.
도 16은 도 1에 나타낸 이미지 처리 장치에 의한 흐림-감소 처리를 예시하는 흐름도.
도 17은 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제1 변형을 예시하는 흐름도.
도 18a는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제1 변형에 의해 최 초로 얻어진 탭 배열을 나타내는 그래프도.
도 18b는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제1 변형의 결과로서 탭 배열을 나타내는 그래프도.
도 19는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제2 변형을 예시하는 흐름도.
도 20a는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제2 변형에 의해 최초로 얻어진 탭 배열을 나타내는 그래프도.
도 20b는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제2 변형의 결과로서 탭 배열을 나타내는 그래프도.
도 21은 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제3 변형을 예시하는 흐름도.
도 22a는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제3 변형에 의해 최초로 얻어진 탭 배열을 나타내는 그래프도.
도 22b는 도 16에 나타낸 단계(S41)에서 탭-결정 처리의 제3 변형의 결과로서 탭 배열을 나타내는 그래프도.
도 23은 본 발명의 학습 장치의 제2 실시예를 나타내는 블록도.
도 24는 도 12에 나타낸 학습 장치에 의한 학습 처리를 예시하는 흐름도.
도 25a는 본 발명에 따른 처리를 실행하기 위한 프로그램이 설치된 컴퓨터(101)의 예시도.
도 25b는 본 발명에 따른 처리를 실행하기 위한 프로그램을 저장할 기록 매 체의 유형의 예시도.
도 25c는 본 발명에 따른 처리를 실행할 프로그램을 인공 위성 또는 통신망을 통해 컴퓨터에 배포하는 개념의 예시도.
도 26은 본 발명에 따른 처리를 실행할 프로그램이 설치된 컴퓨터의 예를 나타내는 블록도.
※ 도면의 주요부분에 대한 부호의 설명 ※
1, 61, 63: 프레임 메모리
11: 판독 유닛
12: 표준 편차 산출기
13: 결정 유닛
14: 기준값 설정 유닛
67, 69: 가산기 회로
68: 예측-탭 메모리
70: 교사 데이터 메모리
71: 비교 회로
2, 64: 클래스-탭 발생 회로
3, 65: 예측-탭 발생 회로
4, 66: 분류 회로
5: 계수 RAM
6: 예측 산술 회로
7, 72: 탭-결정 회로
본 발명은 데이터 처리 장치 및 그 방법, 학습 장치 및 그 방법, 및 매체들에 관한 것으로서, 특히 이미지 데이터 등이 처리될 때 처리 효율을 증가시키는 데이터 처리 장치 및 그 방법, 및 동일물을 구비한 매체에 관한 것이다.
본 발명의 양수인은 이미지 품질등을 향상시키고 기타 이미지 특징을 개선시키기 위한 처리로서 분류 적응형 처리(classification adaptive processing)를 제안하였다.
분류 적응형 처리는 분류 처리 및 적응형 처리로 구성된다. 분류 처리에서, 데이터는 이들의 특성에 기초하여 분류되고, 각각의 클래스에서 데이터에 대한 적응형 처리가 수행된다. 적응형 처리는 다음과 같은 기술이다.
적응형 처리에서, 예를 들면 선형 결합에 의해, 입력 이미지(분류 적응형 처리에 의해 처리될 이미지)를 구성하는 화소들(이하, "입력 화소들"이라 칭함) 및 미리 결정된 예측 계수들, 원시 이미지(예, 어떠한 잡음도 포함하지 않는 이미지, 흐릿하지 않은 이미지)의 화소들의 예측 값이 발견되고, 그에 따라 입력 이미지에 포함된 잡음이 제거되고, 입력 이미지에서 발생된 흐려짐(blurring)이 감소되는 이미지가 얻어질 수 있다.
따라서, 예를 들면, 원시 이미지는 교사 데이터라고 가정되고, 또한 원시 이미지 상에 잡음을 중복시킴으로써 또는 그 이미지를 흐리게 함으로써 얻어진 데이터는 학생 데이터라고 가정된다. 복수의 학생 데이터(화소 레벨) 세트 x1, x2 등과 미리 결정된 예측 계수 w1, w2 등을 선형 결합함으로써 규정된 선형 1차 결합 모델을 사용함으로써 원시 이미지를 구성하는 화소들의 화소 레벨 y의 예측 값 E[y]를 발견하는 것이 고려된다. 이러한 경우에, 예측 값 E[y]는 하기 수학식(1)으로 나타낼 수 있다.
Figure 112000011605489-pat00044
예측 계수 세트 w로 구성된 매트릭스 W, 학생 데이터 세트로 구성된 매트릭스 X 및 예측 값 세트 E[y]로 구성된 매트릭스 Y'를 정의하기 위해 하기 수학식:
Figure 112000011605489-pat00045
을 사용함으로써 수학식(1)을 일반화시키기 위해, 하기 관찰 식이 유지된다:
Figure 112000011605489-pat00046
여기서, 매트릭스 X의 성분 xi,j는 학생 데이터의 i-번째 세트(i-번째 교사 데이터 Yi의 예측에 사용하기 위한 학생 데이터의 한 세트)에서 j-번째 학생 데이터를 나타내고, 매트릭스 W의 성분 wj는 학생 데이터 세트에서 j-번째 학생 데이터와 계수의 곱이 산출되는 예측 계수를 나타낸다. 성분 yj는 j-번째 교사 데이터를 나타내고, E[yj]는 그에 따라 j-번째 교사 데이터의 예측 값을 나타낸다.
관찰식 (2)에 최소한의 제곱 연산을 적용함으로써 원시 화소의 각각의 화소 레벨에 근접한 각각의 예측 값 E[y]를 발견하는 것이 고려된다. 이러한 경우에, 교사 데이터로서 사용된 원시 화소의 실제 화소들 y의 세트로 구성된 매트릭스 Y, 및 원시 화소들의 화소 레벨들 y로부터 예측 값들 E[y]의 나머지의 세트로 구성된 매트릭스 E를 정의하기 위해 하기 수학식:
Figure 112000011605489-pat00047
을 사용함으로써, 하기 나머지 수학식이 수학식(2)로부터 유지된다:
Figure 112000011605489-pat00048
이러한 경우에, 원시 화소의 화소 레벨들에 근접한 예측 값들 E[y]에 대한 예측 계수들 w이 다음 제곱된 에러를 최소화시킴으로써 발견될 수 있다:
Figure 112000011605489-pat00049
따라서, 예측 계수 wi에 관한 제곱된 에러의 미분 결과가 0일 때, 하기 수학식을 만족시키는 예측 계수 wi는 원시 화소의 화소 레벨들 y에 근접한 예측 값 E[y]를 발견하기 위한 최적 값이다.
Figure 112000011605489-pat00050
따라서, 수학식(3)을 미분하기 위해 예측 계수 wi를 사용함으로써, 하기 식들이 유지된다:
Figure 112000011605489-pat00051
수학식(4) 및 (5)로부터, 다음 수학식들이 얻어진다:
Figure 112000011605489-pat00052
학생 데이터 x, 예측 계수 s, 교사 데이터 y, 및 나머지 e 간의 관계가 고려될 때, 다음 표준화 식이 수학식(6)으로부터 얻어질 수 있다.
Figure 112000011605489-pat00053
특정 수의 학생 데이터 x 및 특정 수의 교사 데이터 y를 준비함으로써, 표준화 수학식(7)이 예측 계수 w의 수에 대응하여 형성될 수 있다. 따라서, 수학식(7)을 해결함으로써(수학식(7)의 해답은 예측 계수 w에 대한 계수로 구성된 매트릭스가 규칙적일 것을 요구하지만), 최적 예측 계수 w가 발견될 수 있다. 수학식(7)을 해결하기 위해, 가우스-조르단 제거법(Gauss-Jordan elimination) 등이 사용될 수 있다.
적응형 처리는 원시 화소들의 화소 레벨 y에 근접한 예측 값 E[y]가 앞서 발견된 예측 계수 w를 사용하는, 수학식(1)에 기초하여 발견되는 상술된 처리이다.
적응형 처리는 예를 들면, 입력 이미지에 포함되지 않고 원시 이미지에 포함되는 성분들이 재생되는 단순한 보간법과 상이하다. 말하자면, 유일하게 수학식(1)에 주의를 기울이하는 한, 적응형 처리는 이른바 보간 필터(interpolating filter)를 사용하는 보간법과 동일하다. 그러나, 적응형 처리에서, 보간 필터의 탭 계수들(tap coefficients)에 대응하는 예측 계수 w는 각각의 클래스에 대한 교사 데이터 y를 사용하는 학습의 유형에 의해 얻어진다. 따라서, 원시 이미지에 포함된 성분들이 재생될 수 있다. 즉, 큰 신호-잡음 비를 갖는 이미지가 용이하게 얻어질 수 있다. 이러한 특징으로부터, 적응형 처리는 이미지 생성 (해상도 생성) 연산을 갖는다고 말할 수 있다. 따라서, 원시 이미지에서 잡음 및 흐려짐을 제거함으로써 얻어진 이미지의 예측 값들이 발견되는 경우 외에, 적응형 처리는 예를 들면 낮은 해상도 또는 표준 해상도를 갖는 이미지를 높은 해상도를 갖는 이미지로 변환시키기 위해 사용될 수 있다.
상술한 바와 같이, 분류 적응형 처리에서, 적응형 처리는 각각의 클래스에 대해 수행된다. 적응형 처리 전에 수행된 분류에서, 예측된 값이 발견되는 것에 기초하여 각각의 원시 화소(이하, "주목 원시 화소"라고 칭함)에 인접한 복수의 입력 화소들이 추출되고, 주목 원시 화소들은 입력 화소의 특성(예, 입력 화소들의 패턴, 화소 레벨의 경사도, 등)에 기초하여 분류된다. 주목 원시 화소들에 관하여 고정적으로 배치된 입력 화소들이 분류를 위한 복수의 입력 화소로서 추출된다.
그럼에도 불구하고, 분류 적응형 처리가 예를 들면 흐려진 입력 이미지를 흐림-감소된 이미지로 변환시키기 위해 사용되는 경우에, 입력 이미지에서 흐려짐의 정도와 무관하게 주목 원시 화소들을 분류하기 위해 주목 원시 화소들에 대해 고정적으로 배치된 입력 화소들을 사용하는 것은 주목 원시 화소들의 특성을 충분히 반영하는 분류를 수행하기 곤란하게 만들 수 있다.
예로써, 이미지 정정의 국면에서, 주목 원시 화소들에 상대적으로 근접한 입력 화소들을 사용하는 분류를 바람직하게 수행함으로써, 작은 정도의 흐림을 갖는 입력 이미지에 대한 분류 적응형 처리가 수행될 때, 주목 원시 화소들의 특성을 반영하는 분류가 수행될 수 있다. 흐려짐의 역효과의 국면에서, 주목 원시 화소들과 상대적으로 먼 입력 화소들을 사용하는 분류를 바람직하게 수행함으로써 높은 정도의 흐림을 갖는 입력 이미지에 대한 분류 적응형 처리가 수행될 때, 주목 원시 화소들의 특성을 반영하는 분류가 수행될 수 있다.
따라서, 주목 원시 화소들의 분류를 위해 주목 원시 화소들에 대해 고정적으로 배치된 입력 화소들을 사용하는 것은 이들의 특성을 반영하는 주목 원시 화소들의 분류를 방해할 수 있다. 결과적으로, 분류 적응형 처리의 성능은 열화될 수 있고, 즉, 입력 이미지를 충분히 개선하기 위해 분류를 사용함으로써 얻어진 이미지(여기서, 흐림을 충분히 감소시킴으로써 얻어진 이미지)가 얻어질 수 없다.
적응형 처리에서, 주목 화소들에 고정적으로 배치된 입력 화소들은 선형 예측 수학식(1)에 기초하여 연산을 수행하기 위해 사용되고, 그에 따라 주목 화소들에 기초하여 예측 값들이 발견된다. 이러한 경우에 역시, 그 분류의 경우와 마찬가지로 필요할 경우, 주목 화소들에 대해 변하기 쉽게 배치된 입력 화소들을 갖는 선형 예측 수학식(1)에 기초하여 연산을 바람직하게 수행함으로써, 주목 화소들로부터 작은 예측 에러를 갖는 예측된 값들이 발견될 수 있다.
따라서, 본 발명의 목적은 상기 문제점들을 해결하고, 그에 따라 이미지 데이터 등이 처리될 때 처리 효율을 증가시킨 데이터 처리 장치 및 그 방법, 및 이들을 구비한 매체를 제공하는 것이다.
이 때문에, 본 발명의 일 국면에 따라, 상기 목적은 입력 데이터를 처리함으로서 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 데이터 처리 장치를 제공함으로써 달성된다. 이 데이터 처리 장치는 입력 데이터로부터 추출되는 복수의 데이터에 따라 상기 입력 데이터로부터 추출되는 상기 복수의 데이터 사이의 불규칙한 간격을 결정할 수 있는 결정 유닛, 결정 유닛에 의한 결정 결과에 따라 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 추출 유닛, 및 추출 유닛에 의해 추출된 복수의 데이터에 기초한 주목 출력 데이터의 예측 값을 발견하기 위한 예측 유닛을 포함한다.
본 발명의 다른 국면에 따라, 상기 목적은 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 학습 장치를 제공함으로써 달성된다. 이 학습 장치는 입력 데이터로부터 추출되는 복수의 데이터에 따라 입력 데이터로부터 추출되는 복수의 데이터 사이의 불규칙한 간격을 결정할 수 있는 결정 유닛, 결정 유닛에 의한 결정 결과에 따라 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 추출 유닛, 및 추출된 데이터에 기초한 예측 계수를 발견하기 위한 연산 유닛을 포함한다.
본 발명의 또 다른 국면에 따라, 상기 목적은 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 데이터 처리 방법을 제공함으로써 달성된다. 이 데이터 처리 방법은 추출되는 복수의 데이터에 따라 입력 데이터로부터 추출되는 복수의 데이터 사이의 불규칙한 간격의 결정을 가능하게 하는 단계, 결정 결과에 따라 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 단계, 및 추출된 복수의 데이터에 기초한 주목 출력 데이터의 예측 값을 발견하는 단계를 포함한다.
본 발명의 또 다른 국면에 따라, 상기 목적은 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 학습 방법을 제공함으로써 달성된다. 이 학습 방법은 추출되는 복수의 데이터에 따라 입력 데이터로부터 추출되는 복수의 데이터 사이의 불규칙한 간격의 결정을 가능하게 하는 단계, 결정 결과에 따라 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 단계, 및 추출된 복수의 데이터에 기초한 예측 계수를 발견하는 단계를 포함한다.
본 발명의 또 다른 국면에 따라, 상기 목적은 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 컴퓨터 제어 가능한 프로그램을 포함하는 저장 매체를 제공함으로써 달성된다. 컴퓨터 제어 가능한 프로그램은 추출되는 복수의 데이터에 따라 입력 데이터로부터 추출되는 복수의 데이터 사이의 불규칙한 간격의 결정을 가능하게 하는 단계, 결정 결과에 따라 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 단계, 및 추출된 복수의 데이터에 기초한 주목 출력 데이터의 예측 값을 발견하는 단계를 포함한다.
본 발명의 또 다른 국면에 따라, 상기 목적은 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 컴퓨터 제어 가능한 프로그램을 포함하는 저장 매체를 제공함으로써 달성된다. 컴퓨터 제어 가능한 프로그램은 추출되는 복수의 데이터에 따라 입력 데이터로부터 추출되는 복수의 데이터 사이의 불규칙한 간격의 결정을 가능하게 하는 단계, 결정 결과에 따라 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 복수의 데이터를 추출하는 단계, 및 추출된 복수의 데이터에 기초한 예측 계수를 발견하는 단계를 포함한다.
도 1은 본 발명이 적용된 이미지 처리 장치의 제1 실시예를 나타낸다.
예를 들면, 흐려진 이미지가 이미지 처리 장치에 대한 입력 이미지로서 입력될 때, 이미지 처리 장치는 입력 이미지에 대한 분류 적응형 처리를 수행할 수 있고, 그에 따라 도 2에 나타낸 바와 같이, 입력 이미지에서 흐려짐의 정도와 무관하게 흐려짐이 충분히 감소되는 이미지(흐림-감소된 이미지)를 출력한다.
이미지 처리 장치는 프레임 메모리(1), 클래스-탭 발생 회로(2), 예측 탭 발생 회로(3), 분류 회로(4), 계수 랜덤 액세스 메모리(RAM)(5), 예측 계산 회로(6) 및 탭-결정 회로(7)를 포함한다. 흐림을 감소시키기 위해 처리될 입력 이미지는 이미지 처리 장치에 입력된다.
프레임 메모리(1)는 이미지 처리 장치에 입력된 이미지를 예를 들면 프레임 유닛에 일시적으로 저장한다. 제1 실시예에서, 프레임 메모리(1)는 뱅크 스위칭(bank switching)에 의해 복수의 프레임들을 입력 이미지로서 저장할 수 있다. 프레임 메모리(1)는 입력 이미지가 동화상일 때조차 이미지 처리 장치에 입력된 이미지를 프레임 유닛에 일시적으로 저장하는 프로세스를 수행할 수 있다.
주목 원시 화소로서 예측 값이 분류 적응형 처리에 의해 발견되는 것에 기초한 원시 화소(제1 실시예에서 입력 화소에서 흐림을 완전히 제거함으로써 얻어진 이상적인 흐림 없는 화소)를 사용함으로써, 클래스-탭 발생 회로(2)는 탭-결정 회로(7)로부터 공급된 탭 정보에 따라 프레임 메모리(1)에 저장된 입력 이미지로부터 주목 원시 화소의 분류를 위해 입력 화소를 추출하고, 추출된 화소를 분류 회로(4)에 클래스 탭으로서 출력한다.
예측-탭 발생 회로(3)는 탭-결정 회로(7)로부터 탭 정보에 따라 주목 원시 화소에 기초한 예측 값을 예측 산술 회로(6)에 의해 발견하기 위해 입력 화소를 추출하고, 추출된 화소를 예측 탭으로서 예측 산술 회로(6)에 공급한다.
분류 회로(4)는 클래스-탭 발생 회로(2)로부터 클래스 탭에 기초한 주목 원시 화소를 분류하고, 분류에 의해 얻어진 클래스들에 대응하는 클래스 코드를 어드레스로서 계수 RAM(5)에 공급한다. 즉, 분류 회로(4)는 예를 들면 클래스-탭 발생 회로(2)로부터 클래스 탭에 대한 1-비트 적응형 다이내믹 범위 코딩(ADRC)을 수행하고, 얻어진 ADRC 코드를 클래스 코드로서 계수 RAM(5)에 출력한다.
여기서, k-비트 ADRC에서, 클래스 탭을 구성하는 입력 화소들 사이에서, 최대값 MAX 및 최소값 MIN이 검출되고, DR = MAX - MIN이 다이내믹 범위(dynamic range)로서 사용되고, 다이내믹 범위 DR에 기초하여, 클래스 탭을 구성하는 입력 화소들이 k 비트를 갖도록 재양자화된다. 즉, 클래스 탭을 구성하는 화소들의 화소 레벨들로부터, 최소값 MIN이 감산되고, 얻어진 값은 DR/2k로 분할된다(양자화됨). 따라서, 클래스 탭이 1-비트 ADRC에 의해 처리될 때, 입력 화소들 각각의 화소 레벨은 1 비트를 갖는다. 이러한 경우에, 상술한 바와 같이, 미리 결정된 순서로 클래스 탭을 구성하는 화소들에 기초하여 1-비트 화소 레벨을 배열시킴으로써 얻어진 비트들의 스트링은 ADRC 코드로서 출력된다.
계수 RAM(5)은 학습 장치(아래 기재함)가 학습을 수행하도록 얻어진 클래스들에 대한 예측 계수를 저장한다. 분류 회로(4)로부터 클래스 코드를 공급받을 때, 계수 RAM(5)은 클래스 코드에 대응하는 어드레스에 저장된 예측 계수를 판독하고, 그 코드를 예측 산술 회로(6)에 공급한다.
예측 산술 회로(6)는 계수 RAM(5)으로부터 공급된 예측 계수 w1, w2 등 및 예측 탭을 구성하는 예측-탭 발생 회로(3)로부터 공급된 화소 레벨 x1, x2 등에 의해 수학식(1)에 기초하여 연산을 수행함으로써 주목 원시 화소 y에 기초한 예측 값 E[y]를 발견한다. 예측 산술 회로(6)는 흐려짐이 제거된 화소들의 화소 레벨들로서 예측 값 E[y]를 출력한다.
탭-결정 회로(7)는 프레임 메모리(1)에 저장된 통계적인 값에 기초하여 클래스 탭 및 예측 탭을 구성하는 복수의 입력 화소들을 결정하고, 클래스 탭 및 예측 탭에 관한 정보(이하 "탭 정보라 칭함")를 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 공급한다.
다시 말해, 탭-결정 회로(7)는 탭 정보를 출력하고, 이는 각각 예를 들면 주목 원시 화소에 대응하여 배치된 입력 화소가 중심 화소로서 사용되는 3개의 수평 화소 및 3개의 수직 화소로 구성된 제곱 클래스 탭 및 예측 탭(이하 모두 간단히 "탭"이라 칭함)을 발생시키도록 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)를 기본적으로 제어한다. 탭 정보는 입력 이미지의 통계적인 값에 좌우되어 상이하도록 탭을 구성하는 화소들 간의 간격을 제어한다.
보다 상세하게는, 입력 이미지의 통계적인 값이 예를 들면 특정 값일 때, 탭-결정 회로(7)는 도 3a에 나타낸 바와 같이 0의 탭 폭을 갖고(탭을 구성하는 화소들 간의 간격이 0임), 중심 화소 둘레에 3 x 3 화소로 구성된 탭을 발생시키는 탭 정보를 출력한다. 입력 이미지의 통계적인 값이 예를 들면 다른 값일 때, 탭-결정 회로(7)는 도 3b에 나타낸 바와 같이 1의 탭 폭을 갖고(탭을 구성하는 화소들 간의 간격이 1 프레임임), 중심 화소 둘레에 3 x 3 화소로 구성된 탭을 발생시키는 탭 정보를 출력한다.
도 4의 흐름도를 참조하여, 도 1에 나타낸 이미지 처리 장치에서 수행되는 입력 이미지에서 흐림을 감소시키는 처리가 아래 기재된다.
흐림-감소가 수행되도록 처리될 입력 이미지들(동화상)은 프레임 유닛로 프레임 메모리(1)에 공급된다. 입력 이미지는 프레임 메모리(1)에 프레임 유닛에 순차로 저장된다.
단계(S1)에서, 탭-결정 회로(7)는 프레임 메모리(1)에 저장된 입력 이미지의 통계적인 값에 기초하여 탭을 발생시키기 위한 복수의 입력 이미지를 결정하고, 입력 이미지에 관한 탭 정보를 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 출력한다.
탭 정보를 수신할 때, 단계(S2)에서, 탭 정보에 따라, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 각각 예측 값이 발견된 것에 기초하여 각각의 주목 원시 화소에 대한 클래스 탭 및 예측 탭을 발생시키기 위한 복수의 입력 이미지를 프레임 메모리(1)로부터 판독하고, 클래스 탭 및 예측 탭을 발생시킨다. 클래스 탭 및 예측 탭은 분류 회로(4) 및 예측 산술 회로(6) 각각에 공급된다.
클래스-탭 발생 회로(2)로부터 클래스 탭을 수신할 때, 단계(S3)에서, 분류 회로(4)는 수신된 클래스 탭에 기초한 주목 원시 화소를 분류한다. 분류 회로(4)는 어드레스로서 얻어진 클래스 탭을 계수 RAM(5)에 출력한다. 단계(S4)에서, 계수 RAM(5)은 분류 회로(4)로부터 클래스 코드에 대응하는 어드레스에 저장된 예측 계수를 판독하고, 예측 계수를 예측 산술 회로(6)에 공급한다.
단계(S55)에서, 예측 산술 회로(6)는 수학식(1)에 기초한 연산을 수행하기 위해 예측-탭 발생 회로(3)로부터 예측 탭 및 계수 RAM(5)으로부터 예측 계수 모두를 사용함으로써, 주목 원시 화소 y에 기초하여 예측 값 E[y]를 발견한다. 다시 말해, 흐림-감소된 화소가 발견되고, 처리는 단계(S6)로 진행된다. 단계(S6)에서, 예측 산술 회로(6)는 흐려짐이 주목 원시 화소 y와 동일한 위치를 갖는 입력 화소에서 감소되는 화소 레벨로서 단계(S5)에서 얻어진 주목 원시 화소 y에 기초한 예측 값 E[y]를 출력한다. 처리는 단계(S7)로 진행된다.
단계(S7)에서, 제어기 등은 미리 결정된 블록에서 모든 주목 원시 화소들에 대한 상기 처리(아래 기재함)가 수행되었는지 여부를 결정한다. 제어기가 부정으로 결정된 경우, 처리는 단계(S2)로 진행된다. 단계(S2)에서, 블록의 원시 화소들 사이에서, 주목 원시 화소로서 사용되지 않는 것들은 추가의 주목 원시 화소로서 사용되고, 동일한 처리가 순차로 수행된다. 따라서, 제1 실시예에서, 동일한 블록 내의 주목 원시 화소들에 대해, 동일한 탭 정보에 기초하여 탭이 발생된다. 다시 말해, 동일한 블록 내의 주목 원시 화소들에 대해, 각각의 주목 원시 화소에 관하여 동일하게 배치된 입력 화소들로부터 탭이 발생된다.
제어기가 단계(S7)에서 주목 원시 화소로서 미리 결정된 블록 내의 모든 원시 화소를 사용하여 처리가 수행되었음을 결정한 경우, 처리는 단계(S8)로 진행된다. 단계(S8)에서, 제어기 등은 순차로 처리될 블록이 존재하는지 여부를 결정하고, 다시 말해, 순차로 처리될 블록에 대응하는 입력 이미지가 프레임 메모리(1)에 저장되는지 여부를 결정한다. 제어기가 단계(S8)에서 순차로 처리될 블록에 대응하는 입력 이미지가 프레임 메모리(1)에 저장된 것을 결정하는 경우, 처리는 단계(S1)로 복귀하고, 마찬가지 처리가 순차로 수행된다. 따라서, 새로운 탭 정보는 순차로 처리될 블랙에 대해 결정되고, 탭 정보에 따라 탭이 발생된다.
제어기 등이 단계(S8)에서 순차로 처리될 블록에 대응하는 입력 이미지가 프레임 메모리(1)에 저장된 것을 결정하는 경우, 처리는 종료된다.
도 5로 돌아가서, 도 1에 나타낸 탭-결정 회로(7)를 아래 기재한다.
판독 유닛(11)는 미리 결정된 블록 내의 원시 화소가 주목 원시 화소로서 사용될 때 주목 원시 화소에 기초한 탭으로서 사용될 입력 화소를 프레임 메모리(1)로부터 판독하고(도 1에 나타냄), 그 화소를 표준-편차 산출기(12)에 공급한다.
판독 유닛(11)에서, 원시 이미지의 하나의 프레임, 하나의 프레임을 분할함으로써 얻은 영역, 또는 몇몇 프레임들(예, 장면의 다음 변화 직전의 프레임으로 장면이 변화한 직후의 프레임)이 하나의 블록으로서 사용되고, 탭 정보는 블록 유닛에서 결정된다. 하나의 블록 내의 각각이 원시 화소가 주목 원시 화소로서 사용될 때, 판독 유닛(11)는 프레임 메모리(1)로부터 결정 유닛(13)에 의한 제어에 따른 탭 폭을 갖는 탭을 구성하는 입력 화소들을 각각의 원시 화소에 대해 판독하고, 그 화소를 표준 편차 산출기(12)에 공급한다.
표준 편차 산출기(12)는 탭을 구성하는 입력 화소들의 화소 레벨의 표준 편차(정확하게는 표준 편차와 등가인 값)를 판독 유닛(11)로부터 통계적인 탭 값으로서 산출한다. 표준 편차 산출기(12)는 동일한 탭 폭을 갖는 탭의 표준 편차의 평균 스코어를 산출하고, 각각의 블록에 대한 각각의 탭 폭을 평가한 값으로서 평균 스코어를 결정 유닛(13)에 공급한다. 블록을 i로 나타내고, 탭 폭을 j로 나타낼 때, 표준 편차 산출기(12)는 탭 폭 j를 평가하는 값으로서 다음 수학식으로 나타낸 스코어(i, j)를 산출하고, 이 스코어(i, j)를 결정 유닛(13)에 공급한다.
Figure 112000011605489-pat00054
여기서 M은 블록 #1에서 원시 화소들의 수를 나타내고, K는 탭을 구성하는 입력 화소들의 수를 나타내며, Vm,j,k는 블록 #i에서 m-번째 원시 화소에 대응하는 탭 폭 j를 갖는 탭에서 k-번째 입력 화소의 화소 레벨을 나타내고, 평균m,j는 블록 #i에서 m-번째 원시 화소에 대응하는 탭 폭 j를 갖는 탭의 평균 값을 나타낸다. 따라서, 평균m,j는 (Vm,j,1 + Vm,j,2 + ... + Vm,j,k)/k의 연산을 수행함으로써 발견될 수 있다.
결정 유닛(13)는 표준 편차 산출기(12)로부터 평가된 값인 스코어(i,j)를 기준값 설정 유닛(14)에서 설정된 미리 결정된 기준값과 비교하고, 비교 결과에 기초하여 판독 유닛(11)를 제어한다. 비교 결과에 기초하여, 결정 유닛(13)는 탭이 주목 원시 화소를 포함하는 블록(이하 "목적 블록"이라 칭하기도 함)에서 원시 화소에 대해 발생될 때 사용된 탭 폭을 결정하고, 탭 정보로서 탭 폭을 출력한다.
기준값 설정 유닛(14)에서, 입력 화상에서 흐려짐이 가장 많이 감소된 경우(입력 화소들을 분류한 결과가 입력 화소들에 대응하는 원시 화소들에 가장 근접한 경우)의 탭을 구성하는 입력 화소들(학생 데이터)의 화소 레벨의 표준 편차는 표준 편차 산출기(12)로부터 2개의 출력 값을 비교하기 위한 기준 값으로서 설정된다. 기준 값을 발견하는 방식은 이후에 기재한다.
도 6에 나타낸 흐름도를 참조하여, 도 5에 나타낸 탭-결정 회로(7)가 탭 구조를 결정하는 탭 결정 처리가 아래 기재된다.
탭 결정 처리에서, 주목 블록 중의 원시 화소들 중의 임의의 것이 단계(S11)에서 프레임 메모리(1)로부터(도 1에 나타냄) 주목 원시 화소로서 초기에 사용될 때, 판독 유닛(11)는 주목 블록 내의 주목 원시 화소로서 사용된 원시 화소에 대해, 예를 들면 0의 탭 폭을 갖는 탭을 발생시키기 위한 입력 화소를 판독하고, 그 탭을 표준 편차 산출기(12)에 공급한다.
처리는 단계(S12)로 진행한다. 단계(S12)에서, 표준 편차 산출기(12)는 입력 화소로 구성된 탭의 표준 편차를 산출하고, 처리는 단계(S13)로 진행된다. 단계(S13)에서, 제어기 등은 주목 블록의 모든 화소에 대한 상기 처리가 수행되었는지 여부를 결정한다. 제어기 등이 부정으로 결정한 경우, 처리는 단계(S11)로 복귀한다. 블록의 주목 원시 화소들 사이에서, 사용되지 않은 것들이 추가의 주목 원시 화소로서 사용되고, 마찬가지 처리가 반복적으로 수행된다.
제어기 등이 단계(S13)에서 블록의 모든 주목 원시 신호에 대한 상술한 처리가 수행되었음을 결정한 경우, 처리는 단계(S14)로 진행된다. 단계(S14)에서, 표준 편차 산출기(12)는 주목 블록에서 원시 화소들에 대해 얻어진 탭 표준 편차의 평균을 산출한다.
다시 말해, 주목 블록을 블록 #i로 나타내고, 주목 블록 #i의 각각의 원시 화소에 대해 발생된 탭의 탭 폭을 j로 나타낼 때, 수학식(8)으로 나타낸 스코어(i,j)가 단계(S14)에서 산출된다. 스코어(i,j)는 결정 유닛(13)로 공급된다.
단계(S15)에서, 결정 유닛(13)는 표준 편차 산출기(12)로부터 스코어(i,j)가 기준값 설정 유닛(14)에 설정된 기준값에 근접한지 여부를 결정한다. 결정 유닛(13)가 부정으로 결정된 경우, 즉, 주목 블록 #1의 원시 화소에 대해 발생된 탭 폭 j을 갖는 표준 편차의 평균값이 기준 값에 근접하지 않을 때, 처리는 단계(S16)로 진행된다. 단계(S16)에서, 결정 유닛(13)는 판독 유닛(11)가 탭 폭 j를 변화시키도록 제어하고, 처리는 단계(S11)로 되돌려 진행된다.
이러한 경우에, 단계(S11)에서, 판독 유닛(11)는 주목 원시 화소로서 주목 블록의 특정 원시 화소를 사용하고, 프레임 메모리(1)로부터 탭 폭 j+1을 갖는 탭을 발생시키기 위한 입력 화소들을 주목 원시화소에 대해 판독한다. 순차적으로 유사하게 처리가 수행된다.
단계(S15)에서, 결정 유닛(13)는 표준 편차 산출기(12)로부터 스코어(i,j)가 기준값 설정 유닛(14)에 설정된 기준값에 근접하고, 즉, 주목 블록 #1의 원시 화소들에 대해 발생된 탭의 표준 편차의 평균(탭 폭 j를 가짐)이 기준값에 근접할 때, 처리는 단계(S17)로 진행된다. 단계(S17)에서, 결정 유닛(13)는 탭 정보로서 탭 폭 j를 출력하고, 처리는 복귀된다.
상술한 바와 같이, 탭-결정 회로(7)에 의해 출력된 각각의 블록에 대한 탭 정보에 따라, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 각각의 블록의 원시 화소들이 주목 원시 화소로서 사용되는 탭을 발생시킨다. 탭-결정 회로(7)가 탭 폭 j에 기초한 탭 정보를 출력할 때, 탭 정보로서 출력된 탭 폭 j를 갖는 탭이 주목 블록을 구성하는 원시 화소에 대해 발생된다.
도 7을 참조하여, 계수 RAM(5)(도 1에 나타냄)에 저장될 클래스들에 대한 예측 계수를 발견하고, 기준값 설정 유닛(14)(도 5에 나타냄)에 설정될 미리 결정된 기준값을 발견하는 본 발명의 실시예에 따른 제1 유형의 학습 장치를 아래 기재한다.
프레임 메모리(61)는 예를 들면 프레임 유닛로 교사 데이터 y로서 사용될 원시 이미지(여기서, 흐림 없는 이미지)를 제공받는다. 원시 이미지는 프레임 메모리(61)에 일시적으로 저장된다. 흐림 발생 회로(62)는 프레임 메모리(61)에 저장된 원시 이미지(예측 계수의 학습에 있어서 교사 데이터 y로서 사용됨)를 판독하고 (예를 들면 필터링을 수행하기 위해 저역 필터를 사용하여) 원시 이미지를 구성하는 원시 화소들을 흐려지게 함으로써 흐려진 이미지(학생 데이터 x)를 발생시킨다. 흐려진 이미지들이 프레임 메모리(63)에 공급된다.
프레임 메모리(63)는 흐림 회로(62)로부터 흐린 이미지를 일시적으로 저장한다.
프레임 메모리(61 및 63)는 프레임 메모리(1)의 그것과 동일한 구조를 갖는다.
클래스-탭 발생 회로(64) 및, 예측-탭 발생 회로(65)는 탭-결정 회로(72)로부터 탭 정보에 따라 각각의 주목 원시 화소에 대해 클래스 탭 및 예측 탭을 각각 발생시키기 위해 프레임 메모리(63)에 저장된 화소들을 구성하는 흐려진-이미지(이하 "흐린 화소"라 칭함)를 사용하고, 각각 도 1에 나타낸 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)와 유사하게 클래스 탭 및 예측 탭을 분류 회로(66)에 공급한다.
분류 회로(66)는 도 4에 나타낸 분류 회로(4)의 그것과 동일한 구조를 갖는다. 분류 회로(66)는 클래스-탭 발생 회로(64)로부터 클래스 탭에 기초하여 주목 원시 화소를 분류하고, 어드레스로서 대응하는 클래스 코드를 예측-탭 메모리(68) 및 교사-데이터 메모리(70)에 공급한다.
가산기 회로(67)는 예측-탭 메모리(68)로부터 분류 회로(66)에 의해 출력된 클래스 코드에 대응하는 저장된 어드레스를 판독하고, 예측-탭 발생 회로(65)로부터 공급되는 예측 탭을 구성하는 각각의 흐린 화소의 화소 레벨에 판독 값을 부가함으로써 표준화 식(7)의 각각의 좌측에서 예측 계수 w에 대한 승산기로서 덧셈(∑)에 대응하는 연산을 수행한다. 가산기 회로(67)는 분류 회로(66)에 의해 출력된 클래스 코드에 대응하는 예측-탭 메모리(68)의 어드레스에 연산 결과를 중복 기입(overwrite)한다.
예측-탭 메모리(68)는 분류 회로(66)에 대응하는 저장된 어드레스를 판독하고, 판독 어드레스를 가산기 회로(67)에 공급하고, 가산기 회로(67)로부터 출력 값을 공급된 어드레스에 저장한다.
가산기 회로(69)는 프레임 메모리(61)에 저장된 원시 이미지를 구성하는 원시 화소들 사이에서 교사 데이터 y로서 주목 원시 화소를 판독하고, 분류 회로(77)로부터 출력된 클래스 코드에 대응하는 교사-데이터 메모리(70)에 저장된 어드레스를 판독한다. 가산기 회로(69)는 교사-데이터 메모리(70)로부터 판독된 값을 프레임 메모리(61)로부터 판독된 교사 데이터(원시 화소) y에 가산함으로써, 표준화 식(7)의 각각의 우측에서 덧셈()에 대응하는 연산을 수행한다. 가산기 회로(69)는 분류 회로(77)로부터 출력된 클래스 코드에 대응하는, 교사-데이터 메모리(70)의 어드레스에 연산 결과를 중복 기입한다.
가산기 회로(67 및 69)는 또한 식(7)의 승산을 수행한다. 보다 상세하게는, 가산기 회로(67)는 예측 탭을 구성하는 흐림 화소 x의 승산을 수행하고, 가산기 회로(69)는 흐림 화소 x와 교사 데이터 y의 승산을 수행한다. 따라서, 가산기 회로(69)에 의해 요구되는 흐림 화소 x는 프레임 메모리(63)로부터 판독된다.
교사-데이터 메모리(70)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하여 저장된 어드레스를 판독하고, 판독된 어드레스를 가산기 회로(69)에 공급하고, 가산기 회로(69)로부터 출력을 공급된 어드레스에 저장한다.
연산 회로(71)는 예측-탭 메모리(68) 및 교사-데이터 메모리(70)의 클래스 코드에 대응하는 어드레스에 저장된 값을 순차로 판독할 수 있고, 판독 값을 사용하는 표준화 식(7)을 해결함으로써 클래스들에 대한 예측 계수가 발견될 수 있다. 다시 말해, 연산 회로(71)는 예측-탭 메모리(68) 및 교사-데이터 메모리(70)의 클래스들에 대응하는 어드레스에 저장된 값들에 기초한 표준화 식(7)을 형성하고, 이 식을 해결함으로써, 클래스들에 대한 예측 계수를 발견한다.
탭-결정 회로(72)는 도 1에 나타낸 탭-결정 회로(7)에 의한 그것과 유사한 탭-결정 처리를 수행함으로써, 클래스-탭 발생 회로(64) 및 예측-탭 발생 회로(65)에 의해 발생될 탭에 대한 탭 정보가 결정되고 클래스-탭 발생 회로(64) 및 예측-탭 발생 회로(65)에 공급된다. 탭-결정 회로(72)는 탭 결정 처리를 위해 사용되는 미리 결정된 기준 값을 산출하기도 한다.
도 8에 나타낸 흐름도를 참조하여, 도 7에 나타낸 학습 장치가 클래스들에 대한 예측 계수를 발견하고, 미리 결정된 기준 값이 아래 기재되는 학습 처리를 아래 기재한다.
교사 데이터로서 원시 이미지(동화상)가 프레임 유닛의 학습 장치에 공급되고, 이미지들이 프레임 메모리(61)에 순차로 저장된다. 프레임 메모리(61)에 저장된 원시 이미지는 흐림 회로(62)에 공급되고, 여기서 공급된 이미지는 흐린 이미지가 되도록 처리된다. 흐림 회로(62)는 프레임 유닛에 상이한 흐림 정도를 갖는 흐려진 이미지를 발생시킬 수 있다.
흐림 회로(62)에서 얻어진 흐려진 이미지는 학생 데이터로서 프레임 메모리(63)에 순차로 공급된다.
학습 처리를 위해 준비된 모든 원시 이미지에 대응하는 흐려진 이미지가 상술한 바와 같이 프레임 메모리(63)에 저장될 때, 이후에 기재하는 바와 같이 탭-결정 회로(72)는 탭-결정 처리를 위한 기준 값을 발견하고, 처리는 단계(S22)로 진행된다.
단계(S22)에서, 탭-결정 회로(72)는 도 1에 나타낸 탭-결정 회로(72)와 유사하게, 탭을 구성하는 흐린 화소들을 결정하고, 흐린 화소들에 대한 탭 정보를 클래스-탭 발생 회로(64) 및 예측-탭 발생 회로(65)에 출력한다.
단계(S23)에서, 탭-결정 회로(72)로부터 탭 정보에 따라, 클래스-탭 발생 회로(64) 및 예측-탭 발생 회로(65)는 각각 프레임 메모리(63)로부터 클래스 탭 및 예측 탭을 구성하는 흐린 화소들을 판독하고, 그에 따라 클래스 탭 및 예측 탭이 형성된다.
클래스 탭은 분류 회로(66)에 공급되고, 예측 탭은 가산기 회로(67)에 공급된다.
단계(S24)에서, 분류 회로(66)는 도 4에 나타낸 분류 회로(4)와 유사사게 주목 원시 화소들을 분류하기 위해 클래스-탭 발생 회로(64)로부터 클래스 탭을 사용한다. 분류 결과로서 클래스 코드는 예측-탭 메모리(68) 및 교사-데이터 메모리(70)에 어드레스로서 공급된다.
처리는 단계(S25)로 진행되고, 예측 탭(학생 데이터)의 부가 및 교사 데이터의 부가가 수행된다.
단계(S25)에서, 예측-탭 메모리(68)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하는 어드레스에 저장된 값을 판독하고, 그 값을 가산기 회로(67)에 공급한다. 가산기 회로(67)는 예측-탭 메모리(68)로부터 공급된 저장된 값 및 예측-탭 발생 회로(65)로부터 공급되는 예측 탭을 구성하는 흐린 화소들을 사용하여, 표준화 식(7)의 각각의 좌측에서 예측 계수 w에 대한 승산기로서 덧셈(∑)에 대응하 는 연산을 수행한다. 가산기 회로(67)는 분류 회로(66)에 의해 출력된 클래스 코드에 대응하는 예측-탭 메모리(68)의 어드레스에 연산 결과를 중복 기입한다.
단계(S25)에서, 교사-데이터 메모리(70)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하는 어드레스에 저장된 값을 판독하고, 판독된 값을 가산기 회로(69)에 공급한다. 가산기 회로(69)는 프레임 메모리(61)로부터 주목 원시 화소들을 판독하고, 프레임 메모리(63)로부터 흐린 화소들을 반드시 판독한다. 가산기 회로(69)는 표준화 식(7)의 각각의 우측에서 덧셈(∑)에 대응하는 연산을 수행하기 위해 교사-데이터 메모리(70)로부터 공급된 저장된 값 및 판독된 화소들을 사용한다. 가산기 회로(69)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하는 어드레스에 연산 결과를 저장하여 이들이 중복 기입되게 한다.
처리는 단계(S26)로 진행되고, 현재 블록의 모든 주목 원시 화소를 사용하는 상기 처리가 수행되었는지 여부를 결정한다. 처리가 부정으로 결정되는 경우, 처리는 단계(S23)로 되돌려 진행된다. 단계(S23)에서, 주목 블록의 원시 화소들 사이에서, 주목 원시 화소들로서 사용되지 않는 것들은 새로운 주목 원시 화소들로서 사용되고 유사한 처리가 수행된다.
예를 들면, 제어기 등이 단계(S26)에서 상기 처리가 주목 원시 화소들로서 주목 블록의 모든 원시 화소들을 사용하여 수행되었음을 결정한 경우, 처리는 단계(S27)로 진행되고, 제어기 등은 처리할 블록이 존재하는지 여부, 즉, 처리될 다음 블록에 대응하는 흐린 화소들이 프레임 메모리(63)에 저장되는지 여부를 결정한다. 제어기 등이 단계(S27)에서 처리될 다음 블록에 대응하는 흐린 화소들이 프레임 메모리(63)에 저장된 것을 결정하는 경우, 처리는 단계(S22)로 진행된다. 단계(S22)에서, 새로운 주목 블록으로서 저장된 블록을 사용하고, 새로운 주목 원시 화소로서 주목 블록의 원시 화소들 중의 하나를 사용함으로써, 순차적으로 유사한 처리가 수행된다.
제어기 등이 단계(S27)에서 처리될 다음 블록에 대응하는 흐린 화소들이 프레임 메모리(63)에 저장되지 않은 것을 결정하고, 다시 말해, 상기 처리가 학습을 위해 준비된 모든 원시 화소들을 사용하여 수행될 때, 처리는 단계(S28)로 진행된다. 단계(S28)에서, 연산 회로(71)는 예측-탭 발생 메모리(68) 및 교사-데이터 메모리(70)로부터 클래스 코드에 대응하는 어드레스에 저장된 값들을 순차로 판독하고, 판독된 값을 사용하는 표준화 식(7)을 확립한다. 연산 회로(71)는 표준화 식(7)을 해결함으로써 클래스들에 대한 예측 계수를 발견한다. 단계(S29)에서, 연산 회로(71)는 클래스들에 대해 얻어진 예측 계수들을 출력하고, 학습 처리는 종료된다.
예측 계수의 상술된 학습 처리에서, 예측 계수들을 발견하기 위해 요구되는 표준화 식이 얻어질 수 없는 클래스가 발생될 수 있다. 그러한 클래스에 대해, 디폴트 예측 계수 또는 분류되지 않은 모든 화소들을 사용한 미리 결정된 학습 처리에 의해 얻어진 예측 계수가 출력될 수 있다.
도 9를 참조하여, 탭-결정 회로(72)의 구조(도 7에 나타냄)가 아래 기재된다.
도 9에 나타낸 바와 같이, 탭-결정 회로(72)는 판독 유닛(81), 표준-편차 산출기(82), 결정 유닛(83) 및 기준값 발생기(84)를 포함한다. 판독 유닛(81), 표준-편차 산출기(82) 및 결정 유닛(83)는 판독 유닛(11), 표준-편차 산출기(12) 및 결정 유닛(13)(도 5에 나타냄) 각각과 구조가 동일하다. 따라서, 탭-결정 회로(72)는 기준값 발생기(84)가 기준값 설정 유닛(14)(도 5에 나타냄) 대신에 제공되는 것을 제외하고는 탭 결정 회로(7)(도 5에 나타냄)와 구조가 동일하다.
도 8에 나타낸 단계(S21)에서, 기준값 발생기(84)는 탭 결정 처리를 위한 기준 값을 발견하고, 그 값을 결정 유닛(83)에 공급한다.
도 10에 나타낸 단계(S31 내지 S37)에서, 상기 구조를 갖는 탭-결정 회로(72)는 단계(S11 내지 S17)의 그것과 유사한 처리를 수행함으로써, 각각의 블록에 대한 탭 정보가 결정된다.
도 11 및 12를 참조하여, 기준값 발생기(84)(도 9에 나타냄)에 의한 기준 값의 연산이 아래 기재된다.
기준값 발생기(84)는 학습 처리를 위해 준비된 모든 원시 이미지를 프레임 메모리(61)로부터 판독하고, 원시 이미지들이 흐려진 흐린 이미지(학생 데이터)를 프레임 메모리(63)로부터 판독한다. 기준값 발생기(84)는 각각의 원시 이미지를 상기한 바의 블록으로 분할하고, 각각의 블록에서 화소들에 대해, 상이한 탭 폭을 갖는 탭을 발생시키고, 탭을 구성하는 흐려진 이미지의 표준 편차의 평균과 탭 폭 간의 관계를 발견한다.
다시 말해, 특정 블록에 주의를 기울일 때, 기준값 발생기(84)는 탭 폭 j를 갖는 탭을 발생시키기 위해 주목 원시 화소로서 블록의 각각의 원시 화소를 사용한다. 기준값 발생기(84)는 각각의 원시 화소에 대해 발생된 탭들의 표준 편차를 발견하고, 블록의 표준 편차의 평균을 산출한다. 보다 상세하게는, 블록 #1에서 원시 화소들의 전체 수를 M으로 나타낼 때, 탭을 구성하는 흐린 화소들의 전체 수는 K로 나타내고, 탭 폭 j를 갖는 탭에서 k-번째 흐린 화소의 화소 레벨은 Vm,j,k로 나타내고, 여기서 k-번째 흐린 화소는 블록 #1에서 m-번째 화소에 대응하고, 탭 폭 j를 갖는 탭의 평균(즉, 탭을 구성하는 흐린 화소들의 평균)은 평균m,j로 나타내고, 스코어(i,j)는 기준값 발생기(84)에 의해 수학식(8)에 따라 연산된다.
기준값 발생기(84)는 블록 #1에서 각각의 원시 화소에 대해 탭을 발생시키는 한편, 탭 폭 J를 여러 가지 값 및 순차로 탭 폭 j의 각각의 값을 갖는 탭의 표준 편차의 평균, 스코어(i,j)로 변화시킨다.
기준값 발생기(84)는 탭 폭 i의 각각의 값을 갖는 탭의 표준 편차의 평균, 스코어(i,j)를 유사하게 연산한다.
상술한 바와 같이, 각각의 블록 #i에 대해, 기준값 발생기(84)는 도 11에 나타낸 바와 같이 탭 폭 j를 갖는 탭의 표준 편차의 평균, 스코어(i,j)와 탭 폭 j 간의 관계를 발견한다.
도 11은 4개의 블록 #1 내지 #4에서 탭 폭 j를 갖는 탭의 표준 편차의 평균, 스코어(i,j)와 탭 폭 j 간의 관계를 나타낸다. 도 11에서, 원 기호는 블록 #1에 관한 값을 나타내고, 십자 기호는 블록 #2에 관한 값을 나타내고, 삼각형 기호는 블록 #3에 관한 값을 나타내고, 사각형 기호는 블록 #4에 관한 값을 나타낸다.
도 11은 탭 폭 j가 0 내지 10으로 설정될 때 얻어진, 탭의 표준 편차의 평균, 스코어(i,j)의 값을 나타낸다.
블록 i의 각각의 원시 화소에 대해 발생된 탭의 표준 편차의 평균, 스코어(i,j)는 블록 #i에 대해 흐려진 이미지의 화소 레벨이 어떻게 변화하는지, 즉, 흐림 정도를 나타낸다. 따라서, 스코어(i,j)가 더 클수록(작을수록), 흐림 정도가 더 작다(크다).
탭의 표준 편차의 평균, 스코어(i,j)를 발견할 때, 기준값 발생기(84)는 탭 폭 j를 갖는 탭을 사용하여 분류 적응형 처리를 수행함으로써 원시 화소에 기초한 예측 값을 동시에 발견한다.
다시 말해, 기준값 발생기(84)는 탭 폭 j를 미리 결정된 값으로 고정하기 위해 블록 #i의 원시 화소들 및 흐린 화소들을 사용하고, 확립하고, 표준화 식(7)을 해결함으로써, 클래스들에 대한 예측 계수들이 발견된다. 기준값 발생기(84)는 클래스들에 대한 예측 계수들을 사용하고, 탭 폭 j를 미리 결정된 값으로 고정하고, 수학식(1)에 기초한 연산을 수행함으로써, 블록 #i에서 각각의 원시 이미지에 기초한 예측 값들이 발견된다.
기준값 발생기(84)는 유사한 처리를 수행하는 한편, 탭 폭 j를 순차로 변화시키고, 다른 블록에 대한 유사한 처리를 수행한다. 그에 따라, 각각의 블록의 원시 화소들에 대해, 탭 폭 j의 각각의 값을 갖는 탭의 경우에 얻어진 예측 값 e(i,j)가 발견된다. 다시 말해, 블록 #i에서 원시 화소들에 대해, 원시 화소들을 예측하기 위한 탭의 탭 폭 j와 각각의 원시 화소에 기초한 예측 값 (i,j) 간의 관계가 밝혀졌다.
기준값 발생기(84)는 얼마나 많은 얻은 예측 값 e(i,j)가 원시 이미지에 근접하는지를 결정한다. 다시 말해, 예를 들면 블록 #i에 대해, 기준값 발생기(84)는 예측 값 e(i,j)의 신호-잡음 비율로서, 원시 화소들과 탭 폭 j를 갖는 탭에 의해 얻어진 각각의 예측 값 e(i,j) 간의 절대값 차이의 합의 역수를 발견한다. 도 11에 나타낸 4개의 블록 #1 내지 #4에 대해 얻은 신호-잡음 비율을 도 12에 나타낸다.
도 12에서, 0의 탭 폭을 갖는 신호-잡음 비율을 사용하여 얻은 예측 값 e(1,0)는 가장 바람직한 신호-잡음 비율을 갖고, 이는 e(1,0)가 원시 이미지에 가장 근접하는 것을 의미한다. 기준값 발생기(84)에서, 원시 이미지에 가장 근접한 예측 값 e(i,j)으로부터 블록 #i가 얻어지고, 탭 폭 j가 검출된다. 상술한 바와 같이 검출된 블록 #1 및 탭 폭 j는 이하 각각 "최적 블록" 및 "최적 탭 폭"이라 칭한다.
최적 탭 폭 j를 갖는 탭이 발생될 때 얻어진 각각의 예측 값 e(i,j)는 원시 이미지에 가장 근접하기 때문에, 탭이 최적 탭 폭을 갖도록 발생될 때 탭의 표준 편차(이하, "최적 표준 편차"라 칭하기도 함)는 다른 블록들에 대해 발생된 탭들에 대한 최적 표준 편차로서 고려된다.
다시 말해, 블록으로부터 표준 편차가 최적 표준 편차로서 사용되는 경우에 탭 폭을 갖는 탭이 발생될 때, 다른 블록들 각각에 대해, 원시 이미지에 가장 근접 한 예측 값들이 얻어지는 통계적인 국면이 가능하다.
따라서, 기준값 발생기(84)는 최적 표준 편차를 발견하고, 미리 결정된 기준 값으로서 최적 표준 편차를 결정 유닛(83)에 공급한다.
도 12에서, 0의 탭 폭 j를 갖는 탭을 사용함으로써 블록 #1에 대해 얻은 예측 값 e(0,1)은 가장 바람직한 신호-잡음 비율을 갖는다. 따라서, 도 11에 나타낸 원 기호로 나타낸 블록 #1에 대해 얻어진 스코어(i,j) 값들 사이에서, 탭 폭 j가 0일 때 얻어진 값 20은 최적 표준 편차로서 발견되었다.
다른 블록들에 대해, 도 11에 나타낸 굵은 화살표로 나타낸 각각의 값은 최적 표준 편차에 대응하는 표준 편차가 얻어진 것에 기초한 탭 폭 j이다. 따라서, 도 6 및 10에 나타낸 탭-결정 처리에서, 결정된 탭은 최적 표준 편차가 얻어지는 것에 기초한 탭 폭 j를 갖는다.
탭 폭 j는 정수 값을 취하지만, 도 11에서 분명히 알 수 있듯이, 최적 표준 편차에 대응하는 표준 편차가 얻어지는 것에 기초한 탭 폭(각각의 값은 도 11에 나타낸 굵은 화살표로 나타냄)은 항상 정수 값을 취하지는 않는다(많은 경우에 정수 값을 취하지 않음). 따라서, 도 6 및 10에 나타낸 탭-결정 처리에서, 최적 표준 편차에 대응하는 표준 편차가 얻어지는 것에 기초한 탭 폭이 정수 값이 아닐 때, 정수 값이 아닌 탭 폭에 가장 근접한 정수 값이 최종 탭 폭으로서 결정된다.
보다 상세하게는, 도 6에 나타낸 탭-결정 처리에서(도 10에 나타낸 것과 유사함), 처리는 표준-편차 산출기(12)로부터 스코어(i,j)가 기준값 설정 유닛(14)에서 설정된 기준 값에 근접하는지 여부를 결정한다(단계 S15). 처리가 긍정적으로 결정되는 경우, 결정이 수행되는 시점에서 탭 폭 j는 탭 정보로서 출력된다(단계 S17). "스코어(i,j)가 기준값에 근접한다"는 것은 탭이 발생될 때 얻어진 정수 값의 탭 폭 j를 갖는 탭의 스코어(i,j)의 표준 편차(이 실시예에서 블록에 대해 얻어진 표준 편차의 평균)가 기준 값에 가장 근접하는 것을 의미한다.
도 6 및 10에 나타낸 탭-결정 처리에서, 최적 표준 편차에 대응하는 표준 편차가 얻어지는 것에 기초하여 탭 폭을 발견하고, 탭 폭이 정수가 아닐 때, 탭 폭의 평균이 탭 폭의 평균으로서 사용되는 탭을 발견할 수 있다. 다시 말해, 최적 표준 편차에 대응하는 표준 편차에 기초한 탭 폭이 예를 들면 화소들 간의 탭 폭이 2가되도록 탭을 발생시킴으로써 1.5가 될 때, 탭 폭의 평균은 1.5로 설정될 수 있다.
상술한 바와 같이, 학습 처리 및 흐림-감소 처리는 최적 표준 편차를 발견하고, 최적 표준 편차에 대응하는 표준 편차가 얻어지는 것에 기초한 탭 폭을 갖는 탭을 발생시킴으로써 수행된다. 따라서, 처리 성능이 증가될 수 있다.
다시 말해, 학습 처리에서, 각각의 이미지의 흐림 정도에 대해 적응된 분류가 수행되고, 흐림 정도에 대해 적응된 예측 탭이 발생된다. 결과적으로, 클래스들에 대응하는 이미지의 흐림 정도에 대해 채택된 예측 계수들이 얻어질 수 있다. 흐림-감소 처리에서와 유사하게, 각각의 이미지의 흐림 정도에 대해 적응된 분류가 수행되고, 흐림 정도에 대해 채택된 예측 탭들이 발생되고, 원시 화소들에 기초한 예측 값들은 흐림 정도에 대해 적응된 군들에 대한 예측 계수를 사용하여 발견된다. 결과적으로, 클리어 이미지(흐림이 감소된 이미지)가 흐림 정도와 무관하게 얻어질 수 있다.
보다 상세하게는, 분류 적응형 처리가 예를 들면 상술한 바와 같이 작은 흐림 정도를 갖는 입력 이미지를 사용하여 수행될 때, 주목 원시 화소들의 특성이 반영되는 분류는 주목 원시 화소들에 비교적 근접한 입력 화소들을 바람직하게 사용함으로써 수행될 수 있다. 분류가 높은 흐림 정도를 갖는 입력 이미지를 사용하여 수행될 때, 주목 원시 화소들의 특성이 반영되는 분류가 입력 화소들로부터 비교적 먼 입력 화소들을 바람직하게 사용함으로써 수행될 수 있다.
도 11에 나타낸 경우에, 스코어(i,j)가 더 클수록, 상술한 바와 같이 흐림 정도는 더 작다. 따라서, 흐림 정도는 블록 #1, #2, #3 및 #4의 순서대로 증가한다. 도 11에 나타낸 경우에, 0, 1, 3 및 8의 탭 폭을 갖는 탭이 블록 #1, #2, #3 및 #4에 대해 발생된다.
따라서, 본 발명에 따라, 흐림 정도가 증가함에 따라, 주목 원시 화소들로부터 먼 입력 화소들을 사용하여 클래스 탭이 발생된다. 따라서, 이미지의 특성이 반영되는 분류가 수행된다.
제1 실시예에서, 탭 정보가 탭의 표준 편차에 기초하여 결정된다. 그러나, 탭 정보는 탭의 표준 편차 이외의 통계적인 값에 기초하여 결정될 수 있다. 즉, 탭 정보는 예를 들면 탭을 구성하는 화소들의 분포, 화소들 사이의 차이의 절대 합, 2차 차이의 절대 합(화소들의 차이들 사이의 차이의 절대 합) 등에 기초하여 결정될 수 있다.
제1 실시예에서, 탭 폭은 복수의 화소들로 구성된 각각의 블록에 대해 변화된다. 그러나, 탭 폭은 예를 들면 각각의 화소 유닛에 대해 변화될 수 있다.
제1 실시예에서, 예측 계수들은 계수 RAM(5)에 미리 저장된다. 그러나, 예측 계수들은 예를 들면 입력 이미지에 따라 이미지 처리 장치에 공급될 수 있다. 유사하게, 기준값은 기준값 설정 유닛(14)에서 설정될 필요가 없고, 입력 이미지에 의해 이미지 처리 장치에 공급될 수 있다.
제1 실시예에서, 탭의 배열(탭을 구성하는 화소)은 입력 이미지의 통계적인 값에 기초한 탭 폭을 변화시킴으로써 변화된다. 그러나, 탭 구조는 예를 들면 탭을 구성하는 화소들의 위치를 변화시킴으로써 변화될 수 있다. 탭 폭은 동일한 간격일 필요는 없다. 예를 들면, 중심으로서 중심 화소를 사용하여 3 x 3 탭의 4개의 코너의 4개의 탭으로 방사상으로 확장할 수 있다.
제1 실시예에서, 1차 수학식이 원시 화소들에 기초한 예측 값을 발견하기 위해 사용된다. 그러나, 2차수 이하의 차수를 갖는 수학식이 예측 값을 발견하기 위해 사용될 수 있다.
학습 처리에서, 수학식(7)의 덧셈(∑)에 대응하는 부가는 상술한 바와 같이 예측 탭을 사용하여 수행된다. 그러나 상이한 탭 폭을 갖는 예측 탭을 사용하는 부가는 예측 탭에서 대응하는 화소들을 사용하여 수행된다.
예측 탭이 중심의 중심 화소 둘레에 9개의 화소(3 화소 x 3 화소)를 갖도록 발생될 때, 제1 실시예에서, 0의 탭 폭을 갖는 예측 탭(도 3a) 및 1의 탭 폭을 갖는 예측 탭(도 3b)이 발생된다. 이러한 경우에, 0의 탭 폭을 갖는 예측 탭의 화소, 예를 들면 상부의 가장 좌측의 화소가 1의 탭 폭을 갖는 예측 탭의 상부의 가장 좌측 화소에 부가된다.
상이한 탭 폭을 갖는 클래스 탭의 분류 역시 유사한 기술을 사용하여 수행된다. 따라서, 예로써, 0의 탭 폭을 갖는 예측 탭(도 3a에 도시됨)을 구성하는 각각의 화소의 화소 레벨이 1의 탭 폭을 갖는 예측 탭(도 3b에 도시됨)을 구성하는 각각이 화소의 화소 레벨과 동일할 때, 도 3a에 도시된 클래스 탭을 사용하는 분류 결과 및 도 3b에 도시된 클래스 탭을 허용한 분류 결과는 동일하다(탭들은 동일한 클래스로 분류된다).
다음으로, 도 1을 참조하여, 본 발명이 적용되는 이미지 처리 장치의 제2 실시예를 아래 기재한다.
제2 실시예에 따른 이미지 처리 장치는 저해상도를 갖는 SD 이미지가 입력 이미지로서 이미지 처리 장치에 입력될 때 이미지 처리 장치가 분류 적응형 처리를 사용하여 입력 이미지를 처리함으로써, 고해상도를 갖는 HD 이미지가 출력되는 점에서 제1 실시예와 상이하다. 제2 실시예에 따른 이미지 처리 장치의 성분들은 제1 실시예의 그것과 동일하기 때문에, 그의 설명은 부분적으로 생략한다.
탭-결정 회로(7)는 프레임 메모리(1)에 저장된 입력 이미지의 파형 특성에 기초하여, 클래스 탭 및 예측 탭을 구성하는 입력 화소를 결정하고, 클래스 탭 및 예측 탭을 구성하는 입력 화소에 대한 정보를 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 공급한다.
탭-결정 회로(7)는 기본 탭으로서, 예를 들면 각각 5개의 수직 화소 및 5개의 수평 화소로 구성되는, 클래스-탭 발생 회로(2)에 의해 발생될 사각 클래스 탭 및 예측-탭 발생 회로(3)에 의해 발생될 사각 예측 탭을 결정하고, 여기서, 주목 화소에 인접한 입력 화소는 도 13에 도시된 점선으로 나타낸 바와 같이, 중심 화소(예를 들면, 중심 위치의 화소를 의미함)로서 사용된다.
도 13에서, 십자 기호는 HD 이미지를 구성하는 화소(HD 화소)를 나타내고, 원 기호는 입력 SD 이미지를 구성하는 화소(SD 이미지)를 나타낸다. 따라서, 도 13에서, SD 이미지는 수직 화소 및 수평 화소의 수를 절반으로 감소시킴으로써 얻어진 크기를 갖는다.
각각의 기본 탭을 결정할 때, 탭-결정 회로(7)는 예를 들면 도 14에 도시된 바와 같이 시작점으로서 중심 화소로부터 기본 탭의 다른 SD 화소(입력 화소)로의 방향을 검출한다. 기본 탭이 5 x 5 화소로 구성될 때, 도 14에 도시된 바와 같이 시작점으로서 중심 화소로부터 16개의 방향 D1 내지 D16이 검출된다.
각각의 방향 Di(i=1, 2, ..., 16)에 대해, 탭-결정 회로(7)는 그 방향의 SD 화소들의 파형 특성(화소-레벨 특성)에 기초하여, 최종적으로 탭을 발생시키는 SD 화소들을 결정한다. 다시 말해, 각각의 방향 Di에 대해, 그 방향의 SD 화소의 파형 특성에 기초하여, 그 방향의 탭을 구성하는 SD 화소의 위치가 시프트된다. 탭-결정 회로(7)는 시프팅 결과로서 탭을 최종적으로 발생시키기 위한 SD 화소들의 위치에 대한 정보를 탭 정보로서 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 공급한다.
도 16에 나타낸 흐름도를 참조하여, 도 1에 도시된 이미지 처리 장치에 의해 입력 이미지의 해상도를 증가시키는 해상도 증가 처리를 아래 기재한다.
해상도-증가 처리에 의해 처리될 SD 이미지(동화상)는 프레임 유닛의 입력 이미지로서 프레임 메모리(1)에 순차로 공급된다. 프레임 메모리(1)에서, 입력 이미지는 프레임 유닛에 순차로 저장된다.
미리 결정된 값이 발견되는 것에 기초한 미리 결정된 HD 화소는 주목 화소로서 사용된다. 단계(S41)에서, 탭-결정 회로(7)는 프레임 메모리(1)에 저장된 입력 이미지의 파형 특성에 기초하여, 주목 화소에 기초하여 탭을 발생시키기 위해 입력 화소들을 결정하고, 입력 화소의 위치에 대한 탭 정보를 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 출력한다.
단계(S42)에서, 탭-결정 회로(7)로부터 탭 정보를 수신할 때, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 각각 예측 값이 발견되는 것으로부터 주목 화소에 기초한 클래스 탭 및 예측 탭을 발생시키기 위해 입력 화소들을 프레임 메모리(1)로부터 판독하고, 클래스 탭 및 예측 탭을 발생시킨다. 클래스 탭 및 예측 탭은 각각 분류 회로(4) 및 예측 산술 회로(6)에 공급된다.
단계(S43)에서, 클래스-탭 발생 회로(2)로부터 클래스 탭을 수신할 때, 분류 회로(4)는 클래스 탭에 기초하여 주목 화소들을 분류하고, 분류 결과로서 얻어진 어드레스, 클래스 코드를 계수 RAM(5)에 출력한다. 단계(S44)에서, 계수 RAM(5)은 각각의 클래스 코드에 대응하는 어드레스에 저장된 예측 계수를 판독하고, 클래스 코드를 예측 산술 회로(6)에 공급한다.
단계(S45)에서, 예측 산술 회로(6)는 수학식(1)으로 나타낸 선형 예측 연산을 수행하기 위해 예측-탭 발생 회로(3)로부터 예측 탭 및 계수 RAM(5)으로부터 예측 계수를 사용함으로써, 주목 화소들 y에 기초하여 예측된 값 E[y]가 발견된다. 그 후, 처리는 단계(S46)로 진행된다. 단계(S46)에서, 예측 산술 회로(6)는 증가된 해상도를 갖는 HD 화소로서 단계(S45)에서 얻어진, 주목 화소들 y에 기초한 예측된 값 E[y]를 출력하고 처리는 단계(S47)로 진행된다.
단계(S47)에서, 제어기 등은 주목 화소를 포함하는 프레임을 구성하는 HD 화소들의 모든 예측 값들이 발견되었는지 여부를 결정한다. 제어기 등이 부정으로 결정한 경우, 처리는 단계(S41)로 되돌려 진행되고, 단계(S41)로부터의 단계들이 새로운 주목 화소로서 예측된 값들이 아직 발견되지 않은 것들로부터 HD 화소를 사용하여 반복적으로 수행된다.
제어기 등이 단계(S47)에서 주목 화소를 포함하는 프레임을 구성하는 HD 화소들의 모든 예측 값이 발견되었음을 결정한 경우, 처리는 단계(S48)로 진행된다. 단계(S48)에서, 제어기 등은 처리될 HD 이미지의 다음 프레임에 대응하는 입력 이미지(SD 이미지)가 프레임 메모리(1)에 저장되는지 여부를 결정한다. 제어기 등이 단계(S48)에서 처리될 HD 이미지의 다음 프레임에 대응하는 입력 이미지가 프레임 메모리(1)에 저장된 것을 결정하는 경우, 처리될 HD 이미지의 다음 프레임의 미리 결정된 HD 화소가 새로운 주목 화소로서 사용되고, 처리는 단계(S1)로 되돌려 진행된다. 순차로, 유사한 처리가 반복적으로 수행된다.
제어기 등이 단계(S48)에서 처리될 HD 이미지의 다음 프레임에 대응하는 입력 이미지가 프레임 메모리(1)에 저장되지 않은 것을 결정한 경우, 해상도-증가 처리는 종료된다.
도 17에 나타낸 흐름도를 참조하여, 도 16에 도시된 단계(S41)에서 탭-결정 회로(7)에 의해 수행된 탭-결정 처리의 제1 변형을 아래 기재한다.
선형 예측 수학식(1)에 기초한 분류 및 연산에 사용하기 위한 SD 화소들의 전체 세트 외에, 각각의 화소들은 이하 "탭"이라 칭하기도 한다.
단계(S51)에서, 탭-결정 회로(7)는 기본 탭을 설정한다. 보다 상세하게는, 단계(S51)에서, 탭-결정 회로(7)는 도 13에 도시된 점선으로 나타낸 바와 같이, 주목 화소의 위치에서 입력 화소가 중심 화소로서 사용되는 경우에 5개의 수직 화소 및 5개의 수평 화소로 구성된 탭을 설정한다. 탭-결정 회로(7)는 단계(S52)로 진행한다.
단계(S52)에서, 탭-결정 회로(7)는 시작점으로서 중심 화소로부터 기본 탭의 다른 SD 화소에 이르는 16개의 방향 D1 내지 D16을 검출하고, 처리는 단계(S53)로 진행된다.
단계(S53)에서, 단계(S52)에서 검출된 16개의 방향을 나타내는 변수 i는 예를 들면 탭-결정 회로(7)에 의해 "1"로 초기화되고, 탭-결정 회로(7)는 단계(S54)로 진행된다. 단계(S54)에서, 각각의 방향 Di의 탭을 나타내는 변수 j는 예를 들면 탭-결정 회로(7)에 의해 "1"로 초기화되고, 탭-결정 회로(7)는 단계(S55)로 진행된다.
단계(S55)에서, 탭-결정 회로(7)는 방향 Di의 중심 화소로부터 j-번째 탭 Ti,j로서 사용된 SD 화소의 화소 레벨이 최대값인지 여부를 결정한다.
탭-결정 회로(7)가 단계(S55)에서 방향 Di의 중심 화소로부터 j-번째 탭 Ti,j로서 사용된 SD 화소의 레벨이 최대값이 아닌 것으로 결정한 경우, 탭-결정 회로(7)는 단계(S56)로 진행되고, 방향 Di의 탭 Ti,j 및 그로부터(중심 화소로부터 먼) 외부 탭은 예를 들면 중심 화소로부터 하나의 화소만큼 멀리 이동한다. 탭-결정 회로(7)는 단계(S55)로 되돌려 진행되고, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S55)에서 방향 Di의 중심 화소로부터 j-번째 탭 Ti,j로서 사용된 SD 화소의 화소 레벨이 최대값인 것으로 결정한 경우, 탭-결정 회로(7)는 단계(S57)로 진행된다. 단계(S57)에서, 변수 j는 1씩 증가되고, 탭-결정 회로(7)는 단계(S58)로 진행된다. 단계(S58)에서, 탭-결정 회로(7)는 변수 j가 중심 화소 이외의 탭을 구성하는 (방향 Di의) 화소들의 수 Ji 이하인지 여부를 결정한다.
여기서, 도 14에서, 방향 D1, D3, D5, ..., D15에 대한 Ji는 예를 들면 2이고, 방향 D2, D4, D6, ..., D16에 대한 Ji는 예를 들면 1이다.
탭-결정 회로(7)가 단계(S58)에서 변수 j가 중심 화소 이외의 탭을 구성하는 (방향 Di의) 화소들의 수 Ji 이하인 것으로 결정한 경우, 즉, 중심 화소 이외의 탭을 구성하는 (방향 Di의) 모든 SD 화소들이 최대값이 아닐 때, 탭-결정 회로(7)는 단계(S55)로 되돌려 진행되고, 이들의 최대값에 도달하지 않은 SD 화소들의 위치에서 탭 Ti,j에 대한 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S58)에서 변수 j가 중심 화소 이외의 탭을 구성하는 (방향 Di의) 화소들의 수 Ji 이상인 것으로 결정한 경우, 즉, 중심 화소 이외의 탭을 구성하는 (방향 Di의) 모든 SD 화소들이 최대값일 때, 탭-결정 회로(7)는 단계(S59)로 진행되고, 변수 i는 1씩 증가된다. 탭-결정 회로(7)는 단계(S60)로 진행되고, 변수 i가 단계(S52)에서 검출된 방향의 전체 수 I(도 14에 나타낸 경우에 16) 이하인지 여부를 결정한다.
탭-결정 회로(7)가 단계(S60)에서 변수 i가 전체 수 I 이하인 것으로 결정한 경우, 즉, 최대값인 SD 화소들이 단계(S52)에서 검출된 모든 방향에 대해 아직 탭으로서 사용되지 않았을 때, 탭-결정 회로(7)는 단계(S54)로 되돌려 진행되고, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S60)에서 변수 i가 전체 수 I 이상인 것으로 결정한 경우, 즉, 최대값인 SD 화소들이 단계(S52)에서 검출된 모든 방향에 대한 탭으로서 사용되었을 때, 탭-결정 회로(7)는 단계(S61)로 진행된다. 단계(S61)에서, 탭을 구성하는 SD 화소들의 위치에 대한 정보가 탭 정보로서 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 출력되고, 처리는 복귀된다.
상기 탭-결정 처리의 제1 실시예에 따라, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 도 18a 및 18b에 나타낸 탭을 발생시킨다.
다시 말해, 도 18a 및 18b, 도 20a 및 20b, 및 도 22a 및 22b는 도 14에 나 타낸 16개의 방향들 중에서 주의가 기울여지는 방향 D1 및 이 방향 D1과 180도 반대인 방향 D9의 SD 화소들을 나타낸다.
도 18a 및 18b, 도 20a 및 20b, 및 도 22a 및 22b에서, 탭에 대한 중심 화소의 위치는 "n"으로 나타내고, 방향 D1의 위치 n으로부터 떨어진 m 화소들(m은 양의 정수인 경우)인 화소의 위치는 "n-m"으로 나타내고, 방향 D9의 위치 n으로부터 떨어진 m 화소들인 화소의 위치는 "n+m"으로 나타낸다.
도 18a 및 18b, 도 20a 및 20b, 및 도 22a 및 22b에서, 각각의 십자 기호는 SD 화소의 (화소 레벨)를 나타내고, 각각의 원 기호는 탭 (으로서 SD 화소)을 나타낸다.
도 18a는 중심 화소로서 SD 화소에 대하여 방향 D1의 2개의 인접한 SD 화소 및 방향 D9의 2개의 인접한 SD 화소가 탭으로서 사용되는 경우의 기본 탭을 나타낸다.
도 18b는 도 17에 도시된 탭-결정 처리에 의해 도 18a에 도시된 기본 탭으로부터 발생된 탭을 나타낸다. 도 18b에서, 중심 화소로서 사용된 SD 화소에 대하여, 먼저 D1 방향으로 나타나는 최대값을 갖는 SD 화소 및 최소값을 갖는 SD 화소가 탭으로서 사용되고, 먼저 D9 방향으로 나타나는 최소값을 갖는 SD 화소 및 최대값을 갖는 SD 화소가 탭으로서 사용된다.
도 19에 나타낸 흐름도를 참조하여, 탭-결정 회로(7)에 의해 단계(S41)(도 16에 나타냄)에서 탭-결정 처리의 제2 변형을 아래 기재한다.
단계(S71 및 S72)에서, 탭-결정 회로(7)는 도 17에 나타낸 단계(S51 및 S52)에서 수행된 것과 유사한 처리를 수행함으로써, 기본 탭을 설정하고, 중심 화소가 시작점으로서 사용되는 각각의 기본 탭에서 다른 SD 화소들에 대해 16개의 방향 D1 내지 D16을 검출한다.
처리는 단계(S73)로 진행되고, 탭-결정 회로(7)는 단계(S72)에서 검출된 방향 표시 변수 i를 예를 들면 "1"로 초기화시키고, 처리는 단계(S74)로 진행된다. 단계(S74)에서, 탭으로서 사용된 방향 D1의 SD 화소들의 다이내믹 범위 DRi가 연산된다. 다시 말해, 단계(S74)에서, 탭-결정 회로(7)는 방향 Di의 탭으로서 사용된 모든 SD 화소들(중심 화소를 포함함) 중에서 최대값 및 최소값을 검출하고, 최대값과 최소값 간의 차이를 다이내믹 범위 DRi로서 발견한다.
다이내믹 범위 DRi를 발견한 후, 탭-결정 회로(7)는 단계(S75)에서 다이내믹 범위 DRi가 프리셋 임계값 "th"보다 더 높은지 여부를 결정한다. 탭-결정 회로(7)가 단계(S75)에서 다이내믹 범위 DRi가 임계값 th 이하인 것을 결정한 경우, 즉, 방향 Di의 탭으로서 SD 화소들 사이에 어떠한 큰 변화도 없기 때문에 방향 Di의 탭이 일정한 것으로 밝혀질 때, 처리는 단계(S76)로 진행된다. 단계(S76)에서, 탭을 구성하는 중심 화소를 배제한 SD 화소들은 방향 Di의 탭들 간의 간격이 1화소 만큼 증가되도록 변화되고, 처리는 단계(S74)로 진행된다. 순차로, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S75)에서 다이내믹 범위 DRi가 임계값 th보다 큰지 여부를 결정한 경우, 즉, 탭으로서 SD 화소들 간에 비교적 큰 변화가 존재하기 때문에 방향 Di의 탭이 일정하지 않은 것으로 밝혀질 때, 처리는 단계(S77)로 진행된다. 단계(S77)에서, 변수 i는 1만큼 증가된다. 처리는 단계(S78)로 진행되고, 탭-결정 회로(7)는 변수 i가 단계(S72)에서 검출된 방향의 전체 수 I 이하인지 여부를 결정한다.
탭-결정 회로(7)가 단계(S78)에서 변수 i가 전체 수 I 이하인 것으로 결정한 경우, 즉, 다이내믹 범위가 임계값 th보다 더 큰 SD 화소들이 탭으로서 아직 사용되지 않을 때, 처리는 단계(S74)로 되돌려 진행된다. 순차로, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S78)에서 변수 i가 전체 수 I 이상인 것으로 결정한 경우, 즉, 다이내믹 범위가 임계값 th보다 큰 경우의 SD 화소들이 단계(S72)에서 검출된 모든 방향의 탭으로서 사용될 때, 처리는 단계(S79)로 진행되고, 단계(S79)에서, 탭-결정 회로(7)는 탭을 구성하는 SD 화소들의 위치에 대한 정보를 탭 정보로서 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 출력하고, 처리는 복귀된다.
탭-결정 처리의 상기 제2 변형에 따라, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 예를 들면 도 20a 및 20b에 나타낸 바와 같이 탭을 발생시킨다.
도 20a는 중심 화소로서 SD 화소에 대하여, 방향 D1의 2개의 인접한 SD 화소들 및 방향 D9의 2개의 인접한 SD 화소들이 탭으로서 사용되는 경우 도 18a와 유사한 기본 탭을 나타낸다.
도 20b는 도 19에 나타낸 탭-결정 처리에 의해 기본 탭으로부터 발생된 탭을 나타낸다. 모든 방향 D1 내지 D9에서, 다이내믹 범위 DR1 내지 DR9가 임계값 th보다 더 큰 SD 화소가 탭으로서 사용된다.
도 19 및 도 20a 및 20b에 나타낸 경우에, 탭으로서 SD 화소들 간의 간격은 방향 Di의 탭으로서 SD 화소들 사이의 최대값과 최소값 간의 차이인 다이내믹 범위 DRi가 임계값 th보다 더 크게 되도록 확장된다. 또한, 예로써, 탭으로서 SD 화소들 사이의 간격은 방향 Di의 탭으로서 2개의 인접한 SD 화소들 간의 차이가 임계값 th 이상이 되도록 확장될 수 있다.
도 21에 나타낸 흐름도를 참조하여, 단계(S41)(도 16에 나타냄)에서 수행된 탭-결정 처리의 제3 변형을 아래 기재한다.
단계(S81 내지 S83)에서, 탭-결정 회로(7)는 도 17에 나타낸 단계(S51 내지 S53)에서 수행된 것과 유사한 처리를 수행한다. 다시 말해, 탭-결정 회로(7)는 기본 탭을 설정하고, 중심 화소가 시작점으로서 사용되는 기본 탭에서 다른 SD 화소들에 대해 16개의 방향 D1 내지 D16을 검출하고, 변수 i를 초기화시킨다.
단계(S84)에서, 탭-결정 회로(7)는 예를 들면 방향 Di의 기본 탭으로서 사용된 SD 화소들(의 화소 레벨)에 근접하는 함수인 직선 (이하 "근접한 직선"이라 칭함) Li를 발견하고, 단계(S85)로 진행된다. 단계(S85)에서, 탭-결정 회로(7)는 근접한 직선 Li에 대하여 방향 Di의 탭으로서 (중심 화소를 포함하여) SD 화소들의 에러(예, 제곱 에러)를 발견하고, 에러의 누적된 값을 발견한다. 단계(S86)에서, 탭-결정 회로(7)는 에러의 누적된 값이 미리 결정된 임계값보다 큰지 여부를 결정한다.
탭-결정 회로(7)는 단계(S86)에서 에러의 누적된 값이 미리 결정된 임계값 이하인 것을 결정하는 경우, 즉, SD 화소들 사이에 어떠한 특정 변화도 존재하지 않기 때문에 방향 Di의 탭으로서 SD 화소들이 일정한 것으로 밝혀질 때, 탭-결정 회로(7)는 단계(S87)로 진행된다. 단계(S87)에서, 방향 Di의 중심 화소를 배제한 모든 탭들은 예를 들면 1 화소만큼 방향 Di를 따라 (바깥쪽으로) 이동하고, 처리는 단계(S85)로 되돌려 진행된다. 순차로, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S86)에서 에러의 누적된 값이 미리 결정된 임계값보다 더 큰 것을 결정한 경우, 즉, 탭으로서 SD 화소들 사이에 비교적 큰 변화가 존재하기 때문에 방향 Di의 탭으로서 SD 화소들이 일정하지 않은 것으로 밝혀질 때, 탭-결정 회로(7)는 단계(S88)로 진행되고, 변수 i는 1만큼 증가된다. 단계(S89)에서, 탭-결정 회로(7)는 변수 i가 단계(S82)에서 검출된 방향의 전체 수 I 이하인지 여부를 결정한다.
탭-결정 회로(7)가 단계(S89)에서 변수 i가 전체 수 I 이하인 것을 결정한 경우, 즉, 에러의 누적된 값이 미리 결정된 임계값보다 더 큰 SD 화소들이 단계(S82)에서 검출된 모든 방향의 탭으로서 아직 사용되지 않았을 때, 탭-결정 회로(7)는 단계(S84)로 되돌려 진행된다. 순차로, 유사한 처리가 반복적으로 수행된다.
탭-결정 회로(7)가 단계(S89)에서 변수 i가 전체 수 I 이상인 것으로 결정한 경우, 즉, 에러의 누적된 값이 미리 결정된 임계값보다 더 큰 경우의 SD 화소들이 탭으로서 사용되었을 때, 탭-결정 회로(7)는 단계(S90)로 진행된다. 단계(S90)에서, 탭을 구성하는 SD 화소들의 위치에 관한 정보는 탭 정보로서 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)에 출력되고, 처리는 복귀된다.
탭-결정 처리의 상기 제3 변형에 따라, 클래스-탭 발생 회로(2) 및 예측-탭 발생 회로(3)는 도 22a 및 22b에 나타낸 바와 같이 탭을 발생시킨다.
도 22a는 중심 화소로서 SD 화소에 대하여 방향 D1의 2개의 인접한 SD 화소들 및 방향 D9의 2개의 인접한 SD 화소들이 탭으로서 사용되는 경우, 도 18a와 유사하게 기본 탭을 나타낸다.
도 22b는 도 21에 나타낸 탭-결정 처리에 의해 기본 탭으로부터 발생된 탭을 나타낸다. 모든 방향 D1 내지 D9에서, 근접한 직선 L1 내지 L9로부터 에러의 누적된 값이 미리 결정된 값보다 더 큰 SD 화소들이 탭으로서 사용된다.
도 21 및 도 22a 및 22b에 나타낸 경우에, SD 화소들은 기본 탭으로서 SD 화소들에 근접하는 직선 Li에 대하여 탭을 구성하는 SD 화소들의 에러의 누적된 값에 기초하여 발생된다. 또한, SD 화소들은 예를 들면 에러의 분포에 기초하여 발생될 수 있다. 도 21에 나타낸 경우에, 단계(S87)에서, 중심 화소를 배제한 모든 탭들은 예를 들면 1 화소 만큼 방향 Di를 따라 이동한다. 그러나, 탭들은 방향 Di의 탭들 간의 각각의 간격이 예를 들면 하나의 화소만큼 증가될 수 있도록 이동할 수 있다.
도 21 및 도 22a 및 22b에 나타낸 경우에, 직선은 방향 Di의 기본 탭으로서 사용된 SD 화소들에 근접하는 함수로서 밝혀졌다. 또한, 적어도 2 방향으로 배치된 기본 탭으로서 SD 화소들에 근사하는 함수로서 평면 또는 만곡된 표면을 발견함으로써, 탭들은 그 평면 및 만곡된 표면에 대한 에러에 기초하여 결정될 수 있다.
도 23을 참조하여, 계수 RAM(5)(도 1에 도시됨)에 저장될 클래스들에 대한 예측 계수를 발견하는 제2 유형의 학습 장치를 아래 기재한다.
도 7에 나타낸 것과 동일한 제2 유형의 성분들은 동일한 참조 번호로 나타낸다. 따라서, 동일한 설명은 생략된다.
교사 데이터 y로서 사용되는 원시 이미지(고해상도 HD 이미지)는 예를 들면 프레임 유닛의 프레임 메모리(61)에 공급되고, 프레임 메모리(61)는 공급된 원시 이미지를 일시적으로 저장한다. 추출 회로(91)는 예측 계수의 학습에 교사 데이터 y로서 사용되는 프레임 메모리(61)에 저장된 각각의 원시 이미지를 판독하고, 원시 이미지를 구성하는 화소들을 추출함으로써, 저해상도 SD 이미지가 발생된다. 추출 회로(91)는 수평 및 수직 화소들(도 13에 십자 기호로 나타냄)의 수를 절반으로 감소시킴으로써 SD 이미지(도 13에 원 기호로 나타냄)를 발생시킨다. SD 이미지는 프레임 메모리(63)에 공급된다.
도 24에 나타낸 흐름도를 참조하여, 도 23에 나타낸 학습 장치에 의해 클래스들에 대한 예측 계수를 발견하기 위한 학습 처리를 아래 기재한다.
교사 데이터로서 사용될 원시 이미지로서 HD 이미지가 프레임 유닛의 학습 장치에 공급되고, 공급된 이미지는 순차로 프레임 메모리(61)에 저장된다. 단계(S91)에서, 프레임 메모리(1)에 저장된 HD 이미지(원시 이미지로서)는 추출 회로(91)에 공급된다. 각각의 공급된 이미지는 SD 이미지로 변환된다. 추출 회로(91)로부터, SD 이미지는 학생 데이터로서 프레임 메모리(63)에 공급되고 저장된다.
탭-결정 회로(72)는 목적한 화소들로서 프레임 메모리(63)에 저장된 SD 이미지의 프레임의 미리 결정된 HD 화소들을 사용한다. 단계(S92)에서, 탭-결정 회로(72)는 도 1에 나타낸 탭-결정 회로(7)와 유사하게 주목 화소들에 기초하여 탭을 발생시키기 위해 SD 화소들을 결정한다. 탭-결정 회로(72)는 SD 화소들에 대한 탭 정보를 클래스-탭 발생 회로(64) 및 예측-탭 발생 회로(65)에 출력한다.
단계(S93)에서, 주목 화소들에 기초하여 클래스 탭 및 예측 탭을 발생시키기 위한 SD 화소들은 탭-결정 회로(72)로부터 탭 정보에 따라 탭-결정 회로(72)로부터 판독되고, 클래스 탭 및 예측 탭이 발생된다. 클래스 탭들은 분류 회로(66)에 공급되고 예측 탭들은 가산기 회로(67 및 69)에 공급된다.
단계(S94)에서, 분류 회로(66)는 주목 화소들을 분류하기 위해 클래스-탭 발생 회로(64)로부터 클래스 탭을 사용하고, 분류 결과인 클래스 코드를 예측-탭 메모리(68) 및 교사-데이터 메모리(70)에 어드레스로서 공급한다.
단계(S95)에서, 예측 탭(학생 데이터) 및 교사 데이터의 부가가 수행된다.
다시 말해, 단계(S95)에서, 예측-탭 메모리(68)는 분류 회로(66)에 대응하는 클래스 코드에 대응하는 저장된 어드레스를 판독하고, 판독된 어드레스를 가산기 회로(68)에 공급한다. 예측-탭 메모리(68)로부터 공급된 저장된 값 및 예측-탭 발생 회로(65)로부터 공급되는 예측 탭을 발생시키는 SD 화소들을 사용함으로써, 가산기 회로(67)는 표준화 식(7)의 각각의 좌측에서 예측 계수 w에 대한 승산기로서 덧셈(∑)에 대응하는 연산을 수행한다. 가산기 회로(67)는 분류 회로(66)에 의해 출력된 클래스 코드에 대응하는 예측-탭 메모리(68)의 어드레스에 연산 결과를 중복 기입한다.
단계(S95)에서 역시, 교사-데이터 메모리(70)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하는 저장된 어드레스를 판독하고, 판독된 어드레스를 가산기 회로(69)에 공급한다. 가산기 회로(69)는 프레임 메모리(61)로부터 주목 화소들을 판독하고, 판독된 주목 화소들로서 사용된 HD 화소들, 예측 탭 및 교사-데이터 메모리(70)로부터 공급된 저장된 값을 사용하여 표준화 식(7)의 각각의 우측에서 덧셈(∑)에 대응하는 연산을 수행한다. 가산기 회로(69)는 분류 회로(66)로부터 출력된 클래스 코드에 대응하는 교사-데이터 메모리(70)의 어드레스에 연산 결과를 중복 기입한다.
단계(S96)에서, 제어기 등은 상기 처리가 주목 화소를 포함하는 프레임을 구성하는 모든 HD 화소들을 주목 화소로서 사용하여 수행되었는지 여부를 결정한다. 제어기 등이 부정으로 결정한 경우, 처리는 단계(S92)로 되돌려 진행된다. 순차로, 주목 화소로서 아직 사용되지 않은 HD 화소들을 새로운 주목 화소로서 사용하여 유사한 처리가 반복적으로 수행된다.
제어기 등이 단계(S96)에서 상기 처리가 주목 화소를 포함하는 프레임을 구성하는 모든 화소들을 추가의 주목 화소들로서 사용하여 수행하였음을 결정한 경우, 제어기 등은 단계(S97)로 진행되고, 처리될 다음 프레임이 프레임 메모리(61)에 저장되었는지 여부를 결정한다. 제어기 등이 단계(S97)에서 처리될 다음 프레임이 프레임 메모리(61)에 저장된 것으로 결정한 경우, 처리는 단계(S91)로 진행되고, 처리될 다음 프레임에 대한 유사한 처리가 반복적으로 수행된다.
제어기 등이 단계(S97)에서 처리될 프레임이 프레임 메모리(61)에 저장되지 않은 것을 결정한 경우, 즉, 상기 처리가 학습을 위해 준비된 모든 HD 이미지를 사용하여 수행되었을 때, 처리는 단계(S98)로 진행된다. 단계(S98)에서, 연산 회로(71)는 예측-탭 메모리(68) 및 교사-데이터 메모리(70)에서 클래스 코드에 대응하는 어드레스에 저장된 값들을 순차로 판독하고, 판독된 값을 사용하는 표준화 식(7)을 해결함으로써, 클래스들에 대한 예측 계수들이 밝혀졌다. 단계(S99)에서, 연산 회로(71)는 클래스들에 대한 예측 계수를 출력하고, 학습 처리는 종료된다.
예측 계수의 상기 학습 처리에서, 예측 계수를 발견하기 위해 필요한 표준화식이 얻어질 수 없는 클래스가 발생될 수 있다. 그러한 클래스에 대해, 디폴트 예측 계수 또는 분류되지 않는 모든 화소를 사용하여 미리 결정된 학습에 의해 얻어진 예측 계수가 출력될 수 있다.
상술한 바와 같이, 각각의 탭을 구성하는 SD 화소들의 파형 특성에 기초하여, 탭을 구성하는 SD 화소들이 결정된다. 따라서, 화소들의 특성이 반영된 분류를 수행하기 위한 클래스 탭 및 예측된 값에서 미리 결정된 에러가 감소되는 예측 탭이 발생될 수 있다. 결과적으로, 분류 적응형 처리의 성능이 증가될 수 있다.
도 4, 6, 8, 10, 16, 17, 19, 21 및 24에 나타낸 상기 처리는 하드웨어 또는 소프트웨어에 의해 수행될 수 있다. 각각의 처리를 수행하는 소프트웨어를 사용하기 위해, 소프트웨어를 위한 프로그램이 전용 하드웨어로서 이미지 처리 장치 및 학습 장치로 구축되는 컴퓨터에 설치되거나 또는 여러 가지 유형의 프로그램이 여러 가지 유형의 처리를 수행하는 다목적 컴퓨터에 설치된다.
도 25a, 25b 및 25를 참조하여, 각각의 상기 처리를 실행할 프로그램이 컴퓨터에 의해 실행되도록 이전의 컴퓨터에 설치될 때 사용된 매체를 아래 기재한다.
프로그램은 도 25a에 나타낸 바와 같이, 컴퓨터(101)로 구축된 기록 매체로서 반도체 메모리(103) 또는 하드 디스크(도 25a 및 26에 "HDD"로 나타냄)에 설치되는 형태로 사용자에게 제공될 수 있다.
또한, 플로피 디스크(111), 컴팩트 디스크 판독 전용 메모리(CD-ROM)(112), 자기 광학적(MO) 디스크(113), 디지털 휘발성 디스크(DVD)(114), 자기 디스크(115) 또는 반도체 메모리(116) 등의 기록 매체에 프로그램을 일시적으로 또는 영구적으로 저장함으로써, 프로그램은 도 25b에 나타낸 바와 같이 패키지 소프트웨어로서 제공될 수 있다.
또한, 도 25c에 나타낸 바와 같이, 디지털 방송 위성(122)을 통해 다운로드 사이트(121)로부터 컴퓨터(101)로 프로그램을 전송하기 위해 무선 통신을 사용함으로써 또는 인터넷 등의 통신망(131)을 통해 프로그램을 유선으로 전송함으로써, 프로그램은 컴퓨터(101)로 구축되는 하드 디스크(102)에 저장될 수 있다.
본 명세서에서 "매체"는 상기 유형의 모든 매체를 포함하는 광의의 개념을 의미한다.
본 명세서에서, 매체에 의해 제공된 프로그램을 기재하는 단계들은 각각의 흐름도로 나타낸 순서에 따라 순차로 실행될 필요가 없고, 병렬로 또는 개별적으로 실행된 처리(예, 병렬 처리 또는 목적-배향된 처리)를 포함한다.
도 26을 참조하여 도 25a 내지 25c에 나타낸 컴퓨터(101)의 구조를 아래 기재한다.
컴퓨터(101)는 도 26에 나타낸 바와 같이 중앙 처리 유닛(CPU)를 포함한다. 입출력(I/O) 인터페이스(145)는 버스(141)를 통해 CPU(142)에 접속된다. 사용자가 키보드 또는 마우스를 포함하는 입력 유닛(147)를 작동시킴으로써 CPU(142)에 명령을 입력할 때, CPU(142)는 그 명령에 따라 반도체 메모리(103)에 대응하는 판독-전용 메모리(ROM)에 저장된 프로그램을 실행시킨다. CPU(142)는 하드 디스크(102)에 저장된 프로그램, 인공 위성(122) 또는 통신망(133)으로부터 전송되고, 통신 유닛(148)에 의해 수신된 후 하드 디스크(102)에 설치된 프로그램, 플로피 디스크(111), CD-ROM(112), MO 디스크(113), DVD(114) 또는 자기 디스크(115)로부터 판독된 후 하드 디스크(102)에 설치되고 드라이브(149)로 로드된 프로그램을 랜덤 액세스 메모리(144)로 로드한다. CPU(142)는 로드된 프로그램을 실행하고, 실행된 결과를 예를 들면 필요할 경우 I/O 인터페이스(145)를 통해 액정 디스플레이를 포함하는 디스플레이 유닛(146)에 출력한다.
분류 적응형 처리는 클래스들에 대응하는 예측 계수에 대한 학습을 수행하기 위해 교사 데이터 및 학생 데이터를 사용하고, 예측 계수 및 입력 데이터를 사용하여 선형 예측을 수행함으로써 입력 데이터로부터 교사 데이터의 예측 값을 발견하기 때문에, 주목 예측 값에 대한 예측 계수들이 학습에 사용할 교사 데이터 및 학생 데이터에 좌우되어 얻어질 수 있다. 예로써, 어떠한 잡음도 포함하지 않는 이미지를 교사 데이터로서 사용하고, 교사 데이터로서 이미지에 잡음을 부가함으로써 발생된 이미지를 학생 데이터로서 사용함으로써, 잡음을 제거하기 위한 예측 계수가 얻어질 수 있다. 따라서, 본 발명은 흐림을 감소시킴으로써 해상도가 증가되는 상기 경우에 적용될 뿐만 아니라, 잡음이 제거되는 경우 및 파형이 변화되는 경우에 역시 적용될 수 있다.
상기 실시예들에서, 동화상은 분류 적응형 처리에 의해 수행된다. 그러나, 동화상 외에, 정지 화상, 음향, 기록 매체 등으로부터 판독된 신호가 처리될 수 있다.
상기 실시예들에서, 클래스 탭 및 예측 탭은 동일한 탭 정보에 따라 발생되고, 두가지 유형의 탭은 동일한 화소에 의해 형성된다. 그러나, 클래스 탭 및 예측 탭은 상이한 구조를 갖도록 발생될 수 있고, 다시 말해, 클래스 탭 및 예측 탭들은 상이한 유형의 탭 정보에 따라 발생될 수 있다.
상기 실시예들에서, 클래스 탭 및 예측 탭 모두는 각각의 주목 화소에 대해 가변적으로 배치된 SD 화소들을 사용하여 탭 정보에 타라 발생된다. 그러나, 2가지 유형의 탭은 각각의 주목 화소에 고정적으로 배치된 SD 화소들을 사용하여 발생될 수 있다.
제2 실시예에서, 탭을 구성하는 SD 화소들은 탭을 구성하는 SD 화소들이 최대값, 다이내믹 범위, 근접한 직선으로부터 에러인지 등의 여부에 기초하여 결정된다. 그러나, 파형의 SD 화소들의 특성(파형 특성)에 기초하여, 탭을 구성하는 SD 화소들이 결정될 수 있다.
제2 실시예에서, 탭을 구성하는 SD 화소들은 시작점으로서 중심 화소로부터의 방향들에 대해 결정된다. 그러나, 탭을 구성하는 SD 화소들은 그 방향들에 대해 항상 결정될 수는 없다.
상기 실시예들에서, 이미지 처리 장치 및 이미지 처리 장치에 사용하기 위한 학습 장치가 개별적으로 제공된다. 그러나, 이미지 처리 장치 및 학습 장치는 통합적으로 제공될 수 있다. 이러한 경우에, 학습은 학습 장치에 의해 실시간으로 수행될 수 있고, 이미지 처리 장치에 사용하기 위한 예측 계수들이 실시간으로 갱신될 수 있다.
제2 실시예에서, 클래스들에 대한 예측 계수들이 계수 RAM(5)에 미리 저장된다. 그러나, 예측 계수들은 예를 들면 입력 이미지(SD 이미지)에 의해 이미지 처리 장치에 공급될 수 있다.
클래스 탭 및 예측 탭은 공간적으로 배치된 화소 및 시간적으로 배치된 화소 모두를 사용하여 발생될 수 있다.
학습 처리에서, 수학식(7)에서 덧셈(∑)에 대응하는 부가가 예측 탭을 사용하여 수행된다. 각각의 주목 화소로부터 상이한 위치를 갖는 SD 화소들에 의해 형성된 예측 탭의 부가는 예측 탭에서 대응하는 화소들을 사용하여 수행된다.
다시 말해, 기본 탭이 중심 화소로부터 5개의 수평 화소 x 5개의 수직 화소로 구성된 25개의 화소들을 사용하여 형성될 때, 예측 탭은 도 14에 나타낸 16개의 방향 D1 내지 D16의 임의의 화소들을 사용하여 형성된다. 따라서, 예측 탭 및 다른 예측 탭은 중심 화소로부터 상이한 위치를 갖는 화소들로 형성된다. 이러한 경우에, 예측 탭에서 방향 D1의 중심 화소로부터 제1 탭으로서 화소는 다른 예측 탭의 방향 D16의 중심 화소로부터 제1 탭으로서 화소에 부가된다.
또한, 분류는 동일한 국면으로 수행된다. 다시 말해, 클래스 탭을 구성하는 각각의 방향의 탭으로서 각각의 화소(의 화소 레벨)는 대응하는 방향의 중심 화소로부터 대응하는 순서의 탭으로서 각각의 화소와 동일하고, 2개의 클래스 탭에 기초한 분류 결과는 서로 일치한다(동일한 클래스로 분류된다).
본 발명은 데이터 처리 장치 및 그 방법, 학습 장치 및 그 방법, 및 매체에 관한 것이며, 보다 상세하게는 이미지 데이터 등이 처리될 때 처리 효율을 증가시키는 데이터 처리 장치 및 그 방법, 및 동일물을 구비한 매체에 관한 것이다.

Claims (40)

  1. 입력 데이터를 처리함으로써 상기 입력 데이터에 대응하는 출력 데이터를 예측하는 데이터 처리 장치로서,
    상기 입력 데이터로부터 추출되는 복수의 데이터에 따라, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들을 결정할 수 있는 결정 수단;
    상기 결정 수단에 의한 결정 결과에 따라, 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 상기 입력 데이터로부터 추출하는 추출 수단; 및
    상기 추출 수단에 의해 추출된 상기 복수의 데이터에 기초하여 상기 주목 출력 데이터의 예측 값들을 발견하기 위한 예측 수단을 포함하는, 데이터 처리 장치.
  2. 제1항에 있어서, 상기 복수의 데이터에 기초한 통계적인 값이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  3. 제1항에 있어서, 상기 추출된 데이터에 기초하여 상기 주목 출력 데이터를 분류하고, 대응하는 클래스 코드들을 출력하기 위한 분류 수단을 더 포함하고,
    상기 예측 수단은 상기 클래스 코드에 대응하는 예측 계수들을 사용함으로써 상기 주목 출력 데이터를 예측하는, 데이터 처리 장치.
  4. 제2항에 있어서, 추출된 데이터에 기초한 표준 편차들이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  5. 제4항에 있어서, 상기 결정 수단은 상기 입력 데이터의 미리 결정된 블록에 위치되는 상기 입력 데이터로부터 추출되는 상기 복수의 데이터의 상기 표준 편차들의 평균에 기초하여, 상기 미리 결정된 블록으로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  6. 제2항에 있어서, 상기 미리 결정된 값을 저장하기 위한 저장 수단을 더 포함하는, 데이터 처리 장치.
  7. 제3항에 있어서, 상기 예측 수단은 상기 주목 출력 데이터의 선형 예측을 수행하도록 상기 추출된 데이터 및 상기 예측 계수들을 사용하는, 데이터 처리 장치.
  8. 제3항에 있어서, 상기 클래스 코드에 대응하는 상기 예측 계수를 저장하기 위한 예측-계수 저장 수단을 더 포함하는, 데이터 처리 장치.
  9. 제1항에 있어서, 상기 입력 데이터 및 상기 출력 데이터는 이미지 데이터인, 데이터 처리 장치.
  10. 제9항에 있어서, 상기 추출 수단은 상기 이미지 데이터로서의 상기 입력 데이터로부터, 상기 이미지 데이터로서의 상기 주목 출력 데이터에 시간적으로 및 공간적으로 인접한 화소들을 추출하는, 데이터 처리 장치.
  11. 제9항에 있어서,
    상기 입력 데이터는 상이한 흐림 정도를 갖는 이미지 데이터이고;
    상기 결정 수단은 상이한 흐림 정도를 갖는 상기 각각의 이미지 데이터에 대해 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  12. 제9항에 있어서,
    상기 입력 데이터는 상이한 해상도들을 갖는 이미지 데이터이고;
    상기 결정 수단은 상이한 해상도들을 갖는 상기 각각의 이미지 데이터에 대해 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  13. 제9항에 있어서, 화소들에 기초한 통계적인 값이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 이미지 데이터로서의 상기 입력 데이터로부터 추출되는 상기 복수의 데이터인 복수의 상기 화소들을 데시메이팅(decimating)하기 위해 사용된 폭을 결정하는, 데이터 처리 장치.
  14. 제1항에 있어서, 상기 결정 수단은 상기 입력 데이터로부터 추출되는 상기 복수의 데이터의 파형 특성들에 기초하여, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  15. 제14항에 있어서, 상기 결정 수단은 상기 입력 데이터의 극값(extreme value)을 검출하고, 상기 검출 결과에 기초하여, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  16. 제14항에 있어서, 상기 결정 수단은 상기 입력 데이터 간의 차이를 산출하고, 상기 산출 결과에 기초하여, 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  17. 제14항에 있어서, 상기 결정 수단은 상기 입력 데이터를 근사화하는(approximating) 함수로부터 상기 입력 데이터의 에러를 연산하고, 상기 연산 결과에 기초하여, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터를 결정하는, 데이터 처리 장치.
  18. 입력 데이터를 처리함으로써 상기 입력 데이터에 대응하는 출력 데이터를 예측하는 학습 장치(learning apparatus)로서,
    상기 입력 데이터로부터 추출되는 복수의 데이터에 따라, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들을 결정할 수 있는 결정 수단;
    상기 결정 결과에 따라, 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 추출하는 추출 수단; 및
    상기 추출된 데이터에 기초하여 예측 계수를 발견하는 연산 수단을 포함하는, 학습 장치.
  19. 제18항에 있어서, 상기 복수의 데이터의 통계적인 값이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  20. 제18항에 있어서, 상기 추출 수단으로부터 추출된 상기 복수의 데이터에 기초하여 상기 주목 출력 데이터를 분류함으로써 상기 주목 출력 데이터에 대응하는 클래스 코드를 출력하기 위한 분류 수단을 더 포함하고,
    상기 연산 수단은 상기 클래스 코드에 대응하는 상기 예측 계수들을 발견하는, 학습 장치.
  21. 제19항에 있어서, 상기 입력 데이터로부터 추출된 상기 복수의 데이터에 기초한 표준 편차가 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  22. 제21항에 있어서, 상기 결정 수단은 상기 입력 데이터로부터 추출된 상기 복수의 데이터에 기초한 상기 표준 편차의 평균에 기초하여, 상기 입력 데이터로부터 추출된 복수의 데이터를 결정하는, 학습 장치.
  23. 제19항에 있어서, 상기 미리 결정된 값을 저장하기 위한 저장 수단을 더 포함하는, 학습 장치.
  24. 제19항에 있어서, 상기 미리 결정된 값을 연산하기 위한 미리 결정된 값 연산 수단을 더 포함하는 학습 장치.
  25. 제24항에 있어서, 상기 미리 결정된 값 연산 수단은 상기 입력 데이터의 처리 결과가 상기 출력 데이터에 도달할 때 얻어진, 복수의 데이터의 통계적인 값을 상기 미리 결정된 값으로서 발견하기 위해, 상기 복수의 데이터에 대응하는 클래스들에 대해 상기 예측 계수들을 사용하는, 학습 장치.
  26. 제18항에 있어서, 상기 연산 수단은 상기 복수의 데이터를 사용하는 선형 예측에 의해 상기 주목 출력 데이터의 예측을 가능하게 하는 예측 계수들을 발견하는, 학습 장치.
  27. 제18항에 있어서, 상기 입력 데이터 및 상기 출력 데이터는 이미지 데이터인, 학습 장치.
  28. 제23항에 있어서, 상기 추출 수단은 상기 이미지 데이터로서의 상기 입력 데이터로부터, 상기 이미지 데이터로서의 상기 주목 출력 데이터에 시간적으로 및 공간적으로 인접한 화소들을 추출하는, 학습 장치.
  29. 제27항에 있어서,
    상기 입력 데이터는 상이한 흐림 정도를 갖는 이미지 데이터이고;
    상기 결정 수단은 상이한 흐림 정도를 갖는 상기 각각의 이미지 데이터에 대해 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  30. 제27항에 있어서,
    상기 입력 데이터는 상이한 해상도들을 갖고;
    상기 결정 수단은 상이한 흐림 정도를 갖는 상기 각각의 이미지 데이터에 대해 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  31. 제27항에 있어서, 추출된 화소에 기초한 통계적인 값이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 이미지 데이터로서의 상기 입력 데이터로부터 추출된 복수의 상기 화소들을 데시메이팅하기 위한 폭을 결정하는, 학습 장치.
  32. 제27항에 있어서, 추출된 화소들에 기초한 통계적인 값이 대략적으로 미리 결정된 값이 되도록 상기 결정 수단은 상기 이미지 데이터로서의 상기 입력 데이터로부터 추출된 복수의 상기 화소들간의 불규칙한 간격들을 결정하는, 학습 장치.
  33. 제18항에 있어서, 상기 결정 수단은 상기 추출된 데이터의 파형 특성들에 따라, 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  34. 제33항에 있어서, 상기 결정 수단은 상기 입력 데이터의 극값을 검출하고 상기 검출 결과에 기초하여, 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  35. 제33항에 있어서, 상기 결정 수단은 상기 입력 데이터 간의 차이를 산출하고 상기 산출 결과에 기초하여, 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  36. 제33항에 있어서, 상기 결정 수단은 상기 입력 데이터를 근사화하는 함수로부터 상기 입력 데이터의 에러를 연산하고, 상기 연산 결과에 기초하여, 상기 입력 데이터로부터 추출된 상기 복수의 데이터를 결정하는, 학습 장치.
  37. 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 데이터 처리 방법으로서,
    추출되는 복수의 데이터에 따라, 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들의 결정을 가능하게 하는 단계;
    상기 결정 결과에 따라, 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 추출하는 단계; 및
    상기 추출된 복수의 데이터에 기초하여 상기 주목 출력 데이터의 예측 값들을 발견하는 단계를 포함하는, 데이터 처리 방법.
  38. 입력 데이터를 처리함으로써 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 학습 방법으로서,
    추출되는 복수의 데이터에 따라, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들의 결정을 가능하게 하는 단계;
    상기 결정 결과에 따라, 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 추출하는 단계; 및
    상기 추출된 복수의 데이터에 기초하여, 예측 계수들을 발견하는 단계를 포함하는, 학습 방법.
  39. 입력 데이터를 처리함으로써 상기 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 컴퓨터 제어 가능한 프로그램을 포함하는 저장 매체로서, 상기 컴퓨터 제어 가능한 프로그램은,
    추출되는 복수의 데이터에 따라, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들의 결정을 가능하게 하는 단계;
    상기 결정 결과에 따라, 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 추출하는 단계; 및
    상기 추출된 복수의 데이터에 기초하여 상기 주목 출력 데이터의 예측 값들을 발견하는 단계를 포함하는, 저장 매체.
  40. 입력 데이터를 처리함으로써 상기 입력 데이터에 대응하는 출력 데이터를 예측하기 위한 컴퓨터 제어 가능한 프로그램을 포함하는 저장 매체로서, 상기 컴퓨터 제어 가능한 프로그램은,
    추출되는 복수의 데이터에 따라, 상기 입력 데이터로부터 추출되는 상기 복수의 데이터간의 불규칙한 간격들의 결정을 가능하게 하는 단계;
    상기 결정 결과에 따라, 상기 입력 데이터로부터 예측되는 주목 출력 데이터에 대응하는 상기 복수의 데이터를 추출하는 단계; 및
    상기 추출된 복수의 데이터에 기초하여 예측 계수들을 발견하는 단계를 포함하는, 저장 매체.
KR1020000031365A 1999-06-08 2000-06-08 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 Expired - Fee Related KR100746839B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP99-160528 1999-06-08
JP16052899A JP4135045B2 (ja) 1999-06-08 1999-06-08 データ処理装置およびデータ処理方法、並びに媒体
JP26170699A JP4324825B2 (ja) 1999-09-16 1999-09-16 データ処理装置およびデータ処理方法、並びに媒体
JP99-261706 1999-09-16

Publications (2)

Publication Number Publication Date
KR20010007300A KR20010007300A (ko) 2001-01-26
KR100746839B1 true KR100746839B1 (ko) 2007-08-09

Family

ID=26487011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000031365A Expired - Fee Related KR100746839B1 (ko) 1999-06-08 2000-06-08 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체

Country Status (4)

Country Link
US (1) US6678405B1 (ko)
EP (1) EP1061473A1 (ko)
KR (1) KR100746839B1 (ko)
CN (1) CN1190963C (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
DE60127631T2 (de) * 2000-02-10 2007-12-13 Sony Corp. Anordnung und verfahren zur bildverarbeitung und aufzeichnungsträger
CA2419636A1 (en) 2001-06-15 2003-02-12 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP4038812B2 (ja) 2001-12-27 2008-01-30 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP3876781B2 (ja) * 2002-07-16 2007-02-07 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP2004229119A (ja) * 2003-01-24 2004-08-12 Matsushita Electric Ind Co Ltd Ｍｏｓ型固体撮像素子およびこれを備えた撮像装置
JP4214459B2 (ja) * 2003-02-13 2009-01-28 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4392583B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4392584B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7667876B2 (en) * 2004-03-03 2010-02-23 Ricoh Company, Ltd. Generating a normalized image from an original image
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JP4882999B2 (ja) * 2007-12-21 2012-02-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP5099429B2 (ja) * 2007-12-21 2012-12-19 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
WO2019065261A1 (ja) * 2017-09-27 2019-04-04 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
CN109446467B (zh) * 2018-09-28 2023-10-24 安徽皖仪科技股份有限公司 数字滤波方法及装置
KR102120854B1 (ko) * 2019-08-02 2020-06-10 이성 주식회사 학습 기반의 led 전광판 자가진단 불량 도트 검출 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000063549A (ko) * 2000-07-21 2000-11-06 조정진 컴퓨터를 이용한 교육장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235363A (ja) 1992-06-18 1996-09-13 Nec Corp コンピュータ視覚プロセス
DE4404215C1 (de) 1994-02-10 1995-05-24 Mb Video Gmbh Verfahren zur Ermittlung einer angenäherten Standardabweichung
JP3781203B2 (ja) * 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
US5946044A (en) 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
JP3758228B2 (ja) 1996-02-29 2006-03-22 ソニー株式会社 クラス分類適応処理における学習方法および学習装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000063549A (ko) * 2000-07-21 2000-11-06 조정진 컴퓨터를 이용한 교육장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국 공개특허 특2000-0063549

Also Published As

Publication number Publication date
CN1281311A (zh) 2001-01-24
CN1190963C (zh) 2005-02-23
EP1061473A1 (en) 2000-12-20
US6678405B1 (en) 2004-01-13
KR20010007300A (ko) 2001-01-26

Similar Documents

Publication Publication Date Title
KR100746839B1 (ko) 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체
US7667778B2 (en) Image processing apparatus and method, and recording medium and program used therewith
US7881539B2 (en) Image processing apparatus and method, program recording medium, and program
US20100202711A1 (en) Image processing apparatus, image processing method, and program
US7085318B2 (en) Image processing system, image processing method, program, and recording medium
US7738556B2 (en) Apparatus and method for estimating motion vector with gradient method
JP2001238073A (ja) 画像処理方法及び装置
US7848427B2 (en) Apparatus and method for determining motion vector with effective pixel gradient
WO2002013512A1 (fr) Procede et dispositif de traitement d'image et support enregistre
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
US20090161948A1 (en) Coefficient learning apparatus, coefficient learning method, image processing apparatus, image processing method and programs
JP2014521275A (ja) 空間的にスケーリング可能なビデオコーディングのための適応型アップサンプリングの方法、プログラム及びコンピュータシステム
JPH09212650A (ja) 動きベクトル検出装置および検出方法
US20080025643A1 (en) Image processing system, method for processing image and computer readable medium
US20090074320A1 (en) Image magnification device, image magnification method and computer readable medium storing an image magnification program
JP4324825B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
KR100816593B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP3849817B2 (ja) 画像処理装置および画像処理方法
US8478063B2 (en) Image processing apparatus and image processing method
JP4035895B2 (ja) 画像変換装置および方法、並びに記録媒体
US9154671B2 (en) Image processing apparatus, image processing method, and program
EP1501295A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, and recording medium
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4442076B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4058671B2 (ja) 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20000608

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20050608

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20000608

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061010

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070515

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070802

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction
PR1001 Payment of annual fee

Payment date: 20100728

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20110727

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20110727

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20120723

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20120723

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee