[go: up one dir, main page]

KR101135454B1 - 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 - Google Patents

특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 Download PDF

Info

Publication number
KR101135454B1
KR101135454B1 KR1020067004297A KR20067004297A KR101135454B1 KR 101135454 B1 KR101135454 B1 KR 101135454B1 KR 1020067004297 A KR1020067004297 A KR 1020067004297A KR 20067004297 A KR20067004297 A KR 20067004297A KR 101135454 B1 KR101135454 B1 KR 101135454B1
Authority
KR
South Korea
Prior art keywords
motion vector
pixel
image
value
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020067004297A
Other languages
English (en)
Other versions
KR20060121856A (ko
Inventor
리머트 비. 위티브루드
Original Assignee
엔엑스피 비 브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34259238&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101135454(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔엑스피 비 브이 filed Critical 엔엑스피 비 브이
Publication of KR20060121856A publication Critical patent/KR20060121856A/ko
Application granted granted Critical
Publication of KR101135454B1 publication Critical patent/KR101135454B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

시간적으로 제1 이미지 및 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀을 위한 값을 결정하는 방법이 개시되어 있다. 상기 방법은 제1 이미지에 대응하는 제1 모션 벡터 필드(
Figure 112011018167469-pct00189
)의 제1 모션 벡터(
Figure 112011018167469-pct00190
) 및 제2 모션 벡터(
Figure 112011018167469-pct00191
)에 기초하여 제1 모션 벡터 차를 계산하는 단계, 제2 이미지에 대응하는 제2 모션 벡터 필드(
Figure 112011018167469-pct00192
)의 제3 모션 벡터(
Figure 112011018167469-pct00193
) 및 제4 모션 벡터(
Figure 112011018167469-pct00194
)에 기초하여 제2 모션 벡터 차를 계산하는 단계, 제1 모션 벡터 차가 제2 모션 벡터 차보다 작으면 제1 이미지의 제1 픽셀의 제1 값에 기초하여 특정 픽셀의 값을 설정하고, 제2 모션 벡터 차가 제1 모션 벡터 차보다 작으면 제2 이미지의 제2 픽셀의 제2 값에 기초하여 특정 픽셀의 값을 설정하는 단계를 포함한다.
모션 벡터 필드, 모션 벡터, 모션 벡터 차

Description

특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체{TEMPORAL INTERPOLATION OF A PIXEL ON BASIS OF OCCLUSION DETECTION}
본 발명은 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 방법에 관한 것이다.
본 발명은 또한 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하기 위한 픽셀 값 결정 유닛에 관한 것이다.
본 발명은 또한 이러한 픽셀 값 결정 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
본 발명은 또한 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 명령들을 포함하는 컴퓨터 구성에 의해 로딩되는 컴퓨터 프로그램 제품에 관한 것이다.
포착되는 장면의 일부에 대응하는 폐쇄 영역(occlusion area)은 일련의 연속하는 이미지들 중 하나의 이미지에서는 보이지만, 다음 또는 이전의 이미지에서는 보이지 않는 것을 의미한다. 이는 배경 물체들보다 카메라에 더 근접하여 위치된 장면에서의 배경 물체들이 배경 물체들의 일부를 포함할 수 있다는 사실에 의해 유발된다. 예를 들면, 배경 물체들이 이동하는 경우, 배경 물체들의 일부분은 폐쇄 되지만, 배경 물체들의 다른 부분들은 포함되지 않는다.
폐쇄 영역들은 시간적 보간에서 아티팩트(artifact)를 유발한다. 예를 들면, 업-변환(up-conversion)인 경우, 폐쇄 영역들은 소위 후광을 초래할 수 있다. 업-변환인 경우, 모션 벡터들은 시간적 보간에 의해 업-변환된 출력 이미지들을 계산하기 위해 추정된다. 예를 들면, 1997년 11월, IEEE Transactions on Consumer Electronics, Vol. 43, No. 4, 오. 오조(O. Ojo) 및 지. 드 한(G. de Haan)에 의한 "강력한 모션-보상 비디오 업변환(Robust motion-compensated video upconversion)"의 논문 페이지 1045-1056를 참조한다. 시간적 보간, 즉, 2개의 원래 입력 이미지들 중간에 새로운 이미지의 계산인 경우, 바람직하게 하나 그리고 동일한 물체에 관련한 다수의 픽셀들은 연속하는 이미지들로부터 취해진다. 이는, 관련된 픽셀들이 연속하는 이미지들에서 발견될 수 없으므로 폐쇄 영역들인 경우 간단하게 행해질 수 없다. 다른 보간 전략들이 일반적으로 이전 또는 다음의 원래 이미지의 픽셀 값들의 보간에 기초하여 요구된다. 폐쇄 영역들을 위한 적당한 모션 벡터들의 추정은 중요하다는 것은 분명하다.
본 발명의 목적은 개요에서 비교적 강하게 기술된 종류의 방법을 제공하는 것이다.
본 발명의 상기 목적은 이하의 단계들을 포함하는 방법으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
상기 제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계.
발명자는 제1 모션 벡터 필드의 2개의 적절하게 선택된 모션 벡터들 간의 제1 차 및 제2 모션 벡터 필드의 2개의 적절하게 선택된 모션 벡터들 간의 제2 차를 비교하여, 상기 특정 픽셀의 값을 설정하기 위한 하나 이상의 픽셀 값들을 페치(fetch)하기 위해 두 개의 각 이미지들 중 어느 것이 선택되어야 하는지를 결정할 수 있다는 것을 알아냈다. 일반적으로, 상기 2개의 모션 벡터 필드들 중 하나의 모션 벡터 필드의 2개의 선택된 모션 벡터들은 실질적으로 상호 동일하다. 이는, 이들 2개의 모션 벡터들이 배경 또는 동일한 전경 대상에 관련된다는 확률이 매우 높다는 표시이다. 이 경우에, 이들 2개의 모션 벡터들 중 하나에 따라 중간 이미지에 적절한 픽셀이 페치될 수 있는 확률이 상대적으로 높다. 폐쇄인 경우, 일반적으로 이들 2개의 모션 벡터들은 배경에 관련된다.
상기 모션 벡터들의 적절한 선택은 상기 특정 픽셀의 특정 공간 위치 및 상기 특정 픽셀에 추정되는 특정 모션 벡터에 기초한다. 바람직하게, 상기 제2 모션 벡터는 상기 특정 픽셀의 특정 공간 위치 및 상기 제1 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되고, 상기 제4 모션 벡터는 상기 특정 픽셀의 상기 특정 공간 위치 및 상기 제3 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택된다.
값은 휘도 또는 컬러와 같이, 임의의 형태의 인간의 가시 정보를 나타낸다.
본 발명에 따른 방법의 실시예는, 상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치보다 작으면, 상기 제1 픽셀의 제1 값과 상기 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함한다. 상기 2개의 이미지들 중 하나의 이미지로부터 픽셀 값을 선택하는 것 대신에, 본 발명에 따른 실시예에서, 상기 특정 픽셀의 값은 모든 이미지들의 픽셀 값들에 선택적으로 기초한다. 이는 상기 제2 모션 차들이 미리 결정된 임계치보다 작은지를 검증하는 시험들에 의존한다. 바람직하게, 이 시험은 상기 2개의 모션 벡터 차들 중 최대값을 상기 미리 결정된 임계치와 비교함으로써 수행된다. 이 시험은 암시적 폐쇄 검출이다. 상기 모션 벡터 차들 중 단 하나가 상기 미리 결정된 임계보다 작으면, 상기 특정 공간 위치가 폐쇄 영역에 위치된다고 가정한다. 폐쇄의 형태, 즉, 포함(covering) 또는 비포함(uncovering)은 상기 2개 중 하나가 미리 결정된 임계치보다 작은가에 의존한다. 그러나, 모션 벡터 차들이 미리 결정된 임계치보다 작으면, 상기 특정 공간 위치가 상기 폐쇄 영역보다 작다고 가정한다. 후자의 경우에서, 상기 특정 픽셀의 값은 입력 이미지들의 픽셀 값들에 기초한다.
본 발명에 따른 방법의 실시예는 상기 제1 픽셀의 제1 값과 상기 제1 픽셀에 인접하는 공간 내의 또 다른 픽셀의 또 다른 값의 보간에 의해 상기 특정 픽셀을 설정하는 단계를 포함한다. 즉, 서브-픽셀 정확성은 다수의 픽셀 값들의 보간에 의해 본 발명에 따라 본 실시예에서 달성된다.
본 발명의 또 다른 목적은 개요에서 비교적 강하게 기술된 일종의 픽셀 값 결정 유닛을 제공하는 것이다.
본 발명의 상기 목적은 이하를 포함하는 픽셀 값 결정 유닛으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하기 위한 제1 계산 수단으로서, 상기 제1 모션 벡터가 상기 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 계산 수단;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하기 위한 제2 계산 수단으로서, 상기 제3 모션 벡터가 상기 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 계산 수단; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하기 위한 설정 수단.
본 발명의 또 다른 목적은 픽셀 값 결정 유닛을 포함하는 개요에서 비교적 강하게 기술된 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 상기 목적은 이하의 수단을 포함하는 픽셀 값 결정 유닛으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하기 위한 제1 계산 수단으로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 계산 수단;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하기 위한 제2 계산 수단으로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 계산 수단; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하기 위한 설정 수단.
선택적으로, 상기 이미지 처리 장치는 출력 이미지들을 표시하기 위한 표시 장치를 더 포함한다. 상기 이미지 처리 장치는, 예를 들면, TV, 셋톱 박스, VCR(Video Cassette Recorder) 재생기, 위성 튜너, DVD(Digital Versatile Disk) 재생기 또는 레코더일 것이다.
본 발명의 또 다른 목적은 개요에서 비교적 강하게 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
본 발명의 상기 목적은, 로딩된 후, 상기 처리 장치에 이하의 단계들을 수행하는 능력을 제공하는 컴퓨터 프로그램 제품으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계.
상기 픽셀 값 결정 유닛의 수정들과 그 변경들은 기재된 상기 이미지 처리 장치, 상기 방법 및 상기 컴퓨터 프로그램 제품의 수정들과 그 변경들에 대응한다.
이들과 상기 이미지 처리 장치, 상기 방법 및 상기 컴퓨터 프로그램 제품의 상기 픽셀 값 결정 유닛의 다른 특징들은 본 발명에 따라 이하 기재되는 구현들과 실시예들에 대해 그리고 첨부한 도면들을 참조하여 명백하고 분명해질 것이다.
도 1은 장면에서 전경 대상과 배경의 이동을 개략적으로 도시하는 도면.
도 2는 도 1에 도시된 이미지들에 대해 추정된 모션 벡터 필드를 개략적으로 도시하는 도면.
도 3은 폐쇄 영역들에 모두 위치된 2개의 예시적인 픽셀들에 대한 발명에 따라 상기 방법을 개략적으로 도시하는 도면.
도 4는 3개의 모션 벡터 필드들이 제공되는 본 발명에 따라, 상기 픽셀 값 결정 유닛의 실시예를 개략적으로 도시하는 도면.
도 5는 3개의 모션 벡터 필드들이 제공되는 본 발명에 따라, 상기 픽셀 값 결정 유닛의 실시예를 개략적으로 도시하는 도면.
도 6은 본 발명에 따른 상기 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.
동일한 참조번호들이 도면들을 통해 유사한 부분들을 표현하는데 사용된다.
도 1은 장면에서 전경 대상(118)의 이동과 배경의 이동을 개략적으로 도시한다. 도 1에서, 시간적 위치 n-1 및 n에서 2개의 원래 이미지들(100 및 104)이 도시되어 있다. 이들 이미지들 내의 대상(118)은 검정 실선들(106 및 108)로 연결된 그레이 직사각형으로 표기된 상향
Figure 112006015092210-pct00001
으로 이동한다. 길고 좁은 검정색 점선들 (110 및 112)은 하향으로의 배경
Figure 112006015092210-pct00002
의 모션을 가리킨다. 빗금친 영역들(114 및 116)은 폐쇄 영역들을 가리킨다. -1≤α≤0으로 시간적 위치 n+α에서 생성되어야 하는 새로운 이미지(102)가 파선(120)으로 표기된다.
도 2는 도 1에 도시된 이미지들에 대해 추정된 모션 벡터 필드들을 개략적으로 도시하며, 즉, 상기 추정된 모션 벡터 필드들은 화살표들로 표기된다. 제1 모션 벡터 필드는 상기 2개의 원래 이미지들의 상기 제1 이미지(100)에 대해 추정되고, 제2 모션 벡터 필드는 상기 2개의 원래 이미지들의 상기 제2 이미지(104)에 대해 추정된다. 이들 2개의 모션 벡터 필드들은 3-프레임 모션 추정기에 의해 계산된다. 상기 제1 모션 벡터 필드는
Figure 112006015092210-pct00003
로 표기된다. 상기 제1 모션 벡터 필드는 휘도 프레임들
Figure 112006015092210-pct00004
,
Figure 112006015092210-pct00005
, 및
Figure 112006015092210-pct00006
간에 추정된다. 상기 제2 모션 벡터 필드는
Figure 112006015092210-pct00007
으로 표기된다. 이 제2 모션 벡터 필드는 휘도 프레임들
Figure 112006015092210-pct00008
,
Figure 112006015092210-pct00009
및
Figure 112006015092210-pct00010
사이에 추정된다. 그 이외에도, 초기 모션 벡터 필드는 상기 제1 및 제2 모션 벡터 필드 중간에 시간적 위치 n+α에 대해 계산되었다. 이 초기 모션 벡터 필드
Figure 112006015092210-pct00011
는 휘도 프레임들
Figure 112006015092210-pct00012
및
Figure 112006015092210-pct00013
사이에 추정된다. 3-프레임 모션 추정기의 상기 모션 벡터 필드들
Figure 112006015092210-pct00014
및
Figure 112006015092210-pct00015
는 실질적으로 전경 대상(118)과 일치하는 한편, 상기 2-프레임 모션 추정기의 상기 모션 벡터 필드
Figure 112006015092210-pct00016
는 배경으로 연장하는 전경 벡터들을 도시한다는 것을 알아야 한다.
본 발명의 방법에 따르면, 시간적으로 제1 및 제2 입력 이미지 중간에 위치되는 이미지는 3개의 모션 벡터 필드들
Figure 112011018167469-pct00017
,
Figure 112011018167469-pct00018
, 및
Figure 112011018167469-pct00019
를 사용하여 계산될 수 있다. 이는, 배경 벡터가 폐쇄 영역들에서 결정되고 상기 2개의 입력 이미지들 중 하나로부터 픽셀을 페치하도록 적용된다는 것을 의미한다.
도 3은 공간 위치들,
Figure 112006015092210-pct00020
및
Figure 112006015092210-pct00021
에서 2개의 예시적인 픽셀들에 대한 본 발명에 따른 방법을 개략적으로 도시한다. 우선, 위치
Figure 112006015092210-pct00022
에서 픽셀 부근의 상황을 고려한다. 상기 모션 벡터 필드
Figure 112006015092210-pct00023
로부터 상기 모션 벡터
Figure 112006015092210-pct00024
는 상기 제1 모션 벡터 필드
Figure 112006015092210-pct00025
및 상기 제2 모션 벡터 필드
Figure 112006015092210-pct00026
각각으로부터 상기 모션 벡터들
Figure 112006015092210-pct00027
및
Figure 112006015092210-pct00028
을 페치하는데 사용된다.
Figure 112006015092210-pct00029
Figure 112006015092210-pct00030
이 선택 과정은 두꺼운 검정색 화살표들(300 및 302) 각각에 의해 표기된다. 모션 벡터들
Figure 112006015092210-pct00031
및
Figure 112006015092210-pct00032
은 배경 벡터들이다.
Figure 112006015092210-pct00033
에 따라, 상기 벡터
Figure 112006015092210-pct00034
는
Figure 112006015092210-pct00035
로부터 페치되고, 벡터
Figure 112006015092210-pct00036
에 따라, 상기 벡터
Figure 112006015092210-pct00037
은
Figure 112006015092210-pct00038
으로부터 페치된다.
Figure 112006015092210-pct00039
Figure 112006015092210-pct00040
이 페칭은 두꺼운 검정색 점선들(301 및 303)로 표기된다.
Figure 112006015092210-pct00041
이 또한 배경 벡터이지만,
Figure 112006015092210-pct00042
은 전경 벡터이다. 이는,
Figure 112006015092210-pct00043
및
Figure 112006015092210-pct00044
은 실질적으로 상호 동 일하며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 이하라는 것을 의미한다. 그러나,
Figure 112006015092210-pct00045
과
Figure 112006015092210-pct00046
간의 상당한 차가 있으며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 보다 크다. 그러므로, 중간 이미지(102)의 공간 위치
Figure 112006015092210-pct00047
에서 픽셀의 값은, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으므로 시간적 위치 n에서 상기 제2 이미지(104)의 픽셀 값에 기초할 것이다.
유사한 과정이 위치
Figure 112006015092210-pct00048
에서 다른 픽셀을 위한 적절한 모션 벡터를 설정하는데 사용될 수 있다. 상기 모션 벡터 필드
Figure 112006015092210-pct00049
로부터 상기 모션 벡터
Figure 112006015092210-pct00050
는 상기 제1 벡터 필드
Figure 112006015092210-pct00051
및 상기 제2 모션 벡터 필드
Figure 112006015092210-pct00052
각각으로부터 상기 모션 벡터들
Figure 112006015092210-pct00053
및
Figure 112006015092210-pct00054
를 페치하는데 사용된다.
Figure 112006015092210-pct00055
Figure 112006015092210-pct00056
이 선택 과정은 두꺼운 검정색 화살표들(304 및 306) 각각으로 표기된다. 여기서,
Figure 112006015092210-pct00057
및
Figure 112006015092210-pct00058
를 갖는 상기 페치된 모션 벡터들은 각각 배경 및 전경 벡터들이다.
Figure 112006015092210-pct00059
에 따라, 상기 벡터
Figure 112006015092210-pct00060
은
Figure 112006015092210-pct00061
로부터 페치되고,
Figure 112006015092210-pct00062
에 따라, 상기 벡터
Figure 112006015092210-pct00063
은
Figure 112006015092210-pct00064
로부터 페치된다.
Figure 112006015092210-pct00065
Figure 112006015092210-pct00066
이 페칭은 두꺼운 검정색 화살표들(304 및 307)로 표기된다.
Figure 112006015092210-pct00067
및
Figure 112006015092210-pct00068
는 배경 벡터들이라는 것을 알 수 있다. 이는,
Figure 112006015092210-pct00069
및
Figure 112006015092210-pct00070
가 실질적으로 상호 동일하며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 이하이라는 것을 의미한다. 그러나,
Figure 112006015092210-pct00071
와
Figure 112006015092210-pct00072
간의 상당한 차가 있으며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 보다 크다. 그러므로, 상기 중간 이미지(102)의 공간 위치
Figure 112006015092210-pct00073
에서 픽셀의 값은, 상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으므로 시간적 위치 n-1에서 상기 제1 이미지(100)의 픽셀 값에 기초할 것이다.
일반적으로, 이하인 경우, 폐쇄가 검출된다:
Figure 112006015092210-pct00074
폐쇄가 검출되는 경우에, 포함 및 비포함으로 분류된다. 상기 픽셀은:
Figure 112006015092210-pct00075
이면, 비포함 영역에 있고,
Figure 112006015092210-pct00076
이면, 포함 영역에 있다.
그래서, 공간 위치
Figure 112006015092210-pct00077
에서 상기 픽셀은 비포함 영역에 위치되고, 공간 위치
Figure 112006015092210-pct00078
에서 상기 픽셀은 포함 영역에 있다.
도 4는 폐쇄 영역에 위치되지 않은 예시적인 픽셀
Figure 112006015092210-pct00079
에 대한 본 발명에 따른 방법을 개략적으로 도시한다. 상기 모션 벡터 필드
Figure 112006015092210-pct00080
로부터 상기 모션 벡터
Figure 112006015092210-pct00081
는 상기 제1 벡터 필드
Figure 112006015092210-pct00082
및 상기 제2 모션 벡터 필드
Figure 112006015092210-pct00083
로부터 상기 모션 벡터들
Figure 112006015092210-pct00084
및
Figure 112006015092210-pct00085
를 페치하는데 사용된다.
Figure 112006015092210-pct00086
Figure 112006015092210-pct00087
이 선택 과정은 두꺼운 검정색 화살표들(400 및 402) 각각으로 표기된다. 여기서, 상기 모션 벡터들
Figure 112006015092210-pct00088
및
Figure 112006015092210-pct00089
은 전경 벡터들이다.
Figure 112006015092210-pct00090
에 따라, 상기 벡터
Figure 112006015092210-pct00091
은
Figure 112006015092210-pct00092
로부터 페치되고,
Figure 112006015092210-pct00093
에 따라, 상기 벡터
Figure 112006015092210-pct00094
은
Figure 112006015092210-pct00095
로부터 페치된다.
Figure 112006015092210-pct00096
Figure 112006015092210-pct00097
이 페칭은 또한 두꺼운 검정색 화살표들(400 및 402)로 각각 표기된다.
Figure 112006015092210-pct00098
및
Figure 112006015092210-pct00099
는 전경 벡터들이라는 것을 알 수 있다. 이는,
Figure 112006015092210-pct00100
및
Figure 112006015092210-pct00101
가 실질적으로 상호 동일하며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 이하라는 것을 의미한다. 그러나,
Figure 112006015092210-pct00102
와
Figure 112006015092210-pct00103
간의 상당한 차가 있으며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 이하이다. 그러므로, 상기 중간 이미지 (102)의 공간 위치
Figure 112006015092210-pct00104
에서 픽셀의 값은 시간적 위치 n-1에서 상기 제1 이미지(100)의 제1 픽셀의 제1 값에 기초하고 시간적 위치 n에서 상기 제2 이미지(104)의 제2 픽셀의 제2 값에 기초할 것이다.
도 5는 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 이미지를 계산하도록 구성되며, 상기 중간 이미지는 시간적 위치 n+α에 위치되는 본 발명에 따른 픽셀 값 결정 유닛(500)의 실시예를 개략적으로 도시한다. 상기 픽셀 값 결정 유닛(500)에는 3개의 모션 벡터 필드들이 제공된다. 이들 제공된 모션 벡터 필드들의 상기 제1 모션 벡터 필드(
Figure 112011018167469-pct00105
) 및 제2 모션 벡터 필드(
Figure 112011018167469-pct00106
)는 3-프레임 모션 추정기(512)에 의해 계산된다. 3-프레임 모션 추정기(512)의 예는 미국특허공보 제6,011,596호에 개시되어 있다. 상기 제3 제공된 모션 벡터 필드(
Figure 112011018167469-pct00107
)는 2-프레임 모션 추정기(514)에 의해 계산된다. 이 2-프레임 모션 추정기(508)는 예를 들면, 1993년 10월 지이.드 한 등에 의한 IEEE Transactions on circuits and systems for video technology, vol.3, no.5의 페이지 368-379에서 "3-D 귀납 검색 블록 매칭에 따른 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)"에 규정된 바와 같다.
상기 모션 추정기(512 및 514) 및 상기 픽셀 값 결정 유닛(500)에는 상기 제1 및 제2 이미지 및 다른 입력 이미지들을 표현하는 입력 비디오 신호가 제공된다. 상기 픽셀 값 결정 유닛(500)은 상기 제1 및 제2 이미지 및 상기 출력 커넥터(518)에서 중간 이미지를 표현하는 출력 비디오 신호를 제공한다. 상기 픽셀 값 결정 유닛(500)은 미리 결정된 임계치 T0을 표현하는 제어신호를 수신하기 위한 제어 인터페이스(520)를 포함한다.
본 발명에 따른 상기 픽셀 값 결정 유닛(500)은 이하를 포함한다:
모션 벡터 비교 유닛(502);
결정 유닛(504); 및
픽셀 값 계산 유닛(506).
상기 모션 벡터 비교 유닛(502)은 상기 3개의 모션 벡터 필드들
Figure 112006015092210-pct00108
,
Figure 112006015092210-pct00109
및
Figure 112006015092210-pct00110
로부터 대응하는 모션 벡터들을 페치하도록 구성된다. 상기 모션 벡터 비교 유닛(502)은 이하를 포함한다:
제1 이미지에 대응하는 제1 모션 벡터 필드(
Figure 112006015092210-pct00111
)의 제1 모션 벡터(
Figure 112006015092210-pct00112
) 및 제2 모션 벡터(
Figure 112006015092210-pct00113
)에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 유닛(508)으로서, 제1 모션 벡터(
Figure 112006015092210-pct00114
)는 특정 픽셀의 특정 공간 위치(
Figure 112006015092210-pct00115
) 및 특정 픽셀에 대해 추정되는 특정 모션 벡터(
Figure 112006015092210-pct00116
)에 기초하여 제1 모션 벡터 필드(
Figure 112006015092210-pct00117
)로부터 선택되는, 상기 제1 계산 유닛(508);
제2 이미지에 대응하는 제2 모션 벡터 필드(
Figure 112006015092210-pct00118
)의 제3 모션 벡터(
Figure 112006015092210-pct00119
) 및 제4 모션 벡터(
Figure 112006015092210-pct00120
)에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 유닛(510)으로서, 상기 제3 모션 벡터(
Figure 112006015092210-pct00121
)는 특정 픽셀의 특정 공간 위치(
Figure 112006015092210-pct00122
) 및 특정 픽셀에 대해 추정되는 특정 모션 벡터(
Figure 112006015092210-pct00123
)에 기초하여 제2 모션 벡터 필드(
Figure 112006015092210-pct00124
) 로부터 선택되는, 상기 제2 계산 유닛(510).
상기 결정 유닛(504)은 상기 특정 픽셀이 위치되는 영역의 형태를 결정하도록 구성된다. 그래서, 상기 결정 유닛(504)은, 상기 2개의 모션 벡터 차들이 미리 결정된 임계치 T0 보다 작은지를 검사하도록 구성된다. 그 다음, 영역의 형태는 식9 내지 11에 정의된 바와 같이 설정된다. 상기 결정 유닛(504)은, 모션 벡터 또는 선택적으로 모션 벡터들이 상기 중간 이미지의 상기 특정 픽셀의 픽셀 값의 계산을 위해 상기 제1 및 제2 이미지로부터 상기 픽셀 값들을 페치하는데 사용되어야 하는지를 검사하도록 구성된다. 일반적으로, 상기 특정 픽셀의 값은, 상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하고, 상기 특정 픽셀의 값은, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초한다. 상기 특정 픽셀의 값은, 상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치 T0 보다 작으면 상기 제1 픽셀의 상기 제1 값과 상기 제2 픽셀의 상기 제2 값에 기초한다.
상기 픽셀 값 계산 유닛(506)은 상기 특정 픽셀의 실제 값을 결정하도록 구성된다. 이는 상기 제1 또는 제2 이미지의 픽셀 값의 직접적인 복사일 것이다. 바람직하게, 상기 값은, 특히, 상기 모션 벡터들이 서브-픽셀일 때 다수의 픽셀 값들의 보간에 기초한다.
본 발명에 따른 상기 픽셀 값 결정 유닛(500)의 동작은 도 3 및 도 4를 참조 하여 기재된다.
상기 모션 벡터 비교 유닛(502), 상기 결정 유닛(504), 상기 픽셀 값 계산 유닛(506), 상기 3-프레임 모션 추정기(512) 및 상기 2-프레임 모션 추정기(514)는 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행 동안에, 일반적으로, 상기 소프트웨어 프로그램 제품은 RAM와 같이 메모리에 로딩되고, 그들로부터 실행된다. 상기 프로그램은 ROM, 하드디스크, 또는 자기적 및/또는 광학적 스토리지와 같이 백그라운드 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 주문형 집적회로는 개시된 기능성을 제공한다.
다른 시간적 위치들 n-1, n+α, 및 n에 대한 모션 벡터들의 계산은 상기 중가 이미지의 픽셀 값들의 계산에 따라 동기적으로 수행된다. 이는, 예를 들면, 시간적 위치 n-1에 대한 특정 모션 벡터 필드는 대응하는 원래 입력 비디오 이미지의 모든 픽셀들의 모션을 함께 표현하는 모션 벡터들의 그룹에 반드시 대응하지 않는다는 것을 의미한다. 즉, 모션 벡터 필드는 픽셀들의 일부, 예를 들면, 대응하는 원래 입력 비디오 이미지의 픽셀들의 10% 만의 모션을 함께 표현하는 모션 벡터들의 그룹에 대응한다.
도 6은 본 발명에 따른 상기 이미지 처리 장치(600)의 실시예를 개략적으로 도시한다. 상기 이미지 처리 장치(600)는 이하를 포함한다:
비디오 이미지들의 시퀀스에 대응하는 신호를 수신하기 위한 수신 수단(602);
상기 비디오 이미지들 중 제1 이미지를 위한 제1 모션 벡터 필드 및 상기 비디오 이미지들 중 제2 이미지를 위한 제2 모션 벡터 필드를 추정하기 위한 제1 모션 추정기(512);
시간적으로 상기 비디오 이미지들의 제1 이미지 및 상기 비디오 이미지들의 제2 이미지 중간에 위치되는 출력 이미지를 위한 제3 모션 벡터 필드를 추정하기 위한 제2 모션 추정기(514);
도 5를 참조하여 기재된 상기 픽셀 값 결정 유닛(500); 및
상기 픽셀 값 결정 유닛(500)의 출력 이미지들을 표시하기 위한 표시 장치(600).
상기 신호는 안테나 또는 케이블을 거쳐 수신된 방송 신호일 수 있지만, 상기 신호는 상기 입력 커넥터(608)에서 제공된다. 상기 이미지 처리 장치(600)는 선택적 표시 장치를 포함하는 것이 아니라, 출력 이미지들을 표시 장치(606)를 포함하는 장치에 제공한다. 그 다음, 상기 이미지 처리 장치(600)는, 예를 들면, 셋톱 박스, 위성-튜너, VCR 재생기, DVD 재생기 또는 레코더일 것이다. 선택적으로, 상기 이미지 처리 장치(600)는 하드-디스크와 같은 저장 수단 또는 제거가능한 매체, 예를 들면, 광 디스크들 상의 저장을 위한 수단을 포함한다. 상기 이미지 처리 장치(600)는 또한 필름-스튜디오 또는 방송국에 의해 적용되는 시스템일 것이다.
상술된 실시예들이 본 발명을 한정하기보다는 설명한 것이고 기술분야의 당업자는 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있을 것이라는 것을 알아야 한다. 청구항들에서, 괄호 사이에 놓여진 임의의 참조 부호들은 청구항을 한정하도록 해석되지 않아야 한다. 단어 "포함하는(comprising)"은 청구항에 나열되지 않은 소자들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 소자들을 포함하는 하드웨어 및 적당하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 나열한 청구항들에서, 이들 수단들 중 몇몇은 하나 및 동일한 아이템의 하드웨어로 실시될 수 있다. 단어들, 제1, 제2, 및 제3 등의 사용은 임의의 순서를 가리키지 않는다. 이들 단어들은 명칭으로서 해석되어야 한다.

Claims (10)

  1. 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 방법에 있어서,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112011018167469-pct00125
    )의 제1 모션 벡터(
    Figure 112011018167469-pct00126
    ) 및 제2 모션 벡터(
    Figure 112011018167469-pct00127
    )에 기초하여 제1 모션 벡터 차를 계산하는 단계-상기 제1 모션 벡터(
    Figure 112011018167469-pct00128
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112011018167469-pct00129
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112011018167469-pct00130
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112011018167469-pct00131
    )로부터 선택됨-와,
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112011018167469-pct00132
    )의 제3 모션 벡터(
    Figure 112011018167469-pct00133
    ) 및 제4 모션 벡터(
    Figure 112011018167469-pct00134
    )에 기초하여 제2 모션 벡터 차를 계산하는 단계-상기 제3 모션 벡터(
    Figure 112011018167469-pct00135
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112011018167469-pct00136
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112011018167469-pct00137
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112011018167469-pct00138
    )로부터 선택됨-와,
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함하는
    특정 이미지의 특정 픽셀 값 결정 방법.
  2. 제1항에 있어서,
    상기 제2 모션 벡터(
    Figure 112009051166114-pct00139
    )는 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112009051166114-pct00140
    ) 및 상기 제1 모션 벡터(
    Figure 112009051166114-pct00141
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112009051166114-pct00142
    )로부터 선택되는 특정 이미지의 특정 픽셀 값 결정 방법.
  3. 제2항에 있어서,
    상기 제4 모션 벡터(
    Figure 112009051166114-pct00143
    )는 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112009051166114-pct00144
    ) 및 상기 제3 모션 벡터(
    Figure 112009051166114-pct00145
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112009051166114-pct00146
    )로부터 선택되는 특정 이미지의 특정 픽셀 값 결정 방법.
  4. 제1항에 있어서,
    상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치보다 작으면, 상기 제1 픽셀의 상기 제1 값 및 상기 제2 픽셀의 상기 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함하는 특정 이미지의 특정 픽셀 값 결정 방법.
  5. 제1항에 있어서,
    상기 제1 픽셀의 상기 제1 값과, 상기 제1 픽셀에 인접하는 공간 내의 또 다른 픽셀의 또 다른 값의 보간에 의해 상기 특정 픽셀의 상기 값을 설정하는 단계를 포함하는 특정 이미지의 특정 픽셀 값 결정 방법.
  6. 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하기 위한 픽셀 값 결정 유닛(500)에 있어서,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112011018167469-pct00147
    )의 제1 모션 벡터(
    Figure 112011018167469-pct00148
    ) 및 제2 모션 벡터(
    Figure 112011018167469-pct00149
    )에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 수단(508)-상기 제1 모션 벡터(
    Figure 112011018167469-pct00150
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112011018167469-pct00151
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112011018167469-pct00152
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112011018167469-pct00153
    )로부터 선택됨-과,
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112011018167469-pct00154
    )의 제3 모션 벡터(
    Figure 112011018167469-pct00155
    ) 및 제4 모션 벡터(
    Figure 112011018167469-pct00156
    )에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 수단(510)-상기 제3 모션 벡터(
    Figure 112011018167469-pct00157
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112011018167469-pct00158
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112011018167469-pct00159
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112011018167469-pct00160
    )로부터 선택됨-과,
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 설정 수단(504)을 포함하는
    픽셀 값 결정 유닛(500).
  7. 이미지 처리 장치(600)에 있어서,
    비디오 이미지의 시퀀스에 대응하는 신호를 수신하는 수신 수단(602)과,
    상기 비디오 이미지 중 제1 이미지에 대한 제1 모션 벡터 필드 및 상기 비디오 이미지 중 제2 이미지에 대한 제2 모션 벡터 필드를 추정하는 모션 추정 수단(512)과,
    시간적으로 상기 비디오 이미지 중 상기 제1 이미지와 상기 비디오 이미지 중 상기 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 픽셀 값 결정 유닛(500)을 포함하며,
    상기 픽셀 값 결정 유닛은
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112011018167469-pct00161
    )의 제1 모션 벡터(
    Figure 112011018167469-pct00162
    ) 및 제2 모션 벡터(
    Figure 112011018167469-pct00163
    )에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 수단(508)-상기 제1 모션 벡터(
    Figure 112011018167469-pct00164
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112011018167469-pct00165
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112011018167469-pct00166
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112011018167469-pct00167
    )로부터 선택됨-과,
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112011018167469-pct00168
    )의 제3 모션 벡터(
    Figure 112011018167469-pct00169
    ) 및 제4 모션 벡터(
    Figure 112011018167469-pct00170
    )에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 수단(510)-상기 제3 모션 벡터(
    Figure 112011018167469-pct00171
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112011018167469-pct00172
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112011018167469-pct00173
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112011018167469-pct00174
    )로부터 선택됨-과,
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 비디오 이미지 중 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 비디오 이미지 중 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 설정 수단(504)을 포함하는
    이미지 처리 장치(600).
  8. 제7항에 있어서,
    출력 이미지를 표시하기 위한 표시 장치(606)를 더 포함하는 이미지 처리 장치(600).
  9. 제8항에 있어서,
    상기 이미지 처리 장치는 TV인, 이미지 처리 장치(600).
  10. 시간적으로 제1 이미지와 제2 이미지 중간에 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하기 위한 명령들을 포함하는, 컴퓨터 구성에 의해 로딩되는 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 컴퓨터 프로그램은 로딩된 후,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112011018167469-pct00175
    )의 제1 모션 벡터(
    Figure 112011018167469-pct00176
    ) 및 제2 모션 벡터(
    Figure 112011018167469-pct00177
    )에 기초하여 제1 모션 벡터 차를 계산하는 단계-상기 제1 모션 벡터(
    Figure 112011018167469-pct00178
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112011018167469-pct00179
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112011018167469-pct00180
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112011018167469-pct00181
    )로부터 선택됨-와,
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112011018167469-pct00182
    )의 제3 모션 벡터(
    Figure 112011018167469-pct00183
    ) 및 제4 모션 벡터(
    Figure 112011018167469-pct00184
    )에 기초하여 제2 모션 벡터 차를 계산하는 단계-상기 제3 모션 벡터(
    Figure 112011018167469-pct00185
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112011018167469-pct00186
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112011018167469-pct00187
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112011018167469-pct00188
    )로부터 선택됨-와,
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계
    를 수행하는 능력을 처리 수단에 제공하는
    컴퓨터 판독 가능한 저장 매체.
KR1020067004297A 2003-09-02 2004-08-23 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 Expired - Fee Related KR101135454B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03103269.1 2003-09-02
EP03103269 2003-09-02
PCT/IB2004/051530 WO2005022922A1 (en) 2003-09-02 2004-08-23 Temporal interpolation of a pixel on basis of occlusion detection

Publications (2)

Publication Number Publication Date
KR20060121856A KR20060121856A (ko) 2006-11-29
KR101135454B1 true KR101135454B1 (ko) 2012-04-13

Family

ID=34259238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004297A Expired - Fee Related KR101135454B1 (ko) 2003-09-02 2004-08-23 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체

Country Status (6)

Country Link
US (1) US7536031B2 (ko)
EP (1) EP1665808B1 (ko)
JP (1) JP2007504700A (ko)
KR (1) KR101135454B1 (ko)
CN (1) CN1846445B (ko)
WO (1) WO2005022922A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7931699B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Compositions for spray dyeing cellulosic fabrics
US7931700B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Composition for dyeing of cellulosic fabric
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
JP2009533887A (ja) * 2005-11-30 2009-09-17 エヌエックスピー ビー ヴィ 動きベクトル場修正装置及び方法
WO2007119183A2 (en) * 2006-04-19 2007-10-25 Nxp B.V. Method and system for creating an interpolated image
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
JP5023780B2 (ja) * 2007-04-13 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
EP2390838B1 (en) * 2009-01-23 2019-10-02 Nec Corporation Image identifier extracting apparatus
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
US9042680B2 (en) 2009-02-12 2015-05-26 Zoran (France) S.A. Temporal video interpolation method with 2-frame occlusion handling
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2227012A1 (en) 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
EP2420973B1 (en) * 2009-04-14 2019-11-13 Nec Corporation Image identifier extraction device
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
JP5287509B2 (ja) * 2009-05-28 2013-09-11 富士通株式会社 フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
WO2010146786A1 (ja) * 2009-06-16 2010-12-23 日本電気株式会社 画像識別子照合装置
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
JP4692913B2 (ja) * 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
US9013584B2 (en) * 2010-03-01 2015-04-21 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
EP2383992B1 (en) * 2010-04-30 2017-11-29 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for the detection and classification of occlusion regions
JP4735779B2 (ja) * 2011-01-12 2011-07-27 日本ビクター株式会社 補間画素データ生成装置及び方法
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息系统有限公司 基于运动矢量的移动侦测方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
KR101908388B1 (ko) 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US11017540B2 (en) * 2018-04-23 2021-05-25 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
US11388432B2 (en) 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
WO2023174546A1 (en) * 2022-03-17 2023-09-21 Dream Chip Technologies Gmbh Method and image processor unit for processing image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
WO2003041416A1 (en) 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU660020B2 (en) * 1991-05-24 1995-06-08 British Broadcasting Corporation, The Video image processing
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
JP2002523985A (ja) * 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
KR100840133B1 (ko) * 2000-05-18 2008-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
ES2283376T3 (es) 2001-01-16 2007-11-01 Koninklijke Philips Electronics N.V. Reduccion de los efectos de tipo halo en una interpolacion compensada en movimiento.
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
WO2003041416A1 (en) 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Also Published As

Publication number Publication date
EP1665808A1 (en) 2006-06-07
JP2007504700A (ja) 2007-03-01
US7536031B2 (en) 2009-05-19
CN1846445A (zh) 2006-10-11
CN1846445B (zh) 2010-09-29
US20070002058A1 (en) 2007-01-04
WO2005022922A1 (en) 2005-03-10
EP1665808B1 (en) 2016-05-25
KR20060121856A (ko) 2006-11-29

Similar Documents

Publication Publication Date Title
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US7519230B2 (en) Background motion vector detection
US7949205B2 (en) Image processing unit with fall-back
US20070092111A1 (en) Motion vector field re-timing
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
US20050226462A1 (en) Unit for and method of estimating a motion vector
EP1958451B1 (en) Motion vector field correction
US8374465B2 (en) Method and apparatus for field rate up-conversion
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
KR20060029283A (ko) 모션-보상된 영상 신호 보간

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20060302

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20081031

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20090821

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110113

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110728

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120404

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120405

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20150323

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee