[go: up one dir, main page]

KR100381348B1 - 2차원 영상을 3차원 영상으로 변환하는 방법 - Google Patents

2차원 영상을 3차원 영상으로 변환하는 방법 Download PDF

Info

Publication number
KR100381348B1
KR100381348B1 KR1019960011362A KR19960011362A KR100381348B1 KR 100381348 B1 KR100381348 B1 KR 100381348B1 KR 1019960011362 A KR1019960011362 A KR 1019960011362A KR 19960011362 A KR19960011362 A KR 19960011362A KR 100381348 B1 KR100381348 B1 KR 100381348B1
Authority
KR
South Korea
Prior art keywords
motion vector
cumulative
value
vector detection
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019960011362A
Other languages
English (en)
Other versions
KR960040034A (ko
Inventor
스스무 다나세
도시유끼 오끼노
도시야 이누마
슈고 야마시따
히데까즈 우찌다
유끼오 모리
아끼히로 마에나까
세이지 오까다
간지 이하라
Original Assignee
산요 덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP7187314A external-priority patent/JP2846843B2/ja
Priority claimed from JP06605496A external-priority patent/JP3392627B2/ja
Application filed by 산요 덴키 가부시키가이샤 filed Critical 산요 덴키 가부시키가이샤
Publication of KR960040034A publication Critical patent/KR960040034A/ko
Application granted granted Critical
Publication of KR100381348B1 publication Critical patent/KR100381348B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에서는 2차원 영상 신호로부터 주영상 신호와 이 주영상 신호에 대해 지연된 부영상 신호를 생성함으로써 2차원 영상이 3차원 영상으로 변환된다. 주영상 신호에 대한 부영상 신호의 지연량은 주영상의 수평 방향의 움직임 속도에 따라 변화된다. 주영상으로부터 검출된 움직임 벡터의 수직 성분에 기초하여 지연량의 상한치가 결정된다. 그리고, 결정된 상한치 이하가 되도록 지연량이 결정된다.

Description

2차원 영상을 3차원 영상으로 변환하는 방법
본 발명은 VTR, 비디오 카메라 등으로부터 출력되거나 CATV 방송, TV 방송 등에 의해 전송되어 오는 2차원 영상을 3차원 영상으로 변환하는 방법에 관한 것이다.
최근들어 화제가 되고 있는 3차원 영상 표시 시스템에 사용되는 3차원 영상소프트는 그 대부분이 3차원 영장 표시 시스템용으로 특별 제작된 것이다. 이러한 3차원 영상 소프트는 일반적으로는 2대의 카메라를 이용하여 좌안용 영상과 우안용 영상을 촬영하여 기록한 것이다. 3차원 영상 소프트에 기록된 좌우 영상은 거의 동시에 표시 장치에 중합되어 표시된다. 그리고, 중합되어 표시될 좌안용 영상과 우안용 영상을 관찰자의 좌우 안구에 각각 별도로 입사시킴으로써 관찰자에게 3차원 영상이 인식된다.
그런데, 현재 시중에는 2차원 영상 소프트가 다수 존재하고 있다. 따라서, 이들 2차원 영상 소프트로부터 3차원 영상을 생성할 수 있으면, 기존의 2차원 영상 소프트와 동일한 내용의 3차원 영상 소프트를 처음부터 다시 제작하는 수고가 생략된다.
이에 따라 2차원 영상을 3차원 영상으로 변환하는 방법이 이미 제안되어 있다. 2차원 영상을 3차원 영상으로 변환하는 종래 방법으로서는 다음과 같은 것들이 있다. 즉, 왼쪽에서 오른쪽으로 이동하는 물체가 비추는 2차원 영상의 경우에 이 원래의 2차원 영상을 좌안용 영상으로 하고 이 좌안용 영상에 대해 수 프레임 전의 영상을 우안용 영상으로 하는 방법이다. 이와 같이 하면, 좌안용 영상과 우안용 영상 사이에 시차가 생기므로 이 두 영상을 거의 동시에 화면 상에 표시함으로써 이동하는 물체가 배경에 대해 앞쪽으로 떠오르게 된다.
또, 좌안용 영상에 대해 수 프레임 전의 영상은 원래의 2차원 영상을 필드 메모리에 기억시키고 소정 필드수분 지연하여 판독함으로써 얻어진다. 이상과 같은 종래 방법을 필드 지연 방식이라고 한다.
상기 종래 방법에서는 좌안용 영상 및 우안용 영상의 한쪽에 대한 다른쪽의 지연량을 일정하게 한 경우에는 이동 물체의 수평 방향의 움직임이 빠른 만큼 시차가 커지므로 입체감이 변화하여 3차원 영상이 보기 어려워진다.
그래서, 본 출원인은 안정된 입체감을 얻기 위해 이동 물체의 수평 방향의 움직임이 빨라진 만큼 좌안용 영상 및 우안용 영상의 한쪽에 대한 다른쪽의 지연량을 작게 하는 것을 고안했다. 이와 같이 하면, 수평 방향의 움직임이 빠른 영상에 대해서는 비교적 새로운 필드가 지연 화상으로서 제시되고, 수평 방향의 움직임이 느린 화상에 대해서는 비교적 오래된 필드가 지연 화상으로서 제시된다.
상술한 지연량의 결정 방법에서는 화상의 수평 방향 움직임의 속도에만 기초하여 지연량이 결정된다. 따라서, 수직 방향으로 움직임이 큰 물체가 존재하는 경우에도 영상의 수평 방향의 움직임이 작은 경우에는 지연량은 커진다. 이러한 경우에는 좌안용 영상과 우안용 영상 사이에서 수직 방향으로 움직임이 큰 물체의 수직 방향의 거리가 커져서 수직 방향으로 움직임이 큰 물체의 좌안용 영상과 우안용 영상이 융합하지 않게 된다.
또, 예컨대 달리고 있는 사람의 손과 발처럼 국부적으로 반복 운동하는 대상물이 영상에 포함되어 있는 경우에는 움직임 벡터의 평균치가 작아지므로 지연량은 커진다. 이러한 경우에는 반복 운동하는 대상물의, 서로 다른 위치에서의 영상이 좌안용 영상과 우안용 영상으로 나타나므로 반복 운동하는 대상물이 2중상으로 보여서 매우 보기 흉한 화상이 된다.
본 발명의 목적은 수직 방향으로 이동하는 물체의 좌안용 영상과 우안용 영상이 융합하지 않는 문제를 극복할 수 있는 2차원 영상에 대한 3차원 영상으로의 변환 방법을 제공하는 것이다.
본 발명의 다른 목적은 국부적으로 반복 운동하는 대상물이 영상에 포함되어 있는 경우에도 반복 운동하는 대상물이 2중상으로서 나타나는 것을 방지할 수 있는 2차원 영상에 대한 3차원 영상으로의 변환 방법을 제공하는 것이다.
본 발명에 따른 제1의 2차원 영상을 3차원 영상으로 변환하는 방법에서는 2차원 영상 신호로부터 주영상 신호와 이 주영상 신호에 대해 지연된 부영상 신호를 생성함으로써 2차원 영상이 3차원 영상으로 변환된다. 주영상 신호에 대한 부영상 신호의 지연량은 주영상의 수평 방향 움직임 속도에 따라 변화된다. 주영상으로부터 검출된 움직임 벡터의 수직 성분에 기초하여 지연량의 상한치가 결정된다. 그리고, 결정된 상한치 이하가 되도록 지연량이 결정된다.
본 발명에 따른 제1의 2차원 영상을 3차원 영상으로 변환하는 방법에 의하면, 수직 방향으로 이동하는 물체의 좌안용 영상과 우안용 영상이 융합하지 않는 문제가 극복된다.
지연량의 상한치는, 예컨대 다음과 같이 결정된다. 즉, 주영상의 영상 영역내에 설정된 복수의 움직임 벡터 검출 영역 각각으로부터 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하여 기억한다. 그리고, 각 필드에서 현 필드로부터 과거쪽으로의 상기 평균치의 누적치가 소정치 미만이 되는 범위 내에서 지연량의 상한치를 결정한다.
지연량의 상한치를 산출하기 위한 보다 구체적인 방법에는, 예컨대 다음과같은 방법이 있다.
(1) 제1 방법
주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역 각각으로부터 검출되는 움직임 벡터 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하며 또 기억 수단에 기억한다(제1 단계).
기억 수단에 기억되어 있는 과거의 소정 필드수분의 평균치 중 최신의 것으로부터 몇 필드 전까지의 것을 누적할지를 나타내는 누적 필드수를 미리 정해진 지연량 최대치로 설정한다(제2 단계).
기억 수단에 기억된 과거의 소정 필드수분의 평균치 중에서 설정된 누적 필드수분의 평균치를 새로운 것으로부터 차례로 판독해서 이들 누적치를 산출한다(제3 단계).
산출된 누적치가 미리 정해진 기준치 미만인 경우에는 현재 설정된 누적 필드수를 지연량 상한치로 결정하고, 산출된 누적치가 미리 정해진 기준치 이상인 경우에는 현재 설정된 누적 필드수를 1 만큼 감소시킨다(제4 단계).
제4 단계에서 누적 필드수가 갱신된 때에는 갱신된 누적 필드수를 사용해서 상기 단계 3 및 4의 처리를 반복 실행한다(제5 단계).
(2) 제2 방법
주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역 중 피사체가 존재하는 것으로 판정된 영역으로부터 각각 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하며 또 산출된 평균치를제1 평균치로서 기억 수단에 기억한다(제1 단계).
복수의 움직임 벡터 검출 영역 중 배경이 존재하는 것으로 판정된 영역으로부터 각각 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하며 단 산출된 평균치를 제2 평균치로서 기억 수단에 기억시킨다(제2 단계).
기억 수단에 기억된 과거의 소정 필드수분의 제1 평균치 및 제2 평균치 중 최신의 것으로부터 몇 필드 전까지의 것을 누적할지를 나타내는 누적 필드수를 미리 정해진 지연량 최대치로 설정한다(제3 단계).
기억 수단에 기억된 과거의 소정 필드수분의 제1 평균치 중에서 설정된 누적 필드수분의 제1 평균치를 새로운 것으로부터 차례로 판독해서 이들 누적치인 제1 누적치를 산출한다(제4 단계).
기억 수단에 기억된 과거의 소정 필드수분의 제2 평균치 중에서 설정된 누적 필드수분의 제2 평균치를 새로운 것으로부터 차례로 판독해서 이들 누적치인 제2 누적치를 산출한다(제5단계).
산출된 제1 누적치 및 제2 누적치 양쪽이 미리 정해진 기준치 미만인 경우에는 현재 설정된 누적 필드수를 지연량 상한치로 결정하고, 산출된 제1 누적치 및 제2 누적치 중 적어도 한쪽이 미리 정해진 기준치 이상인 경우에는 현재 설정된 누적 필드수를 1 만큼 감소시킨다(제6단계).
제6 단계에서, 누적 필드수가 갱신된 경우에는 갱신된 누적 필드수를 이용해서 상기 단계 4, 5 및 6의 처리를 반복 실행한다(제7 단계).
(3) 제3 방법
주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 각각 검출되는 움직임 벡터의 수직 성분의 절대치를 각 필드마다 산출하고 산출된 절대치가 소정치보다 큰지의 여부를 판정한다(제1 단계).
산출된 절대치가 소정치보다 큰 경우에는 주영상 내에 수직 방향으로 움직임이 큰 대상물이 존재하는지의 여부를 판정하기 위한 조건을 만족시키는 것으로 판정해서 그 판정 결과를 상기 절대치의 산출원인 움직임 벡터가 검출된 움직임 벡터 검출 영역과 관련하여 기억 수단에 기억한다(제2 단계).
기억 수단에 기억된 과거의 소정 필드수분의 판정 결과에 기초하여 각 움직임 벡터 검출 영역 중 과거의 소정수의 필드 중 소정의 규정 필드수 이상이 상기 조건을 만족하는 움직임 벡터 검출 영역이 존재하는지의 여부를 판정한다(제3 단계).
각 움직임 벡터 검출 영역 중 과거의 소정수의 필드 중 소정의 규정 필드 이상이 상기 조건을 만족하는 움직임 벡터 검출 영역이 존재하는 경우에는 지연량의 상한치를 0으로 결정한다(제4 단계).
본 발명에 따른 제2의 2차원 영상을 3차원 영상으로 변환하는 방법에서는 2차원 영상 신호로부터 주영상 신호와 이 주영상 신호에 대해 지연된 부영상 신호를 생성함으로써 2차원 영상이 3차원 영상으로 변환된다. 주영상 신호에 대한 부영상 신호의 지연량은 주영상의 수평 방향의 움직임 속도에 따라 변화된다. 주영상으로부터 검출된 움직임 벡터에 기초하여 반복 운동하는 대상물이 주영상 신호에 포함되는지의 여부가 판정된다(제1 단계). 그리고, 반복 운동하는 대상물이 주영상 신호에 포함되는 것으로 판정된 경우에는 지연량이 제한된다(제2단계).
본 발명에 따른 제2의 2차원 영상을 3차원 영상으로 변환하는 방법에 의하면 국부적으로 반복 운동하는 대상물이 영상에 포함되어 있는 경우에도 반복 운동하는 대상물이 2중상으로 나타나는 것이 방지된다.
반복 운동하는 대상물이 주영상 신호에 포함되어 있는지의 여부를 판정하는 방법에는 다음의 2가지 방법이 있다.
(1) 제1 방법
각 필드마다, 주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 움직임 벡터를 각각 검출하여 기억 수단에 기억시킨다.
기억 수단에 기억된 과거의 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제1의 누적합을 산출한다.
기억 수단에 기억된 과거의 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1 과거의 소정 필드수보다 큰 제2 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제2 누적합을 산출한다.
각 움직임 벡터 검출 영역 중 제1 누적합과 제2 누적합의 곱이 0보다 작은움직임 벡터 검출 영역이 존재하는지의 여부를 판정하고, 제1 누적합과 제2 누적합의 곱이 0보다 작은 움직임 벡터 검출 영역이 존재할 때에 반복 운동하는 대상물이 주영상 신호에 포함되는 것으로 판정한다.
(2) 제2 방법
각 필드마다 주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 움직임 벡터를 각각 검출하여 기억 수단에 기억한다.
기억 수단에 기역된 과거의 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제1의 누적합을 산출한다.
기억 수단에 기억된 과거의 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1 과거의 소정 필드수보다 큰 제2 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제2의 누적합을 산출한다.
각 움직임 벡터 검출 영역 중, 제1 누적합의 절대값이 제2 누적합의 절대값보다 큰 움직임 벡터 검출 영역이 존재하는지의 여부를 판정하고 제1 누적합의 절대치가 제2 누적합의 절대치보다 큰 움직임 벡터 검출 영역이 존재할 때에 반복 운동하는 대상물이 주영상 신호에 포함되는 것으로 판정한다.
이하, 본 발명의 실시예에 대해 도면을 참조하여 설명한다.
제1도는 2차원 영상을 3차원 영상으로 변환하기 위한 2D/3D 변환 장치의 구성을 도시한다.
이 2D/3D 변환 장치는 필드 지연 방식에 의해 좌안용 영상과 우안용 영상을 생성함으로써 시차를 발생시키고 생성된 좌안용 영상과 우안용 영상의 양쪽 또는 한쪽의 위상을 어긋나게 함으로써 피사체와 기준 화면의 위치 관계를 변화시킨다.
입력 단자(1)에는 2차원 영상 신호(a)가 입력된다. 이 2차원 영상 신호(a)는 움직임 벡터 검출 회로(16), 복수의 필드 메모리(11) 및 영상 전환 회로(13)로 각각 공급된다.
움직임 벡터 검출 회로(16)는 공지된 바와 같이 대표점 매칭법에 기초하여 움직인 벡터를 검출하기 위한 데이타를 생성하는 것이다. 움직임 벡터 검출 회로(16)에 의해 생성된 데이타는 CPU(20)로 공급된다.
대표점 매칭법에 대해 간단히 설명한다. 제8도에 도시된 바와 같이 각 필드의 영상 에리어(100) 내에 복수의 움직임 벡터 검출 영역(E1∼ E12)이 설정되어 있다. 각 움직임 벡터 검출 영역(E1∼ E12)의 크기는 동일하다. 또, 각 움직임 벡터 검출영역(E1∼ E12)은 제9도에 도시한 바와 같이 보다 작은 복수의 소영역 e(e1∼ em)으로 분할되어 있다. 그리고, 제10도에 도시된 바와 같이 각 소영역 e 각각에 복수의 샘플링점 S와 하나의 대표점 R이 설정되어 있다.
현 필드에서의 소영역 e 내의 각 샘플링점 S의 영상 신호 레벨과 전 필드에서의 대응하는 소영역 e의 대표점 R의 영상 보호 레벨의 차(각 샘플링점에서의 상관치)가 각 움직임 벡터 검출 영역(E1∼ E12)마다 구해진다. 그리고, 각 움직임 벡터 검출영역(E1∼ E12)마다 움직임 벡터 검출 영역 내의 모든 소영역 간에서 대표점 R에 대한 편위가 동일한 샘플링점끼리의 상관치가 누적 가산된다. 따라서, 각 움직임 벡터검출 영역(E1∼ E12)마다 하나의 소영역 e 내의 샘플링점의 수에 따른 수의 상관 누적치가 구해진다.
각 움직임 벡터 검출 영역(E1∼ E12) 내에서, 상관 누적치가 최소가 되는 점의 편위, 즉 상관성이 가장 높은 점의 편위가 해당 움직임 벡터 검출 영역(E1∼ E12)의 움직임 벡터(피사체의 움직임)로서 추출된다.
필드 메모리(11)는 2차원 영상 신호(a)를 필드 단위로 지연시켜서 출력시키기 위해 복수개 설치되어 있다. 각 필드 메모리(11)의 기입 및 판독은 메모리 제어 회로(24)에 의해 제어된다.
필드 메모리(11)의 출력 b(지연된 2차원 영상 신호)는 영상 전환 회로(13) 및 보간 회로(12)로 각각 공급된다. 보간 회로(12)는 입력 신호 b에 대해 수직 방향의 보간 신호를 생성하는 것이다. 보간 회로(12)의 출력 c(지연된 2차원 영상 신호의 수직 방향 보간 신호)는 영상 전환 회로(13)로 공급된다.
따라서, 영상 전환 회로(13)에는 입력된 2차원 영상 신호 a, 지연된 2차원 영상 신호 b 및 지연된 2차원 영상 신호 b의 수직 방향 보간 신호 c가 입력된다. 영상 전환 회로(13)는 좌화상용 위상 제어 회로(14)와 우화상용 위상 제어회로(15)에 대해 신호 b 및 신호 c 중 한쪽 신호(부영상 신호)와 신호 a(주영상 신호)를 피사체의 움직임 방향에 따라 전환하여 출력한다. 단지, 지연량이 0인 경우에는 좌화상용 위상 제어 회로(14)와 우화상용 위상 제어 회로(15)의 양쪽에 신호 a가 공급된다.
신호 b 및 신호 c 중에서 한쪽의 선택은 2차원 영상 신호 a가 홀수 필드 또는 짝수 필드인지에 따라 행해진다. 즉, 신호 b 및 신호 c중 2차원 영상 신호 a의 필드 종류(홀수 필드 또는 짝수 필드)에 대응하는 것이 선택된다. 영상 전환 회로(13)에 의한 영상의 전환은 CPU(20)에 의해 제어된다.
각 위상 제어 회로(14, 15)는 입력되는 영상 신호의 위상을 어긋나게 함으로써 입력될 영상의 표시 위치를 수평 방향으로 이동시키기 위해 설치되어 있다. 위상편차량 및 편차 방향은 메모리 제어 회로(24)에 의해 제어된다. 좌화상용 위상 제어 회로(14)의 출력은 좌화상 출력 단자(2)로 공급된다. 또, 우화상용 위상 제어 회로(15)의 출력은 우화상 출력 단자(3)로 공급된다.
CPU(20)는 메모리 제어 회로(24) 및 영상 전환 회로(13)를 제어한다. CPU(20)는 그 프로그램 등을 기억하는 ROM(21) 및 필요한 데이타를 기억하는 RAM(22)을 구비한다. CPU(20)에는 움직임 벡터 검출 회로(16)로부터 움직임 벡터 검출에 필요한 데이타가 공급되어 온다. 또, CPU(20)에는 각종 입력 수단 및 표시기를 갖춘 조작 ·표시부(23)가 접속되어 있다.
CPU(20)는 움직임 벡터에 기초해서 필드 메모리(11)에 의한 지연 필드수(지연량)를 산출한다. 즉, 원칙적으로는 움직임 벡터가 큰 경우에는 지연량이 작아지도록, 움직임 벡터가 작은 경우에는 지연량이 커지도록 지연량을 결정한다.
또, CPU(20)는 움직임 벡터의 방향에 기초하여 영상 전환 회로(13)를 제어한다. 즉, 움직임 벡터의 방향이 왼쪽에서 오른쪽인 경우에는 입력된 2차원 영상 신호 a를 좌안용 위상 제어 회로(14)로, 지연된 2차원 영상 신호 b또는 c를 우안용 위상 제어 회로(15)로 공급한다. 움직임 벡터의 방향이 오른쪽에서 왼쪽인 경우에는 입력된 2차원 영상 신호 a를 우안용 위상 제어 회로(14)로, 지연된 2차원 영상 신호 b 또는 c를 좌안용 위상 제어 회로(15)로 공급한다.
이 2D/3D변환 장치에서는 필드 지연 방식에 의해 좌안용 화상과 우안용 화상을 생성함으로써 시차를 발생시키고 생성된 좌안용 화상과 우안용 화상의 양쪽 또는 한쪽의 위상을 어긋나게 함으로써 피사체와 기준 화면의 위치 관계를 변화시키고 있다.
제2도는 CPU에 의한 2D/3D 변환 처리 수순을 도시한다.
CPU에 의한 2D/3D 변환 처리는 입력 영상 신호 a의 필드의 전환 타이밍이 올 때마다 행해진다.
(1) 단계 1에서는 복수의 필드 메모리(11) 중 이번 필드에 대한 2차원 영상 신호를 기입해야할 메모리(기입 메모리) 및 이미 기억되어 있는 2차원 영상 신호를 판독해야할 메모리(판독 메모리)를 각각 도시하는 데이타가 메모리 제어 회로(24)로 출력된다. 또, 각 위상 제어 회로(14, 15)에 의한 위상 편차량 및 방향을 나타내는 데이타가 메모리 제어 회로(24)로 출력된다. 또, 영상 전환 회로(15)로는 영상 전환 제어 신호가 출력된다.
판독 메모리는 전회의 2D/3D 변환 처리에서 결정된 지연량에 기초하여 결정된다. 또, 각 위상 제어 회로(14, 15)에 의한 위상 편차량 및 방향은 2D/3D 변환 처리의 단계 2에서 이미 기입되어 기록된 데이타에 기초하여 결정된다.
또, 지연된 2차원 영상 신호 b 및 c 중 한쪽의 선택은 필드 메모리(11)로부터 판독되어야할 2차원 영상 신호 b의 필드 종류와 2차원 영상 신호 a의 필드 종류에 기초하여 결정된다. 더우기, 선택된 신호 b 또는 c와 신호 a의 전환은 전회의 2D/3D 변환 처리에서 구해진 수평 방향의 움직임 벡터의 방향에 기초하여 결정된다. 선택된 신호 b 또는 c와 신호 a의 전환 방향은 지연량의 극성에 의해 표시된다.
(2) 단계 2에서는 조작 ·표시부(23)로부터의 각종 입력 신호가 공급되어 기억된다. 각종 입력 신호에는 위상 편차량 및 방향을 설정하는 신호, 지연량을 자동으로 산출하는지(자동 모드), 수동으로 설정하는지(수동 모드)를 나타내는 자동 · 수동 모드 설정 신호, 자동 모드가 설정될 때에 행해지는 지연량 배율 설정 신호, 수동 모드가 설정될 때에 행해지는 지연량 설정 신호 등이 있다.
(3) 단계 3에서는 전회의 2D/3D 변환 처리의 단계 10에서 구해진 각 움직임 벡터 검출 영역마다의 움직임 벡터에 대한 신뢰성 결과에 기초하여 신뢰성이 있는 움직임 벡터만이 추출된다.
(4) 단계 4에서는 단계 3에서 추출된 신뢰성이 있는 움직임 벡터의 수직 방향 성분에 기초하여 지연량 상한치 산출 처리가 행해진다. 지연량 상한치 산출 처리를 좌안용 영상과 우안용 영상 사이에서 수직 방향으로 이동하는 물체의 수직 방향의 거리가 너무 커지는 것을 방지하기 위해 지연량의 상한치를 산출하는 처리이다. 지연량 상한치의 산출 처리에 대한 상세 설명은 후술된다.
(5) 단계 5에서는 각 움직임 벡터 검출 영역에 의해 검출된 움직임 벡터에 기초하여 반복 운동하는 대상물이 영상에 포함되어 있는지의 여부 판정이 행해진다. 반복 운동하는 대상물이 영상에 포함되어 있는 것으로 판정된 경우에는 후술하는 바와 같이 지연량이 작아지도록 제한된다.
(6) 단계 6에서는 단계 3에서 추출된 신뢰성있는 움직임 벡터 중 수직 방향 성분이 소정치보다 작은 것만이 추출된다.
(7) 단계 7에서는 단계 6에서 추출된 신뢰성있는 움직임 벡터의 수평 방향 성분(유효 수평 방향 움직임 벡터)의 평균치가 산출된다.
(8) 단계 8에서는 단계 7에서 산출된 유효 수평 방향 움직임 벡터의 평균치에 기초하는 지연량 산출 처리가 행해진다. 이 지연량 산출 처리에 대해서는 상세히 후술한다.
(9) 단계 9에서는 단계 2에서 받아들여져 기억된 데이타에 기초하여 자동 모드인지 수동 모드인지가 판별된다.
(10) 단계 9에서 수동 모드가 설정되어 있는 것으로 판별된 경우에는 지연량이 단계 2에서 공급된 설정치로 고정된다(단계 10).
(11) 단계 9에서 자동 모드가 설정되어 있는 것으로 판별된 경우에는 단계 7의 지연량 산출 처리에서 사용되는 이력 데이타가 갱신된다(단계 11).
(12) 단계 12에서는 움직임 벡터 검출 회로(16)로부터 움직임 벡터 검출에필요한 데이타가 받아들여지고 각 움직임 벡터 검출 영역에 대한 움직임 벡터가 산출된다. 또, 각 움직임 벡터 검출 영역마다의 상관 누적치의 평균치, 최소치 등에 기초해서 각 움직임 벡터 검출 영역마다 움직임 벡터의 신뢰성이 판별된다. 그리고, 산출된 움직임 벡터 및 신뢰성 판별 결과가 RAM(22)에 기억된다.
제11도는 제2도의 단계 4의 지연량 상한치 산출 처리에 대한 상세한 수순을 도시한다. 여기서는 필드 메모리가 6개 설치되어 있어서 최대 지연 필드수는 6인 것으로 한다.
우선, 제2도의 단계 3에서 추출된 신뢰성있는 움직임 벡터의 수직 방향 성분(수직 방향 벡터)의 절대치의 평균치가 산출되어 RAM(22)에 기억된다(단계 41). 이번 산출된 수직 방향 벡터의 절대치의 평균치를 y1으로 하고, 이미 RAM(22)에 기억된 과거 5회의 수직 방향 벡터의 절대치의 평균치를 y2, y3, y4, y5, y6로 한다.
이하, RAM(22)에 기억된 최소 평균치 y1을 포함하는 과거 6 필드분의 평균치를 yn(n = 1, 2, 3, 4, 5, 6)으로 나타낸다. 또, 과거 6 필드분의 평균치 yn(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 몇 필드 전의 것까지를 누적할지를 나타내는 i를 누적 필드수 i로 한다.
다음에, 누적 필드수 i가 최대 지연 필드수(지연량 최대치)인 6으로 설정된다(단계 42).
다음에, 과거 6 필드분의 평균치 yn(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 i 필드 전의 것까지가 누적된다(단계 43). 즉, RAM(22)에 기억된 과거 6 필드분의 평균치 yn중에서 현재 설정된 누적 필드수분의 평균치가 새로운 것으로부터 차례로 판독되고 이들 누적치가 산출된다. 즉, 다음 식 (1)에서 기초하여 수직 방향 벡터의 절대치의 평균치의 i 필드 전까지의 누적치 Z가 구해진다.
단계 42에서 단계 43으로 이행한 때에는 i = 6이므로 누적치 Z는 다음 식 (2)와 같이 된다.
다음에 단계 43에서 산출된 누적치 Z가 미리 정해진 기준치 Z0보다 작은지의 여부가 판정된다(단계 44). 기준치 Z0로서는 예컨대 2가 설정된다.
단계 43에서 산출된 누적치 Z가 미리 정해진 기준치 Z0보다 작은 때에는(단계 44에서 YES), 과거 i 필드분의 기간에 영상의 수직 방향의 움직임이 작은 것으로 판단되고 지연량 상한치 Dmax가 현재 설정된 누적 필드수 i로 설정된다(단계 47). 예컨대, i = 6이면 지연량 상한치 Dmax는 6으로 설정된다.
단계 43에서 산출된 누적치 Z가 미리 정해진 기준치 Z0이상인 때에는(단계 44에서 NO), 과거 i 필드분의 기간에 영상의 수직 방향의 움직임이 큰 것으로 판단된다. 환언하면, 지연 필드수를 i로 한 경우에는 좌안용 영상과 우안용 영상 사이에 수직 방향으로 이동하는 물체의 수직 방향의 거리가 커져서 수직 방향으로 이동하는 물체의 좌안용 영상과 우안용 영상이 융합하지 않는 것으로 판단된다.
이 경우에는 i가 1 만큼 감소(i ← i - 1)된다(단계 45). 그리고, 갱신된 i의 값이 0이 아니면(단계 46에서 NO), 단계 43으로 되돌아가서 단계 43 이하의 처리가 다시 실행된다.
예를 들어, 갱신 전의 i가 6이고 갱신 후의 i가 5인 경우에는 수직 방향 벡터의 절대치의 평균치의 5 필드 전까지의 누적치 Z(y1+ y2+ y3+ y4+ y5)가 산출된다(단계 43). 그리고, 산출된 누적치 Z가 기준치 Z0보다 작은 때에는(단계 44에서 YES), 지연량 상한치 Dmax가 5로 설정된다(단계 47). 산출된 누적치 Z가 기준치 Z0이상인 때에는 i가 1 만큼 감소(i ← i - 1)된 후(단계 45), 단계 43으로 되돌아가서 단계 43 이후의 처리가 다시 실행된다.
이와 같이 해서 지연량 상한치 Dmax가 결정된다. 또, 단계 45에서 갱신된 i가 0인 때에는(단계 46에서 YES), 지연량 상한치 Dmax는 0으로 설정된다.
제12도는 지연량 상한치 산출 처리의 다른 예를 도시한다. 여기서는 필드 메모리(6)가 6개 설치되어 있어서 최대 지연 필드수는 6인 것으로 한다. 또, 제2도의 단계 12에서는 각 움직임 벡터 검출 영역 중 피사체의 영역과 배경 영역이 판별되어 있는 것으로 한다.
우선, 제2도의 단계 3에서 추출된 신뢰성있는 움직임 벡터 중 피사체 영역의 움직임 벡터의 수직 방향 성분의 절대치의 평균치(이하, 제1 평균치라고 함)가 산출되어 RAM(22)에 기억된다(단계 51). 이번 산출된 제1 평균치를 ya1으로 하고, 이미 RAM(22)에 기억된 과거 5회의 제1 평균치를 ya2, ya3, ya4, ya5, ya6로 한다.
이하, RAM(22)에 기억된 최신의 제1 평균치 ya1을 포함하는 과거 6 필드분의 제1평균치를 yan(n = 1, 2, 3, 4, 5, 6)으로 표시한다. 또, 과거 6 필드분의 제1 평균치 yan(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 몇 필드 전의 것까지를 누적할지를 나타내는 변수 i를 누적 필드수 i로 한다.
또, 제2도의 단계 3에서 추출된 신뢰성있는 움직임 벡터 중 배경 영역의 움직임 벡터의 수직 방향 성분의 절대치의 평균치(이하, 제2 평균치라고 함)가 산출되어 RAM(22)에 기억된다(단계 52). 이번 산출된 제2 평균치를 yb1으로 하고 이미 RAM(22)에 기억된 과거 5회의 제2 평균치를 yb2, yb3, yb4yb5, yb6로 한다.
이하, RAM(22)에 기억된 최신의 제2 평균치 yb1을 포함하는 과거 6필드분의 제2 평균치를 ybn(n = 1, 2, 3, 4, 5, 6)으로 나타낸다. 또, 과거 6 필드분의 제2 평균치 ybn(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 몇 필드 전의 것까지를 누적할지를 나타내는 변수 i를 누적 필드수 i로 한다.
다음에, 누적 필드수 i가 최대 지연 필드수인 6으로 설정된다(단계 53).
다음에, 과거 6 필드분의 제1 평균치 yan(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 i 필드 전까지의 것이 누적된다(단계 54). 즉, 다음 식 (3)에 기초하여 제1 평균치 yan의 i 필드 전까지의 누적치 Za(이하, 제1 누적치 Za라고 함)가 구해진다.
단계 (53)로부터 단계 (54)로 이행한 때에는 i = 6이므로 제1 누적치 Za는 다음식 (4)과 같이 된다.
또, 과거 6필드분의 제2 평균치 ybn(n = 1, 2, 3, 4, 5, 6) 중 최신의 것으로부터 i 필드 전까지의 것이 누적된다(단계 54). 즉, 다음 식 (5)에 기초하여 제2 평균치 ybn의 i 필드 전까지의 누적치 Zb(이하 제2 평균치 Zb라고 함)가 구해진다.
단계 53에서 단계 54, 단계 55로 이행한 때에는 i = 6이므로 제2 누적치 Zb는 다음 식 (6)과 같이 된다.
다음에, 단계 54에서 산출된 제1 누적치 Za가 미리 정해진 기준치 Z0보다 작은지의 여부가 판정된다(단계 56). 기준치 Z0로서는 예컨대 2가 설정된다.
단계 54에서 산출된 제1 누적치 Za가 미리 정해진 기준치 Z0보다 작은 때에는(단계 56에서 YES), 단계 55에서 산출된 제2 누적치 Zb가 미리 정해진 기준치 Z0보다 작은지의 여부가 판정된다(단계 57). 기준치 Z0로서는 예컨대 2가 설정되어 있다.
단계 55에서 산출된 제2 누적치 Zb가 미리 정해진 기준치 Z0보다 작을 때에는(단계 57에서 YES), 과거 i 필드분의 기간에 피사체 및 배경 양쪽의 수직 방향의 움직임이 작은 것으로 판단되어 지연량 상한치 Dmax가 i로 설정된다(단계 60). 예컨대, i = 6이면 지연량 상한치 Dmax는 6으로 설정된다.
상기 단계 56 또는 57의 어느 한쪽에서 NO가 된 때에는, 즉 제1 누적치 Za가 기준치 Z0이상이거나 또는 제2 누적치 Zb가 기준치 Z0이상인 경우에는 과거 i 필드분의 기간에 피사체 및 배경 중 적어도 한쪽의 수직 방향의 움직임이 클 것으로 판단된다. 이 경우에는 i가 1 만큼 감소(i ←i - 1)된다(단계 58). 그리고, 갱신된 i 의 값이 0이 아니면(단계 59에서 NO), 단계 54로 되돌아가서 단계 54 이하의 처리가 다시 실행된다.
예를 들면, 갱신 전의 i가 6이고 갱신 후의 i가 5인 경우에는 제1 평균치 yan의 5 필드 전까지의 제1 누적치 Za(= ya1+ ya2+ ya3+ ya4+ ya5)가 산출된다(단계 54). 또, 제2 평균치 ybn의 5 필드 전까지의 제2 누적치 Zb(= yb1+ yb2+ yb3+ yb4+ yb5)가 산출된다(단계 55).
그리고, 산출된 제1 및 제2 누적치 Za, Zb가 모두 기준치 Z0보다 작을 때에는(단계 56, 57에서 YES), 지연량 상한치 Dmax가 5로 설정된다(단계 60). 산출된 제1 및 제2 누적치 Za, Zb의 적어도 한쪽이 기준치 Z0이상이면 i가 1 만큼 감소(i ← i - 1)된 후, 단계 54로 되돌아가서 단계 54 이하의 처리가 다시 실행된다.
이와 같이 해서 지연량 상한치 Dmax가 결정된다. 또, 단계 58에서 갱신된 i가 0일 때에는(단계 59에서 YES), 지연량 상한치 Dmax는 0으로 설정된다.
제13도는 지연량 상한치 산출 처리의 다른 예를 도시한다. 여기서는 필드 메모리가 6개 설치되어 있어서 최대 지연 필드수는 6인 것으로 한다.
전 움직임 벡터 검출 영역(e1∼ em) 중 제2도의 단계 3에서 신뢰성있는 움직임 벡터가 추출된 움직임 벡터 검출 영역을 신뢰성있는 움직임 벡터 검출 영역이라고 한다. 신뢰성있는 움직임 벡터 검출 영역에서 추출된 움직임 벡터의 수직 방향 성분(이하, 수직 벡터의 절대치라고 함)의 절대치 ｜yk｜(다만, k는 1 ∼ m의 숫자로서 움직임 벡터 검출 영역을 나타냄)가 각각 산출되어 RAM(22)에 기억된다(단계 61). RAM(22)에는 적어도 현재로부터 과거 5 필드에 걸쳐 산출된 수직 벡터의 절대치 ｜yk｜가 유지된다.
다음에, 신뢰성있는 움직임 벡터 검출 영역마다 수직 방향으로 빠르게 움직이는 대상물이 존재하는지의 여부를 판정하기 위한 조건(이하, 고속 움직임 판정용 조건이라고 함)을 만족하는지의 여부가 검사되고, 이 검사 결과가 RAM(22)에 기억된다(단계 62). 즉, 신뢰성있는 움직임 벡터 검출 영역마다 산출된 수직 방향 벡터의 절대치 ｜yk｜가 소정치, 예컨대 "5"(화소수)보다 클지의 여부가 각각 판정된다. 산출된 수직 방향 벡터의 절대치 ｜yk｜가 소정치보다 클 경우에는 해당 움직임 벡터 검출 영역 k는 고속 움직임 판정용 조건을 만족시키는 것으로 판정된다.
신뢰성있는 움직임 벡터 검출 영역 k마다 얻어진 검사 결과는 수직 방향으로 빠르게 움직이는 대상물이 존재하는지의 여부를 판정하기 위한 데이타(이하, 판정용 데이타라고 함)로서 움직임 벡터 검출 영역 k와 연관해서 RAM(22)에 기억된다.
이번 산출된 움직임 벡터 검출 영역 k마다의 판정용 데이타를 Wk1(단 k는 1 - m의 숫자로서 움직임 벡터 검출 영역을 나타냄)으로 하고, 이미 RAM(22)에 기억된 과거 4회의 판정용 데이타를 Wk2Wk3, Wk4, Wk5로 한다. 이하, RAM(22)에 기억된 최신의 판정용 데이타 Wk1을 포함하는 과거 5 필드분의 판정용 데이타를 Wkn(n = 1, 2, 3, 4, 5)으로 나타낸다.
다음에, 과거 5 필드분의 판정용 데이타 Wkn에 기초하여 과거 5 필드 내의 영상에 수직 방향으로 빠르게 움직이는 대상물이 존재하는지의 여부가 판정된다. 즉, 각 움직임 벡터 검출 영역 k 각각에 대해 과거 5 필드 중 소정 필드수 이상이 고속움직임 판정용 조건을 만족하는지의 여부가 판정된다(단계 63). 소정 필드수로는 예컨대 2가 설정된다.
과거 5 필드 중 소정 필드수 이상이 고속 움직임 판정용 조건을 만족하는 움직임 벡터 검출 영역 k가 존재하면, 그 영역에서 수직 방향으로 빠르게 움직이는 대상물이 존재할 가능성이 높은 것으로 판정된다. 그래서, 각 움직임 벡터 검출 영역 k중 과거 5 필드 중의 소정 필드수 이상이 고속 움직임 판정용 조건을 만족하는 움직인 벡터 검출 영역이 하나라도 존재하는 경우에는(단계 64에서 YES), 과거 5 필드 내의 영상에 수직 방향으로 빠르게 움직이는 대상물이 존재하는 것으로 판정된다.
과거 5 필드 중 2 필드 이상이 고속 움직임 판정용 조건을 만족하는 움직임 벡터 검출 영역이 전혀 존재하지 않는 경우에는(단계 64에서 NO), 과거 5 필드 내의 영상에 수직 방향으로 빠르게 움직이는 대상물이 존재하지 않는 것으로 판정한다.
과거 5 필드 내의 영상에 수직 방향으로 빠르게 움직이는 대상물이 존재하는 것으로 판정된 경우에는(단계 64에서 YES), 지연량 상한치 Dmax가 0으로 설정된다(단계 65). 그리고, 이번의 처리를 종료한다.
과거 5 필드 내의 영상에 수직 방향으로 빠르게 움직이는 대상물이 존재하지 않는 것으로 판정된 경우에는(단계 64에서 NO), 지연량 상한치 Dmax를 설정하지 않고 이번의 처리를 종료한다.
제14도는 제2도의 단계 5에서 반복 운동하는 대상물의 유무 판정 처리의 상세한 순서를 도시한다.
각 움직임 벡터 검출 영역(e1∼ em) 중 움직임이 있는 대상물을 포함하는 영역이 검출된다(단계 71). 즉, 각 움직임 벡터 검출 영역 ek(k = 1 ∼ m)마다 단계 12에서 받아들인 상관 누적치의 과거 10 필드분의 적산치 Uk(k는 1 ∼ m으로서 움직임 벡터 검출 영역을 나타냄)가 산출된다. 그리고, 신뢰성있는 모든 움직임 벡터 검출 영역에 대한 적산치 Uk의 평균치 ＊U가 산출된다.
그리고, 각 움직임 벡터 검출 영역 ek마다 다음의 2가지 조건이 동시에 만족되는지의 여부가 판정된다.
여기서, ｜Uk｜는 적산치 Uk의 절대치이다. α는 규정치로서 이 예에서는 1000으로 설정되어 있다.
조건 1 및 2를 모두 만족하는 경우에는 해당 움직임 벡터 검출 영역은 움직임이 있는 대상물을 포함하는 영역인 것으로 판정된다.
다음에, 움직임이 있는 대상물을 포함하는 영역으로 판정된 움직임 벡터 검출 영역마다 과거 5 필드 간의 움직임 벡터의 누적함 V5k및 과거 10 필드분의 움직임 벡터의 누적합 V10k가 산출된다(단계 72).
다음에, 움직임이 있는 대상물을 포함하는 영역으로 판정된 움직임 벡터 검출 영역 중 누적합 V5k와 누적합 V10k의 곱(V5k×V10k)이 0보다 작은 영역이 존재하는지의 여부가 판정된다(단계 73). 즉, 움직임이 있는 대상물을 포함하는 영역으로 판정된 움직임 벡터 검출 영역 중 다음의 조건 3을 만족하는 움직임 벡터 검출 영역이 존재하는지의 여부가 판정된다.
조건 3을 만족하는 움직임 벡터 검출 영역이 존재하는 경우에는(단계 73에서 YES), 해당 움직임 벡터 검출 영역으로 반복 운동하는 대상물이 포함된 것으로 판정되어 반복 운동 물체 검출 플러그 F가 세트(F = 1)된다(단계 75). 이것은 움직임 벡터 검출 영역으로 반복 운동하는 대상물이 포함된 경우에는 과거 10 필드 도중에서 해당 대상물의 이동 방향이 반대 방향으로 변화되기 위해 과거 5 필드 간의 움직임 벡터의 부적합 V5k와 과거 10 필드분의 움직임 벡터의 누적합 V10k에서는 부호가 반전되는 것으로 생각되기 때문이다.
조건 3을 만족하는 움직임 벡터 검출 영역이 존재하지 않는 경우에는(단계 73에서 NO), 움직임이 있는 대상물을 포함하는 영역으로 판정된 움직임 벡터 검출 영역중 누적합 V5k의 절대치 ｜V5k｜가 누적합 V10k의 절대치 ｜V10k｜보다 큰 영역이 존재하는지의 여부가 판정된다(단계 74). 즉, 움직임이 있는 대상물을 포함하는영역으로 판정된 움직임 벡터 검출 영역 중 다음 조건 4를 만족하는 움직임 벡터 검출 영역이 존재할지의 여부가 판정된다.
조건 4를 만족하는 움직임 벡터 검출 영역이 존재하는 경우는(단계 74에서 YES), 해당 움직임 벡터 검출 영역으로 반복 운동하는 대상물이 포함된 것으로 판정되어 반복 운동 물체 검출 플러그 F가 세트(F = 1)된다(단계 75). 이것은 움직임 벡터 검출 영역으로 반복 운동하는 대상물이 포함되어 있는 경우에는 과거 10 필드의 도중에서 해당 대상물의 이동 방향이 반대 방향으로 변화되기 위해 오랜 기간의 움직임 벡터의 누적합 V10k의 절대치 ｜V10k｜쪽이 짧은 기간의 움직임 벡터의 누적합 V5k의 절대치 ｜V5k｜보다 작아지는 것으로 고려되기 때문이다.
조건 3 또는 4를 만족하는 움직임 벡터 검출 영역이 존재하지 않을 경우에는(단계 74에서 NO), 반복 운동하는 대상물이 존재하지 않는 것으로 판정되어 반복 운동 물체 검출 플러그 F는 리세트(F = 0)된다(단계 76).
제3도는 제2도의 단계 8의 지연량 산출 처리의 상세한 순서를 도시한다.
우선, 상기 단계 2에서 설정되어 기억된 지연량 배율 설정치 및 상기 단계 6에서 구해진 유효 수평 방향 움직임 벡터의 평균치 v(이하, 움직임 벡터 평균치라고 함)에 기초하여 제1 지연량 d1이 구해진다(단계 21). 이 예에서는 제1 지연량 d1의 절대치 ｜d1｜은 0 ∼ 6 사이의 정수이다. 즉, 제1 지연량 d1은 0｜d1｜6이다.
제4도는 움직임 벡터 평균치와 지연량의 관계를 도시한다. 제4도에 도시한 바와 같은 관계가 지연량 테이블로서 ROM(21)에 기억되어 있다. 그리고, 우선 움직임 벡터 평균치에 대응하는 지연량이 지연량 테이블에서 구해진다.
그런데, 같은 3차원 영상 신호에도 입체 표시 장치(모니터)의 조건, 즉 모니터의 종류 및 모니터를 보는 조건에 따라 시차가 다르다. 그래서, 모니터의 조건에 관계없이 동일한 입체감을 얻기 위해, 또는 관찰자의 기호에 맞도록 상기 단계 2에서 설정되어 기억된 지연량 배율 설정치를 지연량 테이블로부터 구해진 지연량에 적산함으로써 제1 지연량 d1이 구해진다.
모니터의 조건에 관계없이 동일한 입체감을 얻기 위해 복수 종류의 지연량 테이블을 저장해 두고 조작 ·표시부(23)로부터 모니터의 조건 또는 관찰자의 기호에 따른 지연량 테이블을 선택하기 위한 명령을 입력하게 해도 된다.
또, 지연량 테이블이 아니라 미리 정해진 관계식에 기초하여 제1 지연량을 구하도록 해도 된다. 이 경우의 관계식을 구하는 방법에 대해 제5도를 참조하여 설명한다.
모니터면 S와 관찰자의 눈(31, 32)의 적절한 간격을 적시 거리(適視距離) A[mm]로 한다. 또, 모니터면 S 상에서의 주시 물체(注視物體)의 우화상 R과 좌화상 L의 간격을 시차 B[mm]로 한다. 또, 안구간 거리를 C[mm]로 한다. 적시 거리 A는 모니터의 조건에 따라 결정된다. 주시 물체의 시차 B는 3차원 영상 신호가 동일해도 모니터의 조건에 따라 다르다.
적시 거리 A와 시차 B와 안구간 거리 C에 의해 주시 물체의 입체상 위치 P는결정된다. 즉, 주시 물체의 모니터면 S로부터의 돌출량 D[mm]는 적시 거리 A와 시차 B와 안구간 거리 C에 의해 결정된다.
모니터의 조건과 관계없이 주시 물체의 모니터면 S로부터의 돌출량을 일정량 D로 하기 위한 시차 B는 다음 식 (7)로 표현된다.
모니터의 수평 길이를 H[mm], 모니터의 수평 방향 화소수를 h[화소]로 하고 움직임 벡터 평균치를 v[화소/필드], 제1 지연량 d1[필드]으로 하면 다음의 관계(8)가 성립한다.
여기서, 시차 B의 화소 환산량(= (h/H)·B)을 조작 ·표시부(23)에 의해 설정되는 조정량을 X(모니터의 조건에 관한 데이타 또는 관찰자의 기호에 따른 데이타)로 하면, 제1 지연량 d1은 다음의 관계식 (9)로 표현된다.
단계 21에서 제1 지연량 d1이 구해지면 반복 운동 물체 검출 플러그 F(제14도의 단계 45, 46 참조)가 세트되어 있는지의 여부가 판정된다(단계 22).
반복 운동 물체 검출 플러그 F가 세트되어 있는 경우에는(F = 1), 단계 21에서 산출된 제1 지연량 d1의 절대치 ｜d1｜이 다음과 같이 변경된다(단계 23).
즉, 단계 21에서 산출된 제1 지연량 d1의 절대치 ｜d1｜이 0, 1 또는 2이면(0｜d1｜2), 제1 지연량 d1의 절대치 ｜d1｜이 0으로 변경된다. 단계 21에서 산출된 제1 지연량 d1의 절대치 ｜d1｜이 3, 4, 5 또는 6이면(3｜d1｜6), 제1 지연량 d1의 절대치 ｜d1｜이 1로 변경된다. 그리고, 단계 24로 나아간다. 이와 같이 국부적으로 반복 운동하는 대상물이 영상에 포함되어 있는 경우에는 제1 지연량이 적어지도록 제한되므로 반복 운동하는 대상물이 2중상으로 나타나는 것이 방지된다.
반복 운동 물체 검출 플러그 F가 세트되어 있지 않은 경우에는(F = 0), 단계 23의 처리를 행하지 않고 단계 24로 나아간다.
단계 24에서는 제1 지연량의 이력 데이타에 기초하여 이번부터 과거 9회까지의 10 필드분의 제1 지연량의 평균치, 전회부터 그 과거 9회까지의 10 필드분의 제1 지연량의 평균치, 전전회부터 그 과거 9회까지의 10 필드분의 제1 지연량의 평균치가 각각 산출된다.
다음에, 3 세트의 평균치 중 2개 이상이 같은 값이면, 그 값(다수치)이 제2 지연량 d2로서 선택되고 모두 다른 값이면 그 중간값이 제2 지연량 d2로서 선택된다(단계 25).
다음에, 단계 25에서 선택된 제2 지연량 d2와 12 - 18 필드 전의 것들 중 하나의 제2 지연량 d2(예컨대, 15 필드 전의 제2 지연량 d2)와 30 필트 전의 제2 지연량 d2가 비교된다(단계 26). 단계 26에서 이용된 지연량 이력 데이타는 과거에 단계 23에서 얻어진 제2지연량 d2이다.
모든 제2지연량 d2가 일치할 경우에는(단계 27에서 YES), 목표 지연량 Pd가 단계 25에서 선택된 제2 지연량으로 변경된 후(Pd = d2)(단계 28) 단계 32로 나아간다. 따라서, 제6도에 도시한 바와 같이 3개의 제2 지연량 d2(과거의 것으로부터차례로 d2 - 1, d2 - 2, d2 - 3으로 표현됨)가 변화하여 모든 제2 지연량 d2가 일치하면 목표 지연량 Pd가 제2지연량(d2 - 3)으로 변경된다.
모든 제2지연량 d2가 일치하지 않는 경우에는(단계 27에서 NO), 모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 클지, 모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 작을지 또는 이들 조건에 해당하지 않을지가 판별된다(단계 29).
모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 클 때에는 목표 지연량 Pd가 +1된 후(Pd = Pd + 1)(단계 30) 단계 32로 나아간다. 예를 들어, 제7도에 도시한 바와 같이 3개의 제2지연량 d2(과거의 것으로부터 차례로 d2 - 1, d2 - 2, d2 - 3으로 표현함)가 변화하고, 모든 제2지연량 d2가 현재의 목표 지연량 Pd보다 클 때에는 목표 지연량 Pd가 +1된다.
모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 작을 때에는 목표 지연량 Pd가 -1된 후(Pd = Pd - 1)(단계 31) 단계 32로 나아간다. 모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 커지지 않으며 또 모든 제2 지연량 d2가 현재의 목표 지연량 Pd보다 작지 않을 때에는 현재의 목표 지연량 Pd를 변경하지 않고 단계 32로 나아간다.
단계 32에서는 목표 지연량 Pd의 절대치 ｜Pd｜가 지연량 상한치 산출 처리(제2도의 단계 4)에서 구해진 지연량 상한치 Dmax이하인지의 여부가 판정된다. 목표 지연량 Pd의 절대치 ｜Pd｜가 지연량 상한치 Dmax이하인 때에는(｜Pd｜Dmax), 단계 34로 나아간다.
목표 지연량 Pd의 절대치 ｜Pd｜가 지연량 상한치 Dmax보다 클 때에는(｜Pd｜ > Dmax), 목표 지연량 Pd의 절대치 ｜Pd｜가 Dmax로 교체된 후(단계 33) 단계 34로 나아간다. 이로써, 수직 방향으로 이동하는 물체의 좌안용 영상과 우안용 영상이 융합하지 않는 것을 방지할 수 있다.
단계 34에서는 목표 지연량 Pd와 현재 실제로 설정되어 있는 지연량(설정 지연량 d3)이 일치하는지의 여부가 판별된다. 목표 지연량 Pd와 설정 지연량 d3가 일치하지 않는 경우에는 현재의 설정 지연량 d3가 이미 4 필드 계속되는지의 여부가 판별된다(단계 35). 현재의 설정 지연량 d3가 이미 4 필드 계속되는 경우에는 설정 지연량 d3가 목표 지연량 Pd에 근접하는 쪽으로 1 만큼 변경된다(d3 = d3 ±1)(단계 36). 그리고, 제2도의 단계 9로 이행한다.
상기 단계 34에서 목표 지연량과 현재의 설정 지연량이 일치할 경우(단계 34에서 YES) 또는 상기 단계 35에서 현재의 설정 지연량이 이미 4 필드 계속되지 않을 경우에는(단계 35에서 NO), 지연량을 변경하지 않고 제2도의 단계 9로 이행한다.
즉, 이 예에서는 설정 지연량 d3은 4 필드 주기 단위이며 또 1 필드분씩 목표 지연량 Pd에 근접하게 제어된다.
또, 전원 투입 후 단계 21에서 처음에 제1 지연량 d1이 산출된 때에는 제2 지연량 d2, 목표 지연량 Pd 및 설정 지연량 d3은 d1과 같아진다.
제3도의 처리의 단계 24에서 이번부터 과거 9회까지의 10 필드분의 지연량의평균치만을 산출하고, 이것을 목표 지연량으로 하여 단계 25, 26, 27, 28, 29, 30, 31의 처리를 생략해도 된다.
또, 단계 24에서 이번부터 과거 9회의 10 필드분의 지연량의 평균치만을 산출하고 이를 제2 지연량으로 하여 단계 25의 처리를 생략해도 된다.
또, 단계 25에서 구해진 제2 지연량을 목표 지연량으로 하여 단계 26, 27, 28, 29, 30, 31의 처리를 생략해도 된다.
또, 단계 24 및 25의 처리를 생략해도 된다. 이 경우에는 단계 26에서 이용될 제2 지연량으로서 단계 21 ∼ 23에서 구해진 제1 지연량 d1이 사용된다.
제1도는 2D/3D 변환 장치의 구성을 도시하는 블럭도.
제2도는 CPU에 의한 2D/3D 변환 처리의 전체적인 수순을 도시하는 흐름도.
제3도는 제2도의 단계 7의 지연량 산출 처리의 상세한 수순을 도시하는 흐름도.
제4도는 움직임 벡터 평균치와 제1 지연량의 관계를 도시하는 그래프.
제5도는 움직임 벡터 평균치로부터 제1 지연량을 구하는 관계식의 유도 방식을 설명하기 위한 모식도.
제6도는 3개의 제2 지연량이 전부 일치한 경우에 목표 지연량이 변경되는 형태를 도시하는 타임 차트.
제7도는 3개의 제2 지연량의 전부가 현재의 목표 지연량보다 커진 경우에 목표 지연량이 변경되는 형태를 도시하는 타임 차트.
제8도는 각 필드의 영상 에리어 내에 설정되는 복수의 움직임 벡터 검출 영역 E1∼ E12를 도시하는 모식도.
제9도는 움직임 벡터 검출 영역 내의 복수의 소영역 e를 도시하는 모식도.
제10도는 소영역 e 내에 설정되는 복수의 샘플링점 S와 1개의 대표점 R을 도시하는 모식도.
제11도는 제2도의 단계 4에서의 지연량 상한치 산출 처리 수순을 도시하는 흐름도.
제12도는 지연량 상한치 산출 처리의 다른 예를 도시하는 흐름도.
제13도는 지연량 상한치 산출 처리의 또다른 예를 도시하는 흐름도.
제14도는 반복 운동하는 대상물의 유무 판정 처리 수순을 도시하는 흐름도.
도면의 주요 부분에 대한 부호의 설명
11 : 필드 메모리 13 : 영상 전환 회로
14, 15 : 화상용 위상 제어 회로 16 : 움직임 벡터 검출 회로
20 : CPU 21 : ROM
23 : 조작 ·표시부 e1∼ em: 소영역
E1∼ E12: 움직임 벡터 검출 영역

Claims (8)

  1. 2차원 영상 신호로부터 주영상 신호와 이 주영상 신호에 대해 지연된 부영상 신호를 생성함으로써 2차원 영상을 3차원 영상으로 변환하는 방법으로서, 주영상 신호에 대한 부영상 신호의 지연량이 주영상의 수평 방향의 움직임 속도에 따라 변화되는 2차원 영상을 3차원 영상으로 변환하는 방법에 있어서,
    주영상으로부터 검출된 움직임 벡터의 수직 성분에 기초하여 지연량의 상한치를 결정하고 이 결정된 상한치 이하가 되도록 지연량을 결정하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  2. 제1항에 있어서,
    주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역 각각으로부터 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하여 기억하고, 각 필드에서 현 필드로부터 과거로 향한 상기 평균치의 누적치가 소정값의 미만이 되는 범위 내에서 지연량의 상한치를 결정하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  3. 제1항에 있어서,
    주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역 각각으로부터 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각필드마다 산출하며 또 기억 수단에 기억하는 제1 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 평균치 중 최신의 것으로부터 몇 필드 전까지의 것을 누적할 것인지를 나타내는 누적 필드수를 미리 정해진 지연량 최대치로 설정하는 제2 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 평균치 중에서 설정된 누적 필드수분의 평균치를 새로운 것부터 차례로 판독해서 이들 누적치를 산출하는 제3 단계,
    산출된 누적치가 미리 정해진 기준치 미만인 경우에는 현재 설정되어 있는 누적 필드수를 지연량 상한치로 결정하고, 산출된 누적치가 미리 정해진 기준치 이상일 경우에는 현재 설정되어 있는 누적 필드수를 1 만큼 감소시키는 제4 단계, 및
    제4 단계에서 누적 필드수가 갱신되었을 때에는 갱신된 누적 필드수를 이용해서 상기 단계 3 및 4의 처리를 반복 실행하는 제5 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  4. 제1항에 있어서,
    주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역 중, 피사체가 존재하는 것으로 판정된 영역으로부터 각각 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하며 또 산출된 평균치를 제1 평균치로서 기억 수단에 기억하는 제1 단계,
    복수의 움직임 벡터 검출 영역 중 배경이 존재하는 것으로 판정된 영역으로부터 각각 검출되는 움직임 벡터의 전부 또는 일부 수직 성분의 절대치의 평균치를 각 필드마다 산출하며 또 산출된 평균치를 제2 평균치로서 기억 수단에 기억하는 제2 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 제1 평균치 및 제2 평균치 중 최신의 것으로부터 및 필드 전까지의 것을 누적할 것인지를 나타내는 누적 필드수를 미리 정해진 지연량 최대치로 설정하는 제3 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 제1 평균치 중에서 설정된 누적 필드수분의 제1 평균치를 새로운 것부터 차례로 판독해서 이들 누적치인 제1 누적치를 산출하는 제4 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 제2 평균치 중에서 설정된 누적 필드수분의 제2 평균치를 새로운 것으로부터 차례로 판독해서 이들 누적치인 제2 누적치를 산출하는 제5단계,
    산출된 제1 누적치 및 제2 누적치 양쪽이 미리 정해진 기준치 미만인 경우에는 현재 설정되어 있는 누적 필드수를 지연량 상한치로 결정하고, 산출된 제1 누적치 및 제2 누적치의 적어도 한쪽이 미리 정해진 기준치 이상인 경우에는 현재 설정되어 있는 누적 필드수를 1 만큼 감소시키는 제6단계, 및
    제6 단계에서 누적 필드수가 갱신되었을 때에는 갱신된 누적 필드수를 이용해서 상기 단계 4, 5 및 6의 처리를 반복 실행하는 제7 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  5. 제1항에 있어서,
    주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 각각 검출되는 움직임 벡터의 수직 성분의 절대치를 각 필드마다 산출하고 이 산출된 절대치가 소정치보다 클지의 여부를 판정하는 제1 단계,
    산출된 절대치가 소정치보다 클 경우에는 주영상 내에 수직 방향으로 움직임이 큰 대상물이 존재하는지의 여부를 판정하기 위한 조건을 만족하는 것으로 판정해서, 그 판정 결과를 상기 절대치의 산출원인 움직임 벡터가 검출된 움직임 벡터 검출 영역과 관련하여 기억 수단에 기억하는 제2 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 판정 결과에 기초하여 각 움직임 벡터 검출 영역 중 과거 소정수의 필드 중에서 소정의 규정 필드수 이상이 상기 조건을 만족하는 움직임 벡터 검출 영역이 존재하는지의 여부를 판정하는 제3 단계, 및
    각 움직임 벡터 검출 영역 중 과거 소정수의 필드 중에서 소정의 규정 필드수 이상이 상기 조건을 만족하는 움직임 벡터 검출 영역이 존재하는 경우에는 지연량 상한치를 0으로 결정하는 제4 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법,
  6. 2차원 영상 신호로부터 주영상 신호와 이 주영상 신호에 대해 지연된 부영상 신호를 생성함으로써 2차원 영상을 3차원 영상으로 변환하는 방법으로서, 주영상 신호에 대한 부영상 신호의 지연량이 주영상의 수평 방향의 움직임 속도에 따라 변화되는 2차원 영상을 3차원 영상으로 변환하는 방법에 있어서,
    주영상으로부터 검출된 움직임 벡터에 기초하여 반복 운동하는 대상물이 주영상 신호에 포함되는지의 여부를 판정하는 제1 단계, 및
    반복 운동하는 대상물이 주영상 신호에 포함되어 있는 것으로 판정된 경우에는 지연량을 제한하는 제2 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  7. 제6항에 있어서,
    상기 제1 단계는,
    각 필드마다 주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 움직임 벡터를 각각 검출하여 기억 수단에 기억하는 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1의 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제1누적합을 산출하는 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1의 과거의 소정 필드수보다 큰 제2의 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제2 누적합을 산출하는 단계, 및
    각 움직임 벡터 검출 영역 중 제1 누적합과 제2 누적합의 곱이 0보다 작은 움직임 벡터 검출 영역이 존재하는지의 여부를 판정하고, 제1 누적합과 제2 누적합의 곱이 0보다 작은 움직임 벡터 검출 영역이 존재할 때에 반복 운동하는 대상물이 주영상 신호에 포함되어 있는 것으로 판정하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  8. 제6항에 있어서,
    상기 제1 단계는,
    각 필드마다 주영상의 영상 에리어 내에 설정된 복수의 움직임 벡터 검출 영역의 전부 또는 일부로부터 움직임 벡터를 각각 검출하여 기억 수단에 기억하는 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1의 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제1 누적합을 산출하는 단계,
    기억 수단에 기억되어 있는 과거 소정 필드수분의 움직임 벡터에 기초하여 각 움직임 벡터 검출 영역마다 해당 움직임 벡터 검출 영역에서 검출된 움직임 벡터를 제1의 과거의 소정 필드수보다 큰 제2의 과거의 소정 필드수에 걸쳐 누적함으로써 각 움직임 벡터 검출 영역마다 제2 누적합을 산출하는 단계, 및
    각 움직임 벡터 검출 영역 중 제1 누적합의 절대치가 제2 누적합의 절대치보다 큰 움직임 벡터 검출 영역이 존재하는지의 여부를 판정하고, 제1 누적합의 절대치가 제2 누적합의 절대치보다 큰 움직임 벡터 검출 영역이 존재할 때에 반복 운동하는 대상물이 주영상 신호에 포함되어 있는 것으로 판정하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
KR1019960011362A 1995-04-17 1996-04-16 2차원 영상을 3차원 영상으로 변환하는 방법 Expired - Fee Related KR100381348B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP95-091022 1995-04-17
JP9102295 1995-04-17
JP95-187314 1995-07-24
JP7187314A JP2846843B2 (ja) 1995-07-24 1995-07-24 ２次元映像を３次元映像に変換する方法
JP96-066054 1996-03-22
JP06605496A JP3392627B2 (ja) 1995-04-17 1996-03-22 ２次元映像を３次元映像に変換する方法

Publications (2)

Publication Number Publication Date
KR960040034A KR960040034A (ko) 1996-11-25
KR100381348B1 true KR100381348B1 (ko) 2003-07-07

Family

ID=27299006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960011362A Expired - Fee Related KR100381348B1 (ko) 1995-04-17 1996-04-16 2차원 영상을 3차원 영상으로 변환하는 방법

Country Status (2)

Country Link
US (1) US5777666A (ko)
KR (1) KR100381348B1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
JP3781210B2 (ja) * 1996-04-05 2006-05-31 ソニー株式会社 立体視化装置及び立体視化方法
EP0918439B1 (en) * 1996-07-18 2008-12-24 SANYO ELECTRIC Co., Ltd. Device for converting two-dimensional video into three-dimensional video
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
FR2809267B1 (fr) * 2000-05-19 2002-09-27 Thomson Multimedia Sa Procede de detection de saturation d'un champ de vecteurs mouvement
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
DE10128530A1 (de) * 2001-06-13 2002-12-19 Basf Ag Kühlmittel für Kühlsysteme in Brennstoffzellenantrieben enthaltend Azolderivate
JP5020458B2 (ja) * 2001-11-24 2012-09-05 フェニックス スリーディー インコーポレイテッド 二次元画像列からの立体画像列の生成
SE524855C2 (sv) * 2002-08-28 2004-10-12 Rutger Forss Generering av en tredimensionell videovisning
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
JP5257248B2 (ja) * 2009-06-03 2013-08-07 ソニー株式会社 画像処理装置および方法、ならびに画像表示装置
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110304693A1 (en) * 2010-06-09 2011-12-15 Border John N Forming video with perceived depth
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US9230315B2 (en) * 2010-12-08 2016-01-05 Thomson Licensing Complexity estimation of a 2D/3D conversion
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US20150245016A1 (en) * 2014-02-26 2015-08-27 Thales Visionix, Inc. System and method for binocular harmonization
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935810A (en) * 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates

Also Published As

Publication number Publication date
KR960040034A (ko) 1996-11-25
US5777666A (en) 1998-07-07

Similar Documents

Publication Publication Date Title
KR100381348B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
KR100374463B1 (ko) 2차원영상을3차원영상으로변환하는방법
JP2846830B2 (ja) ２次元映像を３次元映像に変換する方法
KR100350191B1 (ko) 2차원영상을3차원영상으로변환하는방법
JP4843753B2 (ja) 三次元画像生成方法及び装置
US6314211B1 (en) Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
US6553184B1 (en) Method of converting two dimensional images into three-dimensional images
US20130170551A1 (en) Halo Reduction in Frame-Rate-Conversion Using Hybrid Bi-Directional Motion Vectors for Occlusion/Disocclusion Detection
KR0182058B1 (ko) 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
EP2517472B1 (en) Method and apparatus for optimal motion reproduction in stereoscopic digital cinema
JP3128467B2 (ja) ２次元映像を３次元映像に変換する方法
JP3392627B2 (ja) ２次元映像を３次元映像に変換する方法
JP3249335B2 (ja) ３次元映像変換方法
JPH10108220A (ja) ２次元映像を３次元映像に変換する装置
JP2846836B2 (ja) ２次元映像を３次元映像に変換する方法
JP3108287B2 (ja) ２次元映像を３次元映像に変換する方法
JP2846834B2 (ja) ２次元映像を３次元映像に変換する方法
JP2846843B2 (ja) ２次元映像を３次元映像に変換する方法
WO2012117462A1 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
JPH0937303A (ja) 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路
JPH1169382A (ja) ２次元映像を３次元映像に変換する方法
JP2012182691A (ja) 画像変換装置
WO2012039340A1 (ja) 画像処理装置、画像処理方法、およびプログラム
Tam et al. Performance enhancement of field-sequential stereoscopic video systems

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19960416

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20010116

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 19960416

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20030227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20030409

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20030410

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20060327

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20060327

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20080310