[go: up one dir, main page]

KR102350235B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR102350235B1
KR102350235B1 KR1020140165505A KR20140165505A KR102350235B1 KR 102350235 B1 KR102350235 B1 KR 102350235B1 KR 1020140165505 A KR1020140165505 A KR 1020140165505A KR 20140165505 A KR20140165505 A KR 20140165505A KR 102350235 B1 KR102350235 B1 KR 102350235B1
Authority
KR
South Korea
Prior art keywords
image
characteristic
block
hole
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140165505A
Other languages
English (en)
Other versions
KR20160062571A (ko
Inventor
조양호
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140165505A priority Critical patent/KR102350235B1/ko
Priority to US14/939,009 priority patent/US9811883B2/en
Priority to JP2015229077A priority patent/JP6705644B2/ja
Priority to CN201510824508.8A priority patent/CN105631813B/zh
Priority to EP15196336.0A priority patent/EP3026627B1/en
Publication of KR20160062571A publication Critical patent/KR20160062571A/ko
Application granted granted Critical
Publication of KR102350235B1 publication Critical patent/KR102350235B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

영상 처리 방법 및 장치가 개시된다. 일 실시예에 따른 장치는 영상에 포함된 홀을 복원하기 위하여, 영상 내 유사한 형태가 분포되는 특성을 이용한다. 실시예들은 영상 내 유사한 형태가 분포되는 특성을 이용함으로써, 홀 복원을 위한 연산 복잡도를 감소시킬 수 있다.

Description

영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS THEREOF}
아래 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 예를 들어 영상에 포함된 홀을 복원하는 기술에 관한 것이다.
제한된 수의 입력 뷰들만 생성되고, 입력 뷰들을 전달받은 영상 처리 장치가 입력 뷰들을 이용하여 다 시점 영상들을 생성하는 입력 뷰에서 전경 객체(foreground object)에 의해 가려진 영역(occlusion region)은 다 시점 영상에서 홀(hole)로 나타날 수 있다.
삭제
일 측에 따른 영상 처리 방법은 제1 영상 내 유사한 형태가 분포되는 특성을 획득하는 단계; 및 상기 특성에 기초하여 제2 영상에 포함된 홀을 복원하는 단계를 포함한다. 상기 특성은 상기 제1 영상의 배경에 포함된 구조(structure) 정보를 포함할 수 있다. 상기 제1 영상과 상기 제2 영상은 동일한 영상이거나, 상이한 영상일 수 있다.
상기 홀을 복원하는 단계는 상기 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 후보 블록들을 결정하는 단계; 및 상기 후보 블록들에 기초하여 상기 복원 블록을 복원하는 단계를 포함할 수 있다.
상기 복원 블록은 상기 홀의 바운더리(boundary) 상에 위치하고, 상기 복원 블록을 복원하는 단계는 상기 복원 블록의 일부에 포함된 영상 정보에 기초하여 상기 후보 블록들 중 적어도 하나의 최적 후보 블록을 선택하는 단계; 및 상기 최적 후보 블록에 기초하여 상기 복원 블록의 나머지 일부에 포함된 홀을 복원하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 상기 제1 영상을 복수의 블록들로 분할하는 단계; 상기 복수의 블록들 중 제1 블록과 다른 블록들을 비교함으로써, 상기 제1 블록과 유사한 형태를 가지는 제2 블록을 검출하는 단계; 상기 제1 블록과 상기 제2 블록 사이의 상대적 위치의 빈도수를 누적하는 단계; 및 상기 누적된 빈도수에 기초하여 상기 특성을 생성하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 상기 제1 영상을 복수의 블록들로 분할하는 단계; 상기 제1 영상에 포함된 배경의 구조 방향(structure direction)을 검출하는 단계; 상기 복수의 블록들 중 제1 블록과 상기 제1 블록으로부터 상기 구조 방향에 위치하는 다른 블록들을 비교함으로써, 상기 제1 블록과 유사한 형태를 가지는 제2 블록을 검출하는 단계; 상기 제1 블록과 상기 제2 블록 사이의 상대적 위치의 빈도수를 누적하는 단계; 및 상기 누적된 빈도수에 기초하여 상기 특성을 생성하는 단계를 포함할 수 있다.
상기 구조 방향을 검출하는 단계는 상기 제1 영상에 포함된 에지(edge)들을 검출하는 단계; 및 상기 에지들의 주요 방향을 상기 구조 방향으로 결정하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 상기 제1 영상의 깊이 정보에 기초하여 상기 제1 영상을 복수의 레이어들로 분할하는 단계; 및 상기 복수의 레이어들 각각에서 유사한 형태가 분포되는 레이어 특성을 검출하는 단계를 포함할 수 있다.
상기 홀을 복원하는 단계는 상기 홀과 인접한 영역이 속한 레이어를 판단하는 단계; 상기 판단된 레이어의 레이어 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 적어도 하나의 후보 블록을 결정하는 단계; 및 상기 적어도 하나의 후보 블록에 기초하여 상기 복원 블록을 복원하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 상기 홀의 위치에 대응하는 영역을 결정하는 단계; 및 상기 결정된 영역에서 유사한 형태가 분포되는 영역 특성을 검출하는 단계를 포함할 수 있다.
상기 홀을 복원하는 단계는 상기 홀의 위치에 대응하는 영역 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 적어도 하나의 후보 블록을 결정하는 단계; 및 상기 적어도 하나의 후보 블록에 기초하여 상기 복원 블록을 복원하는 단계를 포함할 수 있다.
상기 제2 영상은 입력 영상으로부터 생성된 기준 시점의 영상을 포함하고, 상기 복원하는 단계는 상기 기준 시점의 영상을 기준으로 생성될 다 시점 영상들의 홀들을 예측하는 단계; 및 상기 특성에 기초하여 상기 예측된 홀들을 복원하는 단계를 포함할 수 있다. 상기 영상 처리 방법은 상기 홀들의 복원 정보를 상기 다 시점 영상들로 분배(distribute)하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은 상기 제1 영상에서 장면 전환이 되었는지 여부를 판단하는 단계를 더 포함하고, 상기 특성을 획득하는 단계는 상기 장면 전환이 되었다는 판단에 따라, 상기 제1 영상 내 유사한 형태가 분포되는 특성을 검출하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 상기 장면 전환이 되지 않았다는 판단에 따라, 이전 프레임에서 검출된 특성에 기초하여 상기 제1 영상 내 유사한 형태가 분포되는 특성을 결정하는 단계를 포함할 수 있다.
상기 특성을 획득하는 단계는 기준 영상에 기초하여 생성된 특성을 수신하는 단계를 포함하고, 상기 제2 영상은 상기 기준 영상을 변환함으로써 생성될 수 있다.
상기 제2 영상은 상기 기준 영상의 깊이 정보에 기초하여 상기 기준 영상의 픽셀들을 상기 제2 영상의 시점에 대응하는 위치로 투영(projection)함으로써 생성되고, 상기 제2 영상의 상기 픽셀들 중 깊이 값이 작은 픽셀일수록 길게 이동되고, 깊이 값이 큰 픽셀일수록 짧게 이동될 수 있다. 상기 제2 영상은 상기 기준 영상에 포함된 적어도 하나의 객체를 삭제함으로써 생성될 수 있다.
일 측에 따른 영상 처리 장치는 영상 내 유사한 형태가 분포되는 특성을 획득하는 획득부; 및 상기 특성에 기초하여 상기 영상에 포함된 홀을 복원하는 복원부를 포함한다.
일 측에 따른 영상 처리 방법은 제1 영상 내 유사한 형태가 반복되는 특성을 검출하는 단계; 상기 제1 영상을 변환함으로써 홀(hole)을 포함하는 제2 영상을 생성하는 단계; 및 상기 검출된 특성에 기초하여 상기 제2 영상에 포함된 홀을 복원하는 단계를 포함한다.
일 측에 따른 영상 처리 장치는 제1 영상 내 유사한 형태가 반복되는 특성을 검출하는 검출부; 상기 제1 영상을 변환함으로써 홀(hole)을 포함하는 제2 영상을 생성하는 생성부; 및 상기 검출된 특성에 기초하여 상기 제2 영상에 포함된 홀을 복원하는 복원부를 포함한다.
일 측에 따른 영상 처리 방법은 제1 영상을 복수의 블록들로 분할하는 단계; 상기 복수의 블록들을 분석하여 일부를 후보 블록으로 결정하는 단계; 및 상기 후보 블록에 기초하여 제2 영상에 포함된 홀을 복원하는 단계를 포함한다.
상기 결정하는 단계는 상기 복수의 블록들을 분석하여 상기 제1 영상 내 유사한 형태가 분포되는 특성을 획득하는 단계; 및 상기 특성에 기초하여, 상기 복수의 블록들 중 일부를 상기 후보 블록으로 결정하는 단계를 포함할 수 있다.
상기 홀을 복원하는 단계는 상기 홀의 바운더리 상에 위치하는 복원 블록의 일부에 포함된 영상 정보에 기초하여, 상기 후보 블록 중 적어도 하나의 최적 후보 블록을 선택하는 단계; 및 상기 최적 후보 블록에 기초하여, 상기 복원 블록의 나머지 일부에 포함된 홀을 복원하는 단계를 포함할 수 있다.
상기 복수의 블록들로 분할하는 단계는 상기 제1 영상의 깊이 정보에 기초하여 상기 제1 영상을 복수의 레이어들로 분할하는 단계; 및 상기 복수의 레이어들 각각을 복수의 블록들로 분할하는 단계를 포함할 수 있다. 상기 결정하는 단계는 상기 복수의 레이어들 각각에 대응하는 블록들을 분석하여, 상기 복수의 레이어들 각각에서 유사한 형태가 분포되는 레이어 특성을 검출하는 단계; 상기 홀과 인접한 영역이 속한 레이어를 판단하는 단계; 및 상기 판단된 레이어 특성에 기초하여, 각 레이어에 포함된 복수의 블록들 중 상기 후보 블록을 결정하는 단계를 포함할 수 있다.
상기 복수의 블록들로 분할하는 단계는 상기 홀의 위치에 대응하는 영역을 결정하는 단계; 및 상기 결정된 영역을 복수의 블록들로 분할하는 단계를 포함할 수 있다. 상기 결정하는 단계는 상기 결정된 영역에 포함된 블록들을 분석하여, 유사한 형태가 분포되는 영역 특성을 검출하는 단계; 및 상기 영역 특성에 기초하여, 상기 결정된 영역에 포함된 블록들 중 상기 후보 블록을 결정하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치의 동작을 설명하는 도면.
도 2는 일 실시예에 따른 홀 복원 기법을 설명하는 도면.
도 3 및 도 4는 홀 복원 기법이 적용되는 실시예들을 설명하는 도면들.
도 5는 일 실시예에 따른 유사 형태 분포 특성을 검출하는 기법을 설명하는 도면.
도 6은 실시예들에 따른 영상에 포함된 배경의 구조 정보에 따라 생성되는 유사 형태 분포 특성을 설명하는 도면.
도 7은 일 실시예에 따른 레이어 별 유사 형태 분포 특성을 설명하는 도면.
도 8은 일 실시예에 따른 레이어 별 유사 형태 분포 특성을 이용하여 홀을 복원하는 기법을 설명하는 도면.
도 9는 일 실시예에 따른 영역 별 유사 형태 분포 특성을 이용하여 홀을 복원하는 기법을 설명하는 도면.
도 10은 일 실시예에 따른 동영상의 깜박거림(flickering)을 방지하는 기법을 설명하는 도면.
도 11은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도.
도 12는 일 실시예에 따른 영상 처리 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 3차원 뷰 합성(3D view synthesis)을 위한 홀(hole)을 복원하는 데 이용될 수 있다. 실시예들은 제한된 수의 입력 뷰로부터 임의의 뷰를 생성하는 데 적용될 수 있다. 예를 들어, 실시예들은 오토 스테레오스코픽 3차원 디스플레이(auto stereoscopic 3D display)를 위한 다 시점(multi view) 영상을 생성하는 데 적용될 수 있다. 또는, 실시예들은 사용자가 자유로이 움직이면서 관측 가능한 프리 시점(free viewpoint) 디스플레이를 위한 가상의 임의 시점 영상들을 생성하는 데에도 적용될 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치의 동작을 설명하는 도면이다. 도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(110)는 영상(120)에 포함된 홀(121)을 복원한다. 영상 처리 장치(110)는 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 영상 처리 장치(110)는 영상을 처리하는 장치로, 예를 들어 서버, 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 웨어러블 디바이스 등 다양한 컴퓨팅 장치를 포함할 수 있다.
영상 처리 장치(110)는 영상 내 유사한 형태가 분포되는 특성에 해당하는 유사 형태 분포 특성(130)을 이용하여 영상(120)에 포함된 홀(121)을 복원한다. 유사 형태 분포 특성(130)은 영상의 배경에 포함된 구조(structure) 정보를 포함할 수 있다. 유사 형태 분포 특성(130)은 영상 내 유사한 형태가 반복되는 특성일 수 있다. 영상 처리 장치(110)는 유사 형태 분포 특성(130)을 이용함으로써, 배경의 구조 정보가 유지되도록 홀(121)을 복원할 수 있다. 출력 영상(140)에서 복원된 홀 부분은 인접한 배경과 자연스러운 시감적 특성을 제공할 수 있다. 홀 복원은 홀 렌더링이라고 지칭될 수 있다.
아래에서 상세히 설명하겠으나, 영상 처리 장치(110)는 무안경식 3차원 디스플레이를 위하여 입력 영상으로부터 다 시점 영상을 생성하는 기술에 적용될 수 있다. 예를 들어, 제한된 수의 입력 영상으로부터 다수의 임의 시점 영상을 생성하게 되면, 입력 영상에서 전경에 의해 가려진 배경 영역이 새로운 시점 영상에서 홀로 나타나게 된다. 영상 처리장치(110)는 다 시점 영상의 생성 도중 발생되는 홀을 복원하는 데 적용될 수 있다.
도 2는 일 실시예에 따른 홀 복원 기법을 설명하는 도면이다. 도 2를 참조하면, 일 실시예에 따른 유사 형태 분포 특성에 따라 홀 복원을 위해 탐색하는 영역이 달라질 수 있다. 유사 형태 분포 특성은 복수의 포인트들을 포함할 수 있다. 유사 형태 분포 특성에 포함된 포인트들 각각은 영상 내 임의의 영역과 유사한 형태를 가질 가능성이 높은 영역의 상대적 위치 정보를 제공한다. 영상 처리 장치는 홀 복원을 위하여 영상 전체를 스캔하는 대신 유사 형태 분포 특성(211)에 의하여 지시되는 후보 영역들만을 탐색할 수 있다. 이로 인하여, 홀 복원을 위한 연산 복잡도가 감소될 수 있다.
영상 처리 장치는 복원 대상이 되는 영역인 복원 블록을 복원하기 위하여 다른 영역에 해당하는 후보 블록을 탐색할 수 있다. 영상 처리 장치는 유사 형태 분포 특성에 기초하여, 복원 블록을 복원하는 데 이용 가능한 후보 블록들을 결정할 수 있다. 영상 처리 장치는 결정된 후보 블록들을 이용하여 복원 블록을 복원할 수 있다.
복원 블록은 홀의 바운더리에 위치할 수 있다. 예를 들어, 복원 블록의 일부는 영상 정보를 포함하고, 복원 블록의 나머지 일부는 홀을 포함할 수 있다. 영상 처리 장치는 복원 블록의 일부에 포함된 영상 정보와 후보 블록들에 포함된 영상 정보를 비교함으로써, 복원 블록을 복원하기 위해 이용될 최적 후보 블록을 결정할 수 있다. 영상 처리 장치는 결정된 최적 후보 블록에 포함된 영상 정보를 이용하여 복원 블록에 포함된 홀을 복원할 수 있다.
일 예로, 제1 케이스(210)에서 유사 형태 분포 특성(211)은 원점을 중심으로 y축 방향으로 배치된 포인트들을 포함할 수 있다. 복원 블록(215)에 포함된 홀을 복원하는 경우를 가정하면, 영상 처리 장치는 유사 형태 분포 특성(211)에 기초하여 복원 블록(215)으로부터 위쪽에 배치된 제1 후보 블록(217)과 복원 블록(215)으로부터 아래쪽에 배치된 제2 후보 블록(218)을 탐색할 수 있다. 영상 처리 장치는 복원 블록(215)의 일부에 포함된 영상 정보와 후보 블록들에 포함된 영상 정보를 비교할 수 있다. 복원 블록(215)의 일부에 포함된 영상 정보와 제1 후보 블록(217)에 포함된 영상 정보가 일치하므로, 영상 처리 장치는 제1 후보 블록(217)을 최적 후보 블록으로 선택할 수 있다. 영상 처리 장치는 제1 후보 블록(217)을 이용하여 복원 블록(215)의 나머지 일부에 포함된 홀을 복원할 수 있다.
다른 예로, 제2 케이스(220)에서 유사 형태 분포 특성(221)은 원점을 중심으로 대각선 방향으로 배치된 포인트들을 포함할 수 있다. 이 경우, 영상 처리 장치는 유사 형태 분포 특성(221)에 기초하여, 복원 블록(225)로부터 대각선 방향으로 배치된 후보 블록들(227, 228)을 탐색할 수 있다. 영상 처리 장치는 후보 블록(227)을 최적 후보 블록으로 선택하고, 후보 블록(227)을 이용하여 복원 블록(225)에 포함된 홀을 복원할 수 있다.
또 다른 예로, 제3 케이스(230)에서 유사 형태 분포 특성(231)은 원점을 중심으로 다양한 방향으로 배치된 포인트들을 포함할 수 있다. 이 경우, 영상 처리 장치는 유사 형태 분포 특성(231)에 기초하여, 복원 블록(235)으로부터 다양한 방향으로 배치된 후보 블록들을 탐색할 수 있다. 영상 처리 장치는 최적 후보 블록을 선택하고, 선택된 최적 후보 블록을 이용하여 복원 블록(235)에 포함된 홀을 복원할 수 있다. 복수의 최적 후보 블록들이 선택되는 경우, 영상 처리 장치는 선택된 최적 후보 블록들에 포함된 영상 정보를 조합함으로써 복원 블록(235)에 포함된 홀을 복원할 수 있다.
실시예들은 최적 후보 블록을 찾기 위하여, 영상 전체를 탐색하는 대신 유사 형태 분포 특성에 의하여 지시되는 후보 블록들만 탐색함으로써 연산 량을 감소시킬 수 있다. 또한, 실시예들은 영상 전체를 탐색하는 과정에서 발생되는 오류로 인한 화질 열화도 감소시킬 수 있다.
영상 처리 장치는 글로벌 최적화(global optimization) 기법을 이용하여 홀을 복원할 수 있다. 보다 구체적으로, 영상 처리 장치는 홀에 포함된 픽셀들 각각을 복원할 때, 최적 후보 블록으로부터 얻은 픽셀 값에 관한 데이터 요소(data term)와 인접 픽셀과의 유사도에 관한 유연 요소(smoothness term)를 이용하여 글로벌 최적화를 수행할 수 있다.
도 3 및 도 4는 홀 복원 기법이 적용되는 실시예들을 설명하는 도면들이다. 도 3을 참조하면, 일 실시예에 따른 영상 처리 장치는 뷰 생성 모듈(320) 및 홀 복원 모듈(330)을 포함할 수 있다. 뷰 생성 모듈(320) 및 홀 복원 모듈(330)은 각각 하드웨어 모듈, 소프트웨어 모듈, 및 이들의 조합으로 구현될 수 있다.
뷰 생성 모듈(320)은 N개(N은 양의 정수)의 뷰(view)(310)를 수신할 수 있다. N개의 뷰(310)는 각각 서로 다른 시점(viewpoint)에 해당하는 영상일 수 있다. 뷰 생성 모듈(320)은 뷰(310)에 대응하는 시차(disparity) 정보 또는 깊이(depth) 정보를 획득할 수 있다.
일 예로, 뷰 생성 모듈(320)은 뷰(310)에 대응하는 시차 정보 또는 깊이 정보를 뷰(310)와 함께 수신할 수 있다. 각 픽셀들의 시차 정보 또는 깊이 정보는 각각 시차 맵(disparity map) 또는 깊이 맵(depth map)으로 표현될 수 있다. 뷰 생성 모듈(320)은 색상 영상(311)과 깊이 영상(312)을 수신할 수 있다. 깊이 영상(312)은 색상 영상(311)의 픽셀들에 대응하는 깊이 정보를 포함하는 영상일 수 있다. 다른 예로, 뷰(310)의 개수가 복수인 경우, 뷰 생성 모듈(320)은 뷰(310)로부터 시차 정보 또는 깊이 정보를 생성할 수 있다. 뷰 생성 모듈(320)은 스테레오 매칭(stereo matching) 기법 등을 이용하여 시차 정보 또는 깊이 정보를 생성할 수 있다.
뷰 생성 모듈(320)은 시차 정보 또는 깊이 정보에 기초하여 뷰(310)로부터 새로운 뷰를 생성할 수 있다. 새로운 뷰는 뷰(310)의 시점과 다른 시점에 해당하는 영상일 수 있다. 이 경우, 뷰(310)는 새로운 뷰를 생성하기 위한 기준 영상일 수 있다.
뷰 생성 모듈(320)은 뷰(310)에 포함된 픽셀들을 깊이에 따라 이동시킴으로써, 새로운 뷰를 생성할 수 있다. 예를 들어, 뷰 생성 모듈(320)은 뷰(310)의 깊이 정보에 기초하여 뷰(310)의 픽셀들을 새로운 뷰의 시점에 대응하는 위치로 투영(projection)시킬 수 있다. 이 경우, 뷰(310)의 픽셀들 중 깊이 값이 작은 픽셀일수록 길게 이동되고, 깊이 값이 큰 픽셀일수록 짧게 이동될 수 있다.
뷰(310)의 픽셀들이 깊이 값에 따라 이동되는 거리가 달라지므로, 새로운 뷰를 생성하는 과정에서 홀이 생성될 수 있다. 뷰(310)에서 전경(foreground)에 의하여 가려진 배경(background)의 영역이 새로운 뷰에서 홀이 될 수 있다.
예를 들어, 뷰(321)는 뷰(311)의 시점보다 왼쪽에 위치하는 시점에 해당하는 영상이다. 뷰(321)를 생성하기 위하여, 뷰 생성 모듈(320)은 전경에 해당하는 객체를 오른쪽으로 이동시킬 수 있다. 이로 인하여, 뷰(311)에서 전경에 의하여 가려진 배경의 영역 중 일부가 뷰(321)에서 홀이 될 수 있다. 또한, 뷰(322)는 뷰(311)의 시점보다 오른쪽에 위치하는 시점에 해당하는 영상이다. 뷰(322)를 생성하기 위하여 뷰 생성 모듈(320)은 전경에 해당하는 객체를 왼쪽으로 이동시킬 수 있다. 이로 인하여, 뷰(311)에서 전경에 의하여 가려진 배경의 영역 중 일부가 뷰(322)에서 홀이 될 수 있다.
홀 복원 모듈(330)은 유사 형태 분포 특성을 이용하여 새로운 뷰에 포함된 홀을 복원할 수 있다. 뷰(331)는 뷰(321)에 포함된 홀이 복원된 영상이고, 뷰(332)는 뷰(322)에 포함된 홀이 복원된 영상일 수 있다. 홀 복원 모듈(330)의 동작에는 도 2를 참조하여 전술한 사항이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다. 유사 형태 분포 특성은 뷰(310) 또는 새로운 뷰를 분석함으로써 생성될 수 있다. 유사 형태 분포 특성의 생성 기법과 관련된 보다 상세한 사항은 후술한다. 도 3의 실시예에 따라, N개의 뷰(310)로부터 M개(M은 N보다 큰 정수)의 뷰(340)가 생성될 수 있다.
도 4를 참조하면, 일 실시예에 따른 영상 처리 장치는 기준 뷰 생성 모듈(420), 홀 예측 모듈(430), 홀 복원 모듈(440), 및 복원 정보 분배 모듈(450)을 포함할 수 있다. 기준 뷰 생성 모듈(420), 홀 예측 모듈(430), 홀 복원 모듈(440), 및 복원 정보 분배 모듈(450)은 각각 하드웨어 모듈, 소프트웨어 모듈, 및 이들의 조합으로 구현될 수 있다.
기준 뷰 생성 모듈(420)은 서로 다른 시점에 해당하는 N개(N은 양의 정수)의 뷰(410)를 수신할 수 있다. 예를 들어, N개의 뷰(410)는 왼쪽 눈의 시점 영상에 해당하는 왼쪽 뷰(411) 및 오른쪽 눈의 시점 영상에 해당하는 오른쪽 뷰(412)를 포함하는 스테레오 영상일 수 있다.
기준 뷰 생성 모듈(420)은 뷰(410)로부터 기준 뷰를 생성할 수 있다. 기준 뷰는 기준 시점에 해당하는 영상이다. 기준 시점은 입력된 시점들의 중간 시점, 또는 생성하고자 하는 시점들의 중간 시점 등으로 미리 정해질 수 있다. 예를 들어, 기준 뷰 생성 모듈(420)은 스테레오 영상으로부터 중간 시점의 뷰(421)를 생성할 수 있다.
중간 시점의 뷰(421)는 실질적으로 홀을 포함하지 않을 수 있다. 예를 들어, 왼쪽 뷰(411)를 기준으로 중간 시점의 뷰(421)를 생성하는 경우, 왼쪽 뷰(411)의 전경에 해당하는 객체는 왼쪽으로 이동될 수 있다. 이 경우, 객체의 오른쪽에 홀이 생성될 수 있다. 객체의 오른쪽에 생성된 홀은 오른쪽 뷰(412)를 이용하여 복원될 수 있다. 반대로, 오른쪽 뷰(412)를 기준으로 중간 시점의 뷰(421)를 생성하는 경우, 오른쪽 뷰(412)의 전경에 해당하는 객체는 오른쪽으로 이동될 수 있다. 이 경우, 객체의 왼쪽에 홀이 생성될 수 있다. 객체의 왼쪽에 생성된 홀은 왼쪽 뷰(411)를 이용하여 복원될 수 있다.
기준 뷰 생성 모듈(420)은 기준 뷰에 대응하는 시차 정보 또는 깊이 정보를 획득할 수 있다. 예를 들어, 기준 뷰 생성 모듈(420)은 왼쪽 뷰(411)와 오른쪽 뷰(412)를 스테레오 매칭함으로써 스테레오 영상의 시차 정보 또는 깊이 정보를 생성할 수 있다. 기준 뷰 생성 모듈(420)은 스테레오 영상으로부터 중간 시점의 뷰(421)를 생성하는 것과 동일한 방식으로, 스테레오 영상의 시차 정보 또는 깊이 정보로부터 중간 시점의 뷰(421)의 시차 정보 또는 깊이 정보를 생성할 수 있다. 시차 정보 또는 깊이 정보는 시차 맵 또는 깊이 맵(422)의 형태로 표현될 수 있다.
홀 예측 모듈(430)은 기준 뷰를 이용하여 다 시점에 해당하는 뷰들이 생성되는 경우 발생 가능한 홀들을 예측할 수 있다. 예를 들어, 홀 예측 모듈(430)은 중간 시점의 뷰(421)를 이용하여 중간 시점으로부터 왼쪽에 위치하는 시점에 해당하는 뷰(431)가 생성되는 경우 발생 가능한 홀을 예측할 수 있다. 뷰(431)의 시점은 왼쪽 뷰(411)보다 더 왼쪽에 위치하는 시점일 수 있다. 또한, 홀 예측 모듈(430)은 중간 시점의 뷰(421)를 이용하여 중간 시점으로부터 오른쪽에 위치하는 시점들에 해당하는 뷰(432)가 생성되는 경우 발생 가능한 홀을 예측할 수 있다. 뷰(432)의 시점은 오른쪽 뷰(412)보다 더 오른쪽에 위치하는 시점일 수 있다.
홀 예측 모듈(430)은 예측된 홀들을 기준 뷰에 포함시킬 수 있다. 예를 들어, 홀 예측 모듈(430)은 예측된 홀들을 중간 시점의 뷰(421)에 포함시킴으로써, 예측된 홀들을 모두 포함하는 홀 영상(433)을 생성할 수 있다.
홀 복원 모듈(440)은 유사 형태 분포 특성을 이용하여, 예측된 홀들을 복원할 수 있다. 예를 들어, 홀 복원 모듈(440)은 홀 영상(433)에 포함된 홀을 복원할 수 있다. 홀 복원 모듈(440)의 동작에는 도 2를 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다. 유사 형태 분포 특성은 기준 뷰 또는 홀 영상을 분석함으로써 생성될 수 있다. 유사 형태 분포 특성의 생성 기법과 관련된 보다 상세한 사항은 후술한다.
복원 정보 분배 모듈(450)은 예측된 홀들의 복원 정보를 다 시점 영상들로 분배(distribute)할 수 있다. 다 시점 영상들 각각에 포함된 홀은 서로 다르므로, 다 시점 영상들 각각에 포함된 홀을 복원하기 위해 필요한 복원 정보도 서로 다르다. 복원 정보 분배 모듈(450)은 다 시점 영상들 각각에 포함된 홀을 복원하기 위해 필요한 복원 정보를 해당하는 시점 영상으로 분배할 수 있다. 예를 들어, 복원 정보 분배 모듈(450)은 중간 시점보다 왼쪽에 위치하는 시점에 해당하는 뷰(431)에 복원 정보(451)를 분배하고, 중간 시점보다 오른쪽에 위치하는 시점에 해당하는 뷰(432)에 복원 정보(452)를 분배할 수 있다.
도 4의 실시예에 따라, N개의 뷰(410)로부터 M개(M은 N보다 큰 정수)의 뷰(460)가 생성될 수 있다. 예를 들어, 뷰(461)는 뷰(431)이 복원된 영상이고, 뷰(462)는 뷰(432)가 복원된 영상일 수 있다.
도 3과 도 4를 통하여 전술한 바와 같이, 홀을 포함하지 않는 영상을 변환함으로써 홀을 포함하는 영상이 생성될 수 있다. 영상의 변환은 시점 변경을 위하여 전경에 해당하는 객체를 투영시키는 기법 이외에도 다양한 기법들을 포함할 수 있다. 예를 들어, 영상 내 특정 객체를 삭제하는 기법 등에 의하여도 홀이 생성될 수 있다.
도 5는 일 실시예에 따른 유사 형태 분포 특성을 검출하는 기법을 설명하는 도면이다. 도 5를 참조하면, 영상 처리 장치는 에지 검출 모듈(520), 에지 방향성 검출 모듈(530), 주요 방향 검출 모듈(540), 샘플링 모듈(550), 및 유사 형태 검출 모듈(560)을 포함할 수 있다. 에지 검출 모듈(520), 에지 방향성 검출 모듈(530), 주요 방향 검출 모듈(540), 샘플링 모듈(550), 및 유사 형태 검출 모듈(560) 각각은 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다.
에지 검출 모듈(520)은 영상(510)으로부터 에지(edge)를 검출할 수 있다. 영상(510)은 홀을 포함한 영상 또는 홀을 포함하지 않은 영상일 수 있다. 영상(510)이 홀을 포함한 영상인 경우, 에지 검출 모듈(520)은 홀을 제외한 나머지 영역에서 에지를 검출할 수 있다. 홀을 채우기 위하여 이용되는 영역은 홀이 발생된 자리에 원래 위치했던 전경 영역보다 깊이 값이 큰 배경 영역이다. 에지 검출 모듈(520)은 전경 영역보다 깊이 값이 큰 배경 영역에서 에지를 검출할 수도 있다. 에지 검출 모듈(520)은 영상(510)으로부터 에지를 검출하기 위하여, 일반적인 에지 검출 기법들을 이용할 수 있다.
에지 방향성 검출 모듈(530)은 에지들의 방향성을 검출할 수 있다. 예를 들어, 에지 방향성 검출 모듈(530)은 에지들의 기울기들을 검출할 수 있다. 에지 방향성 검출 모듈(530)은 에지 검출 모듈(520)에 의하여 검출된 에지들을 미리 정해진 기준에 따라 분할할 수 있다. 예를 들어, 에지 방향성 검출 모듈(530)은 불연속적인 포인트에서 에지들을 분할하거나, 기울기의 변화량이 비선형인 포인트에서 에지들을 분할할 수 있다. 전술한 사항들은 예시적인 사항에 불과하며, 에지들을 분할하는 기준은 다양하게 변형될 수 있다. 에지 방향성 검출 모듈(530)은 분할된 에지들 각각의 기울기를 계산할 수 있다.
주요 방향 검출 모듈(540)은 에지들의 기울기들을 양자화된 빈(bin)들에 누적시킴으로써, 에지들의 주요 방향을 검출할 수 있다. 예를 들어, 주요 방향 검출 모듈(540)은 미리 정해진 각도 단위(예를 들어, 0~359도 사이에서 1도 단위)로 기울기를 양자화하는 빈들에 에지들의 기울기들을 누적시킬 수 있다.
주요 방향 검출 모듈(540)은 누적 결과에 기초하여 에지들의 주요 방향을 결정할 수 있다. 예를 들어, 주요 방향 검출 모듈(540)은 누적된 횟수가 미리 정해진 임계 값 이상인 빈들에 해당하는 적어도 하나의 기울기(예를 들어, 0도 및 90도)를 에지들의 주요 방향으로 결정할 수 있다. 또는, 주요 방향 검출 모듈(540)은 누적된 횟수가 가장 많은 미리 정해진 수의 빈들에 해당하는 기울기(예를 들어, 0도 및 90도)를 에지들의 주요 방향으로 결정할 수 있다. 전술한 사항들은 예시적인 사항들에 불과하고, 주요 방향 검출 모듈(540)이 누적 결과에 기초하여 에지들의 주요 방향을 결정하는 방식은 다양하게 변형될 수 있다.
에지들의 주요 방향은 영상(510)에 포함된 배경의 구조 방향일 수 있다. 예를 들어, 에지 검출 모듈(520)이 영상(510)의 배경 영역에서 에지를 검출하는 경우, 주요 방향 검출 모듈(540)에 의하여 결정되는 에지들의 주요 방향은 영상(510)의 배경 영역에 포함된 구조 방향을 나타낼 수 있다.
샘플링 모듈(550)은 에지들의 주요 방향에 기초하여 샘플링을 수행할 수 있다. 예를 들어, 샘플링 모듈(550)은 영상(510)을 복수의 블록들로 분할하고, 복수의 블록들 중 제1 블록과 제1 블록으로부터 주요 방향에 위치하는 다른 블록들을 샘플링할 수 있다. 샘플링 모듈(550)은 블록을 샘플링함으로써 해당 블록에 포함된 영상 정보를 획득할 수 있다.
샘플링 모듈(550)은 에지 검출 모듈(520)에 의하여 검출된 에지들 위에 위치하는 블록을 제1 블록(561)으로 결정할 수 있다. 샘플링 모듈(550)은 제1 블록(561)을 기준으로 주요 방향(예를 들어, 0도 방향 및 90도 방향)을 향하여 균일한 간격으로 이격된 블록들을 샘플링할 수 있다.
유사 형태 검출 모듈(560)은 샘플링 결과에 기초하여, 제1 블록(561)과 제1 블록으로부터 주요 방향에 위치하는 다른 블록들을 비교함으로써 제1 블록(561)과 유사한 형태를 가지는 제2 블록(562)을 검출할 수 있다. 유사 형태 검출 모듈(560)은 제1 블록(561)과 제2 블록(562) 사이의 상대적 위치의 빈도수를 누적할 수 있다. 예를 들어, 제2 블록(562)이 제1 블록(561)을 기준으로 x축으로 -a만큼 이격되어 있다면, 유사 형태 검출 모듈(560)은 유사 형태 분포 특성을 생성하기 위한 그래프(551)에서 원점을 기준으로 -a만큼 이격된 포인트의 빈도수를 증가시킬 수 있다. 제1 블록(561)에서 제2 블록(562)으로 이동하기 위한 거리는 움직임 값이라고 지칭될 수 있다.
유사 형태 검출 모듈(560)은 유사 형태의 블록들 간 상대적 위치의 빈도수가 누적된 결과에 기초하여, 유사 형태 분포 특성(570)을 생성할 수 있다. 예를 들어, 유사 형태 검출 모듈(560)은 누적 빈도수가 미리 정해진 임계 값 이상인 상대적 위치들만을 이용하여 유사 형태 분포 특성(570)을 생성할 수 있다. 또는, 유사 형태 검출 모듈(560)은 누적 빈도수가 가장 많은 미리 정해진 수의 대적 위치들만을 이용하여 유사 형태 분포 특성(570)을 생성할 수 있다. 전술한 사항들은 예시적인 사항들에 불과하고, 주요 방향 검출 모듈(540)이 유사 형태의 블록들 간 상대적 위치의 빈도수가 누적된 결과에 기초하여 유사 형태 분포 특성(570)을 생성하는 방식은 다양하게 변형될 수 있다.
영상 처리 장치는 배경의 구조 방향을 파악한 뒤 해당 구조 방향에서만 유사 형태 분포 특성을 검출함으로써, 홀 복원 시 배경의 구조가 유지되도록 할 수 있다. 또한, 영상 처리 장치는 배경의 구조 방향에서만 유사 형태 분포 특성을 검출함으로써, 연산 량을 감소시키고, 영상 전체를 스캔하는 경우 유사 형태 분포 특성이 정확하게 판별되지 못하는 오류들을 감소시킬 수 있다.
영상의 에지(Edge) 영역, 유니폼(Uniform) 영역, 및/또는 텍스쳐(Texture) 영역별로 유사 형태 반복 특성이 나타날 수 있다. 이상, 도 5를 참조하여 영상(510)에 포함된 에지에 기초하여 유사 형태 분포 특성(570)을 생성하는 경우를 설명하였으나, 실시예들은 다양하게 변형될 수 있다. 예를 들어, 영상 처리 장치는 영상(510)을 복수의 블록들로 분할하고, 임의의 블록과 유사 형태를 가지는 블록을 검출하기 위하여 복수의 블록들을 스캔할 수 있다. 이 경우, 영상 처리 장치는 에지를 검출하지 않고도 유사 형태 분포 특성(570)을 생성할 수 있다.
도 6은 실시예들에 따른 영상에 포함된 배경의 구조 정보에 따라 생성되는 유사 형태 분포 특성을 설명하는 도면이다. 도 6을 참조하면, 제1 케이스(610)에서 영상(611)의 배경은 수직선들을 포함할 수 있다. 이 경우, 유사 형태 분포 특성은 그래프(612)와 같이 생성될 수 있다. 또한, 제2 케이스(620)에서 영상(621)의 배경은 대각선들을 포함할 수 있다. 이 경우, 유사 형태 분포 특성은 그래프(622)와 같이 생성될 수 있다. 또한, 제3 케이스(630)에서 영상(631)의 배경은 격자무늬를 구성하는 선들을 포함할 수 있다. 이 경우, 유사 형태 분포 특성은 그래프(632)와 같이 생성될 수 있다.
도 7은 일 실시예에 따른 레이어 별 유사 형태 분포 특성을 설명하는 도면이다. 도 7을 참조하면, 일 실시예에 따른 영상 처리 장치는 시차 레이어(disparity layer) 또는 깊이 레이어(depth layer) 별로 상이한 유사 형태 분포 특성을 이용할 수 있다. 이하, 레이어는 시차 레이어 또는 깊이 레이어 중 어느 하나를 지칭할 수 있다.
영상(710)은 시차 정보 또는 깊이 정보에 따라 레이어들로 분류될 수 있다. 영상에 포함된 각 픽셀들의 시차 정보 또는 깊이 정보는 미리 정해진 수의 레이어들로 양자화될 수 있다. 예를 들어, 영상에 포함된 각 픽셀들의 시차 정보 또는 깊이 정보는 3개의 레이어(D0, D1, D2) 중 어느 하나로 양자화될 수 있다.
영상(710)에 포함된 각 픽셀들은 해당 픽셀의 시차 정보 또는 깊이 정보가 양자화된 레이어로 분류될 수 있다. 예를 들어, 영상(710) 내 제1 영역(711)에 포함된 픽셀들은 시차 정보 또는 깊이 정보를 표현하는 맵(722)의 D0 레이어로 분류될 수 있다. 또한, 영상(710) 내 제2 영역(712)에 포함된 각 픽셀들은 D1 레이어로 분류되고, 영상(710) 내 제3 영역(713)에 포함된 각 픽셀들은 D2 레이어로 분류될 수 있다.
D0 레이어의 깊이 값이 가장 크고, D2 레이어의 깊이 값이 가장 작을 수 있다. 깊이 값이 큰 레이어일수록 배경에 해당할 확률이 높아지고, 깊이 값이 작은 레이어일수록 전경에 해당할 확률이 높아질 수 있다.
영상 처리 장치는 레이어들 각각에 대하여 유사 형태 분포 특성을 생성할 수 있다. 예를 들어, 제1 영역(711)은 격자 무늬와 같은 텍스쳐를 포함하므로, 제1 영역(711)의 유사 형태 분포 특성은 제1 유사 형태 분포도(731)와 같이 생성될 수 있다. 또한, 제2 영역(712)은 수직선들을 포함하므로, 제2 영역(712)의 유사 형태 분포 특성은 제2 유사 형태 분포도(732)와 같이 생성될 수 있다. 또한, 제3 영역(713)은 대각선들을 포함하므로, 제3 영역(713)의 유사 형태 분포 특성은 제3 유사 형태 분포도(733)와 같이 생성될 수 있다.
도 8은 일 실시예에 따른 레이어 별 유사 형태 분포 특성을 이용하여 홀을 복원하는 기법을 설명하는 도면이다. 도 8을 참조하면, 일 실시예에 따른 영상 처리 장치는 대상 뷰(target view)(810)와 대상 시차(target disparity)(820)를 획득할 수 있다. 대상 시차(820)는 대상 깊이(target depth)로 대체될 수 있다.
영상 처리 장치는 도 7의 영상(710)을 이용하여 원하는 시점의 대상 뷰(810)를 생성할 수 있다. 전술한 바와 같이, 대상 뷰(810)는 홀을 포함한다. 영상 처리 장치는 도 7의 맵(722)을 이용하여 대상 뷰(810)에 대응하는 대상 시차(820)를 생성할 수 있다. 대상 시차(820)도 대상 뷰(810)와 마찬가지로 홀을 포함할 수 있다.
영상 처리 장치는 대상 시차(820)에 포함된 시차 홀(disparity hole)을 복원할 수 있다. 영상 처리 장치는 시차 홀에 포함된 각 픽셀들을 시차 홀과 인접한 레이어들 중 깊이 값이 큰(예를 들어, 배경에 해당할 확률이 높은) 레이어로 분류함으로써, 시차 홀을 복원할 수 있다. 영상 처리 장치는 시차 홀을 복원하기 위한 레이어를 결정할 때, 시점 변환의 방향을 고려할 수 있다. 예를 들어, 기준 시점보다 왼쪽 시점을 생성하는 경우 전경에 해당하는 객체가 오른쪽으로 이동하면서 시차 홀이 발생되므로, 영상 처리 장치는 시차 홀의 왼쪽으로 인접한 레이어를 이용하여 시차 홀을 복원할 수 있다.
영상 처리 장치는 복원된 대상 시차(830)를 이용하여, 대상 뷰(810)에 포함된 홀을 복원할 수 있다. 영상 처리 장치는 복원된 대상 시차(830)를 이용하여 홀에 포함된 각 픽셀들이 속하는 레이어를 판단할 수 있다. 예를 들어, 제1 홀 영역(811)은 복원된 대상 시차(830)에서 D0 레이어에 속한다. 이 경우, 영상 처리 장치는 D0 레이어의 제1 유사 형태 분포도(731)에 기초하여 제1 홀 영역(811)을 복원할 수 있다. 또한, 제2 홀 영역(812)은 복원된 대상 시차(830)에서 D1 레이어에 속한다. 이 경우, 영상 처리 장치는 D1 레이어의 제2 유사 형태 분포도(732)에 기초하여 제2 홀 영역(812)을 복원할 수 있다. 영상 처리 장치는 홀이 복원된 대상 뷰(840)를 생성할 수 있다. 제1 유사 형태 분포도(731) 또는 제2 유사 형태 분포도(732)에 기초하여 제1 홀 영역(811) 또는 제2 홀 영역(812)을 복원하는 기법에는 도 2를 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 9는 일 실시예에 따른 영역 별 유사 형태 분포 특성을 이용하여 홀을 복원하는 기법을 설명하는 도면이다. 도 9를 참조하면, 일 실시예에 따른 영상 처리 장치는 홀에 인접한 영역의 유사 형태 분포 특성을 이용하여 홀을 복원할 수 있다.
예를 들어, 영상(910)의 전체 배경으로부터 생성된 유사 형태 분포 특성은 유사 형태 분포도(920)와 같이 표현될 수 있다. 하지만, 제1 영역(911)에 포함된 배경은 대각선들만 포함하고, 제2 영역(912)에 포함된 배경은 수직선들만 포함할 수 있다. 이 경우, 영상 처리 장치는 유사 형태 분포도(920)를 이용하여 제1 영역(911)에 포함된 홀을 복원하는 대신, 유사 형태 분포도(921)를 이용하여 제1 영역(911)에 포함된 홀을 복원함으로써 복원 영상의 품질이 향상될 수 있다. 마찬가지로, 영상 처리 장치는 제2 영역(912)에 포함된 홀을 복원하기 위하여, 유사 형태 분포도(920)을 이용하는 대신 유사 형태 분포도(922)를 이용할 수 있다.
영상 처리 장치는 홀의 위치에 대응하는 영역을 결정하고, 결정된 영역에 대응하는 유사 형태 분포 특성을 획득할 수 있다. 영상 처리 장치는 결정된 영역에 대응하는 유사 형태 분포 특성을 검출하거나, 결정된 영역에 대응하여 기 검출된 유사 형태 분포 특성을 수신할 수 있다.
도면에 도시하지 않았으나, 영상 처리 장치는 레이어와 영역을 함께 고려하는 유사 형태 분포 특성을 이용할 수 있다. 예를 들어, 동일한 레이어에 해당하는 배경이라고 하더라도 영역 별로 상이한 구조 정보를 포함할 수 있다. 영상 처리 장치는, 도 8을 통하여 전술한 바와 같이, 홀이 속하는 레이어를 판단할 수 있다. 영상 처리 장치는 해당 레이어 내에서, 도 9를 통하여 전술한 바와 같이, 홀에 대응하여 결정된 영역의 유사 형태 분포 특성을 이용할 수 있다.
도 10은 일 실시예에 따른 동영상의 깜박거림(flickering)을 방지하는 기법을 설명하는 도면이다. 도 10을 참조하면, 일 실시예에 따른 영상 처리 장치는 N개(N은 양의 정수) 시점의 기준 동영상(1010)으로부터 M개(M은 N보다 큰 정수) 시점의 동영상들(1020, 1030)을 생성할 수 있다. 영상 처리 장치는 기준 동영상(1010)의 각 프레임에 도 1 내지 도 9를 통하여 전술한 사항들을 적용함으로써, 해당 프레임의 다 시점 영상들을 생성할 수 있다. 영상 처리 장치는 다 시점 영상들의 각 프레임들을 연결함으로써, M개 시점의 동영상들(1020, 1030)을 생성할 수 있다.
프레임 간 장면(scene)이 전환되지 않더라도, 기준 동영상(1010)의 각 프레임에서 생성된 유사 형태 분포 특성은 미세하게 변할 수 있다. 인접 프레임 사이에서 유사 형태 분포 특성이 미세하게 변함으로써, 인접 프레임의 홀 복원 영상에도 미세한 차이가 발생될 수 있다. 이 경우, 동영상이 재생될 때 깜박거림이 발생될 수 있다.
영상 처리 장치는 동영상 내 장면 전환을 감지함으로써, 장면 별로 동일한 유사 형태 분포 특성을 이용할 수 있다. 이로 인하여, 영상 처리 장치는 생성된 동영상의 깜박거림을 방지할 수 있다. 예를 들어, 영상 처리 장치는 기준 영상(1010)의 첫 프레임(1011)을 이용하여 제1 유사 형태 분포 특성을 생성할 수 있다. 영상 처리 장치는 제1 유사 형태 분포 특성을 이용하여 첫 프레임(1011)에 대응하는 다 시점 영상들(1021, 1031)을 생성할 수 있다. 영상 처리 장치는 장면 전환이 일어나기 전까지의 시간 구간(1041) 동안 제1 유사 형태 분포 특성을 이용할 수 있다.
영상 처리 장치는 장면 전환을 감지할 수 있다. 영상 처리 장치는 장면이 전환된 후 첫 프레임(1012)을 이용하여 제2 유사 형태 분포 특성을 생성할 수 있다. 영상 처리 장치는 다음 번 장면 전환이 일어나기 전까지의 시간 구간(1042) 동안 제2 유사 형태 분포 특성을 이용할 수 있다.
이상, 장면 전환을 예로 들어 설명하였으나, 장면 전환은 예시적인 사항에 불과하다. 영상 처리 장치는 다양한 방식으로 유사 형태 분포 특성을 변경해야 하는 시점을 판단할 수 있다. 예를 들어, 영상 처리 장치는 미리 정해진 시간마다 유사 형태 분포 특성을 재 생성할 수도 있다.
도 11은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도이다. 도 11을 참조하면, 일 실시예에 따른 영상 처리 방법은 유사 형태 분포 특성을 획득하는 단계(1110) 및 유사 형태 분포 특성에 기초하여 영상에 포함된 홀을 복원하는 단계(1120)을 포함한다. 도 11에 도시된 각 단계들에는 도 1 내지 도 10을 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 12는 일 실시예에 따른 영상 처리 장치를 나타낸 동작 흐름도이다. 도 12를 참조하면, 일 실시예에 따른 영상 처리 장치(1200)는 획득부(1210) 및 복원부(1220)를 포함한다. 획득부(1210) 및 복원부(1220)는 각각 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 획득부(1210)는 유사 형태 분포 특성을 획득한다. 복원부(1220)는 유사 형태 분포 특성에 기초하여 영상에 포함된 홀을 복원한다. 도 12에 도시된 각 모듈들에는 도 1 내지 도 10을 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 이용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 이용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 이용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (30)

  1. 제1 영상 내 유사한 형태가 분포되는 특성을 획득하는 단계; 및
    상기 특성에 기초하여 제2 영상에 포함된 홀을 복원하는 단계
    를 포함하고,
    상기 홀을 복원하는 단계는
    상기 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 후보 블록들을 결정하는 단계; 및
    상기 후보 블록들에 기초하여 상기 복원 블록을 복원하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 특성은
    상기 제1 영상의 배경에 포함된 구조(structure) 정보를 포함하는, 영상 처리 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 복원 블록은 상기 홀의 바운더리(boundary) 상에 위치하고,
    상기 복원 블록을 복원하는 단계는
    상기 복원 블록의 일부에 포함된 영상 정보에 기초하여 상기 후보 블록들 중 적어도 하나의 최적 후보 블록을 선택하는 단계; 및
    상기 최적 후보 블록에 기초하여 상기 복원 블록의 나머지 일부에 포함된 홀을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 특성을 획득하는 단계는
    상기 제1 영상을 복수의 블록들로 분할하는 단계;
    상기 복수의 블록들 중 제1 블록과 다른 블록들을 비교함으로써, 상기 제1 블록과 유사한 형태를 가지는 제2 블록을 검출하는 단계;
    상기 제1 블록과 상기 제2 블록 사이의 상대적 위치의 빈도수를 누적하는 단계; 및
    상기 누적된 빈도수에 기초하여 상기 특성을 생성하는 단계
    를 포함하는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 특성을 획득하는 단계는
    상기 제1 영상을 복수의 블록들로 분할하는 단계;
    상기 제1 영상에 포함된 배경의 구조 방향(structure direction)을 검출하는 단계;
    상기 복수의 블록들 중 제1 블록과 상기 제1 블록으로부터 상기 구조 방향에 위치하는 다른 블록들을 비교함으로써, 상기 제1 블록과 유사한 형태를 가지는 제2 블록을 검출하는 단계;
    상기 제1 블록과 상기 제2 블록 사이의 상대적 위치의 빈도수를 누적하는 단계; 및
    상기 누적된 빈도수에 기초하여 상기 특성을 생성하는 단계
    를 포함하는, 영상 처리 방법.
  7. 제6항에 있어서,
    상기 구조 방향을 검출하는 단계는
    상기 제1 영상에 포함된 에지(edge)들을 검출하는 단계; 및
    상기 에지들의 주요 방향을 상기 구조 방향으로 결정하는 단계
    를 포함하는, 영상 처리 방법.
  8. 제1항에 있어서,
    상기 특성을 획득하는 단계는
    상기 제1 영상의 깊이 정보에 기초하여 상기 제1 영상을 복수의 레이어들로 분할하는 단계; 및
    상기 복수의 레이어들 각각에서 유사한 형태가 분포되는 레이어 특성을 검출하는 단계
    를 포함하는, 영상 처리 방법.
  9. 제8항에 있어서,
    상기 홀을 복원하는 단계는
    상기 홀과 인접한 영역이 속한 레이어를 판단하는 단계;
    상기 판단된 레이어의 레이어 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 적어도 하나의 후보 블록을 결정하는 단계; 및
    상기 적어도 하나의 후보 블록에 기초하여 상기 복원 블록을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 특성을 획득하는 단계는
    상기 홀의 위치에 대응하는 영역을 결정하는 단계; 및
    상기 결정된 영역에서 유사한 형태가 분포되는 영역 특성을 검출하는 단계
    를 포함하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 홀을 복원하는 단계는
    상기 홀의 위치에 대응하는 영역 특성에 기초하여, 상기 홀 중 적어도 일부를 포함하는 복원 블록에 대응하는 적어도 하나의 후보 블록을 결정하는 단계; 및
    상기 적어도 하나의 후보 블록에 기초하여 상기 복원 블록을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  12. 제1항에 있어서,
    상기 제2 영상은 입력 영상으로부터 생성된 기준 시점의 영상을 포함하고,
    상기 복원하는 단계는
    상기 기준 시점의 영상을 기준으로 생성될 다 시점 영상들의 홀들을 예측하는 단계; 및
    상기 특성에 기초하여 상기 예측된 홀들을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 홀들의 복원 정보를 상기 다 시점 영상들로 분배(distribute)하는 단계
    를 더 포함하는 영상 처리 방법.
  14. 제1항에 있어서,
    상기 제1 영상에서 장면 전환이 되었는지 여부를 판단하는 단계
    를 더 포함하고,
    상기 특성을 획득하는 단계는
    상기 장면 전환이 되었다는 판단에 따라, 상기 제1 영상 내 유사한 형태가 분포되는 특성을 검출하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 특성을 획득하는 단계는
    상기 장면 전환이 되지 않았다는 판단에 따라, 이전 프레임에서 검출된 특성에 기초하여 상기 제1 영상 내 유사한 형태가 분포되는 특성을 결정하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제1항에 있어서,
    상기 특성을 획득하는 단계는
    기준 영상에 기초하여 생성된 특성을 수신하는 단계
    를 포함하고,
    상기 제2 영상은 상기 기준 영상을 변환함으로써 생성되는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제2 영상은 상기 기준 영상의 깊이 정보에 기초하여 상기 기준 영상의 픽셀들을 상기 제2 영상의 시점에 대응하는 위치로 투영(projection)함으로써 생성되고,
    상기 제2 영상의 상기 픽셀들 중 깊이 값이 작은 픽셀일수록 길게 이동되고, 깊이 값이 큰 픽셀일수록 짧게 이동되는, 영상 처리 방법.
  18. 제16항에 있어서,
    상기 제2 영상은
    상기 기준 영상에 포함된 적어도 하나의 객체를 삭제함으로써 생성되는, 영상 처리 방법.
  19. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상은 동일한 영상인, 영상 처리 방법.
  20. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상은 상이한 영상인, 영상 처리 방법.
  21. 제1항, 제2항 및 제4항 내지 제20항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  22. 제1 영상을 복수의 블록들로 분할하는 단계;
    상기 복수의 블록들을 분석하여 일부를 후보 블록으로 결정하는 단계; 및
    상기 후보 블록에 기초하여 제2 영상에 포함된 홀을 복원하는 단계
    를 포함하고,
    상기 결정하는 단계는
    상기 복수의 블록들을 분석하여 상기 제1 영상 내 유사한 형태가 분포되는 특성을 획득하는 단계; 및
    상기 특성에 기초하여, 상기 복수의 블록들 중 일부를 상기 후보 블록으로 결정하는 단계
    를 포함하는 영상 처리 방법.
  23. 제22항에 있어서,
    상기 제1 영상과 상기 제2 영상은 동일한 영상인, 영상 처리 방법.
  24. 제22항에 있어서,
    상기 제1 영상과 상기 제2 영상은 상이한 영상인, 영상 처리 방법.
  25. 삭제
  26. 제22항에 있어서,
    상기 홀을 복원하는 단계는
    상기 홀의 바운더리 상에 위치하는 복원 블록의 일부에 포함된 영상 정보에 기초하여, 상기 후보 블록 중 적어도 하나의 최적 후보 블록을 선택하는 단계; 및
    상기 최적 후보 블록에 기초하여, 상기 복원 블록의 나머지 일부에 포함된 홀을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  27. 제22항에 있어서,
    상기 복수의 블록들로 분할하는 단계는
    상기 제1 영상의 깊이 정보에 기초하여 상기 제1 영상을 복수의 레이어들로 분할하는 단계; 및
    상기 복수의 레이어들 각각을 복수의 블록들로 분할하는 단계
    를 포함하는, 영상 처리 방법.
  28. 제27항에 있어서,
    상기 결정하는 단계는
    상기 복수의 레이어들 각각에 대응하는 블록들을 분석하여, 상기 복수의 레이어들 각각에서 유사한 형태가 분포되는 레이어 특성을 검출하는 단계;
    상기 홀과 인접한 영역이 속한 레이어를 판단하는 단계; 및
    상기 판단된 레이어 특성에 기초하여, 각 레이어에 포함된 복수의 블록들 중 상기 후보 블록을 결정하는 단계
    를 포함하는, 영상 처리 방법.
  29. 제22항에 있어서,
    상기 복수의 블록들로 분할하는 단계는
    상기 홀의 위치에 대응하는 영역을 결정하는 단계; 및
    상기 결정된 영역을 복수의 블록들로 분할하는 단계
    를 포함하는, 영상 처리 방법.
  30. 제29항에 있어서,
    상기 결정하는 단계는
    상기 결정된 영역에 포함된 블록들을 분석하여, 유사한 형태가 분포되는 영역 특성을 검출하는 단계; 및
    상기 영역 특성에 기초하여, 상기 결정된 영역에 포함된 블록들 중 상기 후보 블록을 결정하는 단계
    를 포함하는, 영상 처리 방법.
KR1020140165505A 2014-11-25 2014-11-25 영상 처리 방법 및 장치 Active KR102350235B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140165505A KR102350235B1 (ko) 2014-11-25 2014-11-25 영상 처리 방법 및 장치
US14/939,009 US9811883B2 (en) 2014-11-25 2015-11-12 Image processing method and apparatus
JP2015229077A JP6705644B2 (ja) 2014-11-25 2015-11-24 映像処理方法及び装置
CN201510824508.8A CN105631813B (zh) 2014-11-25 2015-11-24 图像处理方法
EP15196336.0A EP3026627B1 (en) 2014-11-25 2015-11-25 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140165505A KR102350235B1 (ko) 2014-11-25 2014-11-25 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160062571A KR20160062571A (ko) 2016-06-02
KR102350235B1 true KR102350235B1 (ko) 2022-01-13

Family

ID=54780083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140165505A Active KR102350235B1 (ko) 2014-11-25 2014-11-25 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US9811883B2 (ko)
EP (1) EP3026627B1 (ko)
JP (1) JP6705644B2 (ko)
KR (1) KR102350235B1 (ko)
CN (1) CN105631813B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US12261990B2 (en) 2015-07-15 2025-03-25 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
WO2019124708A1 (en) * 2017-12-19 2019-06-27 Samsung Electronics Co., Ltd. Method and apparatus for reconstruction of original images from modified images
GB2569547B (en) 2017-12-19 2021-05-12 Samsung Electronics Co Ltd Reconstruction of original images from modified images
US10802117B2 (en) 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
US10735640B2 (en) 2018-02-08 2020-08-04 Facebook Technologies, Llc Systems and methods for enhanced optical sensor devices
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN113016005B (zh) * 2018-11-13 2024-09-06 三星电子株式会社 联合无监督对象分割与修复
CN111696041B (zh) * 2020-06-04 2023-06-30 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
EP4266241A4 (en) 2021-05-18 2024-07-10 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR PERFORMING IMAGE INPAINTING AND METHOD OF OPERATING THE SAME

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214712A (en) * 1990-09-11 1993-05-25 Matsushita Electric Industrial Co., Ltd. Pattern inspection system for inspecting defect of land pattern for through-hole on printed board
US5684890A (en) * 1994-02-28 1997-11-04 Nec Corporation Three-dimensional reference image segmenting method and apparatus
CN100458846C (zh) * 2005-07-14 2009-02-04 北京航空航天大学 一种图像修复方法
JP5231839B2 (ja) * 2008-03-11 2013-07-10 株式会社東芝 パターン認識装置及びその方法
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5525739B2 (ja) * 2008-09-16 2014-06-18 株式会社ニューフレアテクノロジー パターン検査装置及びパターン検査方法
KR101502362B1 (ko) * 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
CN101408975A (zh) * 2008-11-28 2009-04-15 哈尔滨工业大学 一种基于边缘置信度的自调整总体变分图像平滑方法
KR101075716B1 (ko) 2009-01-14 2011-10-21 삼성전자주식회사 이미지 복원 장치 및 방법
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
KR20120014876A (ko) 2010-08-10 2012-02-20 삼성전자주식회사 영상 처리 장치 및 방법
CN102687178B (zh) 2010-08-27 2016-04-20 三星电子株式会社 用于产生多视图的渲染设备和方法
KR20120049636A (ko) 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
US9582928B2 (en) * 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR101960852B1 (ko) * 2011-01-13 2019-03-22 삼성전자주식회사 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
CN102985952B (zh) 2011-05-12 2016-06-22 松下知识产权经营株式会社 图像生成装置及图像生成方法
EP2533212A1 (en) 2011-06-10 2012-12-12 Samsung Electronics Co., Ltd. Reference layer for hole recovery within an output image.
EP2547111B1 (en) * 2011-07-12 2017-07-19 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
CA2844602A1 (en) * 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
CN104041024B (zh) * 2011-11-14 2016-03-16 独立行政法人情报通信研究机构 立体影像编码装置、立体影像解码装置、立体影像编码方法、立体影像解码方法、立体影像编码程序以及立体影像解码程序
JP5983935B2 (ja) * 2011-11-30 2016-09-06 パナソニックＩｐマネジメント株式会社 新視点画像生成装置および新視点画像生成方法
KR20130073459A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
JP5836831B2 (ja) 2012-02-16 2015-12-24 日本放送協会 画像修正装置及びそのプログラム
US9881354B2 (en) * 2012-03-15 2018-01-30 Microsoft Technology Licensing, Llc Image completion including automatic cropping
CN103369331B (zh) * 2012-03-27 2016-12-21 北京数码视讯科技股份有限公司 图像空洞的填补方法和装置及视频图像的处理方法和装置
US9235879B2 (en) * 2012-06-29 2016-01-12 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
KR20140022300A (ko) * 2012-08-14 2014-02-24 광주과학기술원 다시점 영상 생성 방법 및 장치
JP2014063360A (ja) * 2012-09-21 2014-04-10 Sony Corp 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
JP2014165836A (ja) * 2013-02-27 2014-09-08 Nagoya Industrial Science Research Institute データ通信システムおよびデータ通信方法
CN103310420B (zh) * 2013-06-19 2016-03-30 武汉大学 基于纹理与几何相似性的彩色图像空洞修复方法及系统
CN104050683A (zh) * 2014-07-09 2014-09-17 东南大学 一种基于单幅图像分数阶处理的纹理力触觉感知方法
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US9811883B2 (en) 2017-11-07
KR20160062571A (ko) 2016-06-02
CN105631813A (zh) 2016-06-01
EP3026627A2 (en) 2016-06-01
EP3026627B1 (en) 2021-05-05
US20160148349A1 (en) 2016-05-26
JP6705644B2 (ja) 2020-06-03
CN105631813B (zh) 2020-11-10
EP3026627A3 (en) 2016-11-02
JP2016100901A (ja) 2016-05-30

Similar Documents

Publication Publication Date Title
KR102350235B1 (ko) 영상 처리 방법 및 장치
EP2986932B1 (en) Determining depth data for a captured image
EP1977395B1 (en) Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
KR102380862B1 (ko) 영상 처리 방법 및 장치
US20180048810A1 (en) Image processing apparatus, image generation method, and non-transitory computer-readable storage medium
KR102733983B1 (ko) 장면의 계층적 깊이 데이터를 생성하기 위한 방법
KR20120003232A (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
US9342867B2 (en) Apparatus and method for reconstructing super-resolution three-dimensional image from depth image
KR20120137205A (ko) 영상 처리를 위한 방법 및 장치
US20140362289A1 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
US20150030233A1 (en) System and Method for Determining a Depth Map Sequence for a Two-Dimensional Video Sequence
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
KR20120125970A (ko) 스테레오 매칭 방법 및 그 장치
KR20210107846A (ko) 포인트 클라우드 글로벌 테트리스 패킹
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
Xiang et al. Interfered depth map recovery with texture guidance for multiple structured light depth cameras
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
KR20180077547A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
CA2844694A1 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141125

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191114

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141125

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201015

Patent event code: PE09021S01D

PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20210413

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211007

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220107

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220110

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241219

Start annual number: 4

End annual number: 4