[go: up one dir, main page]

KR20120004203A - 디스플레이 방법 및 장치 - Google Patents

디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR20120004203A
KR20120004203A KR1020100064932A KR20100064932A KR20120004203A KR 20120004203 A KR20120004203 A KR 20120004203A KR 1020100064932 A KR1020100064932 A KR 1020100064932A KR 20100064932 A KR20100064932 A KR 20100064932A KR 20120004203 A KR20120004203 A KR 20120004203A
Authority
KR
South Korea
Prior art keywords
image
main object
caption
depth information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020100064932A
Other languages
English (en)
Inventor
이상훈
양선호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100064932A priority Critical patent/KR20120004203A/ko
Priority to EP11161481.4A priority patent/EP2405665A3/en
Priority to US13/176,224 priority patent/US20120007949A1/en
Priority to JP2011149799A priority patent/JP2012019517A/ja
Publication of KR20120004203A publication Critical patent/KR20120004203A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

시청자의 눈의 피로를 완화할 수 있는 본 발명의 일 측면에 따른 디스플레이 방법은 3D 영상의 메인 오브젝트(Main Object) 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하는 단계; 및 상기 생성된 자막 정보에 따라 자막을 상기 3D 영상과 합성하여 디스플레이하는 단계를 포함한다.

Description

디스플레이 방법 및 장치{Method and Apparatus for Displaying}
본 발명은 디스플레이 방법 및 장치에 관한 것으로서 보다 상세하게는 자막 표시 방법에 관한 디스플레이 방법 및 장치에 관한 것이다.
스테레오스코픽(stereoscopic) 방식의 극장용 3D 프로젝터 또는 3D 평판 디스플레이 등과 같은 3D 디스플레이에서는 자막이 영상의 깊이감과 별개로 일정한 깊이에 디스플레이된다. 따라서, 자막은 시청자가 바라보게 되는 화면의 주요 물체인 메인 오브젝트(Main Object)의 깊이 변화와 상관 없이 일정 높이에 떠 보이거나, 들어가 보이게 된다. 이로 인해 시청자는 영상과 자막을 번갈아 보는 과정에서 많은 폭주(vergence)의 변화를 겪게 되며, 이는 조절 폭주 불일치의 많은 변화를 유발하여 피로감을 가중시키는 요인이 된다.
여기서, 스테레오스코픽 방식에서 자막을 입체적으로 좌우 눈에 다른 영상을 표시하므로 도 1의 (a)에 도시된 바와 같이, 폭주는 입체의 내경 위치를 올바르게 지각하는데 눈의 초점은 디스플레이의 스크린 상에 있어 도 1의 (a)에 도시된 바와 같이 조절이 올바르게 기능을 하지 못한다.
한편, 폭주성 조절 작용이란 용어는 폭주로 지각한 내경 위치에 조절을 맞추고자 하는 인간의 시각 기능으로서, 기존의 자막 입체 표시 방법에서는 조절과 폭주가 일치하지 않고 조절이 폭주성 조절에 따를 수 없었다. 이러한 조절과 폭주의 모순은 실세계에서는 있을 수 없으므로 인간의 눈에 피로를 일으키는 문제점이 있다.
또한, 시청자가 영상과 자막을 번갈아 보는 과정에서, 도 1의 (b)에 도시된 바와 같이, 하나의 물체를 보면서 물체를 바라보는 위치가 달라지면, 실제로 인간에게 지각되는 물체의 영상은 다르게 되므로, 이런 경우 운동 시차의 결여가 생겨 인간의 눈에 피로를 또한 피로를 일으키는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 인간의 눈에 피로감을 덜어주는 자막을 생성할 수 있는 디스플레이 방법 및 장치를 제공하는 것을 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 디스플레이 방법은 3D 영상의 메인 오브젝트(Main Object) 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하는 단계; 및 상기 생성된 자막 정보에 따라 자막을 상기 3D 영상과 합성하여 디스플레이하는 단계를 포함한다.
여기서, 상기 자막 정보는, 상기 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함하며, 상기 자막의 깊이, 위치, 크기 색상 중 적어도 하나는 상기 3D 영상의 매 프레임마다 다른 값을 가질 수 있다.
또한, 상기 자막의 색상은, 상기 메인 오브젝트 예측 영역의 색상에 따라 변할 수 있다.
일 실시예에 있어서, 상기 디스플레이 방법은 상기 3D 영상으로부터 상기 메인 오브젝트가 위치하는 영역을 예측하여 상기 메인 오브젝트 예측 영역을 추출하는 단계; 및 상기 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 단계를 더 포함하는 것을 포함할 수 있다.
여기서, 상기 메인 오브젝트 예측 영역의 깊이 정보는, 상기 메인 오브젝트 예측 영역에 해당하는 상기 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 상기 추출된 영역들의 깊이 정보의 차이를 산출함으로써 결정될 수 있다.
또한, 상기 메인 오브젝트 예측 영역의 깊이 정보는, 상기 3D 영상에 대한 휘도 분석에 의해 결정될 수 있다.
일 실시예에 있어서, 상기 디스플레이 방법은, 상기 3D 영상의 평균 깊이 정보를 산출하는 단계를 더 포함하고, 상기 자막 정보를 생성하는 단계는, 상기 메인 오브젝트 예측 영역의 깊이 정보 및 상기 산출된 평균 깊이 정보를 이용하여 상기 자막 정보를 생성할 수 있다.
여기서, 상기 평균 깊이 정보는, 상기 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출될 수 있다.
일 실시예에 있어서, 상기 디스플레이 방법은, 2D 영상을 상기 3D 영상으로 변환하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 디스플레이 방법은, 상기 3D 영상의 자막 파일로부터 상기 자막을 추출하는 단계를 더 포함할 수 있다.
다른 실시예에 있어서, 상기 디스플레이 방법은, 상기 3D 영상으로부터 상기 자막을 추출하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 디스플레이 장치는 3D 영상의 메인 오브젝트(Main Object) 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하는 자막 정보 생성부; 상기 생성된 자막 정보에 따라 자막을 상기 3D 영상과 합성하는 자막 합성부; 및 상기 자막이 합성된 상기 3D 영상을 디스플레이하는 영상 출력부를 포함한다.
여기서, 상기 자막 정보는, 상기 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함하며, 상기 자막의 깊이, 위치, 크기 색상 중 적어도 하나는 상기 3D 영상의 매 프레임마다 다른 값을 가질 수 있다.
또한, 상기 자막의 색상은, 상기 메인 오브젝트 예측 영역의 색상에 따라 변할 수 있다.
일 실시예에 있어서, 상기 디스플레이 장치는, 상기 3D 영상으로부터 상기 메인 오브젝트가 위치하는 영역을 예측하여 상기 메인 오브젝트 예측 영역을 추출하는 메인 오브젝트 추출부; 및 상기 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 메인 오브젝트 깊이 정보 산출부를 더 포함할 수 있다.
여기서, 상기 메인 오브젝트 깊이 정보 산출부는, 상기 메인 오브젝트 예측 영역에 해당하는 상기 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 상기 추출된 영역들의 깊이 정보의 차이를 산출함으로써 상기 메인 오브젝트 예측 영역의 깊이 정보를 결정할 수 있다.
또한, 상기 메인 오브젝트 깊이 정보 산출부는, 상기 메인 오브젝트 예측 영역의 깊이 정보를 상기 3D 영상에 대한 휘도 분석에 의해 결정할 수 있다.
일 실시예에 있어서, 상기 디스플레이 장치는, 상기 3D 영상의 평균 깊이 정보를 산출하는 평균 깊이 정보 산출부를 더 포함하고, 상기 자막 정보 생성부는, 상기 메인 오브젝트 예측 영역의 깊이 정보 및 상기 산출된 평균 깊이 정보를 이용하여 상기 자막 정보를 생성할 수 있다.
여기서, 상기 평균 깊이 정보 산출부는, 상기 평균 깊이 정보를 상기 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출할 수 있다.
일 실시예에 있어서, 상기 디스플레이 장치는, 2D 영상을 상기 3D 영상으로 변환하는 3D 영상 변환부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 디스플레이 장치는, 상기 3D 영상의 자막 파일로부터 상기 자막을 추출하는 자막 텍스트 추출부를 더 포함할 수 있다.
다른 실시예에 있어서, 상기 디스플레이 장치는, 상기 3D 영상으로부터 상기 자막을 추출하는 자막 영상 추출부를 더 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 화면의 중심 물체의 깊이에 따라 자막의 속성을 조절함으로써 시청자의 눈의 피로를 완화시킬 수 있는 효과가 있다.
도 1은 종래 3D 자막 표시 방법의 문제점을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 영상 제공 시스템을 도시한 도면이다.
도 3은 도 1에 도시된 디스플레이 장치의 일 실시예에 따른 개략적인 블럭도이다.
도 4는 도 1에 도시된 디스플레이 장치의 다른 실시예에 따른 개략적인 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 자막 정보를 생성하는 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 방법을 보여주는 플로우차트이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 3D 영상 제공 시스템을 도시한 도면이다. 도 2에 도시된 바와 같이, 3D 영상 제공 시스템(200)은 3D 영상을 화면에 표시하기 위한 디스플레이 장치(210) 및 3D 영상을 시청하기 위한 3D 글래스(220)를 포함한다.
디스플레이 장치(210)는 3D 영상을 디스플레이하거나, 2D 영상 및 3D 영상을 모두 디스플레이하도록 구현될 수 있다.
디스플레이 장치(210)가 2D 영상을 디스플레이하는 경우 기존의 2D 디스플레이 장치와 동일한 방법을 이용할 수 있으며, 3D 영상을 디스플레이하는 경우 카메라 등의 촬상장치로부터 수신된 3D 영상 또는 카메라에 의해 촬영되어 방송국에서 편집/가공된 후 방송국에서 송출된 3D 영상을 수신하고, 수신된 3D 영상을 처리한 후 이를 화면에 표시할 수 있다. 특히, 디스플레이 장치(210)는 3D 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이되도록 할 수 있다.
3D 글래스(220)는 좌안 및 우안이 서로 다른 편광을 갖는 패시브 타입의 편광 안경, 또는 액티브 타입의 셔터 글래스(shutter glass)로 구현될 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 제공 시스템은 3D 영상을 생성하기 위한 카메라(미도시)를 더 포함할 수 있다.
카메라(미도시)는 3D 영상을 생성하기 위한 촬영 장치의 일종으로서, 시청자의 좌안에 제공하기 위한 목적으로 촬영된 좌안 영상과 시청자의 우안에 제공하기 위한 목적으로 촬영된 우안 영상을 생성한다. 즉, 3D 영상은 좌안 영상과 우안 영상으로 구성되며, 이러한 좌안 영상과 우안 영상이 시청자의 좌안과 우안에 각각 교번적으로 제공되면서, 양안 시차에 의한 입체감이 발생되게 된다.
이를 위해, 카메라(미도시)는 좌안 영상을 생성하기 위한 좌안 카메라와 우안 영상을 생성하기 위한 우안 카메라로 구성되고, 좌안 카메라와 우안 카메라 간의 간격은, 사람의 두 눈 간의 이격 간격으로부터 고려되게 된다.
카메라(미도시)는 촬영된 좌안 영상과 우안 영상을 디스플레이 장치(210)로 전달한다. 특히, 카메라(미도시)가 디스플레이 장치(210)로 전달하는 좌안 영상과 우안 영상은, 하나의 프레임에 좌안 영상 및 우안 영상 중 하나의 영상만으로 구성된 포맷으로 전달되거나, 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함되도록 구성된 포맷으로 전달될 수 있다.
카메라(미도시)는 다양한 3D 영상의 포맷들 중 하나의 포맷을 미리 결정하고, 결정된 포맷에 따라 3D 영상을 생성하여 디스플레이 장치(210)로 전달할 수 있다.
한편, 상술한 설명에서는 3D 글래스(220)가 필수 구성인 것으로 설명하였으나, 3D 글래스(220) 없이 3D 영상을 시청할 수 있는 디스플레이 장치에도 본 발명이 적용될 수 있음은 물론이다.
도 3은 도 1에 도시된 디스플레이 장치의 일 실시예에 따른 개략적인 블럭도이다. 도 3에 도시된 바와 같이 디스플레이 장치(300)는 3D 영상 변환부(310), 메인 오브젝트 추출부(320), 메인 오브젝트 깊이 정보 산출부(330), 평균 깊이 정보 산출부(340), 자막 텍스트 추출부(350), 자막 정보 생성부(360), 자막 합성부(370) 및 영상 출력부(380)를 포함한다. 한편, 도 3에 도시된 디스플레이 장치(300)는 3D 영상과 별도로 자막 파일이 존재하는 실시예에 해당할 수 있다.
3D 영상 변환부(310)는 2D 영상을 3D 영상으로 변환한 후, 3D 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이 되도록 3D 영상으로 변환하는 역할을 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따른 디스플레이 장치는 2D 영상이 입력되는 경우에도 3D 영상으로 변환하여, 후술할 자막 정보 생성부(360)에선 3D 영상에 적합한 자막 정보에 따라 자막을 생성할 수 있다.
메인 오브젝트 추출부(320)는 3D 영상으로부터 메인 오브젝트가 위치하는 영역을 예측하여 메인 오브젝트 예측 영역을 추출한다. 여기서, 메인 오브젝트란 영상에서 시청자가 주로 응시하는 주시 영역을 의미하는 것으로, 예를 들어, 화면 상의 전체 오브젝트들 중 가장 큰 사이즈의 오브젝트 또는 입체감이 가장 큰 오브젝트 등이 이에 해당할 수 있다. 임의의 메인 오브젝트 예측 영역 추출 알고리즘을 이용하여 메인 오브젝트 영역을 포함하는 영역의 추출이 가능하다.
예를 들어, 동영상에서 메인 오브젝트 예측 영역의 검출은 영상 내에서 객체들의 움직임을 검출하고, 각 객체의 움직임 방향에 기초하여 후속 움직임을 예측함으로써 독립된 움직임의 객체(object)를 분리하고, 분리된 객체들 중에서 메인 오브젝트의 예측 영역을 검출할 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치에서는 메인 오브젝트 추출부(320)가 3D 영상으로터 메인 오브젝트 예측 영역을 추출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내의 메인 오브젝트 예측 영역에 대한 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 메인 오브젝트 추출부(320)가 그 기능을 수행하지 않을 수도 있다.
메인 오브젝트 깊이 정보 산출부(330)는 메인 오브젝트 추출부(320)에서 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하며, 구체적으로 메인 오브젝트 예측 영역에 해당하는 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 추출된 영역들의 깊이 정보의 차이를 산출함으로써 메인 오브젝트 예측 영역의 깊이 정보를 결정할 수 있으며, 이를 수학식으로 표현하면 아래와 같다.
한편, 이하의 수학식들은 실질적인 계산식을 의미하는 것은 아니고, 본 발명의 이해를 돕기 위해, 메인 오브젝트 예측 영역의 깊이 정보(Dm), 평균 깊이 정보(Da), 자막의 깊이(D), 자막의 위치, 크기, 색상 등을 산출하기 위한 알고리즘 언어를 의미한다. 또한, 이하의 수학식들은 자막 정보를 생성하기 위한 하나의 예시에 불과하며, 다른 알고리즘 언어 또는 다른 수식에 의해 자막 정보를 생성할 수 있다.
Figure pat00001
여기서, Dm은 메인 오브젝트 예측 영역의 깊이 정보를 의미하며, Dm은 주시 영역인 메인 오브젝트 예측 영역의 좌안 및 우안 영상 간의 x축 상의 위치 차이를 계산하는 "calculate_depth_of_main_object()"함수를 이용하여 산출될 수 있다.
일 실시예에 있어서, 메인 오브젝트 깊이 정보 산출부(330)는 메인 오브젝트 예측 영역의 깊이 정보를 3D 영상에 대한 휘도 분석에 의해 결정할 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치에서는 메인 오브젝트 깊이 정보 산출부(330)가 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내에 메인 오브젝트 예측 영역의 깊이 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 메인 오브젝트 깊이 정보 산출부(330)가 그 기능을 수행하지 않을 수도 있다.
평균 깊이 정보 산출부(340)는 3D 영상의 평균 깊이 정보를 산출하며, 구체적으로 3D 영상의 평균 깊이 정보를 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출할 수 있으며, 이를 수학식으로 표현하면 아래와 같다.
Figure pat00002
여기서, Da는 3D 영상의 평균 깊이 정보를 의미하며, Da는 3D 영상의 좌/우 영상간의 x축 상의 위치 차이를 계산하는 "calculate_average_depth_of_scene()" 함수를 이용하여 산출될 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치에서는 평균 깊이 정보 산출부(340)가 3D 영상의 평균 깊이 정보를 산출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내에 영상의 평균 깊이 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 평균 깊이 정보 산출부(340)가 그 기능을 수행하지 않을 수도 있다.
자막 텍스트 추출부(350)는 3D 영상과 별도로 자막 파일이 존재하는 경우, 3D 영상의 자막 파일로부터 자막 텍스트를 추출한다.
자막 정보 생성부(360)는 메인 오브젝트 깊이 정보 산출부(330)에서 산출된 3D 영상의 메인 오브젝트 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하고, 자막 텍스트 추출부(350)에 의해 추출된 자막 텍스트를 생성한 자막 정보에 따라 좌안 영상의 자막 및 우안 영상의 자막을 구분하여 생성한다.
여기서, 자막 정보는 자막이 3D 영상에 합성되어 디스플레이될 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함할 수 있다.
여기서, 자막의 깊이, 위치, 크기, 색상 중 적어도 하나는 3D 영상의 매 프레임마다 다른 값을 가질 수 있다. 이는 자막의 깊이, 위치, 크기, 색상 등이 메인 오브젝트 예측 영역의 위치 및 깊이 정보, 영상의 평균 깊이 정보 등에 따라 결정되기 때문이다.
또한, 자막의 색상은 메인 오브젝트 예측 영역의 색상에 따라 변할 수 있다. 다시 말해, 메인 오브젝트 예측 영역의 색상이 변함에 따라 자막 자체의 색상이 변할 수 있으며, 이때, 자막의 색상은 메인 오브젝트 예측 영역의 색상과 동일하게 변하거나, 영상과의 식별성을 위하여 메인 오브젝트 예측 영역과 다른 색으로 변할 수 있다.
그리고, 자막의 위치는 영상의 상부, 하부, 측면, 영상의 외부 등에 위치할 수 있으며, 영상의 내부에도 위치할 수 있다. 또한, 일정한 위치가 아니라, 메인 오브젝트 예측 영역이 이동함에 따라 자막 또한 메인 오브젝트 예측 영역 주위에서 이동하면서 위치할 수 있다.
한편, 본 발명의 자막 정보는 상술한 정보에 한정되지 않고, 자막의 음영도, 특수 효과 유무, 자막의 폰트 등 다양한 정보를 포함할 수 있다. 또한, 자막 정보는 본 발명의 일 실시예에 따른 자막 정보 생성부(360)에서 생성할 수 있으나, 3D 입력 정보로서 외부 장치에서 제공되거나, 3D 영상에 포함되어 있을 수도 있다. 이 경우, 자막 정보 생성부(360)는 그 기능을 수행하지 않을 수도 있다.
일 실시예에 있어서, 자막 정보 생성부(360)는 메인 오브젝트 예측 영역의 깊이 정보와 더불어 평균 깊이 정보 산출부(340)에서 산출된 평균 깊이 정보를 이용하여 자막 정보를 생성할 수 있으며, 이를 수학식으로 표현하면 아래와 같다.
Figure pat00003
여기서, D는 자막의 깊이를 의미하며, w는 0에서 1사이의 가중치를 의미한다. 다시 말해, 자막의 깊이 D는 메인 오브젝트 예측 영역의 깊이 정보 Dm 및 영상의 평균 깊이 정보 Da를 이용하여 산출될 수 있다.
또한, 예를 들어, 자막 정보 생성부(360)는 자막 정보로서 자막의 x축 상의 위치를 좌안 영상과 우안 영상을 구분하여 생성할 수 있으며, 이를 수학식으로 표현하면 아래와 같다.
Figure pat00004
여기서, Pos_Left는 자막의 좌안 영상의 x축 상의 위치를 의미하며, Pos_Right는 자막의 우안 영상의 x축 상의 위치를 의미한다. 또한, x는 자막이 처음 위치하게 될 임의의 위치일 수 있으며, 예를 들어, 메인 오브젝트 추출부에 의해 3D 영상으로부터 추출된 메인 오브젝트 예측 영역의 경계선을 이용하여 계산된 자막의 처음 위치일 수 있다.
자막 합성부(370)는 자막 정보 생성부(360)에 의해 생성된 자막 정보에 따라 자막을 3D 영상과 합성한다. 다시 말해, 자막 합성부(370)는 자막 정보 생성부(360)에 의해 생성된 자막 정보에 따라 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상의 좌안 영상에는 좌안 영상에 해당하는 자막을 우안 영상에는 우안 영상에 해당하는 자막을 합성한다.
또한, 예를 들어, 자막 합성부(370)는 자막 정보인 자막의 위치, 크기, 색상 등에 3D 영상의 좌안 영상과 우안 영상을 구분하여 합성할 수 있으며, 이를 수학식으로 표현하면 아래와 같다.
Figure pat00005
여기서, Caption은 수학식 4에서 산출된 좌안 영상의 x축 상의 자막 위치인 Pos_Left와, 우안 영상의 x축 상의 자막 위치인 Pos_Right, y축 상의 자막 위치, 자막의 크기 S, 자막의 색상 C에 따라 자막과 3D 영상을 합성하는 명령어를 의미한다.
따라서, 본 발명의 일 실시예에 따른 디스플레이 장치의 자막 합성부(370)는 3D 영상의 메인 오브젝트 예측 영역의 깊이 정보 및 평균 깊이 정보에 따라 산출된 자막 정보인 자막의 깊이, 위치, 크기, 색상 등에 따라 합성될 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상과 자막을 합성할 수 있다.
영상 출력부(380)는 자막 합성부(370)에 의해 자막이 합성된 3D 영상을 디스플레이한다. 다시 말해, 영상 출력부(380)는 자막 합성부(370)에서 출력되는 자막이 합성된 3D 영상을 좌안 영상과 우안 영상을 교번적으로 출력하여 시청자에게 제공한다.
도 4는 도 1에 도시된 디스플레이 장치의 다른 실시예에 따른 개략적인 블럭도이다. 도 4에 도시된 바와 같이, 디스플레이 장치(400)는 3D 영상 변환부(410), 메인 오브젝트 추출부(420), 메인 오브젝트 깊이 정보 산출부(430), 평균 깊이 정보 산출부(440), 자막 영상 추출부(450), 자막 정보 생성부(460), 자막 합성부(470) 및 영상 출력부(480)를 포함한다. 한편, 도 4에 도시된 디스플레이 장치(400)는 3D 영상에 자막이 포함되어 있는 실시예에 해당할 수 있다.
상술한 도 4에 도시된 구성 요소들 중 자막 영상 추출부(450)를 제외하고 나머지 구성 요소들은 도 3에서 이미 설명하였는바, 이하에서는 나머지 구성 요소들에 대해서는 간략히 설명하기로 한다.
3D 영상 변환부(410)는 2D 영상을 3D 영상으로 변환한 후, 3D 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이 되도록 3D 영상으로 변환하는 역할을 수행할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 디스플레이 장치는 2D 영상이 입력되는 경우에도 3D 영상으로 변환하여, 후술할 자막 정보 생성부(460)에선 3D 영상에 적합한 자막 정보에 따라 자막을 생성할 수 있다.
메인 오브젝트 추출부(420)는 3D 영상으로부터 메인 오브젝트가 위치하는 영역을 예측하여 메인 오브젝트 예측 영역을 추출한다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치에서는 메인 오브젝트 추출부(420)가 3D 영상으로터 메인 오브젝트 예측 영역을 추출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내의 메인 오브젝트 예측 영역에 대한 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 메인 오브젝트 추출부(420)가 그 기능을 수행하지 않을 수도 있다.
메인 오브젝트 깊이 정보 산출부(430)는 메인 오브젝트 추출부(420)에서 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하며, 구체적으로 메인 오브젝트 예측 영역에 해당하는 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출한다.
일 실시예에 있어서, 메인 오브젝트 깊이 정보 산출부(430)는 메인 오브젝트 예측 영역의 깊이 정보를 3D 영상에 대한 휘도 분석에 의해 결정할 수 있다.
한편, 본 발명의 다른 실시예에 따른 디스플레이 장치에서는 메인 오브젝트 깊이 정보 산출부(430)가 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내에 메인 오브젝트 예측 영역의 깊이 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 메인 오브젝트 깊이 정보 산출부(430)가 그 기능을 수행하지 않을 수도 있다.
평균 깊이 정보 산출부(440)는 3D 영상의 평균 깊이 정보를 산출하며, 구체적으로 3D 영상의 평균 깊이 정보를 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출할 수 있다.
한편, 본 발명의 다른 실시예에 따른 디스플레이 장치에서는 평균 깊이 정보 산출부(440)가 3D 영상의 평균 깊이 정보를 산출하는 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 3D 영상 내에 영상의 평균 깊이 정보가 3D 영상에 미리 포함되거나 다른 외부 장치에 의해 제공될 수 있다. 이 경우 평균 깊이 정보 산출부(440)가 그 기능을 수행하지 않을 수도 있다.
자막 영상 추출부(450)는 3D 영상에 자막이 포함되어 있는 경우, 3D 영상으로부터 자막 영상을 추출한다.
자막 정보 생성부(460)는 메인 오브젝트 깊이 정보 산출부(430)에서 산출된 3D 영상의 메인 오브젝트 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하고, 자막 영상 추출부(450)에 의해 추출된 자막 영상을 생성한 자막 정보에 따라 좌안 영상의 자막 및 우안 영상의 자막을 구분하여 생성한다.
여기서, 자막 정보는 자막이 3D 영상에 합성되어 디스플레이될 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함할 수 있다.
또한, 자막의 색상은 메인 오브젝트 예측 영역의 색상에 따라 변할 수 있다. 다시 말해, 메인 오브젝트 예측 영역의 색상이 변함에 따라 자막 자체의 색상이 변할 수 있으며, 이때, 자막의 색상은 메인 오브젝트 예측 영역의 색상과 동일하게 변하거나, 영상과의 식별성을 위하여 메인 오브젝트 예측 영역과 다른 색으로 변할 수 있다.
한편, 본 발명의 자막 정보는 상술한 정보에 한정되지 않고, 자막의 음영도, 특수 효과 유무, 자막의 폰트 등 다양한 정보를 포함할 수 있다. 또한, 자막 정보는 본 발명의 일 실시예에 따른 자막 정보 생성부(460)에서 생성할 수 있으나, 3D 입력 정보로서 외부 장치에서 제공되거나, 3D 영상에 포함되어 있을 수도 있다. 이 경우, 자막 정보 생성부(460)는 그 기능을 수행하지 않을 수도 있다.
또한, 자막의 깊이, 위치, 크기, 색상 중 적어도 하나는 3D 영상의 매 프레임마다 다른 값을 가질 수 있다. 이는 자막의 깊이, 위치, 크기, 색상 등이 메인 오브젝트 예측 영역의 위치 및 깊이 정보, 영상의 평균 깊이 정보 등에 따라 결정되기 때문이다.
일 실시예에 있어서, 자막 정보 생성부(460)는 메인 오브젝트 예측 영역의 깊이 정보와 더불어 평균 깊이 정보 산출부(440)에서 산출된 평균 깊이 정보를 이용하여 자막 정보를 생성할 수 있다.
자막 합성부(470)는 자막 정보 생성부(460)에 의해 생성된 자막 정보에 따라 자막을 3D 영상과 합성한다. 다시 말해, 자막 합성부(470)는 자막 정보 생성부(360)에 의해 생성된 자막 정보에 따라 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상의 좌안 영상에는 좌안 영상에 해당하는 자막을 우안 영상에는 우안 영상에 해당하는 자막을 합성한다.
또한, 예를 들어, 자막 합성부(470)는 자막 정보인 자막의 위치, 크기, 색상 등에 3D 영상의 좌안 영상과 우안 영상을 구분하여 합성할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 디스플레이 장치의 자막 합성부(470)는 3D 영상의 메인 오브젝트 예측 영역의 깊이 정보 및 평균 깊이 정보에 따라 산출된 자막 정보인 자막의 깊이, 위치, 크기, 색상 등에 따라 합성될 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상과 자막을 합성할 수 있다.
영상 출력부(480)는 자막 합성부(470)에 의해 자막이 합성된 3D 영상을 디스플레이한다. 다시 말해, 영상 출력부(480)는 자막 합성부(470)에서 출력되는 자막이 합성된 3D 영상을 좌안 영상과 우안 영상을 교번적으로 출력하여 시청자에게 제공한다.
도 5는 본 발명의 일 실시예에 따른 자막 정보를 생성하는 일 예를 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 다양한 실시예에 따른 디스플레이 장치는 3D 영상으로부터 메인 오브젝트(Main Object) 예측 영역을 추출하고, 추출된 메인 오브젝트 예측 영역의 깊이 정보(dm)과 영상의 평균 깊이 정보(da)를 이용하여, 자막의 위치(x,y), 크기(s), 깊이(d)를 결정할 수 있다. 다시 말해, 도 5에서와 같이, 3D 영상의 화면에서 시청자가 주로 응시하는 대상인 메인 오브젝트 예측 영역인 검을 가진 사람이 메인 오브젝트 예측 영역에 해당할 수 있다.
따라서, 본 발명의 다양한 실시예들에 따른 디스플레이 장치는 자막이 필요한 3D 컨텐츠에 있어서 동적으로 변화하는 메인 오브젝트 예측 영역의 깊이 정보에 따라 자막의 깊이를 동적으로 변화시킴으로써, 눈의 조절 폭주 불일치 변화를 최소화함으로써, 시청자의 눈의 피로를 완화시킬 수 있다. 또한, 3D 입력 정보로서 자막 정보인 자막의 깊이, 크기, 위치, 색상 등을 변화시킴으로써 시청자에게 정보의 전달을 효과적으로 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 방법을 보여주는 플로우차트이다.
먼저, 3D 영상으로부터 메인 오브젝트가 위치하는 영역을 예측하여 메인 오브젝트 예측 영역을 추출한다(S610).
일 실시예에 있어서, 메인 오브젝트 예측 영역을 추출하는 단계 이전에, 입력 영상이 2D 영상인 경우, 2D 영상을 3D 영상으로 변환하는 단계를 더 포함할 수 있다. 구체적으로, 3D 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이 되도록 3D 영상으로 변환할 수 있다.
따라서, 본 발명의 일 실시예에 따른 디스플레이 방법은 2D 영상이 입력되는 경우에도 3D 영상으로 변환함으로써, 3D 영상에 적합한 자막 정보에 따라 자막을 생성할 수 있다.
다음으로, 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출한다(S620).
여기서, 메인 오브젝트 예측 영역의 깊이 정보는 메인 오브젝트 예측 영역에 해당하는 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 추출된 영역들의 깊이 정보의 차이를 산출함으로써 결정될 수 있다.
또한, 메인 오브젝트 예측 영역의 깊이 정보는 3D 영상에 대한 휘도 분석에 의해 결정될 수도 있다.
일 실시예에 있어서, 본 발명의 일 실시예에 따른 디스플레이 방법은 3D 영상의 평균 깊이 정보를 산출하는 단계를 더 포함할 수 있다.
여기서, 평균 깊이 정보는 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출될 수 있다.
다음으로, 메인 오브젝트 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성한다(S630).
일 실시예에 있어서, 자막 정보를 생성하는 단계는, 메인 오브젝트 예측 영역의 깊이 정보 및 산출된 3D 영상의 평균 깊이 정보를 이용하여 자막 정보를 생성할 수 있다.
다음으로, 생성된 자막 정보에 따라 자막을 3D 영상과 합성한다(S640).
일 실시예에 있어서, 본 발명의 일 실시예에 따른 디스플레이 방법은 3D 영상의 자막 파일로부터 자막을 추출하는 단계를 더 포함할 수 있다. 다시 말해, 3D 영상과 별도로 자막 파일이 존재하는 경우, 3D 영상의 자막 파일로부터 자막 텍스트를 추출할 수 있다.
다른 실시예에 있어서, 본 발명의 일 실시예에 따른 디스플레이 방법은 3D 영상으로부터 자막을 추출하는 단계를 더 포함할 수 있다. 다시 말해, 3D 영상에 자막이 포함되어 있는 경우, 3D 영상으로부터 자막 영상을 추출할 수 있다.
여기서, 자막 정보는 자막이 3D 영상에 합성되어 디스플레이될 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함할 수 있다.
여기서, 자막의 깊이, 위치, 크기, 색상 중 적어도 하나는 3D 영상의 매 프레임마다 다른 값을 가질 수 있다. 이는 자막의 깊이, 위치, 크기, 색상 등이 메인 오브젝트 예측 영역의 위치 및 깊이 정보, 영상의 평균 깊이 정보 등에 따라 결정되기 때문이다.
또한, 자막의 색상은 메인 오브젝트 예측 영역의 색상에 따라 변할 수 있다. 다시 말해, 메인 오브젝트 예측 영역의 색상이 변함에 따라 자막 자체의 색상이 변할 수 있으며, 이때, 자막의 색상은 메인 오브젝트 예측 영역의 색상과 동일하게 변하거나, 영상과의 식별성을 위하여 메인 오브젝트 예측 영역과 다른 색으로 변할 수 있다.
그리고, 자막의 위치는 영상의 상부, 하부, 측면, 영상의 외부 등에 위치할 수 있으며, 영상의 내부에도 위치할 수 있다. 또한, 일정한 위치가 아니라, 메인 오브젝트 예측 영역이 이동함에 따라 자막 또한 메인 오브젝트 예측 영역 주위에서 이동하면서 위치할 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 디스플레이 방법은 생성된 자막 정보에 따라 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상의 좌안 영상에는 좌안 영상에 해당하는 자막을 우안 영상에는 우안 영상에 해당하는 자막을 합성한다.
따라서, 본 발명의 일 실시예에 따른 디스플레이 방법은 3D 영상의 메인 오브젝트 예측 영역의 깊이 정보 및 평균 깊이 정보에 따라 산출된 자막 정보인 자막의 깊이, 위치, 크기, 색상 등에 따라 합성될 자막의 깊이, 위치, 크기, 색상 등을 조절하여 3D 영상과 자막을 합성할 수 있다.
마지막으로, 자막이 합성된 3D 영상을 디스플레이한다(S650). 다시 말해, 본 발명의 일 실시예에 따른 디스플레이 방법은 자막이 합성된 3D 영상을 좌안 영상과 우안 영상을 교번적으로 출력하여 시청자에게 제공한다.
따라서, 본 발명의 다양한 실시예들에 따른 디스플레이 방법은 자막이 필요한 3D 컨텐츠에 있어서 동적으로 변화하는 메인 오브젝트 예측 영역의 깊이 정보에 따라 자막의 깊이를 동적으로 변화시킴으로써, 눈의 조절 폭주 불일치 변화를 최소화함으로써, 시청자의 눈의 피로를 완화시킬 수 있다. 또한, 3D 입력 정보로서 자막 정보인 자막의 깊이, 크기, 위치, 색상 등을 변화시킴으로써 시청자에게 정보의 전달을 효과적으로 수행할 수 있다.
한편, 상술한 디스플레이 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
300 : 디스플레이 장치 310 : 3D 영상 변환부
320 : 메인 오브젝트 추출부 330 : 메인 오브젝트 깊이 정보 산출부
340 : 자막 텍스트 추출부 350 : 자막 정보 생성부
360 : 평균 깊이 정보 산출부 370 : 자막 합성부
380 : 영상 출력부

Claims (24)

  1. 3D 영상의 메인 오브젝트(Main Object) 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하는 단계; 및
    상기 생성된 자막 정보에 따라 자막을 상기 3D 영상과 합성하여 디스플레이하는 단계를 포함하는 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 자막 정보는,
    상기 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 방법.
  3. 제 2 항에 있어서,
    상기 자막의 깊이, 위치, 크기 색상 중 적어도 하나는 상기 3D 영상의 매 프레임마다 다른 값을 가지는 것을 특징으로 하는 디스플레이 방법.
  4. 제 1 항에 있어서,
    상기 자막의 색상은,
    상기 메인 오브젝트 예측 영역의 색상에 따라 변하는 것을 특징으로 하는 디스플레이 방법.
  5. 제 1 항에 있어서,
    상기 3D 영상으로부터 상기 메인 오브젝트가 위치하는 영역을 예측하여 상기 메인 오브젝트 예측 영역을 추출하는 단계; 및
    상기 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 단계를 더 포함하는 것을 포함하는 것을 특징으로 하는 디스플레이 방법.
  6. 제 1 항에 있어서,
    상기 메인 오브젝트 예측 영역의 깊이 정보는,
    상기 메인 오브젝트 예측 영역에 해당하는 상기 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 상기 추출된 영역들의 깊이 정보의 차이를 산출함으로써 결정되는 것을 특징으로 하는 디스플레이 방법.
  7. 제 1 항에 있어서,
    상기 메인 오브젝트 예측 영역의 깊이 정보는,
    상기 3D 영상에 대한 휘도 분석에 의해 결정되는 것을 특징으로 하는 디스플레이 방법.
  8. 제 1 항에 있어서,
    상기 3D 영상의 평균 깊이 정보를 산출하는 단계를 더 포함하고,
    상기 자막 정보를 생성하는 단계는,
    상기 메인 오브젝트 예측 영역의 깊이 정보 및 상기 산출된 평균 깊이 정보를 이용하여 상기 자막 정보를 생성하는 것을 특징으로 하는 디스플레이 방법.
  9. 제 8 항에 있어서,
    상기 평균 깊이 정보는,
    상기 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출되는 것을 특징으로 하는 디스플레이 방법.
  10. 제 1 항에 있어서,
    2D 영상을 상기 3D 영상으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  11. 제 1 항에 있어서,
    상기 3D 영상의 자막 파일로부터 상기 자막을 추출하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  12. 제 1 항에 있어서,
    상기 3D 영상으로부터 상기 자막을 추출하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  13. 3D 영상의 메인 오브젝트(Main Object) 예측 영역의 깊이 정보를 이용하여 자막 정보를 생성하는 자막 정보 생성부;
    상기 생성된 자막 정보에 따라 자막을 상기 3D 영상과 합성하는 자막 합성부; 및
    상기 자막이 합성된 상기 3D 영상을 디스플레이하는 영상 출력부를 포함하는 디스플레이 장치.
  14. 제 13 항에 있어서,
    상기 자막 정보는,
    상기 자막의 깊이, 위치, 크기, 색상 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 자막의 깊이, 위치, 크기 색상 중 적어도 하나는 상기 3D 영상의 매 프레임마다 다른 값을 가지는 것을 특징으로 하는 디스플레이 장치.
  16. 제 13 항에 있어서,
    상기 자막의 색상은,
    상기 메인 오브젝트 예측 영역의 색상에 따라 변하는 것을 특징으로 하는 디스플레이 장치.
  17. 제 13 항에 있어서,
    상기 3D 영상으로부터 상기 메인 오브젝트가 위치하는 영역을 예측하여 상기 메인 오브젝트 예측 영역을 추출하는 메인 오브젝트 추출부; 및
    상기 추출된 메인 오브젝트 예측 영역의 깊이 정보를 산출하는 메인 오브젝트 깊이 정보 산출부를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  18. 제 17 항에 있어서,
    상기 메인 오브젝트 깊이 정보 산출부는,
    상기 메인 오브젝트 예측 영역에 해당하는 상기 3D 영상의 좌안 영상 및 우안 영상의 영역들을 추출하고, 상기 추출된 영역들의 깊이 정보의 차이를 산출함으로써 상기 메인 오브젝트 예측 영역의 깊이 정보를 결정하는 것을 특징으로 하는 디스플레이 장치.
  19. 제 17 항에 있어서,
    상기 메인 오브젝트 깊이 정보 산출부는,
    상기 메인 오브젝트 예측 영역의 깊이 정보를 상기 3D 영상에 대한 휘도 분석에 의해 결정하는 것을 특징으로 하는 디스플레이 장치.
  20. 제 13 항에 있어서,
    상기 3D 영상의 평균 깊이 정보를 산출하는 평균 깊이 정보 산출부를 더 포함하고,
    상기 자막 정보 생성부는,
    상기 메인 오브젝트 예측 영역의 깊이 정보 및 상기 산출된 평균 깊이 정보를 이용하여 상기 자막 정보를 생성하는 것을 특징으로 하는 디스플레이 장치.
  21. 제 20 항에 있어서,
    상기 평균 깊이 정보 산출부는,
    상기 평균 깊이 정보를 상기 3D 영상의 좌안 및 우안 영상의 전체적인 차이를 이용하여 산출하는 것을 특징으로 하는 디스플레이 장치.
  22. 제 13 항에 있어서,
    2D 영상을 상기 3D 영상으로 변환하는 3D 영상 변환부를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  23. 제 13 항에 있어서,
    상기 3D 영상의 자막 파일로부터 상기 자막을 추출하는 자막 텍스트 추출부를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  24. 제 13 항에 있어서,
    상기 3D 영상으로부터 상기 자막을 추출하는 자막 영상 추출부를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
KR1020100064932A 2010-07-06 2010-07-06 디스플레이 방법 및 장치 Ceased KR20120004203A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100064932A KR20120004203A (ko) 2010-07-06 2010-07-06 디스플레이 방법 및 장치
EP11161481.4A EP2405665A3 (en) 2010-07-06 2011-04-07 Method and apparatus for displaying a 3D caption
US13/176,224 US20120007949A1 (en) 2010-07-06 2011-07-05 Method and apparatus for displaying
JP2011149799A JP2012019517A (ja) 2010-07-06 2011-07-06 ディスプレイ方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100064932A KR20120004203A (ko) 2010-07-06 2010-07-06 디스플레이 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120004203A true KR20120004203A (ko) 2012-01-12

Family

ID=43896807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100064932A Ceased KR20120004203A (ko) 2010-07-06 2010-07-06 디스플레이 방법 및 장치

Country Status (4)

Country Link
US (1) US20120007949A1 (ko)
EP (1) EP2405665A3 (ko)
JP (1) JP2012019517A (ko)
KR (1) KR20120004203A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958263B1 (ko) * 2018-08-03 2019-03-14 (주)이노시뮬레이션 Vr 콘텐츠와 ui 템플릿의 제어방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
US20130050414A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method and system for navigating and selecting objects within a three-dimensional video image
US9064295B2 (en) * 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information
CN106791493A (zh) * 2016-11-17 2017-05-31 天津大学 基于模糊控制的颜色协调立体字幕制作方法
CN112383810A (zh) * 2020-11-10 2021-02-19 北京字跳网络技术有限公司 歌词视频展示方法、装置、电子设备及计算机可读介质
CN114245092A (zh) * 2022-02-23 2022-03-25 北京灵犀微光科技有限公司 多深度近眼显示方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6771885B1 (en) * 2000-02-07 2004-08-03 Koninklijke Philips Electronics N.V. Methods and apparatus for recording programs prior to or beyond a preset recording time period
US20050193408A1 (en) * 2000-07-24 2005-09-01 Vivcom, Inc. Generating, transporting, processing, storing and presenting segmentation information for audio-visual programs
WO2002014982A2 (en) * 2000-08-11 2002-02-21 Holomage, Inc. Method of and system for generating and viewing multi-dimensional images
JP2004518341A (ja) * 2001-01-11 2004-06-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US7085401B2 (en) * 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer
KR100519781B1 (ko) * 2004-02-18 2005-10-07 삼성전자주식회사 객체 추적 방법 및 그 장치
US7643672B2 (en) * 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
JP4214527B2 (ja) * 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
JP4214529B2 (ja) * 2004-12-28 2009-01-28 日本ビクター株式会社 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
KR20070119018A (ko) * 2005-02-23 2007-12-18 크레이그 써머스 3ｄ 카메라 및 3ｄ비디오를 위한 자동 씬 모델링
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
US20070098221A1 (en) * 2005-10-27 2007-05-03 Charles Florin Method for detection and tracking of deformable objects using adaptive time-varying autoregressive model
KR100734850B1 (ko) * 2005-11-29 2007-07-03 한국전자통신연구원 센서 네트워크에 대한 시뮬레이션 장치 및 방법
JP4717701B2 (ja) * 2006-04-24 2011-07-06 キヤノン株式会社 撮像システム、撮影方向制御方法、及びプログラム
WO2008103929A2 (en) * 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
US9769462B2 (en) * 2007-03-16 2017-09-19 Thomson Licensing System and method for combining text with three dimensional content
JP2009159125A (ja) * 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム
JP4618384B2 (ja) * 2008-06-09 2011-01-26 ソニー株式会社 情報提示装置および情報提示方法
JP4895312B2 (ja) * 2008-08-27 2012-03-14 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
JP2010130495A (ja) * 2008-11-28 2010-06-10 Toshiba Corp 立体情報出力装置及び立体情報出力方法
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
US8705867B2 (en) * 2008-12-11 2014-04-22 Imax Corporation Devices and methods for processing images using scale space
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
WO2010122775A1 (ja) * 2009-04-21 2010-10-28 パナソニック株式会社 映像処理装置及び映像処理方法
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
TW201119353A (en) * 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
US9049431B2 (en) * 2009-12-31 2015-06-02 Cable Television Laboratories, Inc. Method and system for generation of captions over stereoscopic 3D images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958263B1 (ko) * 2018-08-03 2019-03-14 (주)이노시뮬레이션 Vr 콘텐츠와 ui 템플릿의 제어방법

Also Published As

Publication number Publication date
EP2405665A2 (en) 2012-01-11
US20120007949A1 (en) 2012-01-12
EP2405665A3 (en) 2013-12-25
JP2012019517A (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US8488869B2 (en) Image processing method and apparatus
US8294754B2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
TWI444036B (zh) ２ｄ至３ｄ使用者介面內容資料轉換
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
EP2371139B1 (en) Image processing method and apparatus therefor
US11350156B2 (en) Method and apparatus for implementing video stream overlays
US9729845B2 (en) Stereoscopic view synthesis method and apparatus using the same
KR20120004203A (ko) 디스플레이 방법 및 장치
EP2265031B1 (en) Image processing apparatus, image processing method, and program
KR20130095655A (ko) 입체 컨텐츠의 3-차원적인 효과들을 요구에 맞추기 위한 방법 및 장치
KR101844232B1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
EP2356818A1 (en) Methods and systems for presenting three-dimensional motion pictures with content adaptive information
JP2014103689A (ja) 立体映像エラー改善方法及び装置
EP2434768A2 (en) Display apparatus and method for processing image applied to the same
JP2013527646A5 (ko)
JP2011199389A (ja) 画像処理装置、画像変換方法、およびプログラム
CN102457750A (zh) 用于将对象数据插入立体图像中的方法和设备
EP2426935A2 (en) Display apparatus and image generating method thereof
EP2547114A2 (en) Display apparatus and method for displaying 3D image thereon
JP2019083504A (ja) 平板パネルにおける立体映像入力のためのハードウェアシステム
WO2013027305A1 (ja) 立体映像処理装置、及び立体映像処理方法
KR20120072786A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR101302431B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100706

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150609

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100706

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160427

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160901

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160427

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I