KR102099734B1

KR102099734B1 - 다면 콘텐츠 재생 시나리오 작성을 위한 영상 분석 및 데이터 작성 시스템

Info

Publication number: KR102099734B1
Application number: KR1020170032381A
Authority: KR
Inventors: 김영휘; 차승훈; 이정진; 위대현; 권재환; 현성필; 한성규
Original assignee: 주식회사 카이
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2020-04-14
Anticipated expiration: 2037-03-15
Also published as: KR20180105379A

Abstract

일 실시예에 따른 프로젝터 제어 방법은 영상 프레임들의 색상 정보를 기반으로 콘텐츠를 분석하고, 분석 결과를 기초로 영상 프레임들에서의 블랙 영역에 대응하는 셔터의 온/오프 영역을 추출하며, 셔터의 온/오프 영역에 따라 다수 프로젝터들의 동작 시간을 고려하여 다수 프로젝터들의 셔터를 제어한다.

Description

다면 콘텐츠 재생 시나리오 작성을 위한 영상 분석 및 데이터 작성 시스템 {Image Analysis and Data Creation System for Multi-Content Playback Scenario Creation}

아래 실시예들은 다면 콘텐츠 재생 시나리오 작성을 위한 영상 분석 및 데이터 작성 시스템에 관한 것이다.

다면 콘텐츠는 정면의 메인 콘텐츠와는 다르게 주변시로서 효과를 크게 줄 수 있는 장면(Scene)들에서만 제작 및 상영 중이며, 나머지 장면들에 대해서는 검은 화면이 출력되고 있다. 따라서 현재 다면 시스템에서는 영상을 출력하는 프로젝터(projector)의 경우 검은 화면이 출력될 때에도 램프를 통해 검은 화면이 투사되고 있다. 이로 인해 검은 화면 투사 시 발생하는 빛은 좌우면이 존재하지 않는 장면에서의 관객의 몰입도를 저해하며, 램프 수명 시간의 단축을 가져온다. 또한, 램프의 잦은 교체로 인해 발생하는 이슈(예를 들어, 다수의 프로젝터 리캘리브레이션이 필요, 프로젝터 수명의 단축 등)들은 투자 비용을 상승시킨다.

일 실시예에 따르면, 다면 시스템을 위한 전용 솔루션을 통해 콘텐츠 제작 및 배포 단계에서 진행하기 힘든 작업을 자동으로 진행할 수 있다.

일 실시예에 따르면, 콘텐츠 상영 중 셔터 제어에 필요한 정보를 수집할 수 있다.

일 측에 따른 프로젝터 제어 방법은 영상 프레임들의 색상 정보를 기반으로 콘텐츠를 분석하는 단계; 상기 분석 결과를 기초로 상기 영상 프레임들에서의 블랙 영역에 대응하는 셔터의 온/오프 영역을 추출하는 단계; 및 상기 셔터의 온/오프 영역에 따라 다수 프로젝터들의 동작 시간을 고려하여 상기 다수 프로젝터들의 셔터를 제어하는 단계를 포함한다.

일 측에 따르면, 자동화된 프로세스를 통해 다면 콘텐츠를 분석하고, 분석 결과를 저장하여 다면 시스템에서 블랙 영역 투사 시에 프로젝터의 셔터를 조작할 수 있다.

일 측에 따르면, 다면 콘텐츠 재생에 있어 다수의 프로젝터의 제어를 손 쉽게 가능하도록 할 수 있다.

일 측에 따르면, 매뉴얼 작업 시 발생할 수 있는 오류를 소프트웨어 분석으로 처리함으로서 에러율을 0%로 만들 수 있다.

도 1은 일 실시예에 따라 영상의 프레임을 로드하는 과정을 나타낸 도면.
도 2는 일 실시예에 따라 해당 이미지(프레임)의 전체 픽셀의 평균 값을 분석하여 R, G, B 각각의 값으로 산출하는 과정을 설명하기 위한 도면.
도 3은 분석 결과를 기초로, 셔터의 온/오프 영역을 추출하는 과정을 설ㄹ명하기 위한 도면.
도 4는 일 실시예에 따른 다면 콘텐츠 재생 시나리오 작성을 위한 영상 분석 및 데이터 작성 시스템의 구성도.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 일 실시예에 따라 영상의 프레임을 로드하는 과정을 나타낸 도면이다. 도 1을 참조하면, 일 실시예에 따른 장치는 영상의 프레임을 순차적으로 로드하면서, 각 프레임의 색상 정보를 기반으로 콘텐츠를 분석할 수 있다.

도 2는 일 실시예에 따라 해당 이미지(프레임)의 전체 픽셀의 평균 값을 분석하여 RGB 각각의 값으로 산출하는 과정을 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따른 장치는 해당 이미지(프레임)의 전체 픽셀의 평균 값을 RGB 각각의 값으로 산출하여 영상 프레임을 색상 정보 별로 통계적으로 분석하고, 산출된 각각의 RGB값들을 저장 및 그래프로 표시할 수 있다.
예를 들어, 도 2의 첫 번째 그림은 제1 프레임(예를 들어, 68168번째 프레임)의 좌우 영상을 도시한 그림이다. 제1 프레임에는 전체적으로 빨간색(R) 성분이 많을 수 있다. 도 2의 두 번째 그림은 제2 프레임(예를 들어, 80763번째 프레임)의 좌우 영상을 도시한 그림이다. 제2 프레임에는 전체적으로 파란색(B) 성분이 많을 수 있다. 도 2의 세 번째 그림은 프레임 별로 RGB값들을 그래프로 표시한 그림이다. 그래프에서 x축은 프레임 인덱스를 지시하고, y축은 RGB값을 지시한다.

삭제

도 3은 일 실시예에 따라 분석 결과를 기초로, 셔터의 온/오프 영역을 추출하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 장치는 분석 정보를 기반으로 하는 셔터의 온/오프(혹은 Open/Close) 영역을 자동으로 추출하는 자동 추출 모듈을 포함할 수 있다.
자동 추출 모듈은 사용자 입력을 통해 시간(단위:sec)에 대한 임계(threshold) 값을 지정하고, 임계 시간 이상의 시간을 가지는 블랙 영역을 검출할 수 있다. 예를 들어, 도 3에서 검은색으로 빗금 쳐진 사각형 영역들이 블랙 영역으로 검출될 수 있다.
이때, 검출된 각 영역의 처음 시작 프레임은 셔터 오프(혹은 Close)로 지정되고, 검출된 각 영역의 마지막 프레임은 셔터 온(혹은 Open)으로 지정될 수 있다.
또한, 일 실시예에 따른 장치는 시간 테이블 기반의 셔터 시나리오 편집 기능을 제공할 수 있다.
또한, 일 실시예에 따른 장치는 다수 프로젝터의 동작 시간을 고려한 동작 지연 시간 추가 모듈을 포함할 수 있다.
일 실시예에 따른 장치는 프로젝터가 명령을 전달받고 수행하는 시간(예를 들어, 응답 시간)이 다를 수 있으므로, 온/오프(혹은 open/close) 시 해당 명령을 블랙 영역이 시작하기 얼마만큼 전에 전송할지, 그리고 블랙 영역이 끝나기 얼마만큼 전에 전송할 것인지를 사용자 입력으로 전달받아, 전체 온/오프(혹은 Open/Close) 영역에 적용할 수 있다.
일 실시예에 따른 장치는 다면 시스템 플레이어의 프로젝터 모듈과 재생 모듈에서 해당 데이터를 읽어 확인할 수 있는 포맷으로 데이터를 저장할 수 있다.
이때, 장치는 예를 들어, 아래의 표 1에 기재된 수도 코딩(pseudo coding)과 같이, 영상이 맞는지 확인을 할 수 있는 파일 이름과 해시(hash)값, 그리고 어떤 프레임에서 셔터를 오프(혹은 Close)하고 온(혹은 Open)할지 0과 1로 xml 포맷에 맞춰 저장할 수 있다.

<Script>
<FileName>odysseo_wing_L</FileName>
<hash>da39a3ee5e6b4b0d3255bfef95601890afd80709</hash>
<Command>
<Frame>2960</Frame>
<Shutter>1</Shutter>
</Command>
<Command>
<Frame>14762</Frame>
<Shutter>0</Shutter>
</Command>
<Command>
<Frame>24372</Frame>
<Shutter>1</Shutter>

삭제

도 4는 일 실시예에 따른 다면 콘텐츠 재생 시나리오 작성을 위한 영상 분석 및 데이터 작성 시스템의 구성도이다.

일 실시예에 따른 시스템은 비디오 디코더를 이용하여 입력된 비디오를 디코딩하여 RGB 데이터를 출력할 수 있다. RGB 데이터는 차트 뷰 위젯(ChartViewWidget) 및 뷰 위젯(ViewWidget)으로 전달될 수 있다.

뷰 위젯으로 전달된 RGB 데이터는 프레임 렌더링을 통하여 비디오 신(Video Scene)으로 출력될 수 있다. 차트 뷰 위젯으로 전달된 RGB 데이터는 차트를 렌더링하는 데에 이용될 수 있다. 차트 뷰 위젯을 통해 RGB 데이터를 수신한 UI 컨트롤러는 입력된 셔터 제어 신호에 따라 RGB 데이터를 분석하여 셔터 데이터를 생성할 수 있다.

셔터 데이터는 셔터 컨트롤 유닛(ShutterControlUnit)으로 전달되어 셔터 데이터 및 해시 값을 출력할 수 있다.

예를 들어, 스트림 큐시트에는 프레임(시간)별 재생 정보 및 프레임(시간)별 셔터 제어 정보가 저장될 수 있다. 프레임(시간)별 재생 정보는 프레임(시간) 별로 어느 컨텐츠가 재생되어야 하는지에 대한 정보이고, 프레임(시간)별 셔터 제어 정보는 프레임(시간) 별로 셔터를 열고 닫는 제어 정보이다.

각 극장의 재생 SW가 스트림 큐시트를 참조해서 재생/셔터제어를 수행하며, 셔터 제어를 통하여 기존 문제가 어느 정도 해소가 되기는 하는데, 여전히 블랙 컨텐츠를 배포하는 비효율이 잔존한다. 즉, 컨텐츠에 여전히 블랙 영상이 남아있다.

일 실시예에서는 이를 해소하고자, 셔터 제어 정보를 생성하기 위한 영상 분석 시에 블랙 영상 부분을 원본 영상에서 제거하며, 이로 인하여 기존 영상이 여러 개의 영상들로 분할될 수 있다. 이 경우, 장치는 프레임(시간)별 재생 정보에 해당하는 영상을 지시할 수 있다. 영상 분할과는 별도로 셔터 제어는 항상 이루어진다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

정면의 메인 콘텐츠의 주변으로 다면 콘텐츠를 출력하는 프로젝터들의 제어 방법에 있어서,
다면 콘텐츠에 포함된 영상 프레임들을 색상 정보 별로 통계적으로 분석하는 단계;
상기 색상 정보 별 통계적 분석 결과가 임계 값 미만인 프레임들이 임계 시간 이상 연속적으로 배치되는 블랙 영역을 검출하는 단계;
상기 블랙 영역 및 프로젝터 별 응답 시간에 기초하여, 프로젝터 별 셔터의 온/오프 동작을 제어하는 셔터 제어 정보를 생성하는 단계;
상기 다면 콘텐츠로부터 상기 블랙 영역에 해당하는 영상 프레임들을 제거함으로써, 복수의 분할 영상들을 생성하는 단계; 및
상기 셔터 제어 정보 및 상기 복수의 분할 영상들에 기초하여, 상기 프로젝터들을 제어하는 단계
를 포함하는, 다면 콘텐츠를 출력하는 프로젝터들의 제어 방법.