KR102245349B1

KR102245349B1 - 비디오로부터의 색상 스키마 추출 방법 및 장치

Info

Publication number: KR102245349B1
Application number: KR1020200016109A
Authority: KR
Inventors: 최성희; 김수지
Original assignee: 한국과학기술원
Priority date: 2020-02-11
Filing date: 2020-02-11
Publication date: 2021-04-28
Anticipated expiration: 2040-02-11
Also published as: CN113255423A; CN113255423B; US11636676B2; WO2021162237A1; US20210248379A1

Abstract

비디오로부터의 색상 스키마 추출 방법 및 장치가 제시된다. 일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치에 있어서, 입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부; 분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및 각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부를 포함하여 이루어질 수 있다.

Description

비디오로부터의 색상 스키마 추출 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING COLOR SCHEME FROM VIDEO}

아래의 실시예들은 비디오로부터의 색상 스키마 추출 방법 및 장치에 관한 것으로, 더욱 상세하게는 디스크립터(descriptor)로 사용하기 위해 비디오로부터 색상 스키마를 자동으로 추출하는 방법 및 장치에 관한 것이다.

IMDb는 500만 개 이상의 영화로 구성된 가장 크고 가장 인기 있는 영화 데이터베이스이다. 2000년 이후 미국과 캐나다에서만 1만편이 넘는 영화가 개봉되었으며, 개봉 건수는 가파르게 증가하고 있다. 결과적으로, 사용자 선호도에 기초한 영화 추천이 더 광범위하게 연구되었다. 대부분의 추천 시스템은 장르, 감독, 키워드, 캐스팅 등 영화 메타데이터(metadata)를 기반으로 한 소셜 그래프를 사용한다. 그러나 각 영화에 메타데이터를 수동으로 태깅하려면 상당한 노력이 필요하며, 새로운 메타데이터 필드가 필요할 때 이전 영화마다 다시 태그를 붙이는 것은 매우 많은 시간이 소요된다. 따라서 효율적인 추천 시스템을 위해서는 비디오 자체에서 고유한 디스크립터(descriptor)를 추출하는 것이 매우 중요하다.

영화는 다양한 매체를 결합하기 때문에 시각, 텍스트, 오디오 기능을 포함한 다중모드 디스크립터로 대표될 수 있다. 색상은 시각 미디어에서 특히 중요하며, 이는 시청자의 인식과 선호도에 영향을 미친다.

색상 스키마는 시각적 정체성을 나타내기 위해 가능한 모든 색상의 하위 집합으로 표현되는 색상의 조합이다. 색상은 인간의 지각에 큰 영향력을 가지며 감정적인 반응을 이끌어 내야 한다. 시각적 요소는 인간이 비디오를 볼 때 가장 먼저 인지하는 것이며, 색상은 인간의 인상과 감정에 영향을 미치는 시각적 측면의 가장 기본적인 요소이다.

영화 제작은 영화의 색상을 전체적으로 조절하는 색상 전문가와 함께 영화가 지배하는 색상 톤을 강하게 고려한다. 감독들은 색상을 이용하여 영화의 이야기를 지원하고 통합된 허구의 공간을 만들어 낸다. 영화 감독을 위한 Cinematography에 따르면, 색상 스키마는 촬영가가 시나리오를 해석한 것이며 영화가 끝난 후에도 관객에게 남아 있는 분위기나 느낌을 전달할 수 있다. 색상 스키마는 단순히 카메라에 의해서만 만들어진 것이 아니라, 제작 디자이너가 만든 배경과 세트, 조명 담당자가 설치한 조명, 의상을 포함한 다양한 영화 제작 요소들이 결합된 것이기 때문이다.

장르 및 감독과 같은 메타데이터의 각 필드는 모든 비디오들을 개별적으로 구분하는 기본 키가 될 수 없다. 같은 방식으로, 아래에서 제안되는 색상 스키마만으로 모든 영화를 구별할 의도는 없다. 색상 스키마는 각 영화의 고유한 특성이 아니라 영화를 클러스터 하는 기여 요인임을 보여주려 한다.

예를 들어, La La Land(2016)와 Whiplash(2014)는 Damien Chazelle이 쓰고 감독한 드라마 뮤지컬 영화이다. 감독, 장르, 캐스팅 등 유사한 메타데이터를 공유하지만 전체 기간에 걸쳐 색상의 강도로 인해 다른 인상을 준다. Whiplash도 비슷한 색상 톤을 유지하는 Black Swan(2010)과 연결되어야 하지만 현재로서는 이 두 영화를 연결할 특별한 메타데이터가 없다. 색상 스키마는 영화의 무대장치를 정량화하기 위한 매우 간단하고 정확한 디스크립터가 될 수 있다.

이전의 몇몇 연구들은 이미지로부터 색상 스키마 추출을 고려해 왔으나, 비디오 및 특별히 영화로부터 추출하는 것에 대한 관심은 거의 없었다. 영화는 그들의 메시지와 가치를 구체화한 감독의 정교한 편집물이다. 촬영이나 장면을 구분하지 않고 연속적으로 촬영되는 일반 비디오와 달리 영화는 다양한 물체와 이질적인 콘텐츠로 세심하게 편집된다. 영화는 일반적으로 3시간을 초과하지 않지만 일반적으로 일반 비디오보다 길며, 20만~25만개의 이미지를 포함한다(24fps로 가정). 복잡한 내용을 담은 수많은 이미지들에서 주요 색상을 추출하는 것은 어려운 일이지만 Anderson의 영화를 본 후에 베이스 팔레트를 상상할 수 있듯이 디자인적으로 지배적인 색상 스키마가 존재한다.

BARALDI L., GRANA C., CUCCHIARA R.: Shot and scene detection via hierarchical clustering for re-using broadcast video. In Computer Analysis of Images and Patterns - 16th International Conference, CAIP (2015), pp. 801-811.

실시예들은 비디오로부터의 색상 스키마 추출 방법 및 장치에 관하여 기술하며, 보다 구체적으로 디스크립터로 사용하기 위해 비디오로부터 색상 스키마를 자동으로 추출하는 기술을 제공한다.

실시예들은 준-마스터 샷에서 베이스 팔레트 추출하고 단일 색상 스키마로 병합하는 2단계의 색상 스키마 추출 기술을 제공하며, 색상 클러스터링 및 볼록 껍질 인클로징 방법을 사용하여 각 방법의 장점을 활용할 수 있는, 비디오로부터의 색상 스키마 추출 방법 및 장치를 제공하는데 있다.

일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치에 있어서, 입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부; 분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및 각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부를 포함하여 이루어질 수 있다.

상기 준-마스터 샷 세분화부는, 같은 장소에서 촬영한 연속적인 샷과 유사한 색상을 결합하여 준-마스터 샷을 제공할 수 있다.

상기 준-마스터 샷 세분화부는, 상기 입력된 비디오를 각 프레임에 대해 특징을 추출하고, 프레임들 사이의 유사성을 측정하여, 유사한 프레임들의 클러스터링을 통해 준-마스터 샷 경계 감지(SBD)를 수행함에 따라 복수 개의 준-마스터 샷으로 분할할 수 있다.

상기 준-마스터 샷 세분화부는, RGB 색상만 고려하는 ILSD(Imagelab Shot Detector) 분할 방법을 통해 복수 개의 준-마스터 샷으로 분할할 수 있다.

상기 베이스 팔레트 추출부는, 키프레임을 선택하여 클러스터링 할 데이터 양을 줄이는 키프레임 선택부; 및 색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 상기 키프레임의 집합에서 베이스 팔레트를 추출하는 색상 클러스터링부를 포함할 수 있다.

상기 키프레임 선택부는, 상기 키프레임이 전체 샷 내용을 잘 캡처하도록 목적함수를 제공하고, 상기 목적함수는 각 프레임에 대한 특징(saliency), 선명도 및 대표성의 가중 합계로 정의될 수 있다.

상기 색상 클러스터링부는, 선택된 상기 키프레임의 특징 맵(saliency map)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여할 수 있다.

상기 색상 스키마 병합부는, 상기 베이스 팔레트의 색상에 대해 추가 클러스터링을 수행하여 최종적인 상기 색상 스키마를 추출할 수 있다.

상기 색상 스키마 병합부는, 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출할 수 있고, 상기 볼록 껍질 인클로징(CHE)은 복수 개의 상기 베이스 팔레트들을 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 상기 색상 스키마의 대표 색상으로 선택할 수 있다.

상기 색상 스키마 병합부는, 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하되, 볼록 껍질을 서브-껍질(sub-hull)로 분할하고 각 상기 서브-껍질의 대표 색상을 상기 색상 스키마의 대표 색상으로 선택할 수 있다.

다른 실시예에 따른 비디오로부터의 색상 스키마 추출 장치를 이용한 비디오로부터의 색상 스키마 추출 방법은, 입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 단계; 분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계; 및 각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계를 포함하여 이루어질 수 있다.

상기 준-마스터 샷으로 분할하는 단계는, 같은 장소에서 촬영한 연속적인 샷과 유사한 색상을 결합하여 준-마스터 샷을 제공할 수 있다.

상기 준-마스터 샷으로 분할하는 단계는, 상기 입력된 비디오를 각 프레임에 대해 특징을 추출하고, 프레임들 사이의 유사성을 측정하여, 유사한 프레임들의 클러스터링을 통해 준-마스터 샷 경계 감지(SBD)를 수행함에 따라 복수 개의 준-마스터 샷으로 분할할 수 있다.

상기 준-마스터 샷으로 분할하는 단계는, RGB 색상만 고려하는 ILSD(Imagelab Shot Detector) 분할 방법을 통해 복수 개의 준-마스터 샷으로 분할할 수 있다.

상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계는, 키프레임을 선택하여 클러스터링 할 데이터 양을 줄이는 키프레임 선택 단계; 및 색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 상기 키프레임의 집합에서 베이스 팔레트를 추출하는 색상 클러스터링 단계를 포함할 수 있다.

상기 키프레임 선택 단계는, 상기 키프레임이 전체 샷 내용을 잘 캡처하도록 목적함수를 제공하고, 상기 목적함수는 각 프레임에 대한 특징(saliency), 선명도 및 대표성의 가중 합계로 정의될 수 있다.

상기 색상 클러스터링 단계는, 선택된 상기 키프레임의 특징 맵(saliency map)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여할 수 있다.

상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는, 상기 베이스 팔레트의 색상에 대해 추가 클러스터링을 수행하여 최종적인 상기 색상 스키마를 추출할 수 있다.

상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는, 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출할 수 있고, 상기 볼록 껍질 인클로징(CHE)은 복수 개의 상기 베이스 팔레트들을 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 상기 색상 스키마의 대표 색상으로 선택할 수 있다.

상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는, 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하되, 볼록 껍질을 서브-껍질(sub-hull)로 분할하고 각 상기 서브-껍질의 대표 색상을 상기 색상 스키마의 대표 색상으로 선택할 수 있다.

실시예들에 따르면 디스크립터로 사용하기 위해 비디오로부터 색상 스키마를 자동으로 추출하는 방법 및 장치를 제공할 수 있다.

실시예들에 따르면 준-마스터 샷에서 베이스 팔레트 추출하고 단일 색상 스키마로 병합하는 2단계의 색상 스키마 추출 기술을 제공하며, 색상 클러스터링 및 볼록 껍질 인클로징 방법을 사용하여 각 방법의 장점을 활용할 수 있는, 비디오로부터의 색상 스키마 추출 방법 및 장치를 제공할 수 있다.

도 1은 일 실시예에 따른 색상 스키마 추출을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 색상 클러스터링을 위한 특징 맵을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 영화 구조를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 비디오로부터의 색상 스키마 추출 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 준-마스터 샷 세분화부를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 베이스 팔레트 추출부를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 색상 스키마 병합부를 설명하기 위한 도면이다.
도 9는 다른 실시예에 따른 색상 스키마 병합부를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

도 1은 일 실시예에 따른 색상 스키마 추출을 설명하기 위한 도면이다.

도 1을 참조하면, 비디오(예컨대, 영화)의 시각적 정체성을 나타내기 위해 색상 스키마(color schema)를 추출하는 것으로, 비디오(110)는 준-마스터 샷으로 분할되고 각 키프레임(120)이 선택된다. 특징 맵(saliency map)(130)들을 사용하여 선택된 키프레임(120)들로부터 베이스 팔레트(140)들을 생성할 수 있다. 그리고, 볼록 껍질 인클로징(convex hull enclosing)(150)은 베이스 팔레트(140) 세트를 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 색상 스키마(160)의 대표 색상으로 선택할 수 있다.

색상 스키마는 시각적 정체성을 나타내는 색상 조합, 즉 가능한 모든 색상의 하위 집합이다. 아래의 실시예들은 비디오(예컨대, 영화)로부터 색상 스키마를 추출하는 자동화된 방법을 제안한다. 영화는 서로 다른 물체와 감독의 메시지와 가치를 구현한 다른 종류들로 이루어진 콘텐츠로서 세심하게 편집된 비디오인 만큼 촬영 장면이나 장면을 구분하지 않고 촬영하는 일반 비디오와 달리 한번에 색상 스키마를 추출해내는 것은 어려운 작업이다. 그러한 어려움에도 불구하고, 색상 스키마 추출은 영화 제작과 응용에서 매우 중요한 역할을 한다. 색상 스키마는 영화감독이 시나리오를 해석한 것으로 영화가 끝난 후에도 시청자에게 남는 분위기나 느낌을 전달할 수 있다. 장르, 감독, 캐스팅 등 영화의 메타데이터 분야처럼 영화를 묘사하는 기여 요인 역할을 하기도 한다. 더욱이 메타데이터와는 달리 자동적으로 태그를 붙일 수 있어 큰 노력 없이 기존 영화 데이터베이스에 직접 적용할 수 있다.

실시예들은 영화의 색상 계획을 세분화된 장면에서 상향식으로 연출할 수 있다. 또한, 색상 추출을 특징(saliency)을 활용하여 지각적으로 중요한 색상이 선택되는 선택 문제로 공식화할 수 있다. 그리고, 비슷한 색상으로 같은 장소에서 찍은 연속적인 샷의 조합으로 정의되는 준-마스터 샷을 제공할 수 있다. 여기에서는 실제 영화의 비디오를 사용하여 제안된 실시예들의 기법의 신뢰성을 입증하고 검증한다.

도 2는 일 실시예에 따른 색상 클러스터링을 위한 특징 맵(saliency map)을 설명하기 위한 도면이다.

도 2를 참조하면, 210은 입력 이미지이고, 220은 특징 맵(saliency map)이며, 230의 위는 특징(saliency)이 없는 색상 스키마이고, 아래는 특징(saliency)이 있는 색상 스키마를 나타낸다. 간단한 색상 클러스터링(clustering) 방법은 자주 나타나지만 의미가 없는 색상의 간섭으로 인해 유효한 주요 이미지 색상을 얻는 데 어려움을 겪는다. 유효한 색상 스키마 추출에는 색상 선택이 비디오에서 객체의 중요도를 반영하도록 하려면 특징 맵(saliency map)이 필수적이다.

단순한 색상 클러스터링 방법을 통해 영화의 전체적인 색상 스키마를 얻을 수 없는데, 이는 하늘, 벽 또는 검정 클러터(clutter)와 같이 반복적으로 보이지만 의미 없이 보이는 색상의 간섭 때문이다. 특징 맵(saliency map)은 색상 선택이 영화에서 물체의 중요성을 반영하도록 하는 솔루션이다. 특징 맵(saliency map)은 인간의 고정 지점을 따라 각 이미지 내에서 픽셀의 중요성을 나타낸다. 모든 픽셀이 아니라 주요 픽셀이 색상 인상을 지배하기 때문에, 각 프레임에서 색상 스키마를 얻기 위해 특징 맵(saliency map)을 사용할 수 있다.

실시예들은 비디오에서 색상 스키마를 일반화한 첫 번째 작업이다. 이미지에서 색상 스키마를 추출하는 것은 컴퓨터 그래픽에서 연구되어 왔다. 왜냐하면 색상 스키마는 이미지 다시 칠하기와 벡터화가 가장 기본적인 유닛이기 때문이다. 비디오에서 색상 스키마를 추출하는 것이 어려운 이유는 덜 중요한 긴 샷으로 구동되어서는 안되며 비디오의 전체적인 색상을 고려해야 하기 때문이다. 이러한 이유로, 여기에서는 비디오를 작은 단위로 나누고 상향식 방법으로 최종적인 색상 스키마를 선택한다.

또한, 실시예들은 같은 장소에서 촬영한 연속 샷과 유사한 색상을 결합한 새로운 유닛인 준-마스터 샷을 정의한다. 이 준-마스터 샷은 비디오 하이라이트 감지 및 비디오 썸네일 생성과 같은 수십년 동안 활발하게 연구되어 온 비디오 프로세스에 사용될 수 있다.

단순히 특징(saliency)을 채택하는 것 외에도, 실시예들은 특징 맵(saliency map)을 적절하게 사용하는 방법에 대해 고려를 하고 있다. 프레임에서 각 픽셀의 중요성(특징), 샷에서 각 프레임의 중요성, 영화에서 각 샷의 중요성 등 세 가지 수준에서 중요성을 측정한다.

기존에 이미지 압축으로 인한 색상 손실을 해결하기 위해 컴퓨터 비전과 그래픽 분야에서 광범위하게 이미지의 색상 양자화가 연구되었다. 제한된 수의 색상만 표시할 수 있는 디스플레이 장치 제한, 그리고 색상 인쇄이다. 이는 원래의 이미지를 더 적은 수의 색상으로 표현하는 것을 목표로 한다.

최근의 연구는 이미지 다시 칠하기, 이미지 분해, 이미지 추상화, 디지털 아트 및 이미지 색인을 포함하여 다양한 목적을 위한 다양한 색상 스키마 추출 방법을 제안했다. 색상 스키마 추출은 일반적으로 색상 클러스터링, 히스토그램 경계화, 이미지 분할 및 볼록 껍질 인클로징에 의해 이루어진다.

클러스터링 방식은 색상 공간의 거리를 기준으로 픽셀을 그룹화한다. 여기서, 클러스터 중심이 대표 색상으로 선택된다. 히스토그램 경계화는 이미지를 색상 공간 히스토그램으로 변환하고 히스토그램을 여러 섹션으로 분할하여 지배적인 색상을 식별한다. 볼록 껍질 인클로징은 이미지를 특정 색상 공간의 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 대표 색상으로 선택한다. 클러스터링 및 히스토그램 방법은 항상 이미지 내에서 발생하는 색상을 선택하는 반면, 볼록 껍질 인클로징은 원래의 이미지를 잘 표현할 수는 있지만 이미지에 반드시 존재할 필요는 없는 색상을 선택할 수 있다.

실시예들은 2단계의 색상 스키마 추출 즉, 준-마스터 샷에서 베이스 팔레트 추출 및 단일 색상 스키마로 병합을 제안한다. 제안된 파이프 라인 내에서 색상 클러스터링 및 볼록 껍질 인클로징 방법을 사용하여 각 방법의 장점을 활용할 수 있다.

도 3은 일 실시예에 따른 영화 구조를 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 영화(movie)는 각 장면(scene)이 여러 장면으로 구성된 장면의 선형 시퀀스로 구성된 것으로 간주할 수 있다. 장면은 공통된 의미의 가닥을 공유하는 상호 연관된 일련의 장면인 반면, 샷(shot)은 중단 없이 단일 카메라에 의해 촬영된 프레임(frame)의 연속이다. 장면은 의미 컨텍스트(semantic context)에 따라 분할되므로 장면 분할이 샷 분할보다 상대적으로 정확하지 않다. 또한, 비디오 편집으로 인해 중복된 장면이 많이 발생하기 때문에 장면에서 직접 베이스 팔레트를 수집하는 것도 매우 비효율적이다. 따라서 원하는 대로 색상 스키마를 추출하려면 원하는 정확도와 효율성을 동시에 만족시킬 수 있는 새로운 장치가 필요하다.

마스터 샷(master shot)은 모든 캐릭터를 포함하는 단일 샷으로, 촬영되는 모든 공간의 분위기를 나타낸다. 현대의 영화들은 제작 단계에서는 마스터 샷을 사용하지만, 그들의 독특한 스타일 때문에 실제 영화에 포함되지 않는 경향이 있다. 따라서 같은 장소에서 촬영한 연속 샷과 유사한 색상을 결합하여 실제 마스터 샷이 아닌 준-마스터 샷을 정의한다.

샷 변경은 급격한 전환 또는 점진적 전환을 통해 발생할 수 있다. 카메라 스위치로 인해 단일 프레임에서 중단된 전환이 발생하는 반면, 어두워짐(dissolve), 페이드-인(fade-in), 페이드-아웃(fade-out) 및 지우기(wipe)와 같은 점진적 전환은 다양한 비디오 효과로 여러 프레임에 걸쳐 확장된다. 샷 분할의 목적은 이미지 유사성을 사용하여 프레임을 그룹화함으로써 이러한 전환을 감지하는 것이다.

대부분의 장면 분할 방법은 비디오, 오디오 및 텍스트와 같은 모호성을 줄이기 위해 다중 모드 기능을 사용하지만, 일반적으로 샷이 한번의 촬영으로 촬영되기 때문에 비디오 기능만 사용하여 샷 분할 전환을 탐지할 수 있다. 몇몇 비디오의 특성은 색상 히스토그램 및 SURF과 SIFT 같은 로컬 디스크립터에 의존한다. 여기에서는 영화의 준-마스터 샷을 정의하기 위해 Baraldi의 샷 분할 방법(비특허문헌 1)을 채택했다.

한편, 키프레임은 전체 샷 또는 장면을 보호하는 세트 중 가장 대표적인 것이다. 비디오 썸네일과 요약도 키프레임 추출의 유사한 원칙을 기반으로 하며 최근에 증가한 기계 학습 어플리케이션이 인기를 얻게 되었다.

키프레임 추출의 주요 문제는 샷이나 장면에서 선택해야 하는 키프레임의 수와 세트에서 이러한 키프레임을 선택하는 방법이다. 적절한 키프레임 수는 추출 방법에 따라 하나 이상 또는 여러 개일 수 있다. 간단하고 빠른 키프레임 선택 방법으로 프레임을 균일하게 또는 무작위로 샘플링할 수 있다. 그러나 이러한 샘플링 방법은 불안정한 선택 결과를 초래하므로 최적의 프레임 샘플링을 결정하기가 어렵다.

비용 함수 경계화는 샘플링 방법의 단점을 해결하지만, 일반적인 영화의 비용 함수(최대 20만 프레임)를 계산하기 위해서는 상당한 추가의 연산 노력이 필요하다. 준-마스터 샷에서 고정된 수의 키프레임을 선택하여 계산 비용을 절감할 수 있다. 균일하고 무작위적인 샘플링 대신에, 키프레임이 전체 샷 내용을 잘 포착할 수 있도록 각 프레임의 중요도, 선명도 및 대표성을 평가하는 목적함수를 제공할 수 있다.

특히, 수백 장의 사진이 있는 영화의 경우 비디오 카메라로 촬영한 색상 스키마를 추출하기가 다소 어렵다. 비디오나 동영상의 각 이미지를(예를 들어) 240x135 픽셀로 샘플링하더라도 각 프레임에 최대 3만개의 색상과 영화에 최대 60억개의 색상이 있다. 게다가, 영화는 다양한 색상 톤의 복잡한 촬영 세트를 포함한다. 따라서 전체 영화에서 조합뿐만 아니라 한 장면에서 동시에 나타나는 색상 조합도 고려해야 한다. 영화에서 이전의 색상 스키마는 일반적으로 경험이 많은 디자이너들의 개인적인 조언에 의존해 왔다. 따라서, 디자이너들이 의상, 주요 물체 또는 두드러진 배경에 초점을 맞추는 경향을 이용한다.

이전의 색상 스키마 추출 방법은 일반적으로 모든 프레임에서 고르게 클러스터링된 픽셀을 기반으로 한다. 그러나 앞에서 설명한 것처럼 단순한 클러스터링은 더 어두운 색상, 심지어 검은 색을 촉진하는 경향이 있다. 이 문제는 키프레임 픽셀만 고르게 클러스터되어 있어도 지속되며 의미 없는 배경과 클러터(clutter)를 선택하는 경향이 있다. 따라서 세 가지 특징을 포함하는 색상 스키마 추출을 제안한다. 즉, 일련의 샷 중에서 고려된 샷의 상대적 중요성(relative importance), 샷에 대한 프레임의 중요성 및 프레임에 대한 픽셀의 중요성이다.

도 4는 일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치를 설명하기 위한 도면이다.

도 4를 참조하면, 일 실시예에 따른 색상 스키마 추출 장치는 준-마스터 샷 세분화부(420), 베이스 팔레트 추출부(440) 및 색상 스키마 병합부(460)를 포함하여 이루어질 수 있다. 그 결과로 발생하는 색상 스키마(470)는 분할된 준-마스터 샷(430)에서 상향식으로 클러스터링 된다.

도 5는 일 실시예에 따른 비디오로부터의 색상 스키마 추출 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 일 실시예에 따른 비디오로부터의 색상 스키마 추출 장치를 이용한 비디오로부터의 색상 스키마 추출 방법은, 입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 단계(S110), 분할된 준-마스터 샷에서 베이스 팔레트를 추출하는 단계(S120) 및 각각의 준-마스터 샷에서 추출된 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계(S130)를 포함하여 이루어질 수 있다.

아래에서 일 실시예에 따른 비디오로부터의 색상 스키마 추출 방법의 각 단계를 설명한다.

일 실시예에 따른 비디오로부터의 색상 스키마 추출 방법은 도 4를 참조하여 설명한 비디오로부터의 색상 스키마 추출 장치를 이용하여 보다 구체적으로 설명할 수 있다.

단계(S110)에서, 준-마스터 샷 세분화부(420)는 입력된 비디오(410)를 준-마스터 샷 경계 감지(SBD)를 통해 복수 개의 준-마스터 샷(430)으로 분할할 수 있다. 여기서, 준-마스터 샷 세분화부(420)는 같은 장소에서 촬영한 연속적인 샷과 유사한 색상을 결합하여 준-마스터 샷(430)을 제공할 수 있다.

준-마스터 샷 세분화부(420)는 입력된 비디오(410)를 각 프레임에 대해 특징을 추출하고, 프레임들 사이의 유사성을 측정하여, 유사한 프레임들의 클러스터링을 통해 준-마스터 샷 경계 감지(SBD)를 수행함에 따라 복수 개의 준-마스터 샷(430)으로 분할할 수 있다. 특히, 준-마스터 샷 세분화부(420)는 RGB 색상만 고려하는 ILSD(Imagelab Shot Detector) 분할 방법을 통해 복수 개의 준-마스터 샷(430)으로 분할할 수 있다.

단계(S120)에서, 베이스 팔레트 추출부(440)는 분할된 준-마스터 샷(430)에서 베이스 팔레트(450)를 추출할 수 있다. 단계(S120)는 키프레임(442)을 선택하여 클러스터링 할 데이터 양을 줄이는 키프레임 선택 단계 및 색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 키프레임(442)의 집합에서 베이스 팔레트(450)를 추출하는 색상 클러스터링 단계를 포함할 수 있다.

보다 구체적으로, 베이스 팔레트 추출부(440)는 키프레임 선택부(441) 및 색상 클러스터링부(444)를 포함할 수 있다.

키프레임 선택부(441)는 키프레임(442)을 선택하여 클러스터링 할 데이터 양을 줄일 수 있다. 또한, 키프레임 선택부(441)는 키프레임이 전체 샷 내용을 잘 캡처하도록 목적함수를 제공하고, 목적함수는 각 프레임에 대한 특징(saliency), 선명도 및 대표성의 가중 합계로 정의될 수 있다. 이는 아래에서 보다 상세히 설명한다.

그리고, 색상 클러스터링부(444)는 색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 키프레임(442)의 집합에서 베이스 팔레트(450)를 추출할 수 있다. 색상 클러스터링부(444)는 선택된 키프레임(442)의 특징 맵(saliency map)(443)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여할 수 있다.

단계(S130)에서, 색상 스키마 병합부(460)는 각각의 준-마스터 샷(430)에서 추출된 베이스 팔레트들(450)을 병합하여 색상 스키마(470)를 추출할 수 있다.

색상 스키마 병합부(460)는 베이스 팔레트(450)의 색상에 대해 추가 클러스터링을 수행하여 최종적인 색상 스키마(470)를 추출할 수 있다. 특히, 색상 스키마 병합부(460)는 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 색상 스키마(470)를 추출할 수 있다. 이 때, 볼록 껍질 인클로징(CHE)은 복수 개의 베이스 팔레트들(450)을 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 색상 스키마(470)의 대표 색상으로 선택할 수 있다.

도 6은 일 실시예에 따른 준-마스터 샷 세분화부를 설명하기 위한 도면이다.

도 6을 참조하면, 준-마스터 샷 세분화부(420)는 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 수행할 수 있으며, 동일한 위치에서 촬영한 연속 샷을 유사한 색상으로 결합하여 비디오를 샷 그룹으로 분할함으로써 분할의 정확성과 효율성을 향상시킬 수 있다. 준-마스터 샷 세분화부(420)는 준-마스터 샷 경계 감지(SBD)를 통해 입력된 비디오(410)를 복수 개의 준-마스터 샷(430)으로 분할할 수 있다. 즉, 준-마스터 샷 세분화부(420)는 입력된 비디오(410)를 각 프레임에 대해 특징을 추출(421)하고, 프레임들 사이의 유사성을 측정(422)하여, 유사한 프레임들의 클러스터링(423)을 통해 준-마스터 샷 경계 감지(SBD)(424)를 수행함으로써, 세분화된 비디오인 준-마스터 샷(430)으로 나눌 수 있다.

준-마스터 샷(430)은 일반적으로 SIFT 또는 SURF와 같은 유사성 요소에 대한 로컬 디스크립터를 사용하여 색상 차이에 의해 클러스터되므로 상당한 연산 오버 헤드가 필요하다. 이와 반대로, 여기에서는 RGB 색상만 고려하는 ILSD(Imagelab Shot Detector)(비특허문헌 1) 분할 방법을 채택할 수 있다. ILSD는 두 개의 프레임의 해당 픽셀 간 제곱 차이 및 RGB 색상 히스토그램의 카이 제곱 거리(chi-squared distance)의 두 가지 색상 차이 메트릭의 합으로 프레임 간의 유사성을 측정할 수 있다. 슬라이딩 윈도우를 사용하여 유사한 프레임이 클러스터되어 현재 프레임을 중심으로 한 프레임 차이를 비교하고 한 방향으로 이동할 수 있다.

일반적으로 ILSD는 급격한 전환(abrupt transition) 및 점진적 전환(gradual transition)을 개별적으로 감지할 수 있다. i 번째 프레임 f_i는 f_i와 f_i+1의 차이가 일부 임계 값 T를 초과하고, 인접한 샷 간의 차이가 T=2를 초과하는 경우 급격한 전환으로 간주될 수 있다. 점진적 전환은 윈도우 크기가 증가하는 급격한 전환을 감지하는 프로세스를 반복하여 식별할 수 있다. 샷 감지 후, ILSD는 계층적 클러스터링을 사용하여 인접한 샷을 장면으로 그룹화할 수 있다. 동일한 전환의 중복 감지를 방지하기 위해, 두 개의 인접 전환은 안전 지대라고 하는 일정한 T_s 이상의 프레임 간격으로 분리될 수 있다.

(비특허문헌 1) 등이 샷을 그룹화 하였음에도 ILSD에 의해 분할된 그룹 샷은 색상 비교를 기반으로 한 클러스터링을 통해 장면으로 구성되며, 두 가지 이유로 장면을 준-마스터 샷으로 사용할 수 없다. 첫째, 그것들은 클러스터의 고정 개수를 이용하여 즉, 이미 장면이 총 번호를 알고 있는 가정 클러스터링 장면을 수행한다. 둘째, 준-마스터 샷에는 완벽한 장면 분할이 필요하지 않기 때문에 장면 클러스터링은 컴퓨터 오버 헤드를 증가시킨다. 따라서 T를 완화하는 준-마스터 샷을 사용하여 샷 간의 색상 차이를 결정할 수 있다. 안전 지대의 기능을 향상시키기 위해 T*_s를 사용할 수 있고, 이는 T_s의 고정 값 대신 평균 샷 길이에 비례한다.

도 7은 일 실시예에 따른 베이스 팔레트 추출부를 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 베이스 팔레트 추출부(Base Palette Extraction, BPE)(440)는 분할된 준-마스터 샷(segmented semi-master-shot)(430)에서 베이스 팔레트(450)를 추출할 수 있다. 분할되어 있지만, 준-마스터 샷(430)은 여전히 비디오이며, 너무 많은 프레임이 포함된 비디오에서 제한된 수의 색상을 추출하는 것은 어렵다. 따라서 베이스 팔레트 추출부(BPE)(440)는 두 가지 단계로 베이스 팔레트(450)를 추출할 수 있다. 즉, 베이스 팔레트 추출부(BPE)(440)는 키프레임 선택과 색상 클러스터링을 통해 베이스 팔레트(450)를 추출할 수 있다. 이 때, 베이스 팔레트 추출부(BPE)(440)는 키프레임 선택부(441) 및 색상 클러스터링부(444)를 포함할 수 있다.

여기서, 키프레임 선택과 색상 클러스터링을 위해 인간의 시각적 관심과 관련된 특징 맵(saliency map)(443)을 채택할 수 있다. 특징 맵(saliency map)(443)은 인간의 고정 지점으로서 픽셀의 중요성을 나타낸다. 주요 픽셀이 영화의 인상을 지배하기 때문에 모든 프레임의 모든 픽셀이 아니라, 각 프레임 이미지에서 최적의 베이스 팔레트(450)를 식별하는 데 도움이 되는 특징 맵(saliency map)(443)을 사용할 수 있다. 이 때, 주어진 이미지의 특징 맵(saliency map)(443)을 사전 지식 없이 자동으로 사용할 수 있다.

키프레임 선택부(441)는 베이스 팔레트(450) 추출을 위해 키프레임(442)을 선택할 수 있다. 키프레임 베스트는 샷을 커버하는 프레임 또는 장면의 전반적인 콘텐츠 집합을 나타낸다. 키프레임(442)을 사용하면 클러스터링 할 데이터 양이 크게 줄어든다. 키프레임 선택부(441)는 준-마스터 샷(430)에서 고정된 수의 키프레임(442)을 선택하여 계산 비용을 더욱 절감할 수 있다. 키프레임(442)이 전체 샷 내용을 잘 캡처할 수 있도록 하기 위해 목적함수 C(f)를 도입하여 각 프레임에 대한 중요도, 선명도 및 대표성을 추정하고, 키프레임(442)이 전체 샷 내용을 잘 캡처하도록 할 수 있다. 이러한 목적함수 C(f)는 다음 식과 같이 표현할 수 있다.

여기서, C(f)는 특징(saliency)(C_s(f)), 선명도(C_c(f)) 및 대표성(C_r(f))의 세 가지 용어의 가중 합계로 정의된다. 균형 잡힌 결과를 도출하기 위한 실험에 기초하여,

,

및

과 같은 계수의 적절한 값이 제시될 수 있다.

특징(saliency) 조건 C(f)는 프레임의 중요성을 다음 식과 같이 픽셀의 유효성 값 평균으로 측정할 수 있다.

여기서,

는 픽셀 p의 특징(saliency)이고, |f|는 f의 총 픽셀 수이다. 특징(saliency) 조건은 높은 시각적 주의를 기울여 프레임에 높은 점수를 매기도록 시행한다.

대표성 조건 C_r(f)는 준-마스터 샷(430)의 모든 프레임 중에서 f의 적용 범위를 평가한다. 대표성은 동일한 준-마스터 샷(430)에 존재하는 다른 프레임과 관련하여 유사성으로 표현될 수 있다. 대표성 조건은 다음 식과 같이 계산할 수 있다.

여기서, S는 f가 속한 준-마스터 샷이고, |S|는 S에서 프레임의 총 수이다. f와 f* 프레임 간의 유사성 Sim(f, f*)은 HSV 히스토그램 비교에 의해 정의되며, f가 많은 프레임과 더 유사하기 때문에 증가한다. 예를 들어, 여기에서는 각 채널에 대해 50 bin이 포함된 HSV 히스토그램의 상관 거리 메트릭을 사용하여 f와 다른 모든 프레임 간의 쌍으로 구성된 거리를 동일한 준-마스터 샷(430)으로 계산할 수 있다.

선명도, C_c(f)는 블라인드/참조 없는 이미지의 공간 품질 평가자(blind/referenceless image spatial quality evaluator, BRISQUE)를 사용하여 f의 선명도, 즉 흐린 정도를 측정할 수 있으며, 다음 식과 같이 표현할 수 있다.

BRISQUE 점수는 일반적으로 [0, 100] 범위이며, C_c(f)가 작을수록 이미지 품질이 향상된다. 예를 들어, 여기에서는 키프레임(442)으로 베스트 3개를 선택하여 준-마스터 샷(430)에서 모든 프레임의 비용을 조사할 수 있다.

색상 클러스터링부(444)는 색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택한 키프레임(442)의 집합에서 베이스 팔레트(450)를 추출할 수 있다. 픽셀 색상을 동일하게 클러스터링 하기보다는, 키프레임(442)의 특징 맵(saliency map)(443)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여할 수 있다.

특징 맵(saliency map)(443)에서 베이스 팔레트(450)가 과적합하지 않도록 값 자체보다는 특징(saliency)을 확률로 표현할 수 있다. 키프레임(442)의 픽셀 p는 확률

에 따라 클러스터링 대상에 포함되며, 가중치

로 0또는 1을 생성하여 픽셀 안정성을 제공할 수 있다. 따라서 낮은 가중치의 픽셀이 선택될 수도 있지만 클러스터링 세트에 더 높은 안정성을 가진 픽셀을 포함하는 것이 좋다. 모든 키프레임(442)의 픽셀 RGB 색상을 단일 세트로 사용하여 km 클러스터링을 수행할 수 있다. 클러스터 중심의 수 k는 베이스 팔레트(450)의 색상 개수와 같으며, 실험에 대해 k=5로 설정한다.

도 8은 일 실시예에 따른 색상 스키마 병합부를 설명하기 위한 도면이다.

도 8을 참조하면, 준-마스터 샷(430)에서 추출한 모든 베이스 팔레트들(450)을 스키마에 결합하면 두 가지 문제가 발생할 수 있다. 입력된 비디오(410)에서 분리된 준-마스터 샷들(430)의 수가 많기 때문에 축소된 색상 세트에서도 많은 색상이 유지하며, 동일한 환경에서 촬영한 사진이 편집 중 비디오에서 분리되는 경우가 있으며, 이로 인해 서로 다른 준-마스터 샷(430)의 팔레트가 중복될 수 있다. 따라서 베이스 팔레트(450)의 색상 수를 줄이려면 병합 프로세스가 필요하다.

베이스 팔레트(450)의 색상은 클러스터의 중심이다. 즉, 준-마스터 샷(430)에서 나타난다. 따라서, 색상 스키마 병합부(460)는 베이스 팔레트(450)의 색상에 대해 추가 클러스터링을 수행하여 고유하지만 중심에서 멀리 떨어져 있는 색상을 무시하는 경향이 있는 최종 색상 스키마(470)를 도출할 수 있다.

여기서, 색상 스키마 병합부(460)는 베이스 팔레트(450)에 모든 색상을 포함하는 색상 스키마(470)를 생성하기 위해 볼록 껍질 인클로징(Convex Hull Enclosing, CHE)(463)을 사용하여 이를 달성할 수 있다. 주어진 색상을 3차원 RGB 공간에 배치하고 모든 색상 지점을 둘러싸는 볼록 껍질을 생성할 수 있다. 그런 다음, 볼록 껍질이 모든 색상 지점을 둘러싸는 동안 출력 팔레트 크기와 동일한 고정 정점 수로 단순화될 수 있다. 자주 발생하는 색상을 선택하는 클러스터링 방식과 달리, 볼록 껍질 인클로징(CHE)은 표시된 모든 색상을 포함하여 숨겨진 색상을 식별할 수 있다.

샷 길이(461)는 임의적인 것이 아니라 감독의 의도와 일치한다. 따라서 중요한 샷의 지속 시간이 길어지는 경향이 있으므로 베이스 팔레트(450)의 길이에 따라 가중치를 측정할 수 있다. 베이스 팔레트(450)를 샷 길이(461)에 따라 복제하여 RGB 공간에 삽입한다. RGB 공간에서 겹치는 색상은 볼록 껍질 형태에 영향을 주지 않기 때문에 RGB 공간 내에서 가중치를 부여해 동일 색상 수를 늘리는 것은 기하학적으로 의미가 없다. 따라서, 색상 위치의 흩뜨림(jittering)(462)에 의해 기하학적으로 가중치를 반영할 수 있으며, 다음 식과 같이 나타낼 수 있다.

여기서,

는 주어진 베이스 팔레트(450)의 RGB 색상이며,

는 [-

,

] 범위의 각 RGB 채널로 RGB 벡터를 생성하기 위한 무작위 함수이며, 실험에 대해

=10을 설정한다. 샷 길이(461)

에서 흩뜨려진 팔레트

의 생성을 반복한다. 많은 색상 지점이 가중치가 큰 위치에서 산란되는 경우, 외장 볼록 껍질에 정점이 더 많이 필요하다. 볼록 껍질 정점이 최종 색상 스키마를 구성하기 때문에, 흩뜨림(jittering)은 정확하게 가중치를 반영할 수 있다.

도 9는 다른 실시예에 따른 색상 스키마 병합부를 설명하기 위한 도면이다.

도 9를 참조하면, 베이스 팔레트(450)의 색상은 클러스터의 중심이고, 색상 스키마 병합부(460)는 베이스 팔레트(450)의 색상에 대해 추가 클러스터링을 수행하여 고유하지만 중심에서 멀리 떨어져 있는 색상을 무시하는 경향이 있는 최종 색상 스키마(470)를 도출할 수 있다.

각 장면의 색상은 필름의 대부분에서 선택되기 때문에 무시할 수 없다. 그러므로 볼록 껍질 인클로징(CHE)(465)을 사용하여 병합함으로써 베이스 팔레트(450)의 모든 색상을 포함하는 색상 스키마(470)를 생성할 수 있다. 주어진 색상을 3 차원 RGB 공간에 배치하고 볼록 껍질을 생성하여 모든 색상 지점을 둘러쌀 수 있다. 볼록 껍질은 고정된 수의 정점(464)으로 단순화되고 모든 색상 포인트를 포함할 수 있다.

그러나 볼록 껍질 정점(464)을 최종 색상 스키마(470)로 직접 사용하는 경우 포화 색상(saturated color)을 선택하고 볼록 껍질 중간에 있는 색상을 무시할 가능성이 높다. 따라서, 도 9에 도시된 바와 같이, 볼록 껍질의 정점(464)을 색상 팔레트로 직접 사용하는 대신, 볼록 껍질을 서브-껍질(sub-hull)로 분할(466)하고 각 서브-껍질의 대표 색상(467)을 최종 색상 스키마(470)로 선택할 수 있다.

중심 색상은 베이스 팔레트(450)의 모든 색상을 동일한 가중치로 평균하여 구하며, 이 정점을 v라고 할 수 있다. 볼록 껍질 메시의 면 수가 최종 팔레트 크기

와 같도록 볼록 껍질을 단순화할 수 있다. v와 각 삼각형 면을 연결하여 삼각형 피라미드 모양의

서브-껍질을 만들 수 있다. 서브-껍질의 가중치 중심에 가장 가까운 서브-껍질의 정점은 서브-껍질의 대표 색상이 될 수 있다. 가중치 중심은 노드가 속한 준-마스터 샷의 길이에 따라 서브-껍질의 각 색상 노드에 가중치를 부여하여 파생될 수 있다. 각 하위 선체의 중심은 색상 스키마(470)를 구성하는 색이 될 수 있다. 이 전략은 색상의 채도를 완화하고 존재하지 않는 색상의 선택을 방지할 수 있다.

실시예들에 따르면 디스크립터로 사용하기 위해 비디오로부터 색상 스키마를 자동으로 추출할 수 있다. 또한, 실시예들에 따르면 준-마스터 샷에서 베이스 팔레트 추출하고 단일 색상 스키마로 병합하는 2단계의 색상 스키마 추출 기술을 제공하며, 색상 클러스터링 및 볼록 껍질 인클로징 방법을 사용하여 각 방법의 장점을 활용할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부
를 포함하고,
상기 베이스 팔레트 추출부는,
키프레임을 선택하여 클러스터링 할 데이터 양을 줄이는 키프레임 선택부; 및
색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 상기 키프레임의 집합에서 베이스 팔레트를 추출하는 색상 클러스터링부
를 포함하는, 비디오로부터의 색상 스키마 추출 장치.
제1항에 있어서,
상기 준-마스터 샷 세분화부는,
같은 장소에서 촬영한 연속적인 샷과 유사한 색상을 결합하여 준-마스터 샷을 제공하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
제1항에 있어서,
상기 준-마스터 샷 세분화부는,
상기 입력된 비디오를 각 프레임에 대해 특징을 추출하고, 프레임들 사이의 유사성을 측정하여, 유사한 프레임들의 클러스터링을 통해 준-마스터 샷 경계 감지(SBD)를 수행함에 따라 복수 개의 준-마스터 샷으로 분할하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
제1항에 있어서,
상기 준-마스터 샷 세분화부는,
RGB 색상만 고려하는 ILSD(Imagelab Shot Detector) 분할 방법을 통해 복수 개의 준-마스터 샷으로 분할하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
삭제
제1항에 있어서,
상기 키프레임 선택부는,
상기 키프레임이 전체 샷 내용을 잘 캡처하도록 목적함수를 제공하고, 상기 목적함수는 각 프레임에 대한 특징(saliency), 선명도 및 대표성의 가중 합계로 정의되는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
제1항에 있어서,
상기 색상 클러스터링부는,
선택된 상기 키프레임의 특징 맵(saliency map)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
제1항에 있어서,
상기 색상 스키마 병합부는,
상기 베이스 팔레트의 색상에 대해 추가 클러스터링을 수행하여 최종적인 상기 색상 스키마를 추출하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부
를 포함하고,
상기 색상 스키마 병합부는,
볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하고, 상기 볼록 껍질 인클로징(CHE)은 복수 개의 상기 베이스 팔레트들을 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 상기 색상 스키마의 대표 색상으로 선택하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 준-마스터 샷 세분화부;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 베이스 팔레트 추출부; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 색상 스키마 병합부
를 포함하고,
상기 색상 스키마 병합부는,
볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하되, 볼록 껍질을 서브-껍질(sub-hull)로 분할하고 각 상기 서브-껍질의 대표 색상을 상기 색상 스키마의 대표 색상으로 선택하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 장치.
비디오로부터의 색상 스키마 추출 장치를 이용한 비디오로부터의 색상 스키마 추출 방법에 있어서,
입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 단계;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계
를 포함하고,
상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계는,
키프레임을 선택하여 클러스터링 할 데이터 양을 줄이는 키프레임 선택 단계; 및
색상 공간에서의 거리에 따라 픽셀을 클러스터링하고, 클러스터 중심을 대표 색상으로 선택하여 선택된 상기 키프레임의 집합에서 베이스 팔레트를 추출하는 색상 클러스터링 단계
를 포함하는, 비디오로부터의 색상 스키마 추출 방법.
제11항에 있어서,
상기 준-마스터 샷으로 분할하는 단계는,
같은 장소에서 촬영한 연속적인 샷과 유사한 색상을 결합하여 준-마스터 샷을 제공하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
제11항에 있어서,
상기 준-마스터 샷으로 분할하는 단계는,
상기 입력된 비디오를 각 프레임에 대해 특징을 추출하고, 프레임들 사이의 유사성을 측정하여, 유사한 프레임들의 클러스터링을 통해 준-마스터 샷 경계 감지(SBD)를 수행함에 따라 복수 개의 준-마스터 샷으로 분할하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
제11항에 있어서,
상기 준-마스터 샷으로 분할하는 단계는,
RGB 색상만 고려하는 ILSD(Imagelab Shot Detector) 분할 방법을 통해 복수 개의 준-마스터 샷으로 분할하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
삭제
제11항에 있어서,
상기 키프레임 선택 단계는,
상기 키프레임이 전체 샷 내용을 잘 캡처하도록 목적함수를 제공하고, 상기 목적함수는 각 프레임에 대한 특징(saliency), 선명도 및 대표성의 가중 합계로 정의되는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
제11항에 있어서,
상기 색상 클러스터링 단계는,
선택된 상기 키프레임의 특징 맵(saliency map)을 사용하여 픽셀의 시각적 주의에 따라 클러스터에 가중치를 부여하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
제11항에 있어서,
상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는,
상기 베이스 팔레트의 색상에 대해 추가 클러스터링을 수행하여 최종적인 상기 색상 스키마를 추출하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
비디오로부터의 색상 스키마 추출 장치를 이용한 비디오로부터의 색상 스키마 추출 방법에 있어서,
입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 단계;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계
를 포함하고,
상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는,
볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하고, 상기 볼록 껍질 인클로징(CHE)은 복수 개의 상기 베이스 팔레트들을 RGB 색상 공간에 대한 볼록 껍질 형상으로 변환하고 볼록 껍질 경계 정점을 상기 색상 스키마의 대표 색상으로 선택하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.
비디오로부터의 색상 스키마 추출 장치를 이용한 비디오로부터의 색상 스키마 추출 방법에 있어서,
입력된 비디오를 준-마스터 샷 경계 감지(Semi-master-shot Boundary Detection, SBD)를 통해 복수 개의 준-마스터 샷으로 분할하는 단계;
분할된 상기 준-마스터 샷에서 베이스 팔레트를 추출하는 단계; 및
각각의 상기 준-마스터 샷에서 추출된 상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계
를 포함하고,
상기 베이스 팔레트들을 병합하여 색상 스키마를 추출하는 단계는,
볼록 껍질 인클로징(Convex Hull Enclosing, CHE)을 사용하여 상기 색상 스키마를 추출하되, 볼록 껍질을 서브-껍질(sub-hull)로 분할하고 각 상기 서브-껍질의 대표 색상을 상기 색상 스키마의 대표 색상으로 선택하는 것
을 특징으로 하는, 비디오로부터의 색상 스키마 추출 방법.