KR102080694B1

KR102080694B1 - 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체

Info

Publication number: KR102080694B1
Application number: KR1020170114249A
Authority: KR
Inventors: 권순각; 이동석
Original assignee: 동의대학교 산학협력단
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2020-02-24
Anticipated expiration: 2037-09-07
Also published as: KR20190027445A

Abstract

본 발명의 실시예는 카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n(m, n은 양의 정수) 크기의 대상블록로 분할하는 단계; 상기 영상 평면 상의 참조 화면의 i*j(i 및 j는 m, n 이상의 양의 정수)영역을 탐색하여 m*n 크기의 참조블록을 선택하는 단계; 상기 대상블록 내의 제1 곡면과 상기 참조블록 내의 제2 곡면 각각을 모델링하여 상기 제1 및 제2 곡면의 정보를 검출하는 단계; 상기 제1 및 제2 곡면의 정보에 기초하여 상기 참조블록 내의 제2 곡면을 변환하는 단계; 상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하는 단계; 및 상기 차신호와 상기 대상블록과 상기 참조블록의 변위에 따른 움직임 벡터 그리고 상기 제1 및 제2 곡면 정보 중 적어도 하나를 부호화하는 단계;를 포함하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수 있다.

Description

곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체{Method and Device of Motion Estimation for Depth Video Coding by curved surface Modeling, and NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}

본 발명은 깊이 영상 부호화에서 움직임 추정 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다. 보다 상세하게는 깊이 영상 내의 객체의 형상 정보를 검출하고 객체의 형상 정보에 기초하여 깊이 영상을 부호화할 수 있는 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다.

일반적으로 움직임 추정은 색상신호 또는 명도신호에 대하여 현재화면내의 블록과 시간방향으로 이웃한 화면내에서 가장 가까운 블록을 찾는 것을 의미한다. 보통 블록크기가 작을수록 추정의 정확도가 커지지만 추정에 필요되는 복잡도가 증가되는 단점이 있다. MPEG-1,2에서는 명도신호에 대하여 수평방향으로 16화소, 수직방향으로 16화소로 블록이 구성되어 있으며, H. 264에서는 16x16, 8x8, 4x4 등의 블록크기를 가변적으로 선택할 수 있도록 하고 있다.

움직임 추정시의 평가척도로는 크게 MSE(평균제곱오차: Mean Square Error)와 MAE (평균절대오차: Mean Absolute Error)가 사용된다. 정확도는 MSE가 우수하나, 복잡도가 크기 때문에 MAE가 많이 사용되고 있다.

최근 색상신호 또는 명도신호에 대하여 적용된 움직임 추정 방법이 깊이 영상에 대해서도 적용하는 연구가 진행되고 있다. 그러나 깊이 영상은 색상 영상과 달리 시간상 흐름에서 3차원적인 움직임을 보이므로 기존 색상영상에서 평면적인 움직임만을 고려하여 움직임 벡터를 얻는 방식을 깊이 영상에 그대로 적용할 수 없다.

대한민국특허공개공보 10-2011-0121003 A1

본 발명은 깊이 신호 사이의 움직임을 추정할 수 있는 움직임 추정 방법 및 장치를 제공한다.

또한, 본 발명은 깊이 화면 내 곡면으로 이루어진 영역의 깊이 값을 통해 곡면을 추정할 수 있는 방법 및 장치를 제공한다.

또한, 본 발명은 3차원적인 움직임을 보이는 객체에 대해서도 움직임을 추정할 수 있는 움직임 추정 방법 및 장치를 제공한다.

또한, 본 발명은 곡면의 평면적인 움직임뿐만 아니라 회전, 신축 등의 3차원적인 움직임을 고려하여 움직임 벡터를 추정할 수 있는 움직임 추정 방법 및 장치를 제공한다.

또한, 상기 현재 화면 및 상기 참조 화면 중 적어도 하나의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계;를 더 포함하고, 상기 객체의 형상 정보에 기초하여 상기 대상블록 내의 제1 곡면과 상기 참조블록 내의 제2 곡면 각각을 구면, 오목면 및 타원면 중 어느 하나로 모델링하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

또한, 상기 제1 및 제2 곡면의 정보를 검출하는 단계는, 상기 카메라좌표계 상의 상기 대상블록에 대응하는 상기 객체의 좌표와 제1 미결정매개변수로 구성된 제1 방정식을 모델링하고, 상기 제1 방정식으로부터 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하며, 상기 제1 결정매개변수와 상기 대상 블록을 이루는 제1 화소들의 좌표 값에 기초하여 상기 제1 화소들 각각의 제1 예측깊이값을 결정하는 단계; 및 상기 카메라좌표계 상의 상기 참조블록에 대응하는 상기 객체의 좌표와 제2 미결정매개변수로 구성된 제2 방정식을 모델링하고, 상기 제2 방정식으로부터 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하며, 상기 제2 결정매개변수와 상기 참조 블록을 이루는 제2 화소들의 좌표 값에 기초하여 상기 제2 화소들 각각의 제2 예측깊이값을 결정하는 단계;를 포함하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

또한, 상기 참조블록 내의 제2 곡면을 변환하는 단계는, 상기 제2 예측깊이값과 상기 제2 화소들 각각의 제2 측정깊이값의 제1 오차를 연산하는 단계; 및 상기 제1 예측깊이값과 상기 제1 오차 사이의 제2 오차를 연산하는 단계;를 포함하고, 상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하는 단계는, 상기 제1 화소들 각각의 제1 측정깊이값과 상기 제2 오차의 상기 차신호를 계산하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

또한, 상기 i*j 영역 내의 복수의 m*n 크기의 참조블록들 각각과 상기 대상블록 사이의 상기 차신호를 계산하고 상기 복수의 참조블록들 중 상기 차신호의 절대오차의 합 또는 제곱오차의 합이 최소인 참조블록과 상기 대상블록 간의 변위에 따른 움직임 벡터를 생성하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

또한, 상기 움직임 벡터와 상기 제1 및 제2 결정매개변수의 차이를 부호화하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

또한, 상기 제1 및 제2 방정식은 구의 방정식, 오목면의 방정식 및 타원의 방정식 중 어느 하나인 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법을 제공할 수도 있다.

다른 측면에서, 명령들을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고, 상기 동작들은: 카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n(m, n은 양의 정수) 크기의 대상블록로 분할하고; 상기 영상 평면 상의 참조 화면의 i*j(i 및 j는 m, n 이상의 양의 정수)영역을 탐색하여 m*n 크기의 참조블록을 선택하고; 상기 대상블록 내의 제1 곡면과 상기 참조블록 내의 제2 곡면 각각을 모델링하여 상기 제1 및 제2 곡면의 정보를 검출하고; 상기 제1 및 제2 곡면의 정보에 기초하여 상기 참조블록 내의 제2 곡면을 변환하고; 상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하며; 상기 차신호와 상기 대상블록과 상기 참조블록의 변위에 따른 움직임 벡터 그리고 상기 제1 및 제2 곡면 정보 중 적어도 하나를 부호화하는; 것을 포함하는 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 장치를 제공할 수도 있다.

또 다른 측면에서, 상기 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 제공할 수도 있다.

본 발명의 실시예는 깊이 영상 내의 깊이 정보를 통해 곡면을 추정할 수 있다.

또한, 본 발명의 실시예는 구면, 오목면, 타원면과 같이 다양한 곡면 형상의 객체의 움직임의 영향을 제거하여 움직임 벡터를 추정할 수 있다.

또한, 본 발명의 실시예는 객체의 회전이나 신축을 고려하여 움직임 벡터를 추정할 수 있다.

또한, 본 발명의 실시예는 참조 블록의 곡면 모델링 인자를 대상 블록의 곡면 모델링 인자로 변환함으로써 정확한 움직임 추정이 가능하도록 한다.

도 1은 본 발명의 실시예에 따른 깊이 영상을 영상 처리 할 수 있도록 구성된 깊이영상처리장치를 도시하는 블록도이다.
도 2a는 본 발명의 실시예에 따른 움직임 추정 방법에 대한 예시적은 다이어그램이다.
도 2b는 제1 및 제2 곡면의 정보 검출의 흐름도이다.
도 2c는 제2 곡면의 변환 방법에 관한 흐름도이다.
도 3은 카메라 좌표계 상의 한점이 영상 평면으로 투영되는 것을 나타낸 것이다.
도 4는 제2 곡면의 변환에 관한 예시도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 장치를 도시하는 블록도이다.

움직임 추정 장치(100)는 영상 데이터를 데이터수신장치(200)로 제공할 수 있다.

움직임 추정 장치(100)와 데이터수신장치(200)는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다.

일부 구현예에서는, 움직임 추정 장치(100)와 데이터수신장치(200)는 무선 통신을 위한 구성(10)이 갖추어질 수 있다.

또한, 데이터수신장치(200)는 영상 처리된 영상 데이터를 컴퓨터 판독 가능 매체를 통해 수신할 수도 있다.

컴퓨터 판독 가능 매체는 움직임 추정 장치(100)로부터 영상처리된 영상 데이터를 데이터수신장치(200)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 움직임 추정 장치(100)가 영상 데이터를 데이터수신장치(200)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.

영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 데이터수신장치(200)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 움직임 추정 장치(100)로부터 데이터수신장치(200)로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 출력 인터페이스(130)로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 데이터수신장치(200)의 입력 인터페이스(230)에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 움직임 추정 장치(100)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.

데이터수신장치(200)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.

도 1의 예에서 움직임 추정 장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 또한, 움직임 추정 장치(100)는 출력 인터페이스(130)를 더 포함할 수 있다.

데이터수신장치(200)는 입력 인터페이스(230) 및 데이터처리부(220)를 포함할 수 있다. 또한, 데이터수신장치(200)는 디스플레이 디바이스(210)를 더 포함할 수 있다.

다른 예에서 움직임 추정 장치(100)와 데이터처리부(220)는 다른 컴포넌트들을 포함할 수 있다.

예를 들어 움직임 추정 장치(100)는 외부 비디오 소스, 이를테면 외부 카메라로부터 영상을 수신할 수 있고, 외부 카메라는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다. 마찬가지로, 데이터수신장치(200)는 통합형 디스플레이 디바이스(210)를 구비하기 보다는 외부 디스플레이 디바이스(210)와 인터페이싱 할 수도 있다.

움직임 추정 장치(100)의 영상 소스(110)는 깊이 영상 촬영 디바이스, 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상 콘텐츠 제공자로부터의 깊이 영상을 수신하는 인터페이스를 포함할 수도 있다.

일부 구현예에서 깊이 영상 촬영 디바이스는 장면의 깊이 정보를 256 단계의 8비트 영상 등으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 8비트가 아니라 변경될 수 있다. 깊이 영상 촬영 디바이스는 적외선 등을 이용하여 깊이 영상 촬영 디바이스로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.

깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.

움직임 추정 장치(100)와 데이터수신장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.

메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.

예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 화면의 움직임 벡터를 결정하고 깊이 화면을 부호화하기 위해 깊이 화면을 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.

상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 프로세서(122)를 포함할 수 있다.

영상처리부(120)의 프로세서(122)는 깊이 화면의 움직임 벡터를 결정하기 위한 기법들이 적용되도록 구성될 수 있다.

일부 구현예에서는, 영상처리부(120)의 프로세서(122)는 깊이 화면을 부호화하기 위한 기법들이 적용되도록 구성될 수 있다.

다른 구현예에서는 영상처리부(120)의 프로세서(122)는 깊이 화면을 부호화 및 복호화하는 기법이 적용되도록 구성될 수도 있다.

데이터처리부(220)는 영상처리부(120)로부터의 깊이 화면 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.

일부 구현예에서는, 데이터처리부(220)는 영상처리부(120)로부터의 부호화된 깊이 화면 데이터를 복호화할 수 있도록 구성될 수도 있다.

도 1에 도시되지 않았지만, 몇몇 실시예에서, 움직임 추정 장치(100)와 데이터처리장치는 통합된 장치가 될 수 있다. 이를테면 움직임 추정 장치(100)는 깊이 화면을 부호화하고, 부호화된 깊이 화면을 복호화할 수 있도록 구성될 수도 있다.

도 2a는 본 발명의 실시예에 따른 움직임 추정 방법에 대한 예시적은 다이어그램이고, 도 2b는 제1 및 제2 곡면의 정보 검출의 흐름도이고, 도 2c는 제2 곡면의 변환 방법에 관한 흐름도이다. 그리고 도 3은 카메라 좌표계 상의 한점이 영상 평면으로 투영되는 것을 나타낸 것이고, 도 4는 제2 곡면의 변환에 관한 예시도이다.

도 2a 및 도 3을 참조하면, 본 발명의 실시예에 따른 움직임 추정 방법은, 카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n(m, n은 양의 정수) 크기의 대상블록로 분할하는 단계(S110), 영상 평면 상의 참조 화면의 i*j(i 및 j는 m, n 이상의 양의 정수)영역을 탐색하여 m*n 크기의 참조블록을 선택하는 단계(S120), 현재 화면 및 참조 화면 중 적어도 하나의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계(S130), 대상블록 내의 제1 곡면과 참조블록 내의 제2 곡면 각각을 모델링하여 제1 및 제2 곡면의 정보를 검출하는 단계(S140), 제1 및 제2 곡면의 정보에 기초하여 참조블록 내의 제2 곡면을 변환하는 단계(S150), 제1 곡면과 변환된 제2 곡면 사이의 차신호를 계산하는 단계(S160), 탐색 영역내의 모든 참조 블록의 탐색 여부를 확인하는 단계(S170) 및 대상 블록의 곡면과 탐색된 모든 참조블록들 각각의 곡면들 사이에서 계산된 차신호의 절대오차의 합 또는 제곱오차의 합을 측정하는 단계(S180) 및 차신호와 대상블록과 참조블록의 변위에 따른 움직임 벡터, 제1 및 제2 곡면 정보, 결정매개변수의 차이 중 적어도 하나를 부호화하는 단계(S190)를 포함할 수 있다.

또한, S130 단계에서 검출된 객체의 형상 정보에 기초하여 대상블록 내의 제1 곡면과 참조블록 내의 제2 곡면 각각을 구면, 오목면 및 타원면 모델링 중 어느 하나의 모델링이 수행될 수 있다.

또한, 도 2b를 참조하면, 제1 및 제2 곡면의 정보를 검출하는 단계(S140)는 카메라좌표계 상의 대상블록에 대응하는 객체의 좌표와 제1 미결정매개변수로 구성된 제1 방정식을 모델링하고(S141), 제1 방정식으로부터 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하며(S142), 제1 결정매개변수와 대상 블록을 이루는 제1 화소들의 좌표 값에 기초하여 제1 화소들 각각의 제1 예측깊이값을 결정하는 단계(S143)를 포함할 수 있다. 또한, 카메라좌표계 상의 참조블록에 대응하는 객체의 좌표와 제2 미결정매개변수로 구성된 제2 방정식을 모델링하고(S145), 제2 방정식으로부터 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하며(S146), 제2 결정매개변수와 참조 블록을 이루는 제2 화소들의 좌표 값에 기초하여 제2 화소들 각각의 제2 예측깊이값을 결정하는 단계(S147)를 포함할 수 있다.

또한, 전술한 제1 및 제2 방정식은 객체의 형상 모델링 부호화 모드들 각각에 따라 달라질 수 있다.

또한, 도 2c를 참조하면, 참조블록 내의 제2 곡면을 변환하는 단계(S150)는 제2 예측깊이값과 제2 화소들 각각의 제2 측정깊이값의 제1 오차를 연산하는 단계(S151) 및 제1 예측깊이값과 제1 오차 사이의 제2 오차를 연산하는 단계(S152)를 포함할 수 있고, 제1 곡면과 변환된 제2 곡면 사이의 차신호를 계산하는 단계(S160)에서 제1 화소들 각각의 제1 측정깊이값과 제2 오차의 차신호를 계산할 수 있다.

본 발명의 실시예에 따른 움직임 추정 방법의 각 단계를 보다 상세하게 설명한다.

카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n 크기의 대상블록로 분할하는 단계(S110).

카메라 좌표계 상에서 객체의 임의의 한 점 P는 (X, Y, Z) 좌표를 가지고, 여기서 (X, Y)는 영상 평면의 (x, y) 좌표를 가진 점으로 투영되며, Z 값은 (x, y) 좌표에서의 깊이 값이 된다. 그리고 상기 깊이 값은 각 화소 단위로 표현될 수 있다.

상세하게는, 깊이 영상을 촬영할 때 촬영된 한 화면은 촬영 영역 내 각 점들이 가상의 평면인 영상 평면 위로 투영된다. 그리고 카메라 좌표계에서의 한점 P=(X, Y, Z)가 중앙을 원점으로 하는 영상 평면 내 한점인 p=(h, w)로 투영된다면, p를 포함하는 화소에서의 깊이 값이 d일 때, P와 p 사이의 관계는 수학식 1을 충족한다.

한편 S110에서 설명한 단계를 수행하기에 앞서 3차원 좌표계인 세계 좌표계(world coordinate system)와 3차원 좌표계인 카메라 좌표계(camera coordinate system)가 서로 불일치한 경우라면, 세계 좌표계를 3차원 좌표계로 변환하는 좌표 변환이 수행될 수도 있다.

또한, S110에서 설명한 단계를 수행하기에 앞서 카메라 좌표계와 영상 평면 좌표계의 중심이 일치하지 않는 경우 중심의 위치를 일치 시키기 위한 좌표 변환이 수행될 수도 있다.

[수학식 1]

X=dh/f

Y=dw/f

Z=d

수학식 1에서 f는 카메라의 초점 거리로써, 카메라 좌표계 상에서 원점과 영상 평면과의 거리로 정의한다.

움직임 추정 장치(100)의 프로세서(122)는 카메라 좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 미리 설정된 제1 크기의 블록으로 분할할 수 있다.

예를 들어 현재 화면은 m*n의 블록 단위로 분할될 수 있다. 따라서 복수의 블록 각각은 m*n 화소로 이루어진 영역으로 정의할 수 있다.

이를테면 m*n의 블록은 8*8화소나 16*16화소로 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다. 다만 이에 한정하는 것은 아니고, 프로세서(122)는 현재 화면을 분할하지 않고, 현재 화면의 움직임 추정 차신호를 계산할 수도 있다.

또한, 여기서의 미리 설정된 제1 크기는 서로 반비례하는 정확도와 복잡도를 고려하여 미리 결정될 수 있다.

예를 들어 블록의 크기가 작을수록 움직임 추정의 정확도가 증가하지만 블록의 수가 많아져 추정에 요구되는 연산의 복잡도가 증가하고 움직임 벡터의 정보가 증가한다. 따라서 정확도와 복잡도를 고려하여 블록의 제1 크기를 설정할 수 있다.

또한, 프로세서(122)는 현재 화면을 복수의 블록으로 분할하고 분할된 각 블록의 위치 및 화소 내의 깊이 값의 정보를 메모리(121)에 저장할 수 있다.

프로세서(122)는 현재 화면 및 상기 참조 화면 중 적어도 하나의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출할 수 있다(S120).

예를 들어 프로세서(122)는 현재 화면(또는 대상 블록) 및 참조 화면(또는 참조 블록) 중 적어도 하나의 화소와 해당 화소의 인접 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출할 수 있다. 화소들 각각은 깊이 값을 가지고, 화소들간의 상대적인 깊이 차이 및/또는 기준 화소와 기준 화소 주변의 화소들의 깊이 값의 분포에 기초하여 객체의 형상 정보를 검출할 수 있다.

프로세서(122)는 각 블록내의 화소 값에 기초하여 객체의 형상이 구면, 오목면, 타원면 중 어느 하나의 형상을 가지는 것으로 판단할 수 있으나 이에 한정하는 것은 아니다.

일 예로 객체의 영역 중에서 대상블록에 대응하는 영역이 구면, 곡면, 오목면, 타원면 등 형상을 가지는 경우, 대상 블록내의 임의의 화소에서 주변 화소로 갈수록 깊이 값인 Z 값이 점진적으로 증가 또는 감소 및/또는 임의의 화소에서 주변 화소로 갈수록 깊이 값의 증감 정도가 커지거나 작아지는 경우 등의 분포를 보일 수 있다. 따라서 프로세서(122)는 대상블록 내의 화소들의 깊이 값과 깊이 값의 분포 관계로부터 객체의 형상 정보를 검출할 수 있다.

프로세서(122)는 검출된 객체의 형상 정보에 기초하여 대상블록 내의 제1 곡면과 참조블록 내의 제2 곡면 각각에 대해 구면, 오목면 및 타원면 모델링 중 어느 하나의 모델링을 수행하여 대상블록과 참조블록 각각에 대한 곡면 모델링 인자를 생성할 수 있다. 또한, 프로세서(122)는 곡면 모델링 부호화 모드들 각각에 기초하여 대상블록 및 참조블록 각각의 화소들의 예측깊이값을 생성할 수 있다. 이에 대해 자세한 방법은 후술한다.

영상 평면 상의 참조 화면의 i*j 영역을 탐색하여 m*n 크기의 참조블록을 선택하는 단계(S130).

움직임 추정 장치(100)의 프로세서(122)는 카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 참조 화면의 제2 크기의 탐색 영역을 탐색할 수 있다.

여기서의 참조 화면은 현재 화면의 이전 프레임의 깊이 화면 또는 현재 화면의 다음 프레임의 깊이 화면이 될 수 있고 참조 화면의 미리 설정된 제2 크기의 탐색 영역 내에서 기준 점을 기준으로 전술한 미리 설정된 제1 크기의 참조 블록을 선택할 수 있다. 여기서의 제2 크기의 탐색 영역은 i*j의 크기가 될 수 있다.

또한, 탐색 영역의 기준 점은 현재 화면의 복수의 블록 중에서 움직임 추정 대상인 대상 블록의 위치와 공간상으로 동일한 위치가 될 수 있다. 즉, 참조 화면 내에서 대상 블록의 위치와 동일한 위치가 될 수 있다.

또한, 프로세서(122)는 기준 점을 중심으로 제2 크기의 탐색 영역에 있는 제1 크기의 참조 블록을 선택할 수 있다.

또한, 탐색 영역 내의 모든 블록들 각각을 참조 블록으로 하여 각 참조 블록에 대해 이하의 동작(S140~S160)이 수행될 수 있다.

또한, 프로세서(122)는 참조 블록의 위치 및 화소 내의 깊이 값의 정보를 메모리(121)에 저장할 수 있다.

이하 객체의 형상 정보에 따른 복수의 모델링 방법 및 각 모델링 방법에 따른 결정매개변수 생성 방법 및 예측깊이값 생성 방법을 상술한다.

- 구면 모델링

대상블록 내의 제1 곡면과 참조블록 내의 제2 곡면 각각을 모델링하여 제1 및 제2 곡면의 정보를 검출하는 단계(S140).

프로세서(122)는 제1 곡면을 모델링하기 위하여 대상블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표(X, Y, Z)와 제1 미결정매개변수(a, b, c: 카메라 좌표계 상에서 구의 중심 좌표, r: 모델링된 구의 반지름)로 구성된 수학식 2 꼴의 제1 구의 방정식을 모델링할 수 있다(S141).

또한, 프로세서(122)는 제2 곡면을 모델링하기 위하여 참조블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표와 제2 미결정매개변수(a', b', c', r')로 구성된 수학식 2 꼴의 제2 구의 방정식을 모델링할 수 있다(S145).

[수학식 2]

또한, 프로세서(122)는 제1 구의 방정식을 좌표 변환(카메라 좌표계에서 영상평면의 좌표계로)하여 제1 구의 방정식을 제1-1 구의 방정식으로 변환할 수 있다. 그리고 제1-1 구의 방정식으로부터 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성할 수 있다(S142).

마찬가지로, 프로세서(122)는 복수의 제2 구의 방정식을 좌표 변환하여 제2-1 구의 방정식으로 변환할 수 있다. 그리고 제2-1 구의 방정식으로부터 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성할 수 있다(S146).

구의 방정식을 변환하는 방법에 대해서 보다 상세하게 설명하면, 카메라 좌표계 상에서 구면으로 이루어진 영역이 영상 평면에 (h, w)좌표로 나타내는 복수의 화소로 투영될 때, 수학식 1에서 설명한 바와 같이 P의 좌표(X, Y, Z)는 삼각형의 닮음비에 따라 (dh/f, dw/f)로 표현될 수 있다. 따라서 프로세서(122)는 제1 원의 방정식을 수학식 3을 충족하는 제1-1 원의 방정식으로, 제2 원의 방정식을 제2-1 원의 방정식으로 변환할 수 있다.

[수학식 3]

수학식 3에서의 h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이다. 그리고 d는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 예측깊이값이 된다.

또한, 수학식 3은 d의 2차식인 수학식 4로 정리할 수 있다.

[수학식 4]

또한, d의 이차식으로 나타난 수학식 4의 근을 구하면, d는 수학식 5를 충족할 수 있다.

[수학식 5]

이 경우 수학식 5에서의 d는 수학식 3의 구의 매개변수 a, b, c, r이 주어졌을 때의 깊이 값으로 제1 예측깊이값으로 볼 수 있다.

마찬가지로 참조 블록에 대해서 수학식 5에서의 d는 구의 매개변수 a', b', c', r'이 주어졌을 때의 깊이 값으로 제2 예측깊이값으로 볼 수 있다.

또한, 수학식 5에서의 예측깊이값 d는 값이 결정되지 않은 예측깊이변수(대상블록에 대해서는 제1 예측깊이변수, 참조블록에 대해서는 제2 예측깊이변수)이다.

프로세서(122)는 예측깊이변수 d와 영상 평면의 화소 (h, w)에서 실제로 측정된 깊이 값

의 차이가 제일 작을 때의 결정매개변수 a, b, c, r(또는 a', b', c', r')를 구함으로써 대상블록(또는 참조블록)에서 최적의 구의 방정식의 인자를 결정할 수 있다. 그리고 프로세서(122)는 인자와 대상 블록 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 3에 대입하고 연산함에 따라 대상 블록 내의 화소

의 예측깊이변수 d의 값(예측깊이값)을 결정할 수 있어 프로세서(122)는 예측깊이값(대상블록에 대해서는 제1 예측깊이값, 참조블록에 대해서는 제2 예측깊이값)을 생성(S143, S147)할 수 있다.

이 때 프로세서(122)는 모델링된 표면의 (h, w)에서의 근사된 구면의 예측깊이변수와 실제로 측정된 깊이의 오차

가 최소가 되도록 미결정매개변수의 값을 결정하기 위해 최소자승법을 적용할 수 있다. 이 때

는 미결정매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.

가우스-뉴턴 법에서 n단계에서 대상 블록(또는 참조 블록) 내 각 화소에서의 예측깊이변수 d와 실제 측정된 깊이 값

의 차로 이루어진 행렬

과

에서의 자코비안 행렬

, 예측깊이변수 값을 나타내는

은 수학식 6를 충족한다.

[수학식 6]

,

,

또한, 가우스-뉴턴법을 적용하여 수학식 7과 같이 다음 단계의 인자 값인

을 구할 수 있다.

[수학식 7]

프로세서(122)는 수학식 7에 따른 연산을 P회 반복하여 주어진 깊이 값으로 이루어진 표면과 제일 근접한 구면을 구하고 구의 방정식의 미결정매개변수의 값을 결정하여 결정매개변수를 생성할 수 있다. 그리고 구의 인자와 대상 블록(또는 참조 블록)의 화소의 좌표 값 그리고 초점거리(f)를 수학식 3에 대입하고 연산함에 따라 대상 블록(또는 참조 블록)의 화소

의 예측깊이변수 d의 값을 결정할 수 있다. 따라서 프로세서(122)는 화소의 예측깊이값(대상블록에 대해서는 제1 예측깊이값, 참조블록에 대해서는 제2 예측깊이값)을 생성할 수 있다.

이 때 초기 매개변수

를 정함에 있어

과

값은 블록 중심의 좌표인

와

를 수학식 2에 대입하여 구할 수 있고,

은 임의의 초기값

를 대입한다.

은 블록 중심의 깊이 값

에서

을 더한 수치를 초기 값으로 할 수 있다.

- 오목면 모델링

프로세서(122)는 제1 곡면을 모델링하기 위하여 대상블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표(X, Y, Z)와 제1 미결정매개변수(a, b: 오목면의 방정식을 이루는 매개변수)로 구성된 수학식 8 꼴의 제1 오목면의 방정식을 모델링할 수 있다(S141).

또한, 프로세서(122)는 제2 곡면을 모델링하기 위하여 참조블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표와 제2 미결정매개변수(a', b')로 구성된 수학식 8 꼴의 제2 오목면의 방정식을 모델링할 수 있다(S145).

[수학식 8]

또한, 프로세서(122)는 제1 오목면의 방정식을 좌표 변환(카메라 좌표계에서 영상평면의 좌표계로)하여 제1 오목면의 방정식을 제1-1 오목면의 방정식으로 변환할 수 있다. 그리고 제1-1 오목면의 방정식으로부터 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성할 수 있다(S142).

마찬가지로, 프로세서(122)는 복수의 제2 오목면의 방정식을 좌표 변환하여 제2-1 오목면의 방정식으로 변환할 수 있다. 그리고 제2-1 오목면의 방정식으로부터 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성할 수 있다(S146).

오목면의 방정식을 변환하는 방법에 대해서 보다 상세하게 설명하면, 카메라 좌표계 상에서 곡면으로 이루어진 영역이 영상 평면에 (h, w)좌표로 나타내는 복수의 화소로 투영될 때, 수학식 1에서 설명한 바와 같이 P의 좌표(X, Y, Z)는 삼각형의 닮음비에 따라 (dh/f, dw/f)로 표현될 수 있다. 따라서 프로세서(122)는 제1 오목면의 방정식을 수학식 9를 충족하는 제1-1 오목면의 방정식으로, 제2 오목면의 방정식을 제2-1 오목면의 방정식으로 변환할 수 있다.

[수학식 9]

h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이며, d는 예측깊이변수이다. 그리고 d는 투영된 점의 Z축의 좌표이므로 곧 해당 화소에서의 예측깊이값이 된다.

또한, 프로세서(122)는 수학식 10에 따른 예측깊이변수(d)와 측정깊이값

의 차이(수학식 11에 따라)가 최소가 되도록 하는 매개변수(a, b)의 값을 결정할 수 있다.

[수학식 10]

수학식 10에서의 d는 예측깊이변수로써 수학식 9의 제1-1 오목면의 방정식의 매개변수 a, b의 값이 결정되었을 때 영상 평면의 화소들의 제1 예측깊이값이 된다.

마찬가지로 참조 블록에 대해서 수학식 10에서의 d는 오목면의 매개변수 a', b'이 주어졌을 때의 깊이 값으로 제2 예측깊이값으로 볼 수 있다.

또한, 수학식 10에서의 예측깊이값 d는 값이 결정되지 않은 예측깊이변수(대상블록에 대해서는 제1 예측깊이변수, 참조블록에 대해서는 제2 예측깊이변수)이다.

[수학식 11]

수학식 11에서 표시된 바와 같이 예측깊이변수 d와 (h, w)에서 실제로 측정된 깊이 값

의 차이(

은 오차)가 제일 작을 때의 a, b(값이 결정된 매개변수: 인자, 결정매개변수)를 구함으로써 대상블록(또는 참조블록)에서 최적의 오목 곡면의 방정식을 구하고 제1 및 제2 예측깊이변수 d의 값(예측깊이값)을 결정할 수 있어 프로세서(122)는 예측깊이값(대상블록에 대해서는 제1 예측깊이값, 참조블록에 대해서는 제2 예측깊이값)을 생성할 수 있다. 이 때 모델링된 표면의 (h, w)에서의 근사된 오목 곡면의 예측깊이변수 d와 실제로 측정된 깊이

의 오차

가 최소가 되도록 미결정매개변수의 값을 결정하기 위해 최소자승법을 적용할 수 있다. 그리고

가우스-뉴턴 법에서 n단계에서 대상 블록(또는 참조 블록)내 각 화소에서의 d와 실제 측정된 깊이 값

의 차로 이루어진 행렬

과

에서의 자코비안 행렬

, 미결정매개변수 값을 나타내는

은 수학식 12를 충족한다.

[수학식 12]

또한, 가우스-뉴턴법을 적용하여 수학식 13과 같이 다음 단계의 인자 값인

을 구할 수 있다.

[수학식 13]

프로세서(122)는 전술한 동작을 P회 반복하여 주어진 깊이 값으로 이루어진 오목면과 제일 근접한 오목면을 구하고 오목면의 방정식의 미결정매개변수의 값을 결정하여 결정매개변수를 생성할 수 있다. 그리고 프로세서(122)는 값이 결정된 인자와 대상 블록(또는 참조블록) 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 9에 대입하여 연산한다. 그리고 프로세서(122)는 대상 블록 내의 화소

의 예측깊이값 d(대상블록에 대해서는 제1 예측깊이값, 참조블록에 대해서는 제2 예측깊이값)를 결정(S143, S147)할 수 있다.

- 타원면 모델링

프로세서(122)는 제1 곡면을 모델링하기 위하여 대상블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표(X, Y, Z)와 제1 미결정매개변수(a, b, c, A, B, C는 제1 타원의 방정식을 이루는 매개변수)로 구성된 수학식 14 꼴의 제1 타원의 방정식을 모델링할 수 있다(S141).

또한, 프로세서(122)는 제2 곡면을 모델링하기 위하여 참조블록 내의 화소들 중 어느 하나의 화소로 투영될 카메라 좌표계 상의 임의의 점 P의 좌표와 제2 미결정매개변수(a', b', c', A', B', C')로 구성된 수학식 14 꼴의 제2 타원의 방정식을 모델링할 수 있다(S145).

[수학식 14]

또한, 프로세서(122)는 제1 타원의 방정식을 좌표 변환(카메라 좌표계에서 영상평면의 좌표계로)하여 제1 타원의 방정식을 제1-1 타원의 방정식으로 변환할 수 있다. 그리고 제1-1 타원의 방정식으로부터 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성할 수 있다(S142).

마찬가지로, 프로세서(122)는 복수의 제2 타원의 방정식을 좌표 변환하여 제2-1 타원의 방정식으로 변환할 수 있다. 그리고 제2-1 타원의 방정식으로부터 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성할 수 있다(S146).

타원의 방정식을 변환하는 방법에 대해서 보다 상세하게 설명하면, 카메라 좌표계 상에서 곡면으로 이루어진 영역이 영상 평면에 (h, w)좌표로 나타내는 복수의 화소로 투영될 때, 수학식 1에서 설명한 바와 같이 P의 좌표(X, Y, Z)는 삼각형의 닮음비에 따라 (dh/f, dw/f)로 표현될 수 있다. 따라서 프로세서(122)는 제1 타원의 방정식을 수학식 15를 충족하는 제1-1 타원의 방정식으로, 제2 타원의 방정식을 제2-1 타원의 방정식으로 변환할 수 있다.

[수학식 15]

h, w는 영상 평면의 수직, 수평 좌표이고, f는 초점거리이며, d는 예측깊이변수이다. 마찬가지로 참조 블록에 대해서 수학식 15에서의 d는 타원의 매개변수 a', b', c', r'이 주어졌을 때의 깊이 값으로 제2 예측깊이값으로 볼 수 있다.

또한, 프로세서(122)는 제1 예측깊이변수(d)와 대상 블록 내 화소의 제1 측정깊이값에 기초하여 제1 미결정매개변수(a, b, c, A, B, C)의 값을 결정할 수 있다. 따라서 프로세서(122)는 제1 결정매개변수(값이 결정된 a, b, c, A, B, C)를 생성할 수 있다.

마찬가지로 프로세서(122)는 제2 예측깊이변수(d)와 참조 블록 내 화소의 제2 측정깊이값에 기초하여 제2 미결정매개변수(a', b', c', A', B', C')의 값을 결정할 수 있다. 따라서 프로세서(122)는 제2 결정매개변수(값이 결정된 a', b', c', A', B', C')를 생성할 수 있다.

상세하게는, 프로세서(122)는 수학식 16에 따른 예측깊이변수(d)와 측정깊이값

의 차이(수학식 17에 따라)가 최소가 되도록 하는 결정매개변수(a, b, c, A, B, C)(또는 a', b', c', A', B', C')를 구할 수 있다.

[수학식 16]

수학식 16에서의 d는 예측깊이변수로써 수학식 15의 제2-1 타원의 방정식의 매개변수 a, b, c, A, B, C의 값이 결정되었을 때, 대상블록의 제2 좌표별로 대응하는 화소들의 예측깊이값(대상블록에 대해서는 제1 예측깊이값, 참조블록에 대해서는 제2 예측깊이값)이 될 수 있다. 다만, 현 단계에서 d의 값은 결정되지 않았으므로 예측깊이변수(대상블록에 대해서는 제1 예측깊이변수, 참조블록에 대해서는 제2 예측깊이변수)가 된다.

[수학식 17]

수학식 17에서 표시된 바와 같이 예측깊이변수 d와 (h, w)에서 실제로 측정된 깊이 값

의 차이(

은 오차)가 제일 작을 때의 a, b, c, A, B, C(값이 결정된 매개변수: 인자)를 구함으로써 대상 블록(또는 참조 블록)에서 최적의 타원의 방정식을 구하고 예측깊이변수 d의 값을 결정할 수 있다.

이 때 모델링된 표면의 (h, w)에서의 근사된 타원의 예측깊이변수 d와 실제로 측정된 깊이

의 오차

의 차로 이루어진 행렬

과

에서의 자코비안 행렬

, 미결정매개변수 값을 나타내는

은 수학식 18를 충족한다.

[수학식 18]

또한, 가우스-뉴턴법을 적용하여 수학식 19와 같이 다음 단계의 인자 값인

을 구할 수 있다.

[수학식 19]

프로세서(122)는 전술한 동작을 P회 반복하여 주어진 깊이 값으로 이루어진 타원의 객체와 제일 근접한 타원을 구하고 제1 타원의 방정식의 매개변수의 값을 결정할 수 있다. 그리고 프로세서(122)는 값이 결정된 인자와 대상 블록(또는 참조 블록) 화소 내의 좌표 값 그리고 초점거리(f)를 수학식 15에 대입 연산한다. 따라서 프로세서(122)는 대상 블록(또는 참조 블록) 내의 화소

제1 및 제2 곡면의 정보에 기초하여 참조블록 내의 제2 곡면을 변환하는 단계(S150).

도 4를 더 참조하면, 깊이 영상에서는 3차원적인 움직임을 보임에 따라 객체의 곡면 모델링 인자가 달라지는 경우가 있다. 따라서 깊이 영상에서는 이를 고려하여 움직임 추정을 수행하는 것이 바람직하다. 이러한 방법은 참조 화면 블록에서의 곡면 모델링 인자를 현재 화면 모델링 곡면 인자로 변환하여 바뀐 깊이 값을 현재 화면 블록의 깊이 값과 비교하는 것이다.

이 방법에 대해 구면으로 모델링 했을 때를 예로 들면 다음과 같다. 아래와 같이 대상 블록의 모델링 곡면의 제1 결정매개변수가 (a, b, c, r)이고, 참조 블록의 모델링 곡면의 제2 결정매개변수가 (a`,b`,c`,r`)라고 하고, 각 블록에서 모델링된 인자와 해당 좌표를 수학식 5에 대입하여 얻은 깊이 값을 현재 화면에서는 d(x,y), 참조 화면에서는 d`(x,y)라 하면 그 값은 모델링 인자를 통해 얻은 예측깊이값이다. 이 때 x, y는 전체 영상 좌표계에서의 좌표가 아닌 블록 내에서의 상대 좌표이다. 만약 블록의 크기가 4라면 x, y의 범위는 0~3가 된다.

또한, 참조 블록에서 실제로 측정된 깊이 값을

라고 하면, 이 때 참조 블록에서의 모델링된 인자를 통해 계산된 제2 예측깊이값과 실제 측정된 제2 측정깊이값 간에는 오차가 있을 수 있다. 그 오차를 e`(x,y)로 두면 그 식은 수학식 20을 충족한다.

[수학식 20]

이 때 참조 블록의 모델링 인자를 대상 블록의 모델링 인자로 변환하는 방법은 다음과 같다. 참조 블록의 제2 예측깊이값 d`(x,y)는 모델링 인자가 현재 화면의 모델링 인자로 변환된다면 대상 블록 내 같은 위치의 제1 예측깊이값 d(x,y)가 될 것이다. 또한 제2 예측깊이값과 제2 측정깊이값의 오차는 모델링 인자가 바뀐 뒤에도 같다. 따라서 프로세서(122)는 이를 이용하여 수학식 21을 통해 참조 블록에서의 곡면 모델링 인자를 대상 블록의 제1 곡면 인자로 변환하여 바뀐 깊이 값

를 구할 수 있다.

[수학식 21]

그 후 제1 곡면과 변환된 제2 곡면 사이의 차신호를 계산하는 단계(S160)에서 프로세서(122)는 제1 화소들 각각의 제1 측정깊이값과 제2 오차의 차신호를 계산할 수 있다. 즉, 대상 블록에서 실제로 측정된 제1 측정깊이값

와, 대상 블록의 모델링 인자로 변환된 참조 블록의 측정 깊이값

를 비교하여 차 신호를 구할 수 있다.

탐색 영역내의 모든 참조 블록의 탐색 여부를 확인하는 단계(S170).

또한, 이러한 과정(S160)을 참조 화면 내 탐색 영역 전체에 대해 수행하기 위하여 프로세서(122)는 탐색 영역내의 모든 참조 블록의 탐색 여부를 확인하고 탐색되지 않은 경우 탐색되지 않은 모든 참조 블록에 대해 S140 내지 S160 과정을 수행할 수 있다.

대상 블록의 곡면과 탐색된 모든 참조블록들 각각의 곡면들 사이에서 계산된 차신호의 절대오차의 합 또는 제곱오차의 합을 측정하는 단계(S180) 및 차신호와 대상블록과 참조블록의 변위에 따른 움직임 벡터, 제1 및 제2 곡면 정보, 결정매개변수의 차이 중 적어도 하나를 부호화하는 단계(S190).

프로세서(122)는 i*j영역 내의 복수의 m*n 크기의 참조블록들 각각과 대상블록 사이의 차신호를 측정하고 복수의 참조 블록들 중 차신호의 SAE(또는 SSE)가 가장 낮은 위치를 움직임 벡터로 삼고, 차신호, 대상블록과 상기 대상블록과 제일 유사한 블록으로써 움직임 벡터 결정에 대상이된 참조 블록간의 움직임 벡터 그리고 제1 및 제2 곡면의 결정매개변수의 차이를 부호화할 수 있다.

또한, 제1 및 제2 곡면의 정보를 검출하는 단계(S140)에서 결정된 곡면(구면 또는 오목면 또는 타원면)의 매개변수를 기초로 대상 블록 또는 참조 블록이 곡면(구면 또는 오목면 또는 타원면)의 일부에 해당하는지 여부를 확인하는 단계를 더 수행될 수도 있다.

보다 상세하게는, 프로세서(122)는 수학식 22와 같이 가우스-뉴턴법을 P회 적용한 뒤 얻어진 오차를 나타내는 행렬 Fp행렬 내의 모든 매개변수의 제곱 합을 더한 값 e를 계산한다. 그리고 이 때 대상 블록에서의 e와 참조 블록에서의 e가 각각 미리 설정된 임계값 T 이상일 경우에는 곡면으로 판단하여 곡면의 구체적 정보에 기초한 곡면 모델링을 수행한 움직임 추정이 적용되고, 그렇지 않은 경우 곡면 모델링을 적용한 움직임 추정 방법을 적용하지 않고 다른 움직임 추정 방법을 적용할 수 있다. 여기서의 다른 움직임 추정 방법은 공지의 움직임 추정 방법이 될 수 있으나 이에 한정하는 것은 아니다.

[수학식 22]

한편, 메모리(121)에는 수학식 1 내지 수학식 21을 전술한 바와 같이 프로세서(122)가 연산하도록 프로세서(122)에 의해 수행되는 명령어가 저장될 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

100: 움직임 추정 장치
110: 영상 소스
120: 영상처리부
121: 메모리
122: 프로세서
130: 출력인터페이스
200: 데이터수신장치
210: 디스플레이 다비이스
220: 데이터 처리부
230: 입력 인터페이스

Claims

카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n(m, n은 양의 정수) 크기의 대상블록로 분할하는 단계;
상기 영상 평면 상의 참조 화면의 i*j(i 및 j는 m, n 이상의 양의 정수)영역을 탐색하여 m*n 크기의 참조블록을 선택하는 단계;
상기 카메라좌표계 상의 상기 대상블록에 대응하는 상기 객체의 좌표와 제1 미결정매개변수로 구성된 제1 방정식을 모델링하고, 상기 제1 방정식으로부터 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하며, 상기 제1 결정매개변수와 상기 대상 블록을 이루는 제1 화소들의 좌표 값에 기초하여 상기 제1 화소들 각각의 제1 예측깊이값을 결정하여 제1 곡면의 정보를 검출하는 단계;
상기 카메라좌표계 상의 상기 참조블록에 대응하는 상기 객체의 좌표와 제2 미결정매개변수로 구성된 제2 방정식을 모델링하고, 상기 제2 방정식으로부터 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하며, 상기 제2 결정매개변수와 상기 참조 블록을 이루는 제2 화소들의 좌표 값에 기초하여 상기 제2 화소들 각각의 제2 예측깊이값을 결정하여 제2 곡면을 검출하는 단계;
상기 제2 곡면의 제2 결정매개변수를 상기 제1 곡면의 제1 결정매개변수로 변환하여 상기 참조블록 내의 제2 곡면을 변환하는 단계;
상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하는 단계; 및
상기 차신호와 상기 대상블록과 상기 참조블록의 변위에 따른 움직임 벡터 그리고 상기 제1 및 제2 곡면 정보 중 적어도 하나를 부호화하는 단계;를 포함하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
제1 항에 있어서,
상기 현재 화면 및 상기 참조 화면 중 적어도 하나의 화소들의 깊이 값에 기초하여 객체의 형상 정보를 검출하는 단계;를 더 포함하고,
상기 객체의 형상 정보에 기초하여 상기 대상블록 내의 제1 곡면과 상기 참조블록 내의 제2 곡면 각각을 구면, 오목면 및 타원면 중 어느 하나로 모델링하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
삭제
제1 항에 있어서,
상기 참조블록 내의 제2 곡면을 변환하는 단계는,
상기 제2 예측깊이값과 상기 제2 화소들 각각의 제2 측정깊이값의 제1 오차를 연산하는 단계; 및
상기 제1 예측깊이값과 상기 제1 오차 사이의 제2 오차를 연산하는 단계;를 포함하고,
상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하는 단계는, 상기 제1 화소들 각각의 제1 측정깊이값과 상기 제2 오차의 상기 차신호를 계산하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
제4 항에 있어서,
상기 i*j영역 내의 복수의 m*n 크기의 참조블록들 각각과 상기 대상블록 사이의 상기 차신호를 계산하고 상기 복수의 참조블록들 중 상기 차신호의 절대오차의 합 또는 제곱오차의 합이 최소인 참조블록과 상기 대상블록 간의 변위에 따른 움직임 벡터를 생성하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
제5 항에 있어서,
상기 움직임 벡터와 상기 제1 및 제2 결정매개변수의 차이를 부호화하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
제2 항에 있어서,
상기 제1 및 제2 방정식은 구의 방정식, 오목면의 방정식 및 타원의 방정식 중 어느 하나인
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법.
명령들을 저장하는 적어도 하나의 메모리; 및
적어도 하나의 프로세서;를 포함하고,
상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고,
상기 동작들은:
카메라좌표계 상의 객체와 배경이 투영된 영상 평면 상의 현재 화면을 m*n(m, n은 양의 정수) 크기의 대상블록로 분할하고;
상기 영상 평면 상의 참조 화면의 i*j(i 및 j는 m, n 이상의 양의 정수)영역을 탐색하여 m*n 크기의 참조블록을 선택하고;
상기 카메라좌표계 상의 상기 대상블록에 대응하는 상기 객체의 좌표와 제1 미결정매개변수로 구성된 제1 방정식을 모델링하고, 상기 제1 방정식으로부터 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하며, 상기 제1 결정매개변수와 상기 대상 블록을 이루는 제1 화소들의 좌표 값에 기초하여 상기 제1 화소들 각각의 제1 예측깊이값을 결정하여 제1 곡면의 정보를 검출하고;
상기 카메라좌표계 상의 상기 참조블록에 대응하는 상기 객체의 좌표와 제2 미결정매개변수로 구성된 제2 방정식을 모델링하고, 상기 제2 방정식으로부터 상기 제2 미결정매개변수의 값을 결정하여 제2 결정매개변수를 생성하며, 상기 제2 결정매개변수와 상기 참조 블록을 이루는 제2 화소들의 좌표 값에 기초하여 상기 제2 화소들 각각의 제2 예측깊이값을 결정하여 제2 곡면을 검출하고;
상기 제2 곡면의 제2 결정매개변수를 상기 제1 곡면의 제1 결정매개변수로 변환하여 상기 참조블록 내의 제2 곡면을 변환하고;
상기 제1 곡면과 상기 변환된 제2 곡면 사이의 차신호를 계산하며;
상기 차신호와 상기 대상블록과 상기 참조블록의 변위에 따른 움직임 벡터 그리고 상기 제1 및 제2 곡면 정보 중 적어도 하나를 부호화하는;
것을 포함하는
곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 장치.
제8 항에 따른 상기 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체.