[go: up one dir, main page]

KR101371826B1 - 신축 움직임 추정장치 및 그 추정방법 - Google Patents

신축 움직임 추정장치 및 그 추정방법 Download PDF

Info

Publication number
KR101371826B1
KR101371826B1 KR1020120122836A KR20120122836A KR101371826B1 KR 101371826 B1 KR101371826 B1 KR 101371826B1 KR 1020120122836 A KR1020120122836 A KR 1020120122836A KR 20120122836 A KR20120122836 A KR 20120122836A KR 101371826 B1 KR101371826 B1 KR 101371826B1
Authority
KR
South Korea
Prior art keywords
information
block
depth
depth information
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120122836A
Other languages
English (en)
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020120122836A priority Critical patent/KR101371826B1/ko
Application granted granted Critical
Publication of KR101371826B1 publication Critical patent/KR101371826B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

신축 움직임 추정장치 및 그 추정방법이 개시된다. 본 발명에 따른 신축 움직임 추정장치는, 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득하는 정보 획득부; 정보 획득부에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출하는 평균 산출부; 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산하는 신축비율 계산부; 및 신축비율 계산부에 의해 계산된 신축비율에 따라 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 산출하는 차신호 산출부를 포함하는 것을 특징으로 한다.

Description

신축 움직임 추정장치 및 그 추정방법{Zoom Motion Estimation Apparatus and Method}
본 발명은 신축 움직임 추정장치 및 그 추정방법에 관한 것으로서, 보다 상세하게는 색상 카메라와 깊이 카메라를 이용하여 간단하게 신축 움직임을 추정하는 신축 움직임 추정장치 및 그 추정방법에 관한 것이다.
동영상 부호화 표준으로 H.264 및 MPEG-4 Part 10 부호화 기법이 제정되었으며, 현재에는 HEVC 표준이 완료 단계에 있다. 동영상 부호화에서 움직임 추정 및 보상 방법은 시간방향의 중복성을 제거하기 위해 필수적으로 사용된다. H.264, HEVC 등에서는 움직임 추정을 위해서 현재 화면 내의 블록(공간방향으로 이웃한 화소들의 묶음)과 시간방향으로 이웃한 참조 화면 내에서 가장 가까운 블록을 찾는 블록정합 방법을 사용하고 있다.
블록정합 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면내 탐색영역의 크기, 현재 블록의 크기 등이 고려되어야 한다. 움직임 추정은 동영상 부호화에서 구현 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정방법에 대한 연구가 진행되어 왔다. 이러한 블록정합 움직임 추정은 카메라의 좌우 이동 및 영상 속 객체의 공간 이동 등에는 추정의 정확도가 높지만, 영상 신축에는 정확도가 떨어질 수밖에 없다.
영상의 신축 움직임은 현재 화면이 참조 화면에서 확대 또는 축소되는 것을 의미하며, 확대 및 축소에 해당되는 신축 비율을 정확하게 추출하기 위해서는 가능한 모든 신축비율을 적용할 수밖에 없다. 또한, 가능한 신축비율의 수가 너무 많기 때문에 모든 경우를 적용하기에는 불가능하다. 따라서, 구현의 복잡도를 줄이기 위한 방법에 대한 연구가 진행되어 왔다.
신축 움직임 추정에서 첫 번째 단계에는 선택된 몇 개의 화소들에 대하여 간략하게 움직임을 추정하고, 두 번째 단계에서 모든 화소에 대하여 정확도를 높이는 방법, 계산 효율, 정확도 등을 고려한 반복적 최소-자승 추정에 대한 다양한 개선방법, 보간된 참조 화면을 이용하는 방법, 3-D 다이어몬드 탐색 패턴을 사용하여 움직임 추정을 단순화하는 방법 등이 제안되었다.
그러나, 기존 대부분의 연구는 카메라의 색상 정보만을 사용하기 때문에 정확한 신축 움직임 벡터를 추정하는 것에 어려움에 있고, 추정의 복잡도를 줄이는 데에도 한계가 있을 수밖에 없다.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 색상 카메라와 깊이 카메라를 이용하여 간단하게 신축 움직임을 추정하는 신축 움직임 추정장치 및 그 추정방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 신축 움직임 추정장치는, 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득하는 정보 획득부; 상기 정보 획득부에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출하는 평균 산출부; 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산하는 신축비율 계산부; 및 상기 신축비율 계산부에 의해 계산된 신축비율에 따라 상기 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 산출하는 차신호 산출부를 포함하는 것을 특징으로 한다.
상기 정보 획득부는, 상기 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 상기 깊이 카메라로부터 카메라와 객체 사이의 거리정보를 획득할 수 있다.
또한, 상기 정보 획득부는, 상기 색상정보를 화소 단위로 획득하며, 상기 깊이정보를 mm 단위로 획득할 수 있다.
상기 깊이 카메라는 비행시간(TOF: Time-of-Flight) 방식으로 작동하는 적외선 펄스 레이저로 구현될 수 있다.
상기 신축비율 계산부는 다음의 식에 기초하여 신축비율 S를 계산할 수 있다.
Figure 112012089627379-pat00001
여기서, Pc는 현재화면이고 Pr는 참조화면이며,
Figure 112012089627379-pat00002
는 현재블록 내 각 화소의 깊이정보로부터 산출된 블록의 평균 깊이정보를 의미하고,
Figure 112012089627379-pat00003
는 참조블록에 대한 평균 깊이정보를 의미하며,
Figure 112012089627379-pat00004
,
Figure 112012089627379-pat00005
,
Figure 112012089627379-pat00006
는 상수값을 의미한다.
신축 움직임 추정장치는,
Figure 112012089627379-pat00007
=0으로 가정하여 다음과 같은 관계식을 얻을 수 있다.
Figure 112012089627379-pat00008
.
이때,
Figure 112012089627379-pat00009
이면, S>1로 되어 참조블록은 확대되고,
Figure 112012089627379-pat00010
이면, S<1로 되어 참조블록은 축소된다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 신축 움직임 추정방법은, 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득하는 단계; 상기 색상정보 및 깊이정보 획득단계에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출하는 단계; 상기 평균 산출단계에 의해 산출되는 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산하는 단계; 및 상기 신축비율 계산단계에 의해 계산된 신축비율에 따라 상기 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 산출하는 단계를 포함하는 것을 특징으로 한다.
상기 색상정보 및 깊이정보 획득단계는, 상기 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 상기 깊이 카메라로부터 카메라와 객체 사이의 거리정보를 획득할 수 있다.
또한, 상기 색상정보 및 깊이정보 획득단계는, 상기 색상정보를 화소 단위로 획득하며, 상기 깊이정보를 mm 단위로 획득할 수 있다.
상기 깊이 카메라는 비행시간(TOF: Time-of-Flight) 방식으로 작동하는 적외선 펄스 레이저로 구현될 수 있다.
상기 신축비율 계산단계는 다음의 식에 기초하여 신축비율 S를 계산할 수 있다.
Figure 112012089627379-pat00011
여기서, Pc는 현재화면이고 Pr는 참조화면이며,
Figure 112012089627379-pat00012
는 현재블록 내 각 화소의 깊이정보로부터 산출된 블록의 평균 깊이정보를 의미하고,
Figure 112012089627379-pat00013
는 참조블록에 대한 평균 깊이정보를 의미하며,
Figure 112012089627379-pat00014
,
Figure 112012089627379-pat00015
,
Figure 112012089627379-pat00016
는 상수값을 의미한다.
신축 움직임 추정방법은,
Figure 112012089627379-pat00017
=0으로 가정하여 다음과 같은 관계식을 얻을 수 있다.
Figure 112012089627379-pat00018
.
이때,
Figure 112012089627379-pat00019
이면, S>1로 되어 참조블록은 확대되고,
Figure 112012089627379-pat00020
이면, S<1로 되어 참조블록은 축소될 수 있다.
본 발명에 따르면, 깊이 카메라로부터 현재블록과 참조블록 사이의 거리 정보를 얻고, 이 거리 정보로부터 두 블록사이의 신축 비율을 계산함으로써, 신축 비율에 맞게 참조블록을 신축시켜 움직임 추정 차신호를 줄일 수 있게 된다.
또한, 본 발명에 따르면, 신축 움직임 추정을 위한 복잡도가 크지 않으면서 움직임 추정 정확도를 높이는 것이 가능하다.
도 1은 다이어몬드 객체의 거리별 화소수 측정의 예를 설명하기 위해 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 신축 움직임 추정장치를 개략적으로 도시한 도면이다.
도 3은 영상의 특정 시간의 두 화면을 나타낸 도면이다.
도 4는 P-화면에 대한 신축 비율을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 신축 움직임 추정방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 발명을 설명하기에 앞서 깊이정보와 색상정보의 관계를 살펴본다.
객체가 카메라로부터 가까이 있으면 해당되는 색상정보는 확대가 되고, 반대로 카메라로부터 멀어지면 색상정보는 축소되므로, 객체와 카메라 사이의 거리 정보를 고려하여 색상정보의 신축 비율을 결정할 수 있다. 다만, 사용되는 깊이 및 색상 카메라의 특징을 파악해야 한다. 본 발명에서는 Kinect 깊이 및 색상 카메라를 이용하며, 실험을 통하여 두 카메라 사이의 관계를 조사한다.
깊이 카메라는 비행시간(TOF: Time-of-Flight) 방식으로 작동하는 적외선 펄스 레이저로 구현될 수 있다. 여기서, 적외선 펄스 레이저는 적외선 레이저 다이오드를 포함하며, 다이오드에서 방출된 펄스광은 공간으로 조사되고 피사체의 표면에서 산란된 후에 적외선 펄스 레이저의 광검출기에서 검출할 때까지의 시간이 측정된다. 이 시간을 측정함으로써 객체와의 거리를 측정할 수 있다. 측정된 피사체의 거리 정보는 화면으로 구성되며, 화면은 각 화소(pixel) 별로 구성된다.
본 발명의 실시예에서는, 도 1과 같이 다이어몬드 형태의 객체를 1m에서 4m 사이에 배치하고, 50cm 간격으로 이동하면서, 깊이 정보와 색상 정보를 조사하였다. 색상 정보는 다이어몬드 수평 대각선 방향의 화소 수를 측정하였다.
거리(R)에 따라 측정된 화소수(P)는 Fitting 알고리즘을 바탕으로 수학식 1과 같이 근사화될 수 있음을 확인하였다.
[수학식 1]
Figure 112012089627379-pat00021
여기서,
Figure 112012089627379-pat00022
,
Figure 112012089627379-pat00023
,
Figure 112012089627379-pat00024
는 상수값이며,
Figure 112012089627379-pat00025
=221.65,
Figure 112012089627379-pat00026
=0.9,
Figure 112012089627379-pat00027
=-9.65로 조사되었다. Kinect 카메라가 올바르게 작동하는 거리 범위가 1m~4m 사이임을 고려하여 그 범위 내로 국한하여 조사하였다.
현재까지 동영상 표준화 기법은 움직임 추정을 위해서 블록정합 방법이 사용되고 있다. 본 발명에서는 블록정합과 연계되어 사용할 수 있는 신축 움직임 추정방법을 제안한다.
블록정합은 현재화면을 특정 크기로 나누고 참조화면에서 가장 가까운 블록을 추정하는 과정이다. 움직임 추정을 위한 현재 화면내 블록크기는 작을수록 추정의 정확도가 커지지만 추정에 필요되는 복잡도가 증가되고, 추가적으로 전송되는 움직임벡터가 증가되는 단점이 있다. H.264에서는 16x16, 8x8, 4x4 등으로 블록크기를 가변적으로 선택할 수 있도록 하고 있다.
도 2는 본 발명의 실시예에 따른 신축 움직임 추정장치를 개략적으로 도시한 도면이다.
도 2를 참조하면, 신축 움직임 추정장치(100)는, 정보 획득부(110), 평균 산출부(120), 신축비율 계산부(130) 및 차신호 산출부(140)를 포함할 수 있다.
정보 획득부(110)는 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득한다. 정보 획득부(110)는 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 깊이 카메라로부터 카메라와 객체 사이의 깊이정보 즉, 거리정보를 획득한다. 여기서, 색상정보는 화소 단위이며, 깊이정보는 mm 단위가 일반적이다.
한편, 동영상 움직임 추정을 위해서는 움직임 부호화를 위한 현재화면과 움직임 탐색이 이루어지는 참조화면이 필요하다. 참조화면은 현재화면보다 이전 또는 이후 시간이 모두 가능하다. 이때, 현재화면은 특정 크기의 블록단위로 움직임이 추정된다.
평균 산출부(120)는 정보 획득부(110)에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출한다. 즉, 평균 산출부(120)는 현재화면 내의 해당되는 블록에 대한 색상정보를 가져오고 깊이정보는 블록의 평균값을 구한다. 마찬가지로 참조화면에서도 탐색되는 블록에 대한 색상정보를 가져오고 깊이정보는 블록의 평균값을 구한다.
신축비율 계산부(130)는 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산한다.
차신호 산출부(140)는 신축비율 계산부(130)에 의해 계산된 신축비율에 따라 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 구한다.
구체적인 설명은 다음과 같다.
평균 산출부(120)는 현재블록 내 각 화소의 깊이 정보로부터 블록의 평균 깊이정보
Figure 112012089627379-pat00028
를 구하며 또한, 참조블록에 대해서도 평균 깊이정보
Figure 112012089627379-pat00029
를 구한다.
신축비율 계산부(130)는 수학식 1로부터 현재 및 참조 블록에 대한 거리 정보별 화소수를 구하고, 현재블록을 기준으로 기준블록의 신축 비율 (S)을 수학식 2와 같이 구한다.
[수학식 2]
Figure 112012089627379-pat00030
차신호 산출부(140)는 신축비율을 고려하여 참조블록을 확대 또는 축소하며, 확대 또는 축소된 참조블록에 대하여 현재블록과 움직임 추정 차 신호를 구한다.
이때, 수학식 2를 직접 적용할 수 있으나,
Figure 112012089627379-pat00031
=-9.65의 값이 작으므로
Figure 112012089627379-pat00032
=0으로 가정하면, 수학식 3과 같이 간단한 관계식이 얻어진다.
[수학식 3]
Figure 112012089627379-pat00033
즉, 신축 비율은 현재블록과 참조블록의 거리 비율에 직접적으로 관계됨을 알 수 있다. 이때,
Figure 112012089627379-pat00034
이면, S>1로 되어 참조블록은 확대되고,
Figure 112012089627379-pat00035
이면, S<1로 되어 참조블록은 축소된다.
Kinect 깊이 및 색상 카메라를 사용하여 실제 영상을 획득하고 신축비율을 측정하였다. 영상은 카메라로부터 1m와 4m 거리에서 사람이 자연스럽게 카메라를 기준으로 앞 뒤로 움직이는 특징을 갖는다.
도 3은 영상의 특정 시간의 두 화면을 나타낸다. 각 화면은 수평방향으로 640화소, 수직방향으로 480화소로 구성되어있으며, 초당 30화면으로 총 120화면을 모의실험에 사용하였다.
수학식 3으로 계산한 현재블록과 참조블록 사이의 신축비율은 도 4에 나타낸 바와 같다. 여기서, 움직임 추정은 H.264 IBP 구조에서 움직임 추정을 사용하였으며, 참조블록은 참조화면의 탐색영역 내에서 현재블록과 움직임 보상에 사용되는 블록을 의미한다. 연속하는 P-화면에 대한 신축비율만을 나타내는 것으로서 신축비율로부터 확대, 감소, 확대가 이루어지고 있음을 알 수 있으며, 1.02 이상의 확대도 존재하고, 0.95 이하의 감소도 존재한다.
도 5는 본 발명의 실시예에 따른 신축 움직임 추정방법을 나타낸 흐름도이다.
도 1 내지 도 5를 참조하면, 정보 획득부(110)는 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득한다(S110). 이때, 정보 획득부(110)는 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 깊이 카메라로부터 카메라와 객체 사이의 깊이정보 즉, 거리정보를 획득한다.
평균 산출부(120)는 정보 획득부(110)에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출한다(S120). 즉, 평균 산출부(120)는 현재화면 내의 해당되는 블록에 대한 색상정보를 가져오고 깊이정보는 블록의 평균값을 구한다. 마찬가지로 참조화면에서도 탐색되는 블록에 대한 색상정보를 가져오고 깊이정보는 블록의 평균값을 구한다.
신축비율 계산부(130)는 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산한다(S130).
차신호 산출부(140)는 신축비율 계산부(130)에 의해 계산된 신축비율에 따라 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 구한다(S140).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득하는 정보 획득부;
    상기 정보 획득부에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출하는 평균 산출부;
    현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산하는 신축비율 계산부; 및
    상기 신축비율 계산부에 의해 계산된 신축비율에 따라 상기 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 산출하는 차신호 산출부
    를 포함하는 것을 특징으로 하는 신축 움직임 추정장치.
  2. 제 1항에 있어서,
    상기 정보 획득부는,
    상기 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 상기 깊이 카메라로부터 카메라와 객체 사이의 거리정보를 획득하는 것을 특징으로 하는 신축 움직임 추정장치.
  3. 제 1항에 있어서,
    상기 정보 획득부는,
    상기 색상정보를 화소 단위로 획득하며, 상기 깊이정보를 mm 단위로 획득하는 것을 특징으로 하는 신축 움직임 추정장치.
  4. 제 1항에 있어서,
    상기 깊이 카메라는 비행시간(TOF: Time-of-Flight) 방식으로 작동하는 적외선 펄스 레이저로 구현되는 것을 특징으로 하는 신축 움직임 추정장치.
  5. 제 1항에 있어서,
    상기 신축비율 계산부는 다음의 식에 기초하여 신축비율 S를 계산하는 것을 특징으로 하는 신축 움직임 추정장치:
    Figure 112014004762154-pat00036

    여기서, Pc는 현재화면 내의 현재블록 내 화소에 대한 깊이 정보이고 Pr는 참조화면 내의 참조블록 내 화소에 대한 깊이 정보이며,
    Figure 112014004762154-pat00037
    는 현재블록 내 각 화소의 깊이정보로부터 산출된 블록의 평균 깊이정보를 의미하고,
    Figure 112014004762154-pat00038
    는 참조블록에 대한 평균 깊이정보를 의미하며,
    Figure 112014004762154-pat00039
    ,
    Figure 112014004762154-pat00040
    ,
    Figure 112014004762154-pat00041
    는 상수값을 의미함.
  6. 제 5항에 있어서,
    Figure 112012089627379-pat00042
    =0으로 가정하여 다음과 같은 관계식을 얻는 것을 특징으로 하는 신축 움직임 추정장치:
    Figure 112012089627379-pat00043
    .
  7. 제 6항에 있어서,
    Figure 112012089627379-pat00044
    이면, S>1로 되어 참조블록은 확대되고,
    Figure 112012089627379-pat00045
    이면, S<1로 되어 참조블록은 축소되는 것을 특징으로 하는 신축 움직임 추정장치.
  8. 색상 카메라로부터 색상정보를 획득하고, 깊이 카메라로부터 깊이정보를 획득하는 단계;
    상기 색상정보 및 깊이정보 획득단계에 의해 획득되는 색상정보 및 깊이정보에 기초하여, 현재화면 내의 블록에 대한 색상정보와 깊이정보의 평균, 및 참조화면 내의 탐색블록에 대한 색상정보와 깊이정보의 평균을 산출하는 단계;
    상기 평균 산출단계에 의해 산출되는 현재블록과 참조블록에 대한 깊이정보의 평균값으로부터 신축비율을 계산하는 단계; 및
    상기 신축비율 계산단계에 의해 계산된 신축비율에 따라 상기 참조화면을 확대 또는 축소하여 현재블록과 참조블록 사이의 움직임 추정 차신호를 산출하는 단계
    를 포함하는 것을 특징으로 하는 신축 움직임 추정방법.
  9. 제 8항에 있어서,
    상기 색상정보 및 깊이정보 획득단계는,
    상기 색상 카메라로부터 동영상의 RGB 또는 YUV 색상정보를 획득하며, 상기 깊이 카메라로부터 카메라와 객체 사이의 거리정보를 획득하는 것을 특징으로 하는 신축 움직임 추정방법.
  10. 제 8항에 있어서,
    상기 색상정보 및 깊이정보 획득단계는,
    상기 색상정보를 화소 단위로 획득하며, 상기 깊이정보를 mm 단위로 획득하는 것을 특징으로 하는 신축 움직임 추정방법.
  11. 제 8항에 있어서,
    상기 깊이 카메라는 비행시간(TOF: Time-of-Flight) 방식으로 작동하는 적외선 펄스 레이저로 구현되는 것을 특징으로 하는 신축 움직임 추정방법.
KR1020120122836A 2012-11-01 2012-11-01 신축 움직임 추정장치 및 그 추정방법 Active KR101371826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120122836A KR101371826B1 (ko) 2012-11-01 2012-11-01 신축 움직임 추정장치 및 그 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120122836A KR101371826B1 (ko) 2012-11-01 2012-11-01 신축 움직임 추정장치 및 그 추정방법

Publications (1)

Publication Number Publication Date
KR101371826B1 true KR101371826B1 (ko) 2014-03-12

Family

ID=50647990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122836A Active KR101371826B1 (ko) 2012-11-01 2012-11-01 신축 움직임 추정장치 및 그 추정방법

Country Status (1)

Country Link
KR (1) KR101371826B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906173B1 (ko) * 2017-06-05 2018-10-10 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
KR102169166B1 (ko) 2019-04-30 2020-10-22 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
KR102245740B1 (ko) 2019-10-31 2021-04-27 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261650A (ja) * 1996-03-22 1997-10-03 Oki Electric Ind Co Ltd 動きベクトル検出装置
KR20050082252A (ko) * 2004-02-18 2005-08-23 삼성전자주식회사 객체 추적 방법 및 그 장치
KR20120039936A (ko) * 2010-10-18 2012-04-26 선문대학교 산학협력단 비디오 신호의 고정밀 움직임 추정 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261650A (ja) * 1996-03-22 1997-10-03 Oki Electric Ind Co Ltd 動きベクトル検出装置
KR20050082252A (ko) * 2004-02-18 2005-08-23 삼성전자주식회사 객체 추적 방법 및 그 장치
KR20120039936A (ko) * 2010-10-18 2012-04-26 선문대학교 산학협력단 비디오 신호의 고정밀 움직임 추정 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 : 방송공학회(2012) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906173B1 (ko) * 2017-06-05 2018-10-10 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
KR102169166B1 (ko) 2019-04-30 2020-10-22 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치
KR102245740B1 (ko) 2019-10-31 2021-04-27 동의대학교 산학협력단 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101336139B1 (ko) 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
Čech et al. Scene flow estimation by growing correspondence seeds
US9123115B2 (en) Depth estimation based on global motion and optical flow
US9171372B2 (en) Depth estimation based on global motion
KR101893771B1 (ko) 3d 정보 처리 장치 및 방법
KR101452172B1 (ko) 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템
ES2652132T3 (es) Método y aparato para codificar y descodificar un bloque de textura mediante el uso de partición de bloque basada en la profundidad
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
US20190051036A1 (en) Three-dimensional reconstruction method
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
WO2013054499A1 (ja) 画像処理装置、撮像装置および画像処理方法
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
CN101923717B (zh) 一种对快速运动目标的特征点准确跟踪的方法
KR100888081B1 (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
Anderson et al. Augmenting depth camera output using photometric stereo.
US11348271B2 (en) Image processing device and three-dimensional measuring system
KR101371826B1 (ko) 신축 움직임 추정장치 및 그 추정방법
CN107820019A (zh) 虚化图像获取方法、装置及设备
KR101367673B1 (ko) 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
JP2017103564A (ja) 制御装置、制御方法、およびプログラム
US9082176B2 (en) Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion
US20170214935A1 (en) Method and device for processing a video sequence
KR101866106B1 (ko) 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121101

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131121

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140128

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140303

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140303

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190304

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220128

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230313

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240131

Start annual number: 11

End annual number: 11