KR102224272B1 - 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

Abstract

본 발명의 실시예는 깊이 영상 화소 각각에 대한 국소 평면을 생성하는 단계; 생성된 상기 국소 평면의 특징을 검출하는 단계; 검출된 상기 국소 평면의 특징을 이용하여 인접한 국소 평면간 유사도를 계산하는 단계; 및 상기 유사도가 소정의 유사도 이상이면 상기 인접한 국소 평면을 그룹화하고 동일 평면으로 검출하는 단계;를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

Description

깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체{METHOD AND DEVICE FOR DETECTING PLANAR SURFACE USING DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM}

본 발명은 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다. 상세하게는 본 발명은 깊이 영상에서 각각의 평면 영역을 검출하는 방법에 관한 것이다.

촬영된 영상의 거리를 나타내는 깊이 영상은 현재 SLAM(Simultaneous Localization And Mapping: 동시적 위치추정 및 지도작성), 사물 인식, 검출 및 추적 등의 분야에서 활발하게 연구되고 있다.

평면은 영상에서 중요한 기하학적 특징으로, 영상의 평면 검출은 장면이해, 영상 재구축, 물체인식 등 다양한 컴퓨터 비전 분야에서 다뤄지는 주제이다. 지금까지 영상에서 평면을 검출하기 위하여 RANSAC(Random sample consensus), Hough Transform 등을 이용한 다양한 방법이 개발되었다. 지금까지 개발된 여러 방법들은 영상의 깊이 정보를 바탕으로 한다는 공통점이 있으며, 스테레오 영상 혹은 거리계(Range Finder)를 통해 얻은 깊이 정보로 만들어진 깊이 영상 혹은 3차원 점집합을 평면 검출에 사용한다.

다만, RANSAC은 3D 공간 내의 평면이 복수 개가 아닌 단일의 평면일 때 유효하며, 복수 개의 평면을 포함하는 3D 공간의 평면 모델에서는 유효하지 못하다는 한계를 가진다.

복수 개의 평면을 추정할 수 있는 변형 기법들(variation), 이를테면 시퀀셜 RANSAC(Sequential RANSAC), 멀티 RANSAC 등이 소개되어 있으나, 여전히 최적의 솔루션을 제공하지 못하거나, 평면의 개수를 사용자가 미리 지정해야 하는 불편이 있고, 특히 노이즈가 많이 포함된 3D 정보에서는 신뢰하지 못한다.

또한, 기존의 평면 검출 방법들은 깊이를 알고 있는 모든 픽셀을 후보로 하여 평면을 검출하기 때문에 시간 복잡도가 크고, 깊이 값만을 이용하기 때문에 깊이 측정의 노이즈에 민감하다는 단점이 있다.

KR 10-2016-0086941 A1

본 발명의 일 목적은 깊이 화면 내 평면으로 이루어진 영역의 깊이 값을 통해 평면을 추정할 수 있는 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.

또한, 본 발명은 깊이 영상으로부터 3D 공간의 평면 모델을 효율적이고 정확하게 추정하는 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.

또한, 본 발명의 일 목적은 종래의 평면 검출 방식에서의 시간 복잡도가 큰 문제를 해결할 수 있는 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.

또한, 본 발명은 본 발명의 일 목적은 종래의 방식에서 깊이 값만을 이용함으로써 깊이 측정의 노이즈에 민감한 문제를 해결할 수 있는 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.

또한, 본 발명은 본 발명의 일 목적은 종래의 방식보다 정밀하게 평면을 검출하는 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.

본 발명의 실시예는 깊이 영상 화소 각각에 대한 국소 평면을 생성하는 단계; 생성된 상기 국소 평면의 특징을 검출하는 단계; 검출된 상기 국소 평면의 특징을 이용하여 인접한 국소 평면간 유사도를 계산하는 단계; 및 상기 유사도가 소정의 유사도 이상이면 상기 인접한 국소 평면을 그룹화하고 동일 평면으로 검출하는 단계;를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

다른 측면에서, 상기 국소 평면을 생성하는 단계는, 상기 깊이 영상 내 일 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 중심 변환 좌표를 생성하는 단계; 상기 깊이 영상 내 일 화소의 주변 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 제1 내지 제4 주변 변환 좌표를 생성하는 단계; 및 상기 중심 변환 좌표 및 상기 제1 내지 제4 주변 변환 좌표를 포함하는 평면을 상기 일 화소의 국소 평면으로 생성하는 단계를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 주변 화소는 상기 일 화소에서 수직 하측 방향으로 k(k는 1이상의 자연수)번째 화소인 제1 수직 주변 화소, 상기 일 화소에서 수직 상측 방향으로 k번째 화소인 제2 수직 변환 화소, 상기 일 화소에서 수평 우측 방향으로 k번째 화소인 제1 수평 주변 화소 및 상기 일 화소에서 수평 좌측 방향으로 k번째 화소인 제2 수평 주변 화소를 포함하고, 상기 제1 수직 주변 화소는 상기 제1 주변 변환 좌표로 생성되고, 상기 제2 수직 주변 화소는 상기 제2 주변 변환 좌표로 생성되고, 상기 제1 수평 주변 화소는 상기 제3 주변 변환 좌표로 생성되고, 상기 제2 수평 주변 화소는 상기 제4 주변 변환 좌표로 생성되는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 국소 평면의 특징을 검출하는 단계는, 상기 국소 평면의 제1 국소 벡터를 생성하는 단계; 상기 국소 평면의 제2 국소 벡터를 생성하는 단계; 상기 제1 국소 벡터 및 상기 제2 국소 벡터를 이용하여 상기 국소 평면의 법선 벡터를 생성하는 단계; 및 상기 중심 변환 좌표 및 상기 법선 벡터를 이용하여 상기 국소 평면과 상기 카메라의 거리인 상기 국소 평면의 특징 거리를 생성하는 단계를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 국소 벡터는 상기 중심 변환 좌표를 지나며 상기 제2 주변 변환 좌표에서 상기 제1 주변 변환 좌표를 지나는 제1 방향의 벡터이고, 상기 제2 국소 벡터는 상기 중심 변환 좌표를 지나며 상기 제4 주변 변환 좌표에서 상기 제3 주변 변환 좌표를 지나는 제2 방향의 벡터이고, 상기 법선 벡터는 상기 제1 국소 벡터와 상기 제2 국소 벡터의 외적으로 생성되는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 인접한 국소 평면간 유사도를 계산하는 단계는, 상기 일 화소의 국소 평면과 타 화소의 국소 평면의 법선 벡터를 이용한 제1 유사도를 계산하는 단계; 및 상기 일 화소의 국소 평명과 상기 타 화소의 국소 평면의 특징 거리를 이용한 제2 유사도를 계산하는 단계를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 제1 유사도는 상기 일 화소의 국소 평면과 상기 타 화소의 국소 평면의 법선 벡터의 사이각이고, 상기 제2 유사도는 상기 일 화소의 국소 평면의 특징거리와 상기 타 화소의 국소 평면의 특징거리의 차이인 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 유사도가 소정의 유사도 이상이면 상기 인접한 국소 평면을 그룹화하고 동일 평면으로 검출하는 단계는, 상기 제1 유사도가 소정의 값 이상인지 판단하는 단계; 상기 제1 유사도가 소정의 값 이상이면 상기 제2 유사도가 소정의 값 이하인지 판단하는 단계; 상기 제2 유사도가 소정의 값 이하이면 상기 일 화소와 상기 타 화소를 그룹화하는 단계; 상기 일 화소와 비교하지 않은 주변의 다른 타 화소가 존재하는지 판단하는 단계; 및 일 화소와 비교하지 않은 주변의 다른 타 화소가 존재하지 않으면 그룹화된 화소를 같은 평면으로 검출하는 단계;를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 국소 평면을 생성하는 단계는, 상기 깊이 영상 내 일 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 중심 변환 좌표를 생성하는 단계; 상기 깊이 영상 내 일 화소를 중심으로 N*N 사각형 영역의 주변 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 주변 변환 좌표들을 생성하는 단계; 및 상기 중심 변환 좌표 및 상기 주변 변환 좌표들을 포함하는 평면을 상기 일 화소의 국소 평면으로 생성하는 단계를 포함하는 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 상기 국소 평면의 특징을 검출하는 단계는, 상기 국소 평면의 제1 평균 국소 벡터를 생성하는 단계; 상기 국소 평면의 제2 평균 국소 벡터를 생성하는 단계; 상기 제1 및 제2 평균 국소 벡터를 이용하여 상기 국소 평면의 법선 벡터를 생성하는 단계; 및 상기 중심 변환 좌표 및 상기 법선 벡터를 이용하여 상기 국소 평면의 특징 거리를 생성하는 단계;를 포함하고, 상기 제1 평균 국소 벡터는 상기 국소 평면의 복수의 제1 국소 벡터의 합이고, 상기 제2 평균 국소 벡터는 상기 국소 평면의 복수의 제2 국소 벡터의 합인 깊이 영상을 통한 평면 검출 방법을 제공할 수 있다.

또 다른 측면에서, 명령들을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고, 상기 동작들은:

깊이 영상 화소 각각에 대한 국소 평면을 생성하고, 생성된 상기 국소 평면의 특징을 검출하고, 검출된 상기 국소 평면의 특징을 이용하여 인접한 국소 평면간 유사도를 계산하고, 상기 유사도가 소정의 유사도 이상이면 상기 인접한 국소 평면을 그룹화하고 동일 평면으로 검출하는 것을 포함하는 평면 검출 장치을 제공할 수 있다.

또 다른 측면에서, 상기 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체를 제공할 수도 있다.

본 발명의 실시예는 깊이 영상 내의 깊이 정보를 통해 평면을 빠르고 정확하게 추정할 수 있다.

또한, 본 발명의 실시예는 화소 단위로 평면의 영역을 검출함으로써 정밀도가 향상된다.

또한, 본 발명의 실시예는 국소 평면 단위로 평면의 인자를 계산하고, 유사한 평면 인자를 가지는 인접 국소 평면을 같은 평면으로 그룹핑하여 각 평면의 영역을 검출함으로써 데이터 처리 속도가 향상된다.

또한, 본 발명의 실시예는 깊이 영상에 노이즈가 많이 포함된 경우에도 신뢰할 수 있는 평면 추정이 가능하다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 평면 검출 장치를 도시하는 블록도이다.
도 2는 본 발명의 실시예에 따른 평면 검출 방법에 대한 예시적은 다이어그램이다.
도 3은 일 실시예에 따른 국소 평면을 생성하는 방법을 설명하기 위한 순서도이다.
도 4는 카메라 좌표계 상의 한점이 영상 평면으로 투영되는 것을 나타낸 것이다.
도 5는 깊이 영상 내의 화소들을 3차원 좌표계로 변환한 모습을 나타낸 것이다.
도 6은 일 실시예에 따른 국소 평면의 특징을 검출하는 방법을 설명하기 위한 순서도이다.
도 7은 도 6의 국소 평면의 특징인 법선 벡터를 설명하기 위한 3차원 좌표계이다.
도 8은 일 실시예에 따른 국소 평면간 유사도를 계산하는 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법을 설명하기 위한 순서도이다.
도 10은 다른 실시예에 따른 국소 평면을 생성하는 방법을 설명하기 위한 순서도이다.
도 11은 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법을 설명하기 위한 순서도이다.
도 12는 다른 실시예에 따른 국소 평면의 평균 국소 벡터를 구하기 위한 국소 평면 내의 복수의 국소 벡터를 나타낸 일 예이다.
도 13은 본 발명의 실시예에 따른 평면 검출 결과를 보여준다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 평면 검출 장치를 도시하는 블록도이다.

평면 검출 장치(100)는 영상 데이터를 데이터수신장치(200)로 제공할 수 있다.

평면 검출 장치(100)와 데이터수신장치(200)는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다.

일부 구현예에서는, 평면 검출 장치(100)와 데이터수신장치(200)는 무선 통신을 위한 구성(10)이 갖추어 질 수 있다.

또한, 데이터수신장치(200)는 영상 처리된 영상 데이터를 컴퓨터 판독 가능 매체를 통해 수신할 수도 있다.

컴퓨터 판독 가능 매체는 평면 검출 장치(100)로부터 영상처리된 영상 데이터를 데이터수신장치(200)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 평면 검출 장치(100)가 영상 데이터를 데이터수신장치(200)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.

영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 데이터수신장치(200)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 평면 검출 장치(100)로부터 데이터수신장치(200)로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 출력 인터페이스(130)로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 데이터수신장치(200)의 입력 인터페이스(220)에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 평면 검출 장치(100)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.

데이터수신장치(200)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.

도 1의 예에서 평면 검출 장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 또한, 평면 검출 장치(100)는 출력 인터페이스(130)를 더 포함할 수 있다.

데이터수신장치(200)는 입력 인터페이스(220) 및 데이터처리부(210)를 포함할 수 있다.

다른 예에서 평면 검출 장치(100)와 데이터처리부(210)는 다른 컴포넌트들을 포함할 수 있다.

예를 들어 평면 검출 장치(100)는 외부 비디오 소스, 이를테면 외부 카메라로부터 영상을 수신할 수 있고, 외부 카메라는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다.

평면 검출 장치(100)의 영상 소스(110)는 깊이 영상 촬영 디바이스, 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상 콘텐츠 제공자로부터의 깊이 영상을 수신하는 인터페이스를 포함할 수도 있다.

일부 구현예에서 깊이 영상 촬영 디바이스는 장면의 깊이 정보를 픽셀(화소)당 16비트의 정수형 자료형으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 변경될 수 있다. 깊이 영상 촬영 디바이스는 적외선 등을 이용하여 깊이 영상 촬영 디바이스로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.

깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.

평면 검출 장치(100)와 데이터수신장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.

메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.

예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상의 평면을 검출하기 위해 깊이 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위한 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.

상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 프로세서(122)를 포함할 수 있다.

영상처리부(120)의 프로세서 (122)는 깊이 영상 내의 평면을 검출하기 위한 기법들이 적용되도록 구성될 수 있다.

일부 구현예에서는, 영상처리부(120)의 프로세서(122)는 깊이 영상 내의 유사한 평면들을 그룹핑하는 기법들이 적용되도록 구성될 수도 있다.

일부 구현예에서는, 영상처리부(120)의 프로세서(122)는 깊이 영상을 부호화하기 위한 기법들이 적용되도록 구성될 수 있다.

다른 구현예에서는 영상처리부(120)의 프로세서(122)는 깊이 영상을 부호화 및 복호화하는 기법이 적용되도록 구성될 수도 있다.

데이터처리부(220)는 영상처리부(120)로부터의 깊이 영상 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.

일부 구현예에서는, 데이터처리부(220)는 영상처리부(120)로부터의 부호화된 깊이 영상 데이터를 복호화할 수 있도록 구성될 수도 있다.

도 1에 도시되지 않았지만, 몇몇 실시예에서, 평면 검출 장치(100)는 부호화 장치와 통합된 장치가 될 수 있다. 몇몇 실시예에서, 평면 검출 장치(100)와 데이터처리장치(200)는 통합된 장치가 될 수 있다. 이를테면 평면 검출 장치(100)는 깊이 화면을 부호화하고, 부호화된 깊이 화면을 복호화할 수 있도록 구성될 수도 있다.

도 2는 본 발명의 실시예에 따른 평면 검출 방법에 대한 예시적은 다이어그램이다.

도 2를 참조하면, 본 발명의 실시예에 따른 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 깊이 영상의 화소 각각에 대한 국소 평면을 생성하는 단계(S100), 평면 검출 장치(100)의 프로세서(122)가 국소 평면의 특징을 검출하는 단계(S200), 평면 검출 장치(100)의 프로세서(122)가 검출된 국소 평면의 특징을 이용하여 인접한 국소 평면간 유사도를 계산하는 단계(S300) 및 평면 검출 장치(100)의 프로세서(122)가 인접한 국소 평면이 소정의 유사도 이상이면 그룹화하고 동일 평면으로 검출하는 단계(S400)를 포함할 수 있다. 도 2 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 평면 검출 방법의 각 단계를 보다 상세하게 설명한다.

도 3은 일 실시예에 따른 국소 평면을 생성하는 방법을 설명하기 위한 순서도이고, 도 4는 카메라 좌표계 상의 한점이 영상 평면으로 투영되는 것을 나타낸 것이고, 도 5는 깊이 영상 내의 화소들을 3차원 좌표계로 변환한 모습을 나타낸 것이다.

도 3을 참조하면, 일 실시예에 따른 국소 평면을 생성하는 방법은 평면 검출 장치(100)의 프로세서(122)가 깊이 영상 내 일 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 중심 변환 좌표를 생성하는 단계(S110)를 포함할 수 있다. 보다 구체적으로, 도 4를 참조하면, 카메라 좌표계 상에서 객체의 임의의 한 점 P'는 (x`, y`, z`)좌표를 가지고, 여기서 P`(x`, y`)는 영상 평면의 P(x, y) 좌표를 가진 점으로 투영되며, z` 값은 P(x, y) 좌표에서의 깊이 값이 된다. 그리고 상기 깊이 값은 각 화소 단위로 표현될 수 있다. 상세하게는, 깊이 영상을 촬영할 때 촬영된 한 화면은 촬영 영역 내 각 점들이 가상의 평면인 영상 평면 위로 투영된다. 그리고 카메라 좌표계에서의 한점 P'≡(x`, y`, z`)가 중앙을 원점으로 하는 영상 평면 내 한점인 P=(x, y)로 투영된다면, P를 포함하는 화소에서의 깊이 값이 d일 때, P'와 P 사이의 관계는 수학식 1을 충족한다.

[수학식 1]

x`=dx/f

y`=dy/f

z`=d

수학식 1에서 f는 카메라의 초점 거리로써, 카메라 좌표계 상에서 원점과 영상 평면과의 거리로 정의한다. 일 예로, 도 5를 참조하면, 프로세서(122)는 깊이 영상 내 일 화소(P(x,y))를 수학식 1을 이용하여 3차원 좌표계인 중심 변환 좌표(Pc(x,y))로 변환할 수 있다.

일 실시예에 따른 국소 평면을 생성하는 방법은 평면 검출 장치(100)의 프로세서(122)가 깊이 영상 내 일 화소의 주변 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 제1 내지 제4 주변 변환 좌표를 생성하는 단계(S120)를 포함할 수 있다. 보다 구체적으로, 일 화소의 주변 화소는 일 화소와 인접한 위치에 있는 화소를 의미할 수 있다. 프로세서(122)는 일 화소(P(x,y))의 주변 화소 4개를 제1 내지 제4 주변 변환 좌표로 생성할 수 있다. 일 예로, 주변 화소는 일 화소에서 수직 하측 방향으로 k(k는 1이상의 자연수)번째 화소인 제1 수직 주변 화소, 일 화소에서 수직 상측 방향으로 k번째 화소인 제2 수직 주변 화소, 일 화소에서 수평 우측 방향으로 k번째 화소인 제1 수평 주변 화소, 일 화소에서 수평 좌측 방향으로 k번째 화소인 제2 수평 주변 화소를 포함할 수 있다. 프로세서(122)는 제1 수직 주변 화소를 제1 주변 변환 좌표로, 제2 수직 주변 화소를 제2 주변 변환 좌표로, 제1 수평 주변 화소를 제3 주변 변환 좌표로, 제2 수평 주변 화소를 제4 주변 변환 좌표로 변환할 수 있다.

일 실시예에 따른 국소 평면을 생성하는 방법은 평면 검출 장치(100)의 프로세서(122)가 중심 변환 좌표 및 제1 내지 제4 주변 변환 좌표를 포함하는 평면을 일 화소의 국소 평면으로 생성하는 단계(S130)를 포함할 수 있다.

도 6은 일 실시예에 따른 국소 평면의 특징을 검출하는 방법을 설명하기 위한 순서도이고, 도 7은 도 6의 국소 평면의 특징인 법선 벡터를 설명하기 위한 3차원 좌표계이다.

도 6을 참조하면, 일 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 국소 평면의 제1 국소 벡터(

)를 생성하는 단계(S210)를 포함할 수 있다. 보다 구체적으로, 국소 평면의 제1 국소 벡터(

)는 중심 변환 좌표(Pc(x,y))를 지나며 제2 주변 변환 좌표(Pc(x,y+k))에서 제1 주변 변환 좌표(Pc(x,y-k))를 지나는 제1 방향의 벡터 일 수 있다. 일 예로, 제1 방향은 수직 하측 방향 또는 수직 하측 방향에 가까운 방향일 수 있다. 제1 국소 벡터(

)는 Pc(x,y-k)-Pc(x, y+k)로 나타낼 수 있다.

일 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 국소 평면의 제2 국소 벡터(

)를 생성하는 단계(S220)를 포함할 수 있다. 보다 구체적으로, 국소 평면의 제2 국소 벡터(

)는 중심 변환 좌표(Pc(x,y))를 지나며 제4 주변 변환 좌표(Pc(x-k,y))에서 제3 주변 변환 좌표(Pc(x+k,y))를 지나는 제2 방향의 벡터 일 수 있다. 일 예로, 제2 방향은 수평 우측 방향 또는 수평 우측 방향에 가까운 방향일 수 있다. 제2 국소 벡터(

)는 Pc(x+k,y)-Pc(x-k, y)로 나타낼 수 있다.

일 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 제1 국소 벡터(

) 및 제2 국소 벡터(

)를 이용하여 일 화소(P)에 대한 국소 평면의 법선 벡터(n(x,y))를 생성하는 단계(S230)를 생성하는 단계를 포함할 수 있다. 보다 구체적으로, 법선 벡터(n(x,y))는 수학식 2에 따라 제1 국소 벡터(

)와 제2 국소 벡터(

)의 외적으로 구할 수 있다.

[수학식 2]

이에 제한되는 것은 아니고, 법선 벡터(n(x,y))는 제2 국소 벡터(

)와 제1 국소 벡터(

)의 곱으로 순서를 달리하여 구할 수 있다.

일 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 중심 변환 좌표(Pc(x,y)) 및 법선 벡터(n(x,y))를 이용하여 국소 평면과 카메라의 거리인 국소 평면의 특징 거리(

)를 생성하는 단계(S240)를 포함할 수 있다. 보다 구체적으로, 중심 변환 좌표(Pc(x,y))의 국소 평면의 법선 벡터(n(x,y))의 성분을 (

)이라고 했을 때, 중심 변환 좌표(Pc(x,y))를 지나고 법선 벡터(n(x,y))를 가지는 평면은 수학식 3과 같이 표현 할 수 있다.

[수학식 3]

이 때, 국소 평면의 카메라로부터의 거리인 특징 거리(

)는 수학식 4를 통해 계산될 수 있다.

[수학식 4]

도 8은 일 실시예에 따른 국소 평면간 유사도를 계산하는 방법을 설명하기 위한 순서도이다.

도 8을 참조하면, 일 실시예에 따른 국소 평면간 유사도를 계산하는 방법은, 평면 검출 장치(100)의 프로세서(122)가 일 화소의 국소 평면과 타 화소의 국소 평면의 법선 벡터를 이용한 제1 유사도(U) 계산하는 단계(S310)을 포함할 수 있다. 보다 구체적으로, 제1 유사도(U)는 일 화소의 국소 평면의 법선벡터(n(x,y))과 타 화소의 국소 평면의 법선벡터(m(x,y))의 사이각으로 결정될 수 있다. 일 예로 제1 유사도(U)는 수학식 5에 따라 결정될 수 있다.

[수학식 5]

또한, 일 실시예에 따른 국소 평면간 유사도를 계산하는 방법은, 평면 검출 장치(100)의 프로세서(122)가 일 화소의 국소 평면과 타 화소의 국소 평면의 특징 거리를 이용한 제2 유사도(D) 계산하는 단계(S320)을 포함할 수 있다. 보다 구체적으로 제2 유사도(D)는 일 화소의 국소 평면의 특징거리(Dn)과 타 화소의 국소 평면의 특징거리(Dm)의 차이로 결정될 수 있다. 일 예로, 제2 유사도(D)는 수학식 6에 따라 결정될 수 있다.

[수학식 6]

도 9는 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법을 설명하기 위한 순서도이다.

도 9를 참조하면, 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 제1 유사도(U)가 소정의 값 이상인지 판단하는 단계(S410)을 포함할 수 있다. 보다 구체적으로, 제1 유사도(U)는 수준에 따라서 미리 설정될 수 있고, 메모리(121)의 프로그래밍을 통해 조절될 수 있다.

또한, 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 제1 유사도(U)를 만족하면 제2 유사도(D)가 소정의 값 이하인지 판단하는 단계(S420, S430)을 포함할 수 있다. 보다 구체적으로, 제1 유사도(U)를 만족하는 것은 제1 유사도(U)가 소정의 값 이상인 경우 일 수 있다. 프로세서(122)는 제1 유사도(U)를 만족하지 않는다고 판단하면 일 화소와 비교하지 않은 주변의 다른 타 화소와 비교하는 단계(S420, S470)를 수행할 수 있다. 즉 프로세서(122)는 일 화소와 다른 타 화소의 제1 유사도(U)가 소정의 값 이상인지 판단할 수 있다(S470, S410).

또한, 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 제2 유사도(D)를 만족하면 일 화소와 타 화소를 그룹화 하는 단계(S440, S450)을 포함할 수 있다. 보다 구체적으로, 제2 유사도(D)를 만족하는 것은 제2 유사도(D)가 소정의 값 이하인 경우일 수 있다. 제2 유사도(D)는 수준에 따라서 미리 설정될 수 있고, 메모리(121)의 프로그래밍을 통해 조절될 수 있다. 프로세서(122)는 제2 유사도(D)를 만족하지 않는다고 판단하면 일 화소와 비교하지 않은 주변의 다른 타 화소와 비교하는 단계(S440, S470)를 수행할 수 있다. 즉 프로세서(122)는 일 화소와 다른 타 화소의 제1 유사도(U)가 소정의 값 이상인지 판단할 수 있다(S470, S410).

또한, 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 일 화소와 비교하지 않은 주변의 다른 타 화소가 존재하는지 판단하는 단계(S460)를 포함할 수 있다. 프로세서(122)는 일 화소와 비교하지 않은 주변의 다른 타 화소가 존재하면 일 화소와 비교하지 않은 주변의 다른 타 화소와 비교하는 단계(S460, S470)를 수행할 수 있다. 즉 프로세서(122)는 일 화소와 다른 타 화소의 제1 유사도(U)가 소정의 값 이상인지 판단할 수 있다(S470, S410).

또한, 일 실시예에 따른 국소 평면간 유사도에 따른 그룹화를 통한 평면 검출 방법은, 평면 검출 장치(100)의 프로세서(122)가 일 화소와 비교하지 않은 주변의 다른 타 화소가 존재하지 않으면 그룹화된 화소를 같은 평면으로 검출하는 단계(S480)를 포함할 수 있다. 본 발명의 실시예는 깊이 영상 내의 깊이 정보를 통해 평면을 빠르고 정확하게 추정할 수 있다.

따라서, 본 발명의 일 실시예는 화소 단위로 평면의 영역을 검출함으로써 정밀도가 향상된다. 또한, 본 발명의 실시예는 국소 평면 단위로 평면의 인자를 계산하고, 유사한 평면 인자를 가지는 인접 국소 평면을 같은 평면으로 그룹핑하여 각 평면의 영역을 검출함으로써 데이터 처리 속도가 향상된다. 또한, 본 발명의 실시예는 깊이 영상에 노이즈가 많이 포함된 경우에도 신뢰할 수 있는 평면 추정이 가능하다.

일부 실시예에서, 프로세서(122)는 전술한 과정에 따라 깊이 영상 내에 복수의 화소들 중 국소 평면의 제1 및 제2 유사도를 만족하는 화소들을 그룹핑하여 평면이 검출될 수 있고, 이러한 그룹핑으로 구성된 평면은 복수개가 검출될 수 있다. 깊이 영상 내에서 복수의 평면들이 검출되는 것은 검출된 평면들간에 제1 및 제2 유사도를 충족하지 못하는 경우라 할 수 있다. 즉, 검출된 복수의 평면들은 서로 하나의 평면으로 그룹핑되지 않는 평면들이다. 검출된 평면들은 다른 응용의 사용을 위해 각 평면 영역의 정보를 다른 응용 프로그램에 전달될 수 있다. 여기서 평면의 정보는 가령 검출된 평면의 개수, 각 평면의 깊이 영상 내에서의 좌상단의 위치, 깊이 영상 내에서의 평면의 높이와 너비가 될 수 있다. 프로세서(122)는 이러한 다른 소프트웨어의 요청에 응답하여 평면의 정보를 제공할 수 있다.하나의 깊이 영상 내의 복수의 평면들에 대해 보다 구체적으로 설명하면, 프로세서(122)는 평면들 중 어느 하나의 평면에 포함된 화소의 국소 평면들의 각각의 특징 거리 정보를 이용하여 해당 평면 내의 모든 화소들의 특징 거리의 평균 값을 생성할 수 있다. 예시적으로, 프로세서(122)는 제1 평면 내의 제1 화소들의 특징 거리에 대한 제1 평균 값을 생성하고, 제2 평면 내의 제2 화소들의 특징 거리에 대한 제2 평균 값을 생성할 수 있다. 프로세서(122)는 제1 및 제2 평균 값의 차이 정보를 저장할 수 있다. 여기서의 제1 및 제2 평균 값의 차이 정보는 전술한 프로세서(122)가 사용자에게 제공하는 평면들 분포 정보들 중 하나가 될 수 있다. 실시예는, 깊이 영상 내에 복수의 촬영 면에 평면을 가진 복수의 물체가 존재하는 경우 이들 물체간의 분포 정보를 제공할 수 있다. 따라서, 촬영 영역 내에 서로 단차를 가지는 물체가 존재하는 경우 해당 단차 정보를 검출할 수 있다. 예를들어, 공간에 배치된 책상을 촬영하는 경우 책상의 상면과 공간의 바닥면의 높이 차이를 검출함으로써 책상의 높이를 추정할 수 있다. 뿐만 아니라, 평면을 가지는 물체의 단차 정보를 추정함으로써 물체에 대한 다양한 정보를 얻는데 기초 자료로 사용할 수 있다.

도 2, 도 10 내지 도 13을 참조하여 본 발명의 다른 실시예에 따른 평면 검출 방법의 각 단계를 보다 상세하게 설명한다. 본 발명의 다른 실시예는 본 발명의 일 실시예와 같은 설명은 제외하고 차이가 나는 국소 평면을 생성하는 방법과 국소 평면의 특징을 검출하는 방법을 중점으로 설명한다.

도 10은 다른 실시예에 따른 국소 평면을 생성하는 방법을 설명하기 위한 순서도이다.

도 10을 참조하면, 다른 실시예에 따른 국소 평면을 생성하는 방법은, 평면 검출 장치(100)의 프로세서(122)가 깊이 영상 내 일 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 중심 변환 좌표를 생성하는 단계(S1110)를 포함할 수 있다. 일 예로, 도 5를 참조하면, 프로세서(122)는 깊이 영상 내 일 화소(P(x,y))를 수학식 1을 이용하여 3차원 좌표계인 중심 변환 좌표(Pc(x,y))로 변환할 수 있다.

또한, 다른 실시예에 따른 국소 평면을 생성하는 방법은, 평면 검출 장치(100)의 프로세서(122)가 깊이 영상 내 일 화소를 중심으로 N*N(N은 3, 5, 7, …) 사각형 영역의 주변 화소에 대한 카메라를 원점으로 하는 3차원 좌표계의 주변 변환 좌표들을 생성하는 단계(S1120)을 포함할 수 있다. 이에, 다른 실시예는 잡음이 많은 깊이 영상에서 정확한 국소 평면을 구할 수 있게 한다. 보다 구체적으로, 프로세서(122)는 일 화소(P(x,y))를 중심으로 N*N 사각형 영역 내 외곽에 위치한 화소들을 주변 화소들로 정의하고 주변 화소들을 복수의 주변 변환 좌표로 생성할 수 있다. 일 예로, 복수의 주변 변환 좌표는 4(N-1)개 일 수 있다.

또한, 다른 실시예에 따른 국소 평면을 생성하는 방법은, 평면 검출 장치(100)의 프로세서(122)가 중심 변환 좌표 및 주변 변환 좌표들을 포함하는 평면을 일 화소의 국소 평면으로 생성하는 단계(S1130)를 포함할 수 있다.

도 11은 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법을 설명하기 위한 순서도이고, 도 12는 다른 실시예에 따른 국소 평면의 평균 국소 벡터를 구하기 위한 국소 평면 내의 복수의 국소 벡터를 나타낸 일 예이다.

도 11을 참조하면, 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 국소 평면의 제1 평균 국소 벡터(

)를 생성하는 단계(S1210)을 포함할 수 있다. 보다 구체적으로, 제1 평균 국소 벡터(

)는 국소 평면의 복수의 제1 국소 벡터의 평균 일 수 있다. 복수의 제1 국소 벡터는 주변 변환 좌표들 중 상측에 위치한 주변 변환 좌표들과 하측에 위치한 주변 변환 좌표들이 각각 쌍을 이루어 상측 주변 변환 좌표에서 하측 주변 변환 좌표로 향한 수직 성분의 벡터들일 수 있다. 이에 제한되는 것은 아니고, 복수의 제1 국소 벡터는 주변 변환 좌표들 중 하측에 위치한 주변 변환 좌표들과 상측에 위치한 주변 변환 좌표들이 각각 쌍을 이루어 하측 주변 변환 좌표에서 상측 주변 변환 좌표로 향한 수직 성분의 벡터들일 수 있다. 또한, 복수의 제1 국소 벡터 중 임의의 제1 국소 벡터(

)는 수학식 7에 따라 결정될 수 있다.

[수학식 7]

일 예로, 도 12를 참조하면, 프로세서(122)는 N=3이면 수학식 7에 따라 3개의 제1 국소 벡터(

)를 결정할 수 있다. 제1 평균 국소 벡터(

)는 수학식 8에 따라 복수의 제1 국소 벡터들을 합하여 각 벡터가 가지는 방향의 평균 방향을 가지도록 생성될 수 있다.

[수학식 8]

또한, 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 국소 평면의 제2 평균 국소 벡터(

)를 생성하는 단계(S1220)을 포함할 수 있다. 보다 구체적으로, 제2 평균 국소 벡터(

)는 국소 평면의 복수의 제2 국소 벡터의 평균 일 수 있다. 복수의 제2 국소 벡터는 주변 변환 좌표들 중 좌측에 위치한 주변 변환 좌표들과 우측에 위치한 주변 변환 좌표들이 각각 쌍을 이루어 좌측 주변 변환 좌표에서 우측 주변 변환 좌표로 향한 수평 성분의 벡터들일 수 있다. 이에 제한되는 것은 아니고, 복수의 제2 국소 벡터는 주변 변환 좌표들 중 우측에 위치한 주변 변환 좌표들과 좌측에 위치한 주변 변환 좌표들이 각각 쌍을 이루어 우측 주변 변환 좌표에서 좌측 주변 변환 좌표로 향한 수평 성분의 벡터들일 수 있다. 또한, 복수의 제2 국소 벡터 중 임의의 제2 국소 벡터(

)는 수학식 7에 따라 결정될 수 있다. 일 예로, 도 12를 참조하면, 프로세서(122)는 N=3이면 수학식 7에 따라 3개의 제2 국소 벡터(

)를 결정할 수 있다. 제2 평균 국소 벡터(

)는 수학식 8에 따라 복수의 제2 국소 벡터들을 합하여 각 벡터가 가지는 방향의 평균 방향을 가지도록 생성될 수 있다.

또한, 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 제1 평균 국소 벡터(

) 및 제2 평균 국소 벡터(

)를 이용하여 일 화소(P)에 대한 국소 평면의 법선 벡터(

)를 생성하는 단계(S1230)를 생성하는 단계를 포함할 수 있다. 보다 구체적으로, 법선 벡터(

)는 수학식 9에 따라 제1 평균 국소 벡터(

)와 제2 평균 국소 벡터(

)의 외적으로 구할 수 있다.

[수학식 9]

이에 제한되는 것은 아니고, 법선 벡터(

)는 제2 평균 국소 벡터(

)와 제1 평균 국소 벡터(

)의 곱으로 순서를 달리하여 구할 수 있다.

또한, 다른 실시예에 따른 국소 평면의 특징을 검출하는 방법은 평면 검출 장치(100)의 프로세서(122)가 중심 변환 좌표(Pc(x,y)) 및 법선 벡터(

)를 이용하여 국소 평면과 카메라의 거리인 국소 평면의 특징 거리(

)를 생성하는 단계(S1240)를 포함할 수 있다. 보다 구체적으로, 중심 변환 좌표(Pc(x,y))의 국소 평면의 법선 벡터(

)의 성분을 (

)이라고 했을 때, 중심 변환 좌표(Pc(x,y))를 지나고 법선 벡터(n(x,y))를 가지는 평면은 수학식 3과 같이 표현 할 수 있다. 이 때, 국소 평면의 카메라로부터의 거리인 특징 거리(

)는 수학식 4를 통해 계산될 수 있다.

도 13은 본 발명의 실시예에 따른 평면 검출 결과를 보여준다.

도 13을 참조하면, 본 발명은 평면 검출 장치(100)를 이용한 결과물에서 나타난 바와 같이 매우 높은 정확도로 깊이 영상 내의 평면 검출이 가능하다. 따라서, 본 발명의 실시예는 화소 단위로 평면의 영역을 검출함으로써 정밀도가 향상된다. 또한, 본 발명의 실시예는 국소 평면 단위로 평면의 인자를 계산하고, 유사한 평면 인자를 가지는 인접 국소 평면을 같은 평면으로 그룹핑하여 각 평면의 영역을 검출함으로써 데이터 처리 속도가 향상된다. 또한, 본 발명의 실시예는 깊이 영상에 노이즈가 많이 포함된 경우에도 신뢰할 수 있는 평면 추정이 가능하다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 수학식 1 내지 수학식 9를 전술한 바와 같이 프로세서(122)가 연산하도록 프로세서(122)에 의해 수행되는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

100: 평면 검출 장치
110: 영상 소스
120: 영상처리부
121: 메모리
122: 프로세서
130: 출력인터페이스
200: 데이터수신장치
210: 데이터 처리부
220: 입력 인터페이스

Claims (12)

1. 3차원 좌표계로 변환된 깊이 영상 내의 화소들 중 일 화소와 상기 일 화소를 중심으로 사각형 영역의 주변 화소를 포함하는 국소 평면을 생성하는 단계;
   상기 사각형 영역 내에서 상기 일 화소를 중심으로 상측에 위치한 주변 화소와 하측에 위치한 주변 화소를 지나는 복수의 수직 벡터들의 제1 평균 국소 벡터 및 상기 일 화소를 중심으로 좌측에 위치한 주변 화소와 우측에 위치한 주변 화소를 지나는 복수의 수평 벡터들의 제2 평균 국소 벡터의 외적에 따른 상기 국소 평면의 법선 벡터를 검출하고, 상기 일 화소의 좌표와 상기 법선 벡터를 가지는 평면을 검출하고 수학식 1에 따른 카메라로부터 상기 평면까지의 거리인 특징 거리를 검출하는 단계;
   상기 국소 평면에서의 법선 벡터와 상기 일 화소와 인접한 타 화소를 포함한 다른 국소 평면의 법선 벡터의 수학식 2에 따른 사이각 및 상기 국소 평면에서의 특징 거리와 상기 다른 국소 평면에서의 특징 거리의 차이에 기초하여 상기 국소 평면과 상기 다른 국소 평면의 유사도를 계산하는 단계;
   상기 유사도가 소정의 유사도 이상이면 상기 국소 평면와 상기 다른 국소 평면을 서로 그룹화하는 단계;
   상기 일 화소와 비교하지 않은 주변의 다른 타 화소의 존부를 판단하여 상기 다른 타 화소가 존재하지 않으면 이미 그룹화된 국소 평면들을 하나의 평면의 영역으로 검출하는 단계;
   서로 간에는 그룹화되지 않은 복수의 그룹화된 평면을 검출하는 단계; 및
   상기 복수의 그룹화된 평면 각각의 특징 거리의 평균 값을 서로 비교하여 상기 깊이 영상 내의 객체들의 단차 정보를 추정하는 단계;
   를 포함하는 깊이 영상을 통한 평면 검출 방법.
   수학식 1
   

   

   
   수학식 2
   

   

   
   수학식 1에서 (xc, yc)는 상기 일 화소의 좌표 값이고, zc는 상기 일 화소의 깊이값이며, (an, bn, cn)은 상기 법선 벡터의 성분이고, 수학식 2에서 n은 국소 평면의 법선 벡터이고 m은 다른 국소 평면의 법선 벡터이다.
2. 제1 항에 있어서,
   상기 주변 화소는 상기 일 화소를 중심으로 N*N(N은 3이상의 홀수) 사각형 영역 내 외곽에 위치한 화소들인
   깊이 영상을 통한 평면 검출 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제1 항에 있어서,
   상기 사이각은 제1 유사도이고, 상기 특징 거리의 차이는 제2 유사도이고,
   상기 제1 유사도가 소정의 값 이상인지 판단하고,
   상기 제1 유사도가 소정의 값 이상이면 상기 제2 유사도가 소정의 값 이하인지 판단하고,
   상기 제2 유사도가 소정의 값 이하이면 상기 국소 평면과 상기 다른 국소 평면을 그룹화하는
   깊이 영상을 통한 평면 검출 방법.
8. 삭제
9. 삭제
10. 삭제
11. 명령들을 저장하는 적어도 하나의 메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고,
    상기 동작들은:
    3차원 좌표계로 변환된 깊이 영상 내의 화소들 중 일 화소와 상기 일 화소를 중심으로 사각형 영역의 주변 화소를 포함하는 국소 평면을 생성하고,
    상기 사각형 영역 내에서 상기 일 화소를 중심으로 상측에 위치한 주변 화소와 하측에 위치한 주변 화소를 지나는 복수의 수직 벡터들의 제1 평균 국소 벡터 및 상기 일 화소를 중심으로 좌측에 위치한 주변 화소와 우측에 위치한 주변 화소를 지나는 복수의 수평 벡터들의 제2 평균 국소 벡터의 외적에 따른 상기 국소 평면의 법선 벡터를 검출하고, 상기 일 화소의 좌표와 상기 법선 벡터를 가지는 평면을 검출하고 수학식 3에 따른 카메라로부터의 상기 평면의 특징 거리를 검출하고,
    상기 국소 평면에서의 법선 벡터와 상기 일 화소와 인접한 타 화소를 포함한 다른 국소 평면의 법선 벡터의 수학식 4에 따른 사이각 및 상기 국소 평면에서의 특징 거리와 상기 다른 국소 평면에서의 특징 거리의 차이에 기초하여 상기 국소 평면과 상기 다른 국소 평면의 유사도를 계산하고,
    상기 유사도가 소정의 유사도 이상이면 상기 국소 평면와 상기 다른 국소 평면을 서로 그룹화하고,
    상기 일 화소와 비교하지 않은 주변의 다른 타 화소의 존부를 판단하여 상기 다른 타 화소가 존재하지 않으면 이미 그룹화된 국소 평면들을 하나의 평면의 영역으로 검출하고,
    서로 간에는 그룹화되지 않은 복수의 그룹화된 평면을 검출하며,
    상기 복수의 그룹화된 평면 각각의 특징 거리의 평균 값을 서로 비교하여 상기 깊이 영상 내의 객체들의 단차 정보를 추정하는
    것을 포함하는
    평면 검출 장치.
    수학식 3
    

    

    
    수학식 4
    

    

    
    수학식 3에서 (xc, yc)는 상기 일 화소의 좌표 값이고, zc는 상기 일 화소의 깊이값이며, (an, bn, cn)은 상기 법선 벡터의 성분이고, 수학식 4에서 n은 국소 평면의 법선 벡터이고 m은 다른 국소 평면의 법선 벡터이다.
12. 제11 항에 따른 상기 명령들을 저장하는 비일시적 컴퓨터 판독가능 기록 매체.

Images