KR20150075481A

KR20150075481A - 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템

Info

Publication number: KR20150075481A
Application number: KR1020130163480A
Authority: KR
Inventors: 최해철; 한국희
Original assignee: 한밭대학교 산학협력단
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2015-07-06
Anticipated expiration: 2033-12-26
Also published as: KR101541421B1

Abstract

본 발명은 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템에 관한 것으로, 보다 더 구체적으로는 사용자가 MPEG-U part 2에 규정된 AUI (advanced user interface) 데이터 포맷의 하나의 패턴을 표현하는 제스처를 취하면, 펴진 모든 손가락의 위치와 길이를 검출하고 그 후 하나 또는 두 손의 자세와 접힌 손가락 수로부터 손 자세를 인식하며, MPEG-U 스키마 구조로서 사용자의 손 자세를 표현하는 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템에 관한 것이다.
본 발명의 일실시예에 따른 손 자세 인식 기반 사용자 인터페이스 시스템은 손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식부; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성부를 포함하는 것을 특징으로 한다.

Description

손 자세 인식 기반 사용자 인터페이스 방법 및 시스템 {Method and System for providing user interaction interface using hand posture recognition}

본 발명은 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템에 관한 것으로, 보다 더 구체적으로는 사용자가 MPEG-U part 2에 규정된 AUI (advanced user interface) 데이터 포맷의 하나의 패턴을 표현하는 제스처를 취하면, 펴진 모든 손가락의 위치와 길이를 검출하고 그 후 하나 또는 두 손의 자세와 접힌 손가락 수로부터 손 자세를 인식하며, MPEG-U 스키마 구조로서 사용자의 손 자세를 표현하는 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템에 관한 것이다.

최근에 HCI (human computer interaction) 분야에서는 인간과 기계 사이의 인터페이스를 위하여 많은 기술들이 개발되고 있다. HCI를 위한 종래의 인터페이스 방법은 키보드나 마우스와 같은 스위치 기반 혹은 포인팅 디바이스들을 이용한 방법이다. 그러나 이러한 방법은 자연스러운 상호작용을 이루지 못하는 단점이 있다. 자연스러운 상호작용을 이루기 위해서는 인간의 의사소통 체계와 같은 특징을 지녀야 할 것이다. 인간의 의사소통 수단으로 음성을 많이 이용하지만, 음성과 함께 손의 제스처도 많이 이용하고 있다. 종래의 기술에 따르면 사람은 80% 이상의 정보를 시각을 통해서 획득하므로 시각적 인터페이스는 다양한 인터페이스 방법 중에서 사람들에게 가장 익숙하고 편리한 방법으로 생각되고 있다. 사람과 기계간에 시각 인터페이스가 가능하기 위해서는 손의 제스처나 자세에 의해 표현되는 사용자의 의도를 인식하기 위한 기술이 필요하다. 더구나, 자연스러운 인터페이스로서 인식 결과를 이용하는 실제적인 상호작용 시스템이 개발되어야 하고, 다양한 기계와 호환성을 요구한다.

손 인식에 관한 다양한 연구가 있다. 많은 손 인식 방법들은 피부 톤과 같은 컬러 정보에 기초하여 손의 영역을 분할한다. 그러나 컬러 정보에 의존하는 방법들은 밝기 변화와 인종의 피부색과 같은 실제적인 환경에 민감하다. 보다 효과적으로 손 영역을 검출하기 위해서는 특정 글러버나 손목 보호대와 같은 보조 도구를 착용하는 방법, 3차원 손 모델이 사용되는 방법 및 2차원 이미지 데이터와 깊이 정보를 가지는 3차원 이미지 데이터가 사용되고 있다.

손의 자세를 정확히 인식하기 위해서는 손가락들이 또한 인식되어야 한다. 손가락들을 검출하기 위해서는 손에 후처리 과정을 거쳐야 한다. 이러한 후처리 방법에는 기울기 정보를 기반으로 손가락 사이의 굴곡 정보를 검출하는 방법, Convex Hull 기반의 Convexity Defects를 이용한 방법, 능동형상 모델과 에지 정보를 이용해 손가락 형상 모델과의 매칭 확률을 이용한 검출 방법, 계산된 손바닥 포즈 정보를 기반으로 화소의 끊어진 횟수를 세는 방법 등 다양한 방법이 있다.

자연스럽고 친숙한 사용자 인터페이스를 제공하기 위해서 자연스러운 인터페이스로서 손 자세를 고려할 필요가 있다. 다양한 환경 변화에 따른 손 검출의 강인성은 깊이 정보를 포함하는 3차원 이미지 데이터에 기반하여 실현될 수 있다. 깊이 정보는 2개 이상의 카메라 또는 깊이 센서를 이용하여 얻어질 수 있다. 최근에 적정 가격으로 이용할 수 있는 깊이 카메라들이 많아지고 있고, 또한 깊이 카메라가 장착된 스마트한 기기들이 출시되고 있는 추세이다. 그래서 깊이 카메라의 사용은 글러버나 손목 보호대와 같은 보조 도구를 사용하는 것 보다 더 실제적인 해결책이다. 손가락 검출을 위해서 Convex Hull 기반의 Convexity Defects를 이용할 수 있는데, 이것은 잡음에 강인하고 상대적으로 낮은 계산 복잡도를 필요로 한다.

사용자 인터페이스 시스템에서 고려되어야 하는 포인터 중 하나는 다양한 기기들간의 상호연동이다. 사용자의 손 제스처나 손 자세를 나타내는 종래의 사용자 데이터 포맷은 커스터마이즈된 소프트웨어나 하드웨어 플랫폼에 서로 다르게 규정되어 있어서 다양한 기계들과 호환이 없다. 그래서, ISO/IEC JTC1/SC29/WG11 MPEG (Moving Picture Experts Group)에서는 AUI (향상된 사용자 상호작용 인터페이스) 인터페이스 데이터 포맷이 표준화되고 있고, 표준화 프로젝트는 MPEG-U part 2 AUI Interface라고 불린다. MPEG-U part 2의 목적은 인터페이스에서 표준으로 정의된 데이터 포맷을 제공함에 의해 효과적인 상호연동과 인터페이스 방법을 지원하는 것이다. MPEG-U part 2에서 상기 언급된 AUI 인터페이스 데이터 포맷은 XML (extensible markup language) 기반 스키마 구조에 따라서 정의된다. XML의 설계 목표는 단순성, 범용성, 및 인터넷 상에서의 이용가능성이다. 비록 XML의 설계는 문서에 집중하지만 웹 서비스와 같은 독자적인 데이터 구조의 표현을 위해 널리 사용된다.

따라서 서로 다른 기계들간 상호연동 할 수 있는 MPEG-U part 2 기반 AUI 인터페이스 시스템을 개발할 필요가 있다.

[특허문헌1]국내공개특허 제10-2012-0106608호 : 향상된 사용자 상호작용 인터페이스 방법 및 장치 [특허문헌2]국내공개특허 제10-2013-0008452호 : 사용자 인터페이스 구현 방법 및 이러한 방법을 사용하는 장치 [특허문헌3]국내공개특허 제10-2013-0068191호 : 모션 추적 기반 3차원 인터페이스 장치 및 그 방법

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명에서는 손 자세를 사용하여 자연스러운 인터페이스를 제공하는 MPEG-U 기반 AUI 인터페이스 방법 및 시스템의 제공을 그 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 손 자세 인식 기반 사용자 인터페이스 시스템은 손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식부; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성부를 포함하는 것을 특징으로 한다.

바람직하게는, 손 자세 인식부는 검출모듈과 인식모듈로 구성되고, 검출모듈은 KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하고, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하고, 검출된 전체 손 영역 중에 최소 손 영역 검출하며, 손목 지점을 찾은 다음으로 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하며, 거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾고, Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 것을 특징으로 한다.

바람직하게는, 상기 인식모듈은 검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하고, 엄지, 검지, 중지, 약지 및 소지를 인식하고, 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 것을 특징으로 한다.

더 바람직하게는, 상기 인식모듈은 검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되며, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되며, 손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 손의 뼈대가 만들어지며, 각 뼈대의 길이 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 L_S1와 L_S2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되며, 엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하며, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되고, 손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 것을 특징으로 한다.

더 바람직하게는, 손 자세 인식부는 실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 한다.

바람직하게는, 상기 MPEG-U XML 생성부는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하며, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하고, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 손 자세 인식 기반 사용자 인터페이스 방법은 손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식 단계; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 손 자세 인식 단계는 검출단계와 인식단계를 포함하여 구성되고, 상기 검출단계는 KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하는 과정, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하는 과정, 검출된 전체 손 영역 중에 최소 손 영역 검출하는 과정, 손목 지점을 찾고, 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하는 과정, 거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾는 과정, 및 Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 과정을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 인식단계는 검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하는 과정, 엄지, 검지, 중지, 약지 및 소지를 인식하는 과정, 및 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 과정을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 인식단계는 검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되고, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되는 과정, 손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 손의 뼈대가 만들어지는 과정, 각 뼈대의 길이 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 L_S1와 L_S2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되는 과정, 엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하는 과정, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되는 과정, 및 손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 과정을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 손 자세 인식 단계는 실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 한다.

바람직하게는, 상기 MPEG-U XML 생성 단계는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하는 과정, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하는 과정, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 과정을 포함하는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 컴퓨터로 판독 가능한 기록매체는 손 자세 인식 기반 사용자 인터페이스 방법을 실행하는 프로그램을 기록한 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명의 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템은 손 자세를 사용하여 자연스러운 인터페이스를 제공하는 MPEG-U 기반 AUI 인터페이스 방법 및 시스템을 제공하는 효과가 있다.

또한, 본 발명은 손가락 검출을 위해서 Convex Hull 기반의 Convexity Defects를 이용하여 잡음에 강인하고 상대적으로 낮은 계산 복잡도를 제공하는 효과가 있다.

또한 본 발명은 서로 다른 기계들간 상호연동 할 수 있는 MPEG-U part 2 기반 AUI 인터페이스 시스템을 제공한다.

도 1은 손 자세 인식 기반 사용자 인터페이스 시스템을 도시한 도면이다.
도 2(a)는 Candescent NUI를 이용하여 손 검출의 결과를 보여준다.
도 2(b)는 라인 피팅 알고리즘을 적용하여 손목 검출의 결과를 보여준다.
도 2(c)는 손 영역의 최적 사각형 검출 결과를 보여준다.
도 2(d)는 거리 변환 알고리즘을 적용하여 최적 사각형의 중심을 검출한 결과를 보여준다.
도 2(e)는 Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락 검출의 결과를 보여준다.
도 3은 본 발명의 손가락 뼈대 인식 알고리즘의 수행과정을 도시한 것이다.
도 4는 사용자가 Rect 자세를 가지는 때 파싱된 MPEG-U part 2 기하학적 패턴의 Rect XML을 도시한 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성된다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세하게 설명한다. 본 발명은 손 자세를 사용하여 자연스러운 인터페이스를 제공하는 MPEG-U 기반 AUI 인터페이스 시스템에 관한 것이다. 손 자세는 깊이 카메라, 가령 KINECT를 이용하여 인식된다.

도 1은 손 자세 인식 기반 사용자 인터페이스 시스템을 도시한 도면이다. 도 1에서 보듯이, 본 발명의 시스템(100)은 2개의 부분, 즉 손 자세 인식부(120)와 MPEG-U XML 생성부(130)로 구성된다. 상기 손 자세 인식 기반 사용자 인터페이스 시스템에서 손 자세 인식부(120)는 입력 이미지(110)로부터 손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식한다. 상기 MPEG-U XML 생성부(130)는 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱한다.

손 자세 인식부(120)는 검출모듈(121)과 인식모듈(122)로 구성된다. 검출모듈(121)에서는 손 영역은 대략 Candescent NUI에서 제공되는 손 검출 알고리즘이 적용되어 검출된다. Candescent NUI에 대해서는 Candescent NUI Samples & Source code,

참조.

입력 이미지(110)로부터 손 영역을 검출하고 검출된 손 영역의 크기를 최소화하기 위해, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정된다. 다음으로, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 Convex Hull 기반의 Convexity Defects를 이용하여 검출된다. 상기 손 자세 인식부(120)는 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지, 소지 사이를 구분하며, 검출된 결과에 기초하여 그것들을 구분하는 알고리즘을 적용하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식한다. 다음으로 MPEG-U XML 생성부(130)는 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 그것을 MPEG-U part 2 표준에 따라서 XML 문서로 파싱한다.

상기 손 자세 인식부(120)는 검출모듈(121)과 인식모듈(122)로 구성되며, 그 기능에 대해 이하에서 구체적으로 설명한다.

도 2(a)는 Candescent NUI를 이용하여 손 검출의 결과를 보여준다.

도 2(b)는 라인 피팅 알고리즘을 적용하여 손목 검출의 결과를 보여준다.

도 2(c)는 손 영역의 최적 사각형 검출 결과를 보여준다.

도 2(d)는 거리 변환 알고리즘을 적용하여 최적 사각형의 중심을 검출한 결과를 보여준다.

도 2(e)는 Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락 검출의 결과를 보여준다.

1) 검출모듈: KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득한다. KINECT를 사용하기 위해서는 PC와 호환을 가능하게 해주는 3D 동작 인식 미들웨어가 필요하게 된다. KINECT를 위해 주로 사용되는 미들웨어는 마이크로소프트사의 KINECT SDK와 프라임센스 OpenNI 등이 있다. Candescent NUI는 이러한 미들웨어를 활용하여 손과 손가락을 인식하는 오픈 소스를 제공한다. Candescent NUI는 3차원 영상 데이터를 활용하여 손을 정확하고, 빠르게 검출할 수 있는 장점과 복잡한 배경 및 조명 변화에 강인하고, 계산량이 적다는 장점이 있다. 본 발명의 시스템(100)에서 손 자세 인식부(120)는 KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 도 2(a)에서 보듯이 손 영역을 검출한다. 검출된 전체 손 영역 중에 최소 손 영역 검출하기 위해, 다음과 같은 과정을 수행한다.

첫째로, 손 영역은 최소 자승법을 이용해 하나의 직선에 피팅된다. 그리고 나서, 손 영역의 외곽선과 피팅 라인의 직선이 만나는 두 점들 쌍을 찾게 된다. 한 쌍의 두 점 사이의 거리의 분산이 일정하게 되면, 한 쌍의 두 점을 지나는 직선이 손목 선으로 결정된다. 도 2(b)는 전체 손 영역을 나타내는 하나의 선을 지시함에 의해 손목 지점을 나타내고 있다. 손목 지점을 찾은 다음으로 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산한다. 도 2(c)는 손목 지점으로부터 손가락들의 끝 점까지의 최소 손 영역을 최적의 사각형을 나타내고 있다.

다음으로, 거리 변환 알고리즘 (distance transform algorithm)을 적용하여 최소 손 영역의 중심점을 찾는다. 거리 변환 알고리즘에 대해서는 Pedro F. Felzenszwalb and Daniel P. Huttenlocher, "Distance Transforms of Sampled Functions," Theory of Computing, Vol. 8, pp.415-428, Sep. 2012 참조. 중심점은 손가락들의 검출과 인식을 위해 필요하며 종종 MPEG-U AUI 인터페이스 데이터 포맷에서 손의 위치 값으로 사용된다. 도 2(d)는 거리 변환 알고리즘 (distance conversion algorithm)을 적용하는 최소 손 영역의 중심점을 나타낸다.

다음으로, Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출한다. Convex Hull 기반의 Convexity Defects 방법에 대해서는 C. Davatzikos and J. L. Prince, "Convexity analysis of active contour problems," Image Vision Computing, Vol. 17, pp.27~36, Jan. 1999 참조. 이 방법은 정확한 손가락의 추정과 해당 손가락의 방향 정보를 얻는 장점이 있으나, 추가적인 후처리 과정을 필요로 하는 단점이 있다. 추가적인 후처리 과정은 다음과 같다. 손가락 첫 마디가 가지는 타원형의 형태학적 특성을 토대로 개선된 타원 근사화 모델과의 적합도를 평가한다. 이 결과를 바탕으로 각 손가락 끝점과 중심점과의 벡터 각도 차 정보를 이용하여 최종적인 손가락의 끝점을 검출한다. 도 2(e)에서 도트는 최종적으로 탐지된 손가락 끝점으로, 도트는 숫자로 표시되어 있다.

도 3은 본 발명의 손가락 뼈대 인식 알고리즘의 수행과정을 도시한 것이다.

2) 인식모듈: 인식모듈(122)은 오른손과 왼손을 인식(또는 분류)한다. 그리고 엄지, 검지, 중지, 약지 및 소지를 인식 (또는 분류)한다. 이것은 검출된 손과 손가락에 기초한다. 손의 인식은 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 인식한다. 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식한다. 도 3에서 보듯이, 손가락의 인식은 본 발명의 손가락 뼈대 인식 알고리즘을 적용한다.

첫째로 손과 손가락이 검출되면(S301 단계), 검출된 손 영역의 개수를 계산한다(S302 단계). 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화된다 (S303 단계). 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화된다(S304 단계). 다음으로, 손의 뼈대를 다음과 같이 만들게 된다(S305 단계). 손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 만든다.

다음으로, 엄지 뼈대를 결정하게 된다(S306 단계). 길이는 Length_L_i로서 정의된다. 각 뼈대의 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾고, 가능한 엄지의 뼈대 후보 L_S1와 L_S2가 판정된다. 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택된다. 그리고 그것은 최적 엄지 뼈대로 판정한다. 그리고 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정한다. L_S1와의 인접 뼈대들과의 각도를 Angle_s₁으로, L_S2와의 인접 뼈대들과의 각도를 Angle_s₂라고 할 때, 최대 각도를 가지는 뼈대가 인식된다.

엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식된다(S307 단계). 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식된다.

실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시킨다. 다음으로, 손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식된다.

MPEG-U XML 생성부의 기능에 대해 이하에서 구체적으로 설명한다.

MPEG-U XML 생성부(130)는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성한다. MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원한다. 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, MPEG-U XML 생성부에서는 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성한다. 문서 안에는 가위 타입의 정보가 포함되어 있으며, 손 자세 인식부(120)에서 처리된 파라미터까지 MPEG-U part 2 표준에 맞는 X,Y,Z 좌표로 나뉘어 기술한다.

도 4는 사용자가 Rect 자세를 가지는 때 파싱된 MPEG-U part 2 기하학적 패턴의 Rect XML을 도시한 것이다.

도 4는 MPEG-U part 2 표준에 부합하는 특징을 지닌 자세에 관하여 MPEG-U part 2 표준에 맞게 XML 문서로 파싱한 문서를 보여준다.

이하에서는 발명의 다른 일실시예에 따른 손 자세 인식 기반 사용자 인터페이스 방법을 설명한다.

본 발명의 손 자세 인식 기반 사용자 인터페이스 방법은 손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식 단계; 및 MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성 단계를 포함한다.

상기 손 자세 인식 단계는 검출단계와 인식단계를 포함하여 구성되고, 상기 검출단계는 KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하는 과정, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하는 과정, 검출된 전체 손 영역 중에 최소 손 영역 검출하는 과정, 손목 지점을 찾고, 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하는 과정, 거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾는 과정, 및 Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 과정을 포함한다.

상기 인식단계는 검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하는 과정, 엄지, 검지, 중지, 약지 및 소지를 인식하는 과정, 및 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 과정을 포함한다. 상기 인식단계는 검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되고, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되는 과정, 손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 손의 뼈대가 만들어지는 과정, 각 뼈대의 길이 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 L_S1와 L_S2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되는 과정, 엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하는 과정, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되는 과정, 및 손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 과정을 포함한다.

상기 손 자세 인식 단계는 실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시킨다.

상기 MPEG-U XML 생성 단계는 MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하는 과정, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하는 과정, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 과정을 포함한다.

한편, 본 발명의 실시예에 따른 손 자세 인식 기반 사용자 인터페이스 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 손 자세 인식 기반 사용자 인터페이스 시스템
110: 입력 이미지
120: 손 자세 인식부
121: 검출모듈
122: 인식모듈
130: MPEG-U XML 생성부

Claims

손 자세 인식 기반 사용자 인터페이스 시스템에 있어서,
손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식부; 및
MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성부;를 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
제 1항에 있어서, 손 자세 인식부는 검출모듈과 인식모듈로 구성되고,
검출모듈은 KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하고, KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하고, 검출된 전체 손 영역 중에 최소 손 영역 검출하며, 손목 지점을 찾은 다음으로 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하며, 거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾고, Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
제 2항에 있어서, 상기 인식모듈은
검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하고, 엄지, 검지, 중지, 약지 및 소지를 인식하고, 최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
제 2항 또는 제 3항에 있어서, 상기 인식모듈은
검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되며, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되며,
손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 손의 뼈대가 만들어지며,
각 뼈대의 길이 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 L_S1와 L_S2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되며,
엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하며, 그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되고,
손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
제 4항에 있어서, 손 자세 인식부는
실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
제 1항에 있어서, 상기 MPEG-U XML 생성부는
MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하며, 상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하고, 만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 시스템.
손 자세 인식 기반 사용자 인터페이스 방법에 있어서,
손 영역을 검출하고, 손목의 위치와 손가락의 끝 위치가 정해지고, 이 위치들과 함께 대략 검출된 손 영역이 더 정교해지도록 보정하며, 최소 손 영역의 중심점이 손가락 검출을 위해 계산되고, 손가락들의 끝점이 검출되며, 왼손과 오른손 사이 및 엄지, 검지, 중지, 약지 및 소지 사이를 구분하며, 손의 자세와 손가락의 펴진 상태를 판단하고, 최종적으로 손 자세를 인식하는 손 자세 인식 단계; 및
MPEG-U part 2 표준에 따라서 특징을 가지는 손 자세를 인식하고, 인식된 손 자세를 상호연동 가능한 데이터 포맷으로 표현하기 위해 MPEG-U part 2 표준에 따라서 XML 문서로 파싱하는 MPEG-U XML 생성 단계;를 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 7항에 있어서, 손 자세 인식 단계는 검출단계와 인식단계를 포함하여 구성되고,
상기 검출단계는
KINECT에서 적외선을 쏘아 반사되어 돌아오는 시간을 검출 센서에 의해 측정하여 깊이 정보를 획득하는 과정,
KINECT로부터 입력 받은 깊이 정보를 Candescent NUI의 오픈 소스를 이용해 손 영역을 검출하는 과정,
검출된 전체 손 영역 중에 최소 손 영역 검출하는 과정,
손목 지점을 찾고, 손목 지점으로부터 손가락들의 끝 부분까지의 최소 손 영역을 포함하는 최적의 사각형을 계산하는 과정,
거리 변환 알고리즘을 적용하여 최소 손 영역의 중심점을 찾는 과정, 및
Convex Hull 기반의 Convexity Defects 방법을 이용하여 손가락들의 끝 점을 검출하는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 8항에 있어서, 상기 인식단계는
검출된 손과 손가락에 기초하여 오른손과 왼손을 인식하는 과정,
엄지, 검지, 중지, 약지 및 소지를 인식하는 과정, 및
최소 손 영역이 한 손일 때와 양 손일 때의 상황을 고려하여 손을 인식하며, 만일 양손이라면 위상학적 판단으로 왼쪽에 있는 영역을 왼손, 오른쪽에 있는 영역을 오른손이라 판정하여 인식하는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 8항 또는 제 9항에 있어서, 상기 인식단계는
검출된 손 영역의 개수를 계산하여, 손 영역의 개수가 2개일 때는 손 영역의 중심점이 2개, 손가락 끝점이 10개로 초기화되고, 손 영역의 수가 1개일 때는 손 영역의 중심점이 1개, 손가락 끝점이 5개로 초기화되는 과정,
손 영역의 중심점이 C(x_c,y_c)이고 각 손가락의 끝점이 F_i(x_i,y_i),(i=0~4)일 때, 각 손가락의 뼈대 L_i는 C와 F_i를 연결하는 선을 그려 손의 뼈대가 만들어지는 과정,
각 뼈대의 길이 Length_L_i 중 두 개의 가장 짧은 뼈대를 찾고, 엄지의 뼈대 후보를 찾아 가능한 엄지의 뼈대 후보 L_S1와 L_S2를 판정하며, 엄지의 뼈대 후보 중에서 그 길이 값이 임계 값 보다 더 작은 뼈대가 선택되고, 선택된 뼈대가 최적 엄지 뼈대로 판정되거나, 인접 뼈대와의 각도를 이용하여 다른 뼈대와의 각도 값이 임계값 보다 작거나 큰 때에 최적 엄지 뼈대라고 판정되는 과정,
엄지의 뼈대의 인식 후에 엄지에 가장 가까운 뼈대 순서로 손가락의 나머지가 검지, 중지, 약지 및 소지의 뼈대로 인식하는 과정,
그 후에, 만일 인식된 손가락의 뼈대를 이용하여 손가락의 끝점이 해당 뼈대에 놓이거나 해당 뼈대에 인접하여 놓이게 되면, 손가락의 끝점은 해당 뼈대의 손가락의 끝점으로 인식되는 과정, 및
손 자세와 각 손가락이 펴져있는지를 판단하여 최종 손 자세가 인식되는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 10항에 있어서, 상기 손 자세 인식 단계는
실시간 응용을 위하여 각 입력 시점에서 새로운 뼈대가 만들어지지 않으며, 검출모듈만 실행되고, 얻어진 최적 사각형이 이전의 최적 사각형의 점과 비교되고, 이동과 회전 변환의 매개변수가 계산되고, 이것을 이전 점에서 생성된 뼈대에 적용하고 뼈대의 생성을 위한 복잡도를 감소시키는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 7항에 있어서, 상기 MPEG-U XML 생성 단계는
MPEG-U part 2에 정의된 스키마 구조에 따른 MPEG-U Part 2 표준에 따라서 XML 문서를 생성하는 과정,
상기 MPEG-U Part 2는 모든 데이터 타입에 대한 스키마 구조를 XSD(XML SCHEMA DEFINITION) 문서로 지원하도록 하는 과정,
만약 사용자가 자신의 인식되어진 손과 손가락을 이용해 가위(Scissors)라는 포즈를 취하게 되면, 가위 타입의 스키마 구조를 이용하여 해당 XML 문서를 생성하는 과정을 포함하는 것을 특징으로 하는 손 자세 인식 기반 사용자 인터페이스 방법.
제 7 항 내지 제 12 항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.