KR20100016240A

KR20100016240A - 인간 기계 인터페이스를 위한 장치 시스템 및 방법

Info

Publication number: KR20100016240A
Application number: KR1020097023103A
Authority: KR
Inventors: 도르 기본
Original assignee: 익스트림 리얼리티 엘티디.
Priority date: 2007-04-15
Filing date: 2007-04-15
Publication date: 2010-02-12
Anticipated expiration: 2027-04-15
Also published as: JP5147933B2; WO2008126069A2; IL201514A; EP2147393A2; IL201514A0; KR101379074B1; CA2684020C; CA2684020A1; WO2008126069A3; JP2010524113A; EP2147393A4

Abstract

3D 인간 기계 인터페이스("3D HMI")가 제공되고, 3D HMI는 (1) 이미지 획득 어셈블리, (2) 초기화 모듈, (3) 이미지 구획 모듈, (4) 구획 데이터 프로세싱 모듈, (5) 스코어링 모듈, (6) 프로젝션 모듈, (7) 피팅 모듈, (8) 스코어링 및 에러 검출 모듈, (9) 회복 모듈, (10) 3차원 상관관계 모듈, (11) 3차원 골격 예측 모듈, (12) 출력 모듈 및 (13) 뎁쓰 추출 모듈을 포함할 수 있다.

3차원 인간 기계 인터페이스

Description

인간 기계 인터페이스를 위한 장치 시스템 및 방법{AN APPARATUS SYSTEM AND METHOD FOR HUMAN-MACHINE-INTERFACE}

본 출원은 2004년 7월 30일에 제출된 US 60/592,136, 2005년 7월 31일 제출된 PCT/IL2005/000813호의 PCT 출원, 2005년 10월 31일에 제출된 US 60/731,274, 2006년 3월 27일에 제출된 US 11/227,578 및 2006년 10월 31일에 제출된 PCT/IL2006/001254호의 PCT 출원의 일부계속이며, 이에 의하여 이들 각각은 그 전체에서 참조된다.

본 발명은 사용자 인터페이스에 관련되며, 특히, 3D의 인간 기계 인터페이스의 방법과 시스템에 대한 것이다.

소프트웨어의 역사에서 가장 큰 패턴 중 하나는 연산 중심(computation-intensive)의 디자인에서 프리젠테이션 중심(presentation-intensive)의 디자인으로의 이동이다. 기계들이 점점 더 강력해짐에 따라, 개발자들은 꾸준히 증가하는 이러한 힘의 일부를 프리젠테이션에 소비해 왔다. 진보의 역사는 간단히 세 시대로 분류될 수 있다 : 뱃치(batch, 1945-1968), 커맨드-라인(command-line, 1969-1983), 그래픽(graphical, 1984과 그 후). 물론, 그 역사는 디지털 컴퓨터의 발명과 함께 시작된다. 뒤의 두 시대들의 개시일들은 생생한 새로운 인터페이스 기술이 실험실을 벗어나서 인터페이스에 대한 사용자들의 기대를 중요한 방향으로 변화시킨 해이다. 이러한 기술들은 인터렉티브 타임쉐어링(interactive timesharing)과 그래픽 사용자 인터페이스였다.

뱃치 시대에서는, 연산력이 극히 부족하고 비쌌다. 그 시기의 가장 큰 컴퓨터는 오늘날의 일반적인 토스터기 또는 마이크로웨이브 오븐보다 더 적은 초당 로직 사이클과, 오늘날의 자동차, 디지털 시계 또는 휴대폰 보다 더 적은 비트를 처리했다. 따라서, 사용자 인터페이스는 원시적이였다. 사용자 인터페이스는 부하(overhead)로 간주되었고, 소프트웨어는 가능한한 부하가 적으면서 프로세서의 최대한의 이용을 유지하기 위하여 디자인되는 것이라고 받아들여야 했다.

뱃치 머신(batch machines)의 사용자 인터페이스의 입력측은 주로 천공 카드(punched card) 또는 종이 테이프(paper tape)와 같은 미디어이였다. 출력측은 라인 프린터를 이러한 미디어에 더했다. 시스템 작업자(system operator)의 콘솔(console)의 제한된 예외를 제외하고는, 인간은 뱃치 머신과 실시간으로 전혀 소통하지 않았다.

뱃치 머신에 작업을 맡기는 것은, 먼저, 프로그램과 데이터 세트를 기술하는 천공 카드의 덱(deck)을 준비하는 것을 포함한다. 상기 프로그램 카드를 천공하는 것은 컴퓨터 자체에 의해서가 아니라, 지나치게 고집세고 실수를 용납하지 않으며, 기계적인 실수를 하기 쉬운 타자기와 같은 기계에 의해서 이루어졌다. 이와 유사하게, 상기 소프트웨어 인터페이스 역시 가능한한 가장 작은 컴파일러와 인터프리터(interpreter)에 의해 분석되는 것을 의미하는 매우 엄격한 신택스(syntax)로 인 해 실수가 용납되지 않았다.

일단 상기 카드가 펀치되면, 카드를 작업 큐(job queue)로 떨어뜨리고, 대기한다. 결국, 작업자는 상기 덱을 컴퓨터로 제공하는데, 아마도 다른 데이터 세트 또는 헬퍼 소프트웨어를 제공하기 위하여 마그네틱 테이프를 마운팅한다. 상기 작업은 최종 결과 또는 (잦은 경우에) 에러 로그가 첨부된 중단(abort) 통지를 포함하는 프린트 아웃(printout)을 발생시킨다. 그리고, 성공한 런(run)은 마그네틱 테이프에 결과를 기록하거나 추후에 연산에서 사용될 수 있는 어떠한 데이터 카드를 발생시킬 수 있다.

하나의 작업을 위한 총처리 시간은 하루 종일 걸리는 경우도 종종 있다. 매우 운이 좋아 어느 하나가 수시간 걸렸을 경우; 실시간 반응은 전례가 없는 것이다. 그러나, 카드 큐(card queue) 보다 좋지 않은 상황이라면, 어떤 컴퓨터는 콘솔 스위치를 사용한 2진 코드의 프로그램에서 좀 더 장황하고 에러 투성이의 토글링(toggling) 프로세스를 실제로 요구한다. 실제로, 가장 초기의 기계는 플러그보드(plugboards)로 알려진 장치를 사용하여 부분적으로 병합된 프로그램 로직으로 리와이어(rewire)되어야만 했다.

초기의 뱃치 시스템은 컴퓨터 전체에 현재의 러닝 작업(running job)을 제공하였다; 프로그램 덱과 테이프는 I/O 장치와 통신하기 위하여 오퍼레이팅-시스템 코드로 우리가 무엇을 생각하는지와, 필요로 되는 어떤 하우스키핑(housekeeping)을 하여야 하는지를 포함하여야 했다. 상기의 뱃치 시대 중간쯤, 1957 이후, 다양한 그룹들이 소위 "로드-앤드-고(load-and-go)" 시스템으로 실험을 시작했다. 이 그룹들은 컴퓨터에 항상 거주하는 모니터 프로그램(monitor program)을 사용하였다. 프로그램들은 서비스를 위한 모니터로 부를 수 있다. 상기 모니터의 다른 기능은 제공된 작업의 에러 체크를 잘 수행하고, 좀 더 빠르고 더 많이 지능적으로 에러를 캐치하고, 사용자들에게 좀 더 유용한 피드백을 생산하도록 되었다. 따라서, 모니터들은 오퍼레이팅 시스템과 뚜렷이 디자인된 사용자 인터페이스 모두에 대하여 제 1 단계를 나타낸다.

커맨드-라인 인터페이스(CLIs:command-line interface)는 시스템 콘솔에 연결된 뱃치 모니터로부터 진화되었다. 이들의 대화 모듈은 요구-응답 트랜잭션(request-response transactions)의 시리즈이고, 전문 용어로 텍스츄얼 커맨드(textual commands)로서 표현되는 요구를 갖는다. 지연시간(latency)은 뱃치 시스템 보다 수 일 또는 수 시간에서 수 초정도 더 낮아졌다. 따라서, 커맨드-라인 시스템은 초기 결과에서의 실시간 또는 실시간에 가까운 피드백에 대한 응답으로 상기 트랜잭션의 다음 단계에 대하여 사용자들의 마인드를 변화시켰다. 소프트웨어는 이전에 가능하지 않았던 방향인 탐구할 가치가 있는 양방향이 될 수 있었다. 그러나, 이러한 인터페이스는 여전히 사용자에게 우수한 기억력을 강요하였고, 숙달되기 위해서는 많은 노력의 투자와 학습 시간을 요구하는 것이었다.

커맨드-라인 인터페이스는 타임쉐어링 컴퓨터의 등장과 밀접한 관계가 있다. 타임쉐어링의 개념은 1950년대로 거슬러간다; 가장 영향력 있었던 초기 실험은 1965년 이후의 MULTICS 오퍼레이팅 시스템이였다; 그리고, 현재의 커맨드-라인 인터페이스에서 가장 영향력 있는 것은 1969년의 Unix였고, 이는 그 후에 나온 대부 분의 것에 발전적인 영향을 끼쳤다.

초기의 커맨드-라인 시스템은 텔레타이프(teletypes)와 컴퓨터를 통합하였고, 사람들 사이에서의 정보 전송의 전달을 중재하는데 효과적이게 되도록 하였다.텔레타이프는 처음에 자동적인 전보 전송과 수신을 위한 장치로서 개발되었다; 이 텔레타이프는 1902년으로 거슬러 올라가며, 1920년에는 이미 편집실과 그외 다른 곳에 자리를 잡게 되었다. 이 텔레타이프의 재사용에는, 확실히 경제성이 고려되지만, 심리 상태와 최소 놀람의 규칙(the Rule of Least Surprise) 역시 중요하다; 텔레타이프는 많은 엔지니어와 사용자에게 친숙하도록 시스템과의 인터페이스 포인트를 제공하였다.

1970년대 중반의 비디오-디스플레이 터미널(VDTs: video-display terminals)의 광범위한 보급은 커맨드-라인 시스템의 두 번째 시기를 알렸다. 또한, 문자들은 프린터 헤드 또는 캐리지(carriage)보다 좀 더 빨리 움직일 수 있는 스크린의 형광체 점(phosphor dots)으로 될 수 있었기 때문에, 지연시간이 단축되었다. 그리고, 비디오-디스플레이 터미널은 비용이 드는 사진이 없어지도록 잉크와 종이와 같은 소모품을 없앰으로써, 인터렉티브 프로그래밍에 방해가 되는 것은 억누르는데 도움을 주었고, 1940년대의 컴퓨터 선구자였던 텔레타이프보다 좀 더 아이코닉(iconic)이면서 편리하여서 1950년대 말과 60년대의 제 1의 TV 세대가 되었다.

억세스 가능한 스크린의 존재만큼 중요하게, 빠르고 가역적으로 변형될 수 있는 텍스트의 2차원 디스플레이는 소프트웨어 디자이너들에게 텍스츄얼보다 좀 더 시각적으로 묘사될 수 있는 인터페이스를 배치하는데 경제적이게 되었다. 이러한 종류의 선구자적인 어플리케이션은 컴퓨터 게임과 텍스트 편집기였다; 여전히 유닉스 트래디션(Unix tradition)의 일부인 rogue(6)와 vi(1)와 같이 초기 견본중 일부의 전래물.

1961년으로 거슬러 올라가면, 일찍이 PDP-1이였던 미니 컴퓨터에 나타났던 스크린 비디오 디스플레이는 전체적으로 신규하지 않았다. 그러나, VDTs로의 이동이 시리얼 케이블을 통해 정착될 때까지, 각각 대단히 비싼 컴퓨터는 그 콘솔 상에서 하나의 어드레스 가능한 디스플레이만을 서포트할 수 있었다. 이러한 상황에서 비쥬얼 UI의 어떠한 트래디션도 성장하기 어려웠다; 이러한 인터페이스는 컴퓨터 전체가 오직 한명의 사용자를 만족시키도록 적어도 일시적으로 사용되는 드문 환경에서 1회성으로 만들어진 것이였다.

1962년으로 거슬러 올라가면, PDP-1 상에서 스페이스워 게임(SPACEWAR game)을 개척한 것과 같이 그래픽 사용자 인터페이스라고 부를 수 있는 시도들이 산발적으로 이루어졌다. 그 기계의 디스플레이는 단지 문자 단말기(character terminal)에 지나지 않고, 벡터 그래픽(vector graphics)을 지원하도록 만들어진 변형된 오실로스코드(oscilloscope)이였다. 또한, 이 스페이스워 인터페이스는 토글 스위치(toggle switches)를 주로 사용하지만, 플레이어들 자신에 의해 주문 제작된 첫번째의 가공되지 않은 트랙볼(trackballs)이였다. 십 년 후, 1970년대 초에 이러한 시도들은 비디오-게임 산업을 낳았으며, 스페이스워의 아케이드 버전(arcade version)을 소개하는 시도들이 실제로 시작되었다.

상기 PDP-1 콘솔 디스플레이는 세계 제2차 대전의 레이더 디스플레이 튜 브(radar display tubes)로부터 유래되며, 그에 20년 앞서 MIT 링컨 연구소(MIT's Lincoln Labs)에서의 미니컴퓨팅의 중요한 몇몇의 개척은 레이더 기술보다 앞섰다는 사실을 암시한다. 1962년과 같은 해에 대륙에서는, 앞선 시기의 다른 레이더 기술자들이 스탠포드 연구소(Stanford Research Institute)에서 다른 분야를 개척하기를 시작하고 있었다. 그의 이름은 더그 엔젤바트(Doug Engelbart)이였다. 그는 상당히 초기의 그래픽 디스플레이에 대한 그의 개인적인 경험과, 오늘날 하이퍼텍스트(hypertext)라 불리우는 것의 1945년 버전으로 표현되는 As We May Think라는 바네바 부시(Vannevar Bush's)의 독창적인 에세이에 깊은 영감을 받고 있었다.

1968년 12월에 엔젠바트와 그의 팀 SRI는 첫번째의 하이퍼텍스트 시스템(hypertext system) 즉, NLS/Augment⁹을 90분 동안 시범을 보였다. 이 시범에서는, 3개 버튼의 마우스(엔젤바트의 발명), 멀티플-윈도우 인터페이스를 갖는 그래픽 디스플레이, 하이퍼링크(hyperlinks) 및 온-스크린(on-screen) 비디오에 의한 회의가 처음 소개되었다. 이 시범은 25년 동안의 컴퓨터 역사를 통틀어 상당히 중요한 대사건이였고, 게다가 1991년에는 월드 와이드 웹(World Wide Web)의 발명을 포함하기에 이르렀다.

그래서, 1960년대 초, 그래픽 프리젠테이션(graphical presentation)이 주목하지 않을 수 없는 사용자 경험에 도움이 된다는 것은 이미 받아들여졌다. 마우스와 같은 포인팅 디바이스(pointing devices)는 이미 개발되었고, 1960년대 후반의 많은 메인프레임(mainframe)은 PDP-1의 것들과 비교하여 우수하였다. 2004년에 살 수 있다면 4,500만 달러에 가까운 유니박 1108(Univac 1108) 메인프레임의 콘솔에서, 다른 상당히 초기의 비디오 게임을 플레이하는 생생한 기억을 프로그래머 중 한명은 1968년에 가지고 있다. 그러나, 4,500만 달러에 가깝기 때문에, 인터렉티브 그래픽에 대한 현실적인 수요는 극히 적었다. NLS/Augment 시스템의 사용자 지정 하드웨어가 조금 덜 비싸다고 하더라도, 일반적인 사용자에게는 여전히 비싼 것이다. 십만 달러가 되는 PDP1이더라도, 그래픽 프로그래밍의 트래디션을 만드는 기계로서는 매우 비싸다.

비디오 게임은 하드웨어 프로그램이 극히 값싸고 간단한 프로세서 상에서 구동될 수 있기 때문에, 비디오 게임은 컴퓨터보다도 먼저 대중화가 되었다. 그러나, 범용 컴퓨터의 등장 이후에, 오실로스코프 디스플레이는 발전상의 최후를 맞이하였다. 컴퓨터와의 보통의 상호 관계를 위한 그래픽, 비쥬얼 인터페이스를 사용하는 개념은 몇 년이 지나야만 하였고, 사실 1970년대 후반의 시리얼-라인 캐릭터 VDT(serial-line character VDT)의 향상된 그래픽-가능 버전으로 이어졌다.

1970년대 가장 초기의 PARC 시스템 이후, 그래픽 사용자 인터페이스(GUIs)의 디자인은 알토(Alto)에 의해 개척된 WIMP(Windows, Icons, Mice, Pointer) 모델로 불리우는 것들에 의하여 좌우되었다. 이후 10년에 걸쳐 컴퓨팅과 디스플레이 하드웨어에서 커다란 변화가 있었고, 그것은 WIMP를 넘어서는 생각하기 대단히 어려운 것 같았다.

몇차례의 시도가 있었다. 그 중 가장 뚜렷한 것은 아마도 VR(virtual reality) 인터페이스이고, 사용자들은 이것에 의하여 이머시브(immersive) 그래픽 3-D 환경에서 움직이고 제스츄어를 취하는 것이 가능하였다. VR은 1980년대 중반 이후에 큰 리서치 단체를 매혹시켰다. 이러한 것들을 서포트하기 위한 연산력이 더비싸지 않더라도, 물리적인 디스플레이 장치는 여전히 2004년 범용이 되기 이전의 VR의 가격이였다. 수년 동안 비행 시뮬레이터(flight simulators)의 디자이너들에게 친숙한 보다 근본적인 문제는 VR이 인간의 고유수용 감각 시스템(proprioceptive system)을 혼동시킬 수 있다는 것이다; 실제 세계의 움직임에서의 내이(inner ear)의 보고를 움직임의 비주얼 시뮬레이션에 맞추기 때문에, 알맞은 속도에서도 VR 모션은 두뇌 피로소서 현기증이나 메스꺼움을 유발시킬 수 있다.

제프 레스킨(Jef Raskin)의 THE 프로젝트(The Humane Environment project)는 3D로 가지 않고서 공간화하는 GUIs의 줌 월드 모델(zoom world model)을 연구하고 있다. THI에서 스크린은 데이터와 프로그램이 공간상의 주소로 체계화되는 2-D 가상 세계의 윈도우로 되었다. 이 가상 세계에서 객체(objects)는 임시 좌표계(reference plane)에서 하나의 높이에 의존하는 다양한 레벨로 표현될 수 있고, 가장 좋은 선택 동작은 줌인(zoom in)하고 그 위에 도달하는 것이다.

예일 대학의 라이프스트림 프로젝트(lifestreams project)는 완전히 반대 방향으로 진행되었고, 이는 사실상 GUI를 공간화하는 것이 아니다. 사용자의 문서는 변경일에 의해 체계화되고 다양한 방법으로 필터될 수 있는 여러 종류의 월드-라인(world-line) 또는 일시적인 스트림(stream)으로 표현된다.

이러한 세 가지 접근 모두 참조의 주요 형태로서 이름을 붙이는 것과 이름을 사용하는 것을 피하기 위한 시도를 하는 컨텍스트(context)의 편에서 종래의 파일 시스템(filesystems)을 포기한다. 이것은 유닉스 구조의 계층적 네임스페이스와 파일 시스템을 일치시키는 것을 어렵게 만들고, 이는 가장 영구적이고 유효한 특징 중 하나로 보여진다. 그렇지만, 이러한 초기의 시도들 중 하나는 아직 NLS/Augment 엔젤바트의 1968년 시범과 같이 중요한 것으로 보인다.

사용자 인터페이스 분야에서는 인간-기계-인터페이스의 개선된 시스템과 방법에 대한 요구가 있다.

본 발명의 어떤 실시예에 따르면, 3D 인간 기계 인터페이스("3D HMI")가 제공되고, 3D HDI는 (1) 이미지 획득 어셈블리, (2) 초기화 모듈, (3) 이미지 구획 모듈, (4) 구획 데이터 프로세싱 모듈, (5) 스코어링(scoring) 모듈, (6) 프로젝션 모듈, (7) 피팅(fitting) 모듈, (8) 스코어링 및 에러 검출 모듈, (9) 회복 모듈, (10) 3차원 상관관계 모듈, (11) 3차원 골격 예측 모듈, 및 (12) 출력 모듈을 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 이미지 획득 어셈블리는 한 세트의 이미지를 획득할 수 있으며, 특히, 각각의 이미지는 실질적으로 시간상 다른 지점에 관련된다. 본 발명의 또 다른 실시예에 따르면, 이미지들은 단일의 사용자 또는 복수의 사용자가 될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 초기화 모듈은 (1) 칼라, (2) 조직 파라미터(organ's parameter), 환경, 및 사용자에 관련되는 다른 파라미터를 검출하고 정의할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 사용자는 어떤 사람 및/또는 동물 및/또는 상기 프레임에 들어오는 움직이는 객체(object)가 될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 이미지 구획 모듈은 상기 이미지로부터 구획 데이터를 추출할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터 역시 아래의 사항 포함할 수 있다.

·칼라(color)

·움직임(movement)

·에지 검출(edge detection)

·텍스츄어(texture)

본 발명의 어떤 실시예에 따르면, 상기 구획 데이터 프로세싱 모듈은 상기 구획 데이터를 프로세스 할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터는 다음의 방법으로 프로세스 될 수 있다:

·칼라 - 예를 들어 손바닥과 얼굴을 검출하기 위하여 피부 색을 사용하는 것처럼, 구성 및/또는 빛 변화를 검출하는데 알려진 칼라 파라미터를 사용

·움직임 - 프레임에서 움직이는 구성을 검출

·배경 제거

·에지 검출 - 이미지의 에지를 검출

·텍스츄어 - 구성을 검출하기 위하여 알려진 텍스츄어 파라미터를 사용

본 발명의 어떤 실시예에 따르면, 상기 구획 데이터 프로세싱 모듈은 조직의 상대적인 크기의 편차에 따라 상기 이미지 획득 어셈블리로부터 조직의 거리에서의 편차를 검출할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 모듈은 (1) 상기의 프로세스된 구획 데이터를 조사하고, (2) 상기의 프로세스된 구획 데이터의 질을 평가하고, 그리고 상기 질에 따라 (3) 상기 구획 데이터의 부분들이 상기 HMI 시스템에 의하여 사용되기에 충분히 신뢰할 수 있는지를 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 골격 예측 모듈은 상기의 프로세스된 이미지에 가장 좋은 매치(match) 또는 상관관계를 가질 수 있는 3차원 골격의 위치를 예측할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 3차원 예측 모듈은 사기 3차원 골격의 위치를 예측하기 위하여 다이나믹 및 모션 프로세스의 세트를 사용할 수도 있다.

본 발명의 어떤 실시예에 따르면, 상기 프로젝션 모듈은 상기 이미지 상에 골격을 투영할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 투영은 2차원 평면에서 이루어질 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 피팅 모듈은 구획 데이터를 상기 투영된 골격에 피트(fit)할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 피팅 모듈은 상기 구획 데이터의 일부들을 상기의 투영된 골격의 일부들에 피트할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 및 에러 검출 모듈은 (1) 구획 데이터가 연관된 후에 상기의 프로세스된 골격을 조사하고, (2) 상기의 골격의 피팅 질(fitting quality)을 계산하고, (3) 상기의 골격 예측 프로세스를 하는 동안 또는 구획 데이터의 연관 동안에 에러가 발생하였는지 여부를 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 회복 모듈은 검출된 에러를 회복시킬 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 회복은 이미지를 재 구획하고, 올바른 위치를 재 예측하기 위하여 3D 골격 움직임 히스토리를 사용하고, 재 투영 및 상기 3D 골격의 재 피팅을 수행하는 멀티플 프로세싱 레이어(multiple processing layers)의 프로세스에 의해 수행될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 상관관계 모듈은 상기의 피트된 골격의 위치에 따라 3차원 골격의 위치를 업데이트할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 업데이트 프로세는 상기의 피트된 골격 상에 상기 3D 골격을 결합시키고, 3D 골격과 피트된 골격 사이를 피트하고, 3D 골격을 올바른 위치로 업데이트한다.

본 실시예는 상세한 설명의 말미에서 구체적으로 지적되고 분명히 청구되는 발명에 대한 것이다. 그러나, 구성과 동작의 방법과, 이들의 목적, 특징 및 이로운 효과에 관한 본 발명의 설명은 첨부되는 도면들과 상세한 설명에 개시되는 것을 참조하여 이해될 수 있다.

도 1은 본 발명의 어떤 실시예에 따른 시스템을 설명하는 블럭 다이어그램을 보여준다.

도 2는 본 발명의 어떤 실시예에 따른 HMI 시스템의 단계들을 설명하는 플로우 챠트를 보여준다.

도 3은 본 발명의 어떤 실시예에 따른 시스템을 설명하는 블럭 다이어그램을 보여준다.

도 4는 본 발명의 어떤 실시예에 따른 HMI 시스템의 단계들을 설명하는 플로우 챠트를 보여준다.

도 5는 본 발명의 어떤 실시예에 따른 시스템을 설명하는 블럭 다이오그램을 보여준다.

도 6은 본 발명의 어떤 실시예에 따른 HMI 시스템의 단계들을 설명하는 플로우 챠트를 보여준다.

간결 명확하게 도면을 도시하기 위하여, 반드시 도면에 도시된 구성요소들이 일정한 비율로 그려진 것은 아니다. 예를 들면, 구성요소의 어떠한 치수는 다른 구성요소와의 명확한 차이를 위하여 과장될 수 있다. 그리고, 타당한 것으로 받아들여지는 곳에는, 참조 번호는 동등하거나 유사한 구성요소를 나타내는 도면들 사이에 반복될 수 있다.

아래의 상세한 설명에서는, 본 발명의 충분한 이해를 돕기 위한 여러가지 상세한 설명이 수행된다. 그러나, 상세한 설명이 없더라도 본 발명의 당업자가 납득할 수 있는 사항은 이해될 수 있는 것이다. 다른 경우에, 잘 알려진 방법, 절차, 구성요소 및 회로들은 본 발명이 모호해지지 않도록 하는 범위에서 상세한 설명은 생략된다.

반면에, 상세히 기술되지 않는다면, 아래의 논의로부터 명백해지는 것처럼, 컴퓨팅 시스템의 메모리, 레지스터이거나 이러한 다른 정보 저장매체, 전송 또는 디스플레이 장치 내에 물리적인 양으로 단순히 표현되는 다른 데이터에 컴퓨팅 시스템의 레지스터 및/또는 메모리를 갖는 양인 전자와 같이, 물리적으로 표현되는 데이터를 다루는 및/또는 변형하는 컴퓨터 또는 컴퓨팅 시스템 또는 이와 유사한 전자 컴퓨팅 디바이스의 동작 및/또는 프로세스에 관한 "프로세싱", "컴퓨팅(연산)", "계산", "결정" 또는 이와 유사한 용어를 사용하는 상세한 설명 전체를 통하여 이해된다.

본 발명의 실시예들은 이러한 것을 고려한 동작을 수행하는 장치를 포함할 수 있다. 이 장치는 요구에 맞게 특별히 만들어질 수 있으며, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의하여 선택적으로 활성화되거나 다시 구성되는 일반 목적의 컴퓨터를 포함할 수 있다. 컴퓨터 프로그램은 읽기 가능한 저장 매체내에 저장될 수 있으며, 저장 매체는 플로피 디스크, 광 디스크, CD-ROMs, 자기-광 디스크, ROMs(read-only memories), RAMs(read-only memories), EPROMs(random access memories(RAMs) electrically programmable read-only memories), EEPROMs(electrically erasable and programmable read only memories), 자기 또는 광 카드, 또는 전기적인 지시를 저장하고 컴퓨터 시스템 버스에 연결가능하기에 적합한 다른 타입의 미디어가 될 수 있으나, 반드시 여기에 한정되는 것은 아니다.

본 발명의 어떤 실시예에 따르면, 3D 인간 기계 인터페이스("3D HMI")가 제 공되며, 3D HMI는 (1) 이미지 획득 어셈블리, (2) 초기화 모듈, (3) 이미지 구획 모듈, (4) 구획 데이터 프로세싱 모듈, (5) 스코어링(scoring) 모듈, (6) 프로젝션 모듈, (7) 피팅(fitting) 모듈, (8) 스코어링 및 에러 검출 모듈, (9) 회복 모듈, (10) 3차원 상관관계 모듈, (11) 3차원 골격 예측 모듈, 및 (12) 출력 모듈을 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 이미지 획득 어셈블리는 세트의 이미지를 획득하며, 여기서, 대체로 각각의 이미지는 시간상 다른 지점에 관련된다. 본 발명의 또 어떤 실시예에 따르면, 이미지는 단일의 사용자 또는 다수의 사용자가 될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 초기화 모듈은 사용자의 (1) 칼라, (2) 조직 파라미터(organ's parameter), 환경, 및 사용자에 관련되는 다른 파라미터를 검출하고 정의할 수 있으며, 다음 단계(쓰레스홀드(thresholds), 모든 이미지 구획을 위한 스코어등)에서 이미지 구획을 위한 가장 좋은 방법을 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 이미지 구획 모듈은 이미지로부터 구획 데이터를 추출할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기의 구획 데이터는 아래의 사항을 포함한다.

·칼라(color)

·움직임(movement)

·에지 검출(edge detection)

·텍스츄어(texture)

본 발명의 어떤 실시예에 따르면, 상기의 구획 데이터 프로세싱 모듈은 상기의 구획 데이터를 프로세스할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기의 구획 데이터는 다음과 같은 방법에 의하여 프로세스될 수 있다.

·움직임 - 프레임에서 움직이는 구성을 검출

·에지 검출 - 이미지의 에지를 검출

본 발명의 어떤 실시예에 따르면, 상기 스코어링 모듈은 (1) 프로세스된 구획 데이터를 조사하고, (2) 상기의 프로세스된 구획 데이터의 질을 측정하고, 이 질에 따라 (3) 상기 구획 데이터의 부분들이 상기 HMI 시스템에 의하여 사용되기에 충분히 신뢰할 수 있는지를 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 3차원 골격 예측 모듈은 상기의 프로세스된 이미지와 가장 좋은 매치(match) 또는 상관관계를 가질 수 있는 3차원 골격의 위치를 예측할 수 있다.

본 발명의 다른 실시예에 의하면, 3차원 예측 모듈은, 예를 들어, 상기 골격이 인간 형상인 경우에 골격의 머리는 360도 회전될 수 없는 것처럼, 상기의 사용된 골격의 타입으로부터 유도되는 제한사항을 사용할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 3차원 예측 모듈은 다이나믹 및 모션 프로세스의 세트를 사용하여 상기 3차원 골격의 위치를 예측할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 프로젝션 모듈은 상기 이미지 상에 골격을 투영할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 투영은 2차원 평면에서 이루어질 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 및 에러 검출 모듈은 (1) 구획 데이터가 결합된 후에 상기의 프로세스된 골격을 조사하고, (2) 상기의 골격의 피팅 질(fitting quality)을 계산하고, (3) 상기의 골격 예측 프로세스를 하는 동안 또는 구획 데이터의 연관 동안에 에러가 발생하였는지 여부를 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 회복 모듈(recovery module)은 검출된 에러를 회복시킬 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 회복은 이미지를 재 구획하고, 올바른 위치를 재 예측하기 위하여 3D 골격 움직임 히스토리를 사용하고, 재 투영 및 상기 3D 골격의 재 피팅을 수행하는 멀티플 프로세싱 레이어(multiple processing layers)의 프로세스에 의해 수행될 수 있다.

도 1을 참조하여 보면, 본 발명의 어떤 실시예에 따른 예시적인 HMI 시스템이 도시되어 있으며, 이러한 HMI 시스템의 단계들을 기술하는 플로우 챠트가 도시된 도 2와 함께 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 도 1에는 3D 인간 기계 인터페이스(3D HMI라고 함)가 개시되고, 상기 3D HMI는 (1) 이미지 획득 어셈블리(image acquisition assembly,1000), (2) 초기화 모듈(initializing module,1100), (3) 이미지 구획 모듈(image segmentation module,1200), (4) 구획 데이터 프로세싱 모듈(segmented data processing module,1300), (5) 스코어링 모듈(scoring module,1400), (6) 프로젝션 모듈(projection module,1450), (7) 피팅 모듈(fitting module,1500), (8) 스코어링 및 에러 검출 모듈(scoring and error detection module,1550), (9) 회복 모듈(recovery module,1600), (10) 3차원 상관관계 모듈(three dimensional correlation module,1700), (11) 3차원 골격 예측 모듈(three dimensional skeleton prediction module,1800), 및 (12) 출력 모듈(output module,1900)을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 이미지 획득 어셈블리는, 단계 2000에 보여지는 바과 같이, 이미지의 세트를 획득하고, 실질적으로 각각의 이미지는 시간상 다른 지점에 관련된다. 본 발명의 다른 어떤 실시예에 따르면, 상기 이미지는 단일의 사용자 또는 다수의 사용자가 될 수 있다.

본 발명의 다른 어떤 실시예에 따르면, 상기 이미지 획득 어셈블리는 디지털 카메라, 웹 카메라, 필름 카메라, 비디오 카메라, 웹 카메라, 디지털 비디오 카메라, 아날로그 비디오 카메라, 스테레오 카메라 및/또는 오늘날 알려진 다른 종류의 카메라 또는 미래에 나올 어떤 종류의 카메라를 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템이 하나 또는 그 이상의 이미지를 획득한 다음에는, 상기 시스템은 초기화 단계(단계 2100)로 진입하고, 이는 상기 초기화 모듈(1100)에 의하여 수행된다. 초기화 모듈은 (1) 칼라, (2) 조직 파라미터(organ's parameter), (3) 환경, 및 사용자에 관련되는 다른 파라미터를 검출하고 정의할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2200에 보여지는 바와 같이, 구획 데이터를 추출할 수 있으며, 상기의 구획 데이터는 아래의 사항을 포함한다.

·칼라(color)

·움직임(movement)

·에지 검출(edge detection)

·텍스츄어(texture)

본 발명의 또 어떤 실시예에 따르면, 상기 이미지 구획 모듈(1200)은 이미지로부터 상기 구획 데이터를 추출할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2300에 보여지는 바과 같이, 상기 구획 데이터를 프로세스할 수 있다. 본 발명의 또 어떤 실시예에 따 르면, 상기 구획 데이터는 다음과 같은 방법에 의하여 프로세스될 수 있다.

·움직임 - 프레임에서 움직이는 구성을 검출

·배경 제거

·에지 검출 - 이미지의 에지를 검출

본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터 프로세싱 모듈(1300)은 상기 구획 데이터를 프로세스할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2400에 보여지는 바과 같이, 상기 구획 데이터의 질을 평가할 수 있으며, 이러한 평가는 (1) 상기의 프로세스된 구획 데이터를 조사하고, (2) 상기의 프로세스된 구획 데이터의 질을 추정하고, 추정된 질에 따라 (3) 상기 구획 데이터 부분이 상기 HMI 시스템에 의하여 사용되기에 충분히 신뢰할 수 있는지를 결정하는 것에 의하여 수행된다.

본 발명의 또 어떤 실시예에 따르면, 상기 스코어링 모듈(1400)은 상기 구획 정보의 질을 평가할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 시스템은, 단계 2800에 보여지는 바와 같이, 3차원 골격의 위치를 예측할 수 있으며, 그 위치는 프로세스된 이미지와 가장 좋은 매치 또는 상관관계를 가질 것이다. 본 발명의 또 어떤 실시예에 따르면, 이러한 예측은, 예를 들어 상기 골격이 인간 형상인 경우에 골격의 머리는 어 깨의 움직임 없이 360도 회전될 수 없는 것처럼, 상기 골격의 타입으로부터 유도되는 제한사항을 사용하여 좀 더 정확해질 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 예측 결과는 다이나믹 및 모션 프로세스 등을 사용할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 골격 예측 모듈(1800)은 3차원 골격의 위치를 예측할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2450에 보여지는 바와 같이, 상기 이미지 상에 상기 골격을 투영할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 예측은 2차원 평면에도 적용될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 프로젝션 모듈(2450)은 상기 이미지 상에 상기 골격을 투영할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2500에 보여지는 바와 같이, 상기 구획 데이터를 상기의 투영된 골격에 피트시키는 것이 가능하다. 본 발명의 또 어떤 실시예에 따르면, 이러한 피팅 프로세스는 상기 구획 데이터의 일부를 상기의 투영된 골격의 일부에 피트시키는 것을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 구획 데이터를 피트하는 것은 상기의 추출된 구획 데이터의 일부를 현재의 골격 파라미터에 관련시키는 것을 포함하고, 여기서 현재 골격 파라미터는 추출된 구획 데이터의 관련된 부분들을 제공할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 이러한 프로세스의 결과는 "피트된 골 격"이다.

본 발명의 또 어떤 실시예에 따르면, 상기 피팅 모듈(2500)은 상기 구획 데이터를 상기의 투영된 골격에 결합시킬 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 2550에 보여지는 바와 같이, 상기의 피트된 골격에 점수를 부여하고, 에러를 검출할 수 있다. 본 발명의 어떤 실시예에 따르면, 점수를 부여하고 에러를 검출하는 것은 (1) 상기의 피트된 골격을 조사하고, (2) 상기의 골격의 피팅 질을 평가하고, (3) 상기 골격 예측 프로세스를 하는 동안 또는 구획 데이터를 연결시키는 동안에 에러가 발생하였는지 여부를 결정하는 것을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 및 에러 검출 모듈(1550)은 점수를 부여하고 에러를 검출할 수 있다.

본 발명의 어떤 실시예에 따르면, 단계 2550에서 에러가 검출되는 경우에, 상기 시스템은, 단계 2600에 보여지는 바와 같이, 회복 단계로 진입할 수 있다. 이러한 회복 프로세스는 멀티플 프로세싱 레이어의 프로세스가 될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기의 회복 단계는 상기 이미지를 재-구획하고, 상기 3D 골격 위치를 재-예측하고, 재-투영하며, 상기 골격을 재-피팅하는 수고를 다시 수행하는 것을 포함한다. 또한, 본 발명의 또 어떤 실시예에 따르면, 상기 이미지 정보에 오류가 있는 경우에, 상기 시스템은 하나의 프레임 또는 그 이상을 스킵할 것을 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 회복이 수행되는 동안 상기 시스템은 객체 의 추적이 상기 프레임 내에 있지 않은 객체를 검출할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 시스템은 상기 객체가 상기 프레임으로 돌아올 때까지 하나 또는 그 이상의 프레임을 스킵할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기의 회복 단계는 상기 시스템을 상기의 초기화 단계로 돌릴 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 회복 모듈(2600)은 상기의 회복 프로세스를 수행할 수 있다.

본 발명의 어떤 실시예에 따르면, 단계 2550 동안에 에러가 검출되지 않은 경우에, 상기 시스템은, 단계 2700에 보여지는 바와 같이, 상기 3차원 골격의 일부를 상기의 피트된 골격의 일부로 업데이트할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기의 업데이트 프로세스는 (1) 상기의 피트된 골격 상에 3D 골격을 투영하고, (2) 상기 3D 골격을 상기의 피트된 골격에 결합시키고, (3) 상기 3D 골격의 위치를 업데이트하는 것을 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 상관관계 모듈(1700)은 상기 3차원 골격의 위치를 업데이트할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 상관관계 모듈(1700)과 골격 예측 모듈(1800)은, 본 출원인과 동일한 출원인으로 2005년 7월 31일에 출원된 PCT/IL2005/000813호의 PCT출원에 기재되어 있는 알고리즘 및 프로세스의 일부 또는 전부를 사용할 수 있다.

도 3을 참조하여 보면, 본 발명의 어떤 실시예에 따른 예시적인 HMI 시스템 이 도시되어 있고, 이러한 시스템의 단계들을 기술하는 플로우 챠트가 도시된 도 4와 함께 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 도 3에는 3D 인간 기계 인터페이스(3D HMI라고 함)가 개시되고, 상기 3D HMI는 (1) Z-렌즈(Zlens) 이미지 획득 어셈블리(3000), (2) 초기화 모듈(3100), (3) 이미지 구획 모듈(3200), (4) 구획 데이터 프로세싱 모듈(3300), (5) 피팅 모듈(3500), (6) 스코어링 모듈(3550), (7) 3차원 상관관계 모듈(3700), 및 (8) 출력 모듈(3900)을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 Z-렌즈 획득 어셈블리는, 단계 4000에 보여지는 바와 같이, 이미지 세트를 획득할 수 있으며, 특히, 각각의 이미지는 실질적으로 시간상 다른 위치에 연결된다. 본 발명의 또 어떤 실시예에 따르면, 상기 이미지는 단일의 사용자 또는 다수의 사용자일 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 Z-렌즈 획득 어셈블리는 도 1에 도면부호 1000으로 도시된 구성요소와는 다른 이미지 획득 어셈블리에 마운트될 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 Z-렌즈 획득 어셈블리(3000)는, 본 출원인과 동일한 출원인으로 2006년 10월 31일에 출원된 PCT/IL2006/001254와, 본 출원인과 동일한 출원인으로 2005년 10월 31일에 출원된 US 60/731,274호의 미국 특허출원과 관련하여 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 4100에 보여되는 바와 같이, 상기 초기화 모듈(3100)에 의하여 수행되는 초기화 단계로 진입할 수 있 다. 초기화 모듈은 사용자의 (1) 칼라, (2) 조직 파라미터(organ's parameter), 환경, 및 (3) 사용자에 관련되는 다른 파라미터를 검출하고 정의할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 4200에 보여지는 바와 같이, 구획 데이터를 추출할 수 있으며, 상기의 구획 데이터는 아래의 사항을 포함한다.

·칼라(color)

·움직임(movement)

·에지 검출(edge detection)

·텍스츄어(texture)

본 발명의 또 어떤 실시예에 따르면, 상기 이미지 구획 모듈(3200)은 이미지로부터 상기 구획 데이터를 추출할 수 있다.

본 발명의 어떤 실시예에 따르면, 단계 4300에 보여지는 바와 같이, 상기 구획 데이터를 프로세스할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터는 아래와 같은 방법에 의하여 프로세스 될 수 있다.

·칼라 - 예를 들어 손바닥과 얼굴을 검출하기 위하여 피부 색을 사용하는 것처럼, 구성 및/또는 빛 변화를 검출하는데 알려진 칼라 파라미터를 사용.

·움직임 - 프레임에서 움직이는 구성을 검출

·배경 제거

·에지 검출 - 이미지의 에지를 검출

본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터 프로세싱 모듈(3300)은 상기 구획 데이터를 프로세스할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 4500에 보여지는 바와 같이, 상기의 추출된 구획 데이터의 일부를 상기의 획득된 이미지로 피트시킬 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 피팅 프로세스는 상기의 추출된 구획 데이터의 부분들을 상기의 획득된 이미지의 관련 영역들에 결합시키는 것을 포함할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기의 관련 영역은 시스템에 저장되거나 상기의 초기화 단계 동안 결정될 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기의 관련 영역은 사용자의 특수 조직(손, 머리, 다리)이거나 단계 3000에서 획득되는 다른 구성일 수 있다.

본 발명의 또 어떤 실시예에 따르면, 이러한 피팅 프로세스는 추출된 구획 데이터가 상기 관련 영역과 연관된 파라미터를 정의하는지 여부를 테스트하는 것을 포함할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 피팅 모듈(3500)은 상기 구획 데이터를 상기의 획득된 이미지에 결합시킬 수 있다.

본 발명의 또 어떤 실시예에 따르면, 이러한 프로세스의 결과는 "피트된 이미지"이다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 4550에 보여지는 바와 같이, 상기의 피트된 구획 데이터의 질을 평가할 수 있다. 본 발명의 어떤 실시 예에 따르면, 상기의 피트된 구획 데이터의 질을 평가하는 것은, (1) 상기의 프로세스된 구획 데이터를 조사하고, (2) 상기의 프로세스된 구획 데이터의 질을 추정하고, 추정된 질에 따라 (3) 상기 구획 데이터의 부분들이 상기 HMI 시스템에 의하여 사용되기에 충분히 신뢰할 수 있는지를 결정하고, (4) 상기의 피트된 이미지를 조사하고, (5) 상기의 이미지의 피팅 질을 평가하고, (6) 구획 데이터를 결합시키는 동안에 에어가 발생하였는지 여부를 결정하는 것을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 모듈(3550)은 상기의 피트된 구획 데이터의 질을 평가할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 시스템은 위에서 언급한 바와 같은 에러 검출 메커니즘과 회븍 메커니즘을 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 4700에 보여지는 바와 같이, 상기의 피트된 이미지에 따라 3차원 바디(body)의 위치와, 상기 Z-렌즈 이미지 획득 어셈블리를 사용하여 뎁쓰 맵(depth map)의 외삽(extrapolation)을 업데이트할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 이러한 업데이트 프로세스는 추출된 뎁쓰 맵과 추출된 구획 데이터를 결합시키고, (3) 출력 모델의 3차원 바디의 위치를 업데이트하는 것을 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 3차원 상관관계 모듈(3700)은 3차원 바디의 위치를 업데이트할 수 있다.

본 발명의 어떤 실시예에 따르면, 3차원 상관관계 모듈(3700)과 Z-렌즈 이미지 획득 어셈블리(3000)와 특히 상기 Z-렌즈 장치를 사용하여 획득되는 이미지로부 터 뎁쓰의 외삽에 대해서는, 본 출원인과 동일한 출원인으로 2006년 10월 31일에 출원된 PCT/IL2006/001254와, 본 출원인과 동일한 출원인으로 2005년 10월 31일에 출원된 US 60/731,274호의 미국 특허출원과 관련하여 더욱 잘 설명될 수 있다.

도 5를 참조하여 보면, 본 발명의 어떤 실시예에 따른 예시적인 HMI 시스템이 도시되어 있으며, 이러한 HMI 시스템의 단계들을 기술하는 플로우 챠트가 도시된 도 6와 함께 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 도 5에는 3D 인간 기계 인터페이스(3D HMI라고 함)가 개시되고, 3D HMI는 (1) Z-렌즈 획득 어셈블리(5000), (2) 초기화 모듈(5100), (3) 이미지 구획 모듈(5200), (4) 구획 데이터 프로세싱 모듈(5300), (5) 스코어링 모듈(5400), (6) 프로젝션 모듈(5450), (7) 피팅 모듈(5500), (8) 스코어링 및 에러 검출 모듈(5550), (9) 회복 모듈(5600), (10) 3차원 상관관계 모듈(5700), (11) 3차원 골격 예측 모듈(5800), (12) 출력 모듈(5900) 및 광학 (13) 뎁쓰 추출 모듈(depth extraction module,5050)을 포함한다.

본 발명의 어떤 실시예에 따르면, Z-렌즈 획득 어셈블리는, 단계 6000에 보여지는 바와 같이, 이미지의 세트를 획득하고, 실질적으로 각각의 이미지는 시간상 다른 지점에 관련된다. 본 발명의 또 어떤 실시예에 따르면, 상기 이미지는 단일의 사용자 또는 다수의 사용자가 될 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 Z-렌즈 획득 어셈블리(5000)는, 본 출원인과 동일한 출원인으로 2006년 10월 31일에 출원된 PCT/IL2006/001254와, 본 출원인과 동일한 출원인으로 2005년 10월 31일에 출원된 US 60/731,274호의 미국 특허출원과 관련하여 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템이 하나 또는 그 이상의 이미지를 획득한 후에, 상기 시스템은, 단계 6100에 보여지는 바와 같이, 상기 초기화 모듈(5100)에 의하여 수행되는 초기화 단계로 진입할 수 있다. 상기 초기화 모듈은 사용자의 (1) 칼라, (2) 조직 파라미터(organ's parameter), (3) 환경, 및 사용자에 관련되는 다른 파라미터를 검출하고 정의할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6200에 보여지는 바와 같이, 구획 데이터를 추출할 수 있으며, 상기의 구획 데이터는 아래의 사항을 포함한다.

·칼라(color)

·움직임(movement)

·에지 검출(edge detection)

·텍스츄어(texture)

본 발명의 또 어떤 실시예에 따르면, 상기 이미지 구획 모듈(5200)은 이미지로부터 상기 구획 데이터를 추출할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6300에 보여지는 바와 같이, 상기 구획 데이터를 프로세스할 수 있다. 본 발명의 또 어떤 실시예에 따 르면, 상기 구획 데이터는 아래와 같은 방법에 의하여 프로세스 될 수 있다.

·움직임 - 프레임에서 움직이는 구성을 검출

·배경 제거

·에지 검출 - 이미지의 에지를 검출

본 발명의 또 어떤 실시예에 따르면, 상기 구획 데이터 프로세싱 모듈(5300)은 상기 구획 데이터를 프로세스할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6400에 보여지는 바와 같이, 상기 구획 데이터의 질을 평가할 수 있으며, 이러한 평가는 (1) 상기의 프로세스된 구획 데이터를 조사하고, (2) 상기의 프로세스된 구획 데이터의 질을 추정하고, 추정된 질에 따라 (3) 상기 구획 데이터의 부분들이 상기 HMI 시스템에 의하여 사용되기에 충분히 신뢰할 수 있는지를 결정하는 것에 의하여 수행된다.

본 발명의 또 어떤 실시예에 따르면, 상기 스코어링 모듈(5400)은 상기 구획 정보의 질을 평가할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 상기 시스템은, 단계 6800에 보여지는 바와 같이, 3차원 골격의 위치를 예측할 수 있으며, 그 위치는 프로세스된 이미지와 가장 좋은 매치 또는 상관관계를 가질 것이다. 본 발명의 또 어떤 실시예에 따르면, 이러한 예측은, 예를 들어 상기 골격이 인간 형상인 경우에 골격의 머리는 어깨의 움직임 없이 360도 회전될 수 없는 것처럼, 상기 골격의 타입으로부터 유도되는 제한사항을 사용하여 좀 더 정확해질 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 골격 예측 모듈(5800)은 3차원 골격의 위치를 예측할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6050에 보여지는 바와 같이, Z-렌즈 획득 어셈블리를 사용하여 뎁쓰를 추출하는 것이 가능하고, Z-렌즈 획득 어셈블리를 사용한 뎁쓰의 추출은 (1) 본 출원인과 동일한 출원인으로 2006년 10월 31일에 출원된 PCT/IL2006/001254와, (2) 본 출원인과 동일한 출원인으로 2005년 10월 31일에 출원된 US 60/731,274호의 미국 특허출원에 기술된다.

본 발명의 어떤 실시예에 따르면, 상기 뎁쓰 추출 모듈(5050)은 상기의 획득된 이미지로부터 뎁쓰를 추출할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6450에 보여지는 바와 같이, 상기 이미지 상에 골격을 투영하는 것 역시 가능하다. 본 발명의 또 어떤 실시예에 따르면, 이러한 투영(프로젝션)은 2차원 평면에서도 적용가능하다.

본 발명의 또 어떤 실시예에 따르면, 모듈(5050)이 사용된다면 상기 골격의 투영은 3차원 평면에서도 가능하다.

본 발명의 어떤 실시예에 따르면, 상기의 투영은 3차원 이미지 및/또는 점으로 자욱한 3차원 상에 이루어질 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 프로젝션 모듈(6450)은 상기 이미지 상에 상기 골격을 투영시킬 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6500에 보여지는 바와 같이, 구획 데이터를 투영된 골격에 피트하는 것이 가능하다. 본 발명의 또 어떤 실시예에 따르면, 이러한 피팅 프로세스는 상기 구획 데이터의 일부들을 상기의 투영된 골격의 일부들에 결합시키는 것을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 구획 데이터를 피트하는 것은 상기의 추출된 구획 데이터의 부분들을 현재의 골격 파라미터에 결합시키는 것을 포함하고, 여기서 현재 골격 파라미터는 추출된 구획 데이터의 관련된 부분들을 제공할 수 있다.

본 발명의 또 어떤 실시예에 따르면, 이러한 프로세스의 결과는 "피트된 골격"이다.

본 발명의 또 어떤 실시예에 따르면, 상기 피팅 모듈(5500)은 상기 구획 데이터를 상기의 투영된 골격에 결합시킬 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 시스템은, 단계 6550에 보여지는 바와 같이, 상기의 피트된 골격에 점수를 부여하고, 에러를 검출할 수 있다. 본 발명의 어떤 실시예에 따르면, 점수를 부여하고 에러를 검출하는 것은 (1) 상기의 피트된 골격을 조사하고, (2) 상기 골격의 피팅 질을 평가하고, (3) 상기 골격 예측 프로세스를 하는 동안 또는 구획 데이터를 결합시키는 동안에 에러가 발생하였는지 여부를 결정하는 것을 포함한다.

본 발명의 어떤 실시예에 따르면, 상기 스코어링 및 에러 검출 모듈(5550)은 점수를 부여하고 에러를 검출할 수 있다.

본 발명의 어떤 실시예에 따르면, 단계 6550에서 에러가 검출되는 경우에, 상기 시스템은, 단계 6600에 보여지는 바와 같이, 회복 단계로 진입할 수 있다. 이러한 회복 프로세스는 멀티플 프로세싱 레이어의 프로세스가 될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기의 회복 단계는 상기 이미지를 재-구획하고, 상기 3D 골격 위치를 재-예측하고, 재-투영하며, 상기 골격을 재-피팅하는 수고를 다시 수행하는 것을 포함한다. 또한, 본 발명의 또 어떤 실시예에 따르면, 상기 이미지 정보에 오류가 있는 경우에, 상기 회복 모듈은 하나의 프레임 또는 그 이상을 스킵할 것을 결정할 수 있다.

본 발명의 어떤 실시예에 따르면, 회복이 수행되는 동안 상기 시스템은 객체의 추적이 상기 프레임 내에 있지 않은 객체를 검출할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기 시스템은 상기 객체가 상기 프레임으로 돌아올 때까지 하나 또는 그 이상의 프레임을 스킵할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 회복 모듈(5600)은 상기의 회복 프로세스를 수행할 수 있다.

본 발명의 어떤 실시예에 따르면, 단계 6550 동안에 에러가 검출되지 않은 경우에, 상기 시스템은, 단계 6700에 보여지는 바와 같이, 상기 3차원 골격의 위치 를 상기의 피트된 골격의 위치로 업데이트할 수 있다. 본 발명의 또 어떤 실시예에 따르면, 상기의 업데이트 프로세스는 (1) 상기의 피트된 골격 상에 3D 골격을 투영하고, (2) 3차원 골격을 상기의 피트된 골격에 결합시키고, (3) 상기 Z-렌즈 어셈블리를 사용하여 뎁쓰를 추출하고, (4) 상기 3차원 골격을 뎁쓰 파라미터에 결합시키고, (5) 상기 3D 골격의 위치를 업데이트하는 포함할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 상관관계 모듈(5700)은 상기 3차원 골격의 위치를 업데이트할 수 있다.

본 발명의 어떤 실시예에 따르면, 상기 3차원 상관관계 모듈(5700)과 골격 예측 모듈(5800)은, 본 출원인과 동일한 출원인으로 2005년 7월 31일에 출원된 PCT/IL2005/000813호의 PCT출원에 기재되어 있는 알고리즘 및 프로세스의 일부 또는 전부를 사용할 수 있다.

본 발명의 또 어떤 실시예에 따르면, (1) 3차원 상관관계 모듈(5700)과, (2) Z-렌즈 이미지 획득 어셈블리(5000)와, 뎁쓰 추출 모듈(5050) 및 특히 상기 Z-렌즈 장치를 사용하여 획득되는 이미지로부터 뎁쓰의 외삽에 대해서는, 본 출원인과 동일한 출원인으로 2006년 10월 31일에 출원된 PCT/IL2006/001254와, 본 출원인과 동일한 출원인으로 2005년 10월 31일에 출원된 US 60/731,274호의 미국 특허출원과 관련하여 더욱 잘 설명될 수 있다.

본 발명의 어떤 실시예에 따르면, 상기에서 기술된 시스템은 외부 소스 뎁쓰 이미지 및/또는 3차원 이미지로부터 수신할 있다. 본 발명의 또 어떤 실시예에 따르면, 뎁쓰 이미지 및/또는 3차원 이미지가 수신되면, 상기 시스템은 관련되는 모 듈에서 그들의 파라미터를 추출할 수 있다.

여기에서 표현된 프로세스들과 디스플레이들은 어떤 특별한 컴퓨터 또는 그 외의 장치에 근본적으로 관련되는 것은 아니다. 다양한 일반적인 목적의 시스템들이 명세서에 개시된 사항에 부합하는 프로그램으로 사용될 수 있거나, 바람직한 방법을 실행하기 위한 좀 더 특별화된 장치를 만드는 것도 용이할 것이다. 이러한 시스템들의 종류에 대한 바람직한 구조는 상세한 설명으로부터 알 수 있을 것이다. 그리고, 본 발명의 실시예들은 어느 특별한 프로그래밍 언어에 관하여 기술되는 것이 아니다. 여러 종류의 프로그래밍 언어들이 기재된 발명의 사상을 충족되도록 사용될 수 있다. 당업자라면 기술된 발명이 모든 종류의 와이어리스(wireless) 또는 와이어-라인(wire-line) 시스템에 사용될 수 있는 것을 당연히 알 것이다.

본 발명의 특정한 특징들이 도시되고 기술되었지만, 다양한 변형, 치환, 변경 및 동등물로의 대체등이 본 발명의 기술분야에서 일어날 수 있다. 따라서, 첨부된 청구항은 본 발명의 사상에 포함되는 이러한 변형 및 변경등을 포함하는 것이다.

Claims

각각의 이미지가 시간상 다른 지점에 관련되는 사용자의 2차원 이미지의 세트를 획득하는 이미지 획득 어셈블리; 및

템플릿 바디의 3차원 데이터 모델을 상기 이미지 획득 어셈블리에 의해 획득된 하나 또는 그 이상의 이미지들로부터 외삽된(extrapolated) 데이터 세트에 관련시킴으로써, 하나 또는 그 이상의 추정된 사용자 바디를 유도하는 프로세싱 유닛;을 포함하는 3D 인간 기계 인터페이스.
제 1 항에 있어서,

초기화 모듈, 이미지 구획 모듈, 구획 데이터 프로세싱 모듈, 스코어링(scoring) 모듈, 뎁쓰 추출(detph extraction) 모듈, 프로젝션 모듈, 피팅(fitting) 모듈, 스코어링 및 에러 검출 모듈, 회복 모듈, 3차원 골격 예측 모듈로 이루어진 그룹에서 선택되는 하나 또는 그 이상의 모듈과, 3차원 상관관계 모듈 및 출력 모듈을 더 포함하는 3D 인간 기계 인터페이스.
제 2 항에 있어서,

상기 이미지 구획 모듈은 상기 이미지로부터 구획 데이터를 추출하는 3D 인간 기계 인터페이스.
제 3 항에 있어서,

상기 구획 데이터는 칼라(Color), 움직임(movement), 사이즈(size), 에지 검출(Edge detection) 및 텍스츄어(texture)로부터 선택되는 파라미터들로 이루어진 3D 인간 기계 인터페이스.
제 3 항에 있어서,

상기 구획 데이터 프로세싱 모듈은 상기의 구획 데이터를 프로세스하는 3D 인간 기계 인터페이스.
제 5 항에 있어서,

상기 스코어링 모듈은 상기 프로세스된 구획 데이터의 질을 평가하는 3D 인간 기계 인터페이스.
제 2 항에 있어서,

상기 3차원 골격 예측 모듈은 상기 3차원 골격의 위치를 예측하는 3D 인간 기계 인터페이스.
제 2 항에 있어서,

상기 프로젝션 모듈은 상기의 획득된 이미지 상에 3차원 골격을 투영하는 3D 인간 기계 인터페이스.
제 8 항에 있어서,

상기 3차원 골격의 투영은 2차원 평면에 이루어지는 3D 인간 기계 인터페이스.
제 2 항에 있어서,

상기 피팅 모듈은 추출된 구획 데이터의 부분들을 투영된 골격에 결합시키는 3D 인간 기계 인터페이스.
제 2 항에 있어서,

상기 3차원 상관관계 모듈은 3차원 골격의 위치를 업데이트하는 3D 인간 기계 인터페이스.
제 1 항에 있어서,

상기 이미지 획득 어셈블리는 필름 카메라, 웹 카메라, 디지털 비디오 카메라, 아날로그 비디오 카메라 및 스테레오 카메라를 포함하는 그룹으로부터 선택되는 3D 인간 기계 인터페이스.
2차원 이미지들의 세트로부터 대등하게 되는 하나 또는 그 이상의 추정된 사용자 바디를 유도하는 프로세싱 유닛; 및

둘 또는 그 이상의 광학 경로들을 사용하여 하나 또는 그 이상의 2차원 이미지 데이터 세트를 획득하는 이미지 획득 어셈블리;를 포함하고,

상기 광학 경로 각각은 렌즈, 미러 및 조리개 구조(diaphragm structure)를 포함하고, 각각의 광 경로는 공통의 투영면으로부터 2차원 광학 이미지 정보를 수집하는 3D 인간 기계 인터페이스.
제 13 항에 있어서,

초기화 모듈, 이미지 구획 모듈로 이루어진 그룹으로부터 선택되는 적어도 하나의 모듈과,

구획 데이터 프로세싱 모듈, 피팅 모듈, 스코어링 및 에러 검출 모듈, 뎁쓰 추출 모듈, 회복 모듈, 3차원 상관관계 모듈 및 출력 모듈을 더 포함하는 3D 인간 기계 인터페이스.
제 14 항에 있어서,

상기 이미지 구획 모듈은 상기 이미지로부터 구획 데이터를 추출하는 3D 인간 기계 인터페이스.
제 15 항에 있어서,

상기 구획 데이터는 칼라, 움직임, 사이즈, 에지 검출 및 텍스츄어로 이루어지는 그룹으로부터 선택되는 파라미터로 이루어지는 3D 인간 기계 인터페이스.
제 15 항에 있어서,

상기 구획 데이터 프로세싱 모듈은 상기 구획 데이터를 프로세스하는 3D 인간 기계 인터페이스.
제 14 항에 있어서,

상기 피팅 모듈은 추출된 구획 데이터의 부분들을 획득되는 이미지에 결합시키는 3D 인간 기계 인터페이스.
제 14 항에 있어서,

상기 3차원 상관관계 모듈은 3차원 바디의 위치를 업데이트하는 3D 인간 기계 인터페이스.
제 13 항에 있어서,

상기 이미지 획득 어셈블리는 Z-렌즈(Zlens) 어셈블리인 3D 인간 기계 인터페이스.