KR100298240B1 - 정보입력장치,정보입력방법및고체촬상장치 - Google Patents

Abstract

본 발명은 정보입력장치, 정보입력방법 및 고체촬상(撮像)장치에 관한 것으로서, 특수한 장치를 장착하지않고, 간단하게 제스처와 움직임 입력을 실행하며 특히, 3차원 공간에서의 포인팅과 시점 변경을 용이하게 실행하고, 사용자의 제스처와 움직임을 그대로 사용하여 애니메이션의 캐릭터 등에 자연스러운 움직임을 곁들이는 등의 직접적인 조작을 실행하며, 특정 캐릭터만을 오려내거나 캐릭터의 안길이 정보를 용이하게 입력할 수 있도록 하고, 반사광 또는 복사광에 의한 입력에서 물체화상을 추출하며, 추출된 반사광 화상의 형상을 해석하여 해석한 형상을 지시로 변환하고, 캐릭터를 배경화상으로부터 오려내기 위해 특정 화상을 분해하고 얻은 분해정보를 기초로 특정수단분을 추출하며, 추출된 화상 및 배경을 화상 및 배경을 기억하고, 상기 반사광 화상기억수단에 기억된 반사광 화상의 배치위치를 지정하고, 기억된 배경에 대해 지정된 배치위치에 기억된 반사광 화상을 배치하여 합성하는 것을 특징으로 한다.

Description

정보입력장치, 정보입력방법 및 고체촬상장치

본 발명은 물체에 의한 반사광을 획득하고 입력정보를 추출하는 정보입력장치, 정보입력방법 및 고체촬상장치에 관한 것이다.

컴퓨터의 입력디바이스로서 마우스가 압도적으로 사용되고 있다. 그러나, 마우스로 조작할 수 있는 것은 커서의 이동과 메뉴의 선택 등이고, 어디까지나 2차원의 포인팅 디바이스로서의 역할에 지나지 않는다. 마우스로 다루는 것은 2차원의 정보이고, 3차원 공간 중의 물체 등 안길이가 있는 것을 선택하는 것은 어렵다. 또, 애니메이션을 작성하는 경우, 캐릭터의 움직임을 곁들이는데에 마우스와 같은 입력디바이스로는 자연스러운 움직임으로 하는 것이 어려웠다.

최근, 3차원 공간에서의 포인팅의 난점을 보완하기 위해 3차원 포인팅 디바이스가 개발되고 있다. 예를 들면 제65도와 같은 3차원 포인팅 디바이스는 중앙의 둥근 수단분의 전방을 누르고, 중앙을 누르며, 후방을 누르고, 둥근 수단분의 전체를 들어올리며, 전체를 오른쪽으로 돌리고, 왼쪽으로 돌리는 것과 같이 6가지 조작이 가능하며, 6자유도이다. 이 6자유도를 배정하여 3차원 공간 내의 커서의 위치(x, y, z)와 방향(x축, y축, z축)을 제어하거나, 또는 3차원 공간에 대한 시점위치(x, y, z)와 방향(x축, y축, z축)을 제어할 수 있다. 그러나, 실제로 조작하면 생각하는 대로 커서와 시점의 제어를 할 수 없다는 문제가 있다. 좌우로 돌리려고 하면 전방 또는 후방을 눌러서 생각지 않은 방향으로 커서가 움직이거나 시점이 움직여 버린다.

이와 같은 3차원 포인팅 디바이스에 대해 손놀림과 몸놀림을 사용하여 입력하는 디바이스도 개발되고 있다. 데이터 글로브와 데이터 수츠, 사이버 글로브로 불리는 것이다. 이러한 것은 예를 들면 데이터 글로브는 장갑 모양의 디바이스로서 표면에 광섬유가 뻗어 있다. 광섬유는 손가락의 관절까지 통해 있고, 손가락을 구부리는 것에 의해 광의 도통이 변한다. 이 광의 도통을 계측하여 이러한 손가락 관절이 어느 정도 구부러지는지 알 수 있다. 손 자체의 3차원 공간 내의 위치는 손등에 대한 자기센서에 의해 계측하도록 이루어져 있다. 집게손가락을 세우면 전진한다고 하는 것과 같이, 몸놀림과 그에 대응하는 지시를 결정해 두면 데이터 글로브를 사용하여 3차원 공간 내를 종종 시점을 바꾸어 마치 걸어 다니는 것과 같도록 할 수 있다(walk through라고 한다).

그러나, 이와 같은 3차원 포인팅 디바이스에도 문제점이 몇 개 있다. 우선, 가격이 고가여서 가정용 등에 사용하는 경우는 어렵다. 손가락 관절의 각도를 계측하기 때문에 예를 들면 집게손가락만 뻗고, 다른 손가락은 구부린 상태를 전진지시로 정의한다. 실제로 손가락을 뻗어도 집게손가락의 제 2 관절의 각도가 180도로 완전하게 되는 경우는 적기 때문에 남는 수단분을 만들지 않으면 손가락을 쭉뻗은 때 이외에는 뻗었다고 인식할 수 없다.

또, 데이터 글로브를 장착하기 때문에 자연스러운 조작이 저해되고, 장착할 때마다 손의 열린 상태와 닫힌 상태에 있어서 광의 도통상태를 교정하지 않으면 안되기 때문에 손쉽게 사용할 수 없다. 또, 광섬유를 사용하기 때문에 계속적으로 사용하면 파이버가 단절되는 등 소모품에 가깝다고 하는 문제가 있다. 또, 이와 같이 고가이고, 수고가 드는 디바이스이면서 장갑의 크기가 딱 맞지 않으면 사용하는 중에 벗겨지거나 하여 교정한 값에서 벗어나기 때문에 세세한 손놀림을 인식하는 것은 어렵다. 이와 같이 여러 가지 문제가 있기 때문에 데이터 글로브는 VR(가상현실)기술의 트리거가 되는 디바이스임에도 불구하고 당초의 기대만큼 보급되지 않고 또 저가격화도 이루어지지 않아 사용의 편리성에서 문제가 많다.

이에 대해 데이터 글로브와 같은 특수한 장치를 장착하지 않고 손놀림과 몸놀림을 입력하려고 하는 시도가 몇번 이루어졌다. 예를 들면 비디오영상 등의 동화상을 해석하여 손의 형태를 인식하는 연구가 이루어졌다. 그러나, 이것은 배경 화상에서 목적으로 하는 화상, 손놀림 인식의 경우에는 손만을 오려내는 것이 어렵다고 하는 문제가 있다. 예를 들면 색을 사용하여 오려낸 경우를 생각해 본다. 손의 색은 피부색이기 때문에 피부색의 수단분만을 오려내는 방식이 고려되지만, 배경에 베이지색의 양복과 벽이 있거나 하면 피부색을 식별할 수 없다. 또, 조정을 실행하여 베이지와 피부색을 구별하도록 해도 조명이 바뀌면 색조가 변화하기 때문에 정상적으로 오려내는 것은 곤란하다.

이와 같은 문제를 피하기 위해 배경에 블루 매트를 두도록 배경화상에 제한을 두고 오려내기를 용이하게 하는 방책도 채택되고 있다. 또는 손가락 끝에 배경에서의 오려내기가 용이하게 이루어지도록 색을 곁들인다. 또는 색이 칠해진 반지를 끼우는 방책도 채택되고 있다. 그러나, 이와 같은 제한은 현실적이지 않아서 실험적으로는 사용하지만 실용화되지 않았다.

또, 이상과 같은 오려내기 등의 비디오의 화상인식처리는 매우 연산량이 많다. 이 때문에 현상의 퍼스널 컴퓨터는 초당 30장 발생하는 화상을 처리할 수 없는 것이 실상이다. 따라서, 비디오영상의 처리에 의한 모션 캡쳐 등을 하는 것은 실시간으로는 무리이다.

레인지 파인더라고 불리는 거리화상을 입력하는 장치가 있다. 그 대표적인 원리로서 스폿광 또는 슬릿광을 대상물체에 조사하여 그 반사광의 수광위치에서 삼각측량의 원리로 구하는 것이다. 2차원적인 거리정보를 구하기 위해 스폿광 또는 슬릿광을 기계적으로 주사하고 있다. 이 장치는 매우 고정밀한 거리화상을 생성할 수 있지만, 그 반면 장치의 구성이 대규모가 되어 고가이다. 또 입력에 시간이 걸려서 실시간으로 처리를 실행시키는 것은 곤란하다. 또, 손과 신체의 일부에 색마커(marker)와 발광부를 부착하고 화상에 의해 그러한 것을 검출하며 손·신체의 형태, 움직임 등을 포착하는 장치도 있고 일부 실용화되고 있다. 그러나 사용자의 편리성을 고려하면 조작할 때에 장치를 장착하지 않으면 안된다고 하는 것은 큰 단점이어서 응용범위를 매우 제약한다. 또, 데이터 글로브의 예에서 보아지듯이 장치를 손 등의 가동부에 장착하여 사용하는 장치는 내구성이 문제가 되기 쉽다.

다음에 이상과 같은 입력디바이스와는 별도로 카메라기술의 종래 기술에 대한 문제점을 서술한다. 종래의 카메라기술은 배경에 대해 캐릭터의 합성(크로마키)을 실행하려면 새로 블루 백으로 캐릭터를 촬영하여 캐릭터의 오려내기를 용이하게 할 필요가 있었다. 이 때문에 블루 백으로 촬영할 수 있는 스튜디오 등, 촬영장소에 제한이 있었다. 또는 블루 백이 아닌 상태에서 촬영한 영상에서 캐릭터를 오려내는 것은 코머마다 캐릭터의 오려내기 범위를 사람손으로 편집하지 않으면 안 되기 때문에 매우 수고가 든다. 마찬가지로 캐릭터를 3차원 공간 중에 생성하는 것은 새로 3차원의 모델을 만들어 두고 그곳에 캐릭터의 사진을 부착하는(텍스쳐 매핑) 것을 실행하는 방식을 취하고 있다. 그러나, 3차원 모델의 생성 및 텍스쳐 매핑에는 수고가 들어서 영화제작 등 경비가 들어도 좋은 용도 이외에는 거의 사용할 수 없었다.

이와 같이 종래에는 특수한 장치를 장착하지 않고 간이하게 제스쳐와 움직임을 입력할 수 있는 직접 지시형의 입력디바이스가 존재하지 않았다. 특히 3차원 공간에서의 포인팅과 시점 변경을 용이하게 실행할 수 있는 간이한 디바이스는 존재하지 않았다. 또, 사용자의 제스쳐와 움직임을 그대로 사용하여 애니메이션의 캐릭터 등에 자연스러운 움직을 곁들이거나 할 수 없었다. 또, 종래의 카메라는 특정 캐릭터만을 오려내거나 캐릭터의 안길이 정보를 용이하게 입력할 수 없었다.

특수한 장치를 장착하지않고, 간단하게 제스처와 움직임 입력을 실행하며 특히, 3차원 공간에서의 포인팅과 시점 변경을 용이하게 실행하며, 사용자의 제스처와 움직임을 그대로 사용하여 애니메이션의 캐릭터 등에 자연스러운 움직임을 곁들이는 등의 직접적인 조작을 실행하고, 특정 캐릭터만을 오려내거나 캐릭터의 안길이 정보를 용이하게 입력할 수 있도록 하는 것을 목적으로 한다.

제1도는 본원발명의 일실시예인 실시예 1의 구성도.

제2도는 본원발명의 일실시예인 실시예 1의 보다 구체적인 구성도.

제3도는 본원발명의 일실시예인 반사광 추출수단의 상세한 구성도.

제4도는 본원발명의 일실시예인 단위 수광부의 구성도.

제5도는 본원발명의 일실시예인 반사광 추출수단을 제어하는 신호를 나타낸 도면.

제6도는 본원발명의 일실시예인 반사광 화상과 봉형상물체 검출의 모습을 나타낸 도면.

제7도는 본원발명의 일실시예인 손가락 끝에 있어서 반사광 화상을 나타낸 도면.

제8도는 본원발명의 일실시예인 반사광 화상의 화소값에 대해 설명한 도면.

제9도는 본원발명의 손가락 끝 위치를 구하는 특징정보 생성수단의 구성도.

제10도는 본원발명의 봉형상물체 선단 오려내기부의 처리를 설명한 도면.

제11도는 본원발명의 일실시예인 화소값의 수정을 실행하는 이유를 설명한 도면.

제12도는 본원발명의 일실시예인 적절한 화소의 크기를 설명한 도면.

제13도는 본원발명의 일실시예인 봉형상물체 검출의 알고리즘을 나타낸 도면.

제14도는 봉형상물체 선단 오려내기와 중심검출의 알고리즘을 나타낸 도면.

제15도는 본원발명의 봉형상물체 검출에서 이용하는 구조체 설명을 하기 위한 도면.

제16도는 본원발명의 봉형상물체 검출에 있어서 내(耐)노이즈성을 설명한 도면.

제17도는 손가락에 가까운 위치에서의 노이즈 영향을 억제하는 처리를 설명한 도면.

제18도는 본원발명의 바로 앞에 손을 뻗칠 때의 반사광화상을 나타낸 도면.

제19도는 본원발명의 손가락 끝의 미소한 움직임을 검출할 수 있는 것을 설명한 도면.

제20도는 본원발명의 주변화소가 손가락 끝 위치에 주는 영향을 설명한 도면.

제21도는 커서를 정지시켜 클릭신호를 생성시키기 위한 구성도.

제22도는 움직임으로 클릭신호와 명령을 발생하기 위한 구성도.

제23도는 본원발명의 일실시예인 실시예 3의 개략 구성도.

제24도는 본원발명의 일실시예인 실시예 3 중의 거리화상의 일례를 나타낸 도면.

제25도는 제23도의 실시예의 형상해석수단 처리의 흐름의 일례를 나타낸 도면.

제26도는 본원발명의 제23도의 실시예의 형상해석규칙의 일례를 나타낸 도면.

제27도는 본원발명의 일실시예인 실시예 3 중의 거리화상의 일례를 나타낸 도면.

제28도는 본원발명의 실시예 3의 변형예 1의 거리화상의 일례를 나타낸 도면.

제29도는 본원발명의 실시예 3의 변형예 1의 형상해석규칙의 일례를 나타낸 도면.

제30도는 본원발명의 실시예 3의 변형예 2의 시점제어의 개략도.

제31도는 본원발명의 실시예 3의 변형예 2의 화면표시의 일례를 나타낸 도면.

제32도는 본원발명의 실시예 3의 변형예 2의 거리화상의 일례를 나타낸 도면.

제33도는 본원발명의 실시예 3의 변형예 2의 형상해석기억의 일례를 나타낸 도면.

제34도는 본원발명의 실시예 3의 변형예 2의 별도의 시점제어의 개략도.

제35도는 본원발명의 일실시예인 실시예 4의 개략구성도.

제36도는 제35도의 실시예의 화상변화 추출수단의 처리 흐름의 일례를 나타낸 도면.

제37도는 실시예 4의 캐릭터의 모션 컨트롤의 일례를 나타낸 도면.

제38도는 실시예 4의 캐릭터의 모션 컨트롤의 일례를 나타낸 도면.

제39도는 본원발명의 일실시예인 실시예 4의 손가락 움직임의 개략도.

제40도는 손가락에 대응하는 캐릭터의 모션 컨트롤을 나타낸 도면.

제41도는 손가락에 대응하는 캐릭터의 모션 컨트롤을 나타낸 도면.

제42도는 실시예 4의 입의 움직임을 포착한 거리화상의 일례를 나타낸 도면.

제43도는 본원발명의 일실시예인 실시예 4의 변형예의 개략구성도.

제44도는 본원발명의 일실시예인 실시예 4의 GUI의 일례를 나타낸 도면.

제45도는 본원발명의 일실시예인 실시예 4의 GUI의 별도의 일례를 나타낸 도면.

제46도는 본원발명의 일실시예인 실시예 5의 개략구성도.

제47도는 제46도 중의 근적외 수광수단과 가시광 수광수단의 개략구성도.

제48도는 본원발명의 일실시예인 실시예 5의 처리의 개략도.

제49도는 본원발명의 일실시예인 실시예 5의 별도의 개략구성도.

제50도는 본원발명의 일실시예인 실시예 5의 별도의 개략구성도.

제51도는 본원발명의 제50도 중의 화상합성수단의 처리의 개략도.

제52도는 본원발명의 일실시예인 실시예 5의 별도의 개략구성도.

제53도는 본원발명의 일실시예인 실시예 5의 변형예의 개략구성도.

제54도는 본원발명의 일실시예인 실시예 6의 개략구성도.

제55도는 본원발명의 실시예 6의 Z값에 의한 감추인 면(隱面)의 처리의 설명을 위한 도면.

제56도는 본원발명의 일실시예인 실시예 6의 감추인 면 처리의 예를 나타낸 도면.

제57도는 본원발명의 일실시예인 실시예 6의 변형예의 개략구성도.

제58도는 실시예 6의 변형예 중의 거리화상과 처리과정의 일례를 나타낸 도면.

제59도는 본원발명의 정보입력장치를 구비한 컴퓨터를 나타낸 도면.

제60도는 본원발명의 정보입력장치를 구비한 키보드를 나타낸 도면.

제61도는 본원발명의 정보입력장치를 구비한 디스플레이를 나타낸 도면.

제62도는 입력장치와 매설형 디스플레이로 구성한 입력환경을 나타낸 도면.

제63도는 본원발명의 정보입력장치를 구비한 소형 휴대정보기기를 나타낸 도면.

제64도는 정보입력장치를 구비한 손목시계형의 초소형 휴대정보기기를 나타낸 도면.

제65도는 종래의 3차원 포인팅 디바이스의 예를 나타낸 도면.

제66도는 반사광의 강도를 거리값으로 변화하기 위한 구성예.

제67도는 A/D변환 후에 거리값으로 변환하는 구성예.

제68도는 A/D전에 비선형 변환을 실행하고, A/D 후에 반사광의 휘어짐을 보정하는 구성예.

제69도는 비선형 변환의 이상적인 특성예.

제70도는 보정테이블을 사용하여 거리값으로 변환하는 예.

제71도는 보정 테이블의 예.

제72도는 솎아 낸 보정 테이블을 사용하여 거리값으로 변환하는 예.

제73도는 솎아 낸 보정 테이블의 예.

제74도는 소프트웨어로 보정처리를 실행하는 예.

제75도는 자동적으로 보정 데이터를 생성하기 위한 구성예.

제76도는 솎아 낸 보정 테이블에 의한 보정을 나타낸 도면.

제77도는 사용자에게 보정데이터를 작성시키기 위한 구성예.

제78도는 사용자에게의 지시화면의 예.

제79도는 보정 모델을 사용한 경우의 보정방법을 설명한 도면.

제80도는 사용자에게 보정데이터를 작성시킬 때의 플로우 챠트이다.

* 도면의 주요부분에 대한 부호의 설명

101 : 발광수단 102 : 반사광 추출수단

103 : 특징정보 생성수단 104 : 타이밍신호 생성수단

107 : 수광광학계 109 : 제 1 수광수단

110 : 제 2 수광수단 111 : 차분(差分)연산부

133 : 차분회로 135 : V계 선택회로

136 : H계 시프트레지스터 118 : 광전변환부

119 : 제 1 전하축적부 120 : 제 2 전하축적부

121 : 트랜스퍼 게이트 122: 제 1 샘플 게이트

123 : 제 2 샘플 게이트 125 : 출력게이트

124 : 리셋 게이트 130 : 리셋 신호

128 : 발광제어 펄스 132 : 제 2 샘플게이트의 제어신호

131 : 제 1 샘플게이트의 제어신호

201 : 반사광 화상 211 : 손가락이 차지하는 화소

212 : 손가락이 반정도 차지하는 화소

213 : 봉형상물체 검출부 214 : 봉형상물체 선단 오려내기부

215 : 중심검출부 218 : 오려낸 봉형상물체 선단부

251 : 손가락 끝 위치검출수단 252 : 커서위치 결정수단

254 : 커서정지상태 검출수단

256 : 커서 또는 손가락 끝 위치 움직임 검출수단

331 : 거리화상 기억수단 332 : 형상기억수단

343 : 화상변화 추출수단 342 : 비교위치 기억수단

344 : 매개변수 매핑 제어수단 345 : 캐릭터 제어수단

346 : 묘화수단 351 : 가시광 수광수단

352 : 화상기억수단 353 : 오려내기수단

354 : 오려내기화상 기억수단 355 : 오려내기화상(압축)기록수단

356 : (압축)송신수단 357 : 화상합성수단

358 : 배경화상 기억수단 359 : 전환수단

361 : Z값 화상 기억수단 362 : 묘화수단

363 : 오려내기 범위 결정수단 701 : 발광부

702 : 센서부 703 : 발광부

704 : 수광부 705 : 키

706 : 발광부 707 : 수광부

708 : 입력장치 709 : 디스플레이

710 : 손 711 : 오브젝트

712 : 발광부의 창 713 : 손가락

714 : 커서 715 : 표시부

716 : 손가락 717 : 커서

718 : 발광부의 창 719 : 수광부의 창

720 : 타이밍 제어수단 721 : 반사광 화상 생성수단

722 : 비선형 변환수단 725 : 보정수단

728 : 보정 테이블 729 : 보정 연산부

733 : 참조물체 가동수단 734 : 참조물체

735 : 제어수단 736 : 보정데이터 축적부

737 : 보정데이터 연산부 738 : 사용자에게의 지시수단

본원 발명은 펄스신호 또는 변조신호를 발생시키기 위한 타이밍신호 생성수단과, 이 타이밍신호 생성수단에서의 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단과 이 발광수단에서 발한 광의 검출되는 물체를 상기 타이밍신호 생성수단에서의 신호와 동기하여 검출하기 위한 반사광 검출수단을 구비한 것을 특징으로 한다.

또, 상기 반사광 검출수단은 상기 발광수단이 발광하고 있을 때와 발광하고 있지 않은 때에 얻은 복수의 외광 정보를 이용하여 상기 발광수단에서 발한 광의 반사광을 검출하는 것을 특징으로 한다. 또, 상기 반사광 검출수단은 반사광의 공간적인 강도 분포를 나타낸 반사광 화상으로서 반사광을 검출하는 것을 특징으로 한다. 또, 상기 반사광 검출수단에서 얻은 정보를 이용하여 대상물체에 관한 각종 특징정보를 생성하는 특징정보 생성수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 임의의 대상물체의 안길이 정보를 포함한 거리를 추출하는 거리정보 추출수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 임의의 대상물체의 색 또는 재질 등의 정보인 물성정보를 추출하는 물성정보 추출수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여, 또는 거리정보 추출수단 또는 물성정보 추출수단에서의 양쪽 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출 수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여, 또는 거리정보 추출수단 또는 물성정보 추출수단에서의 양쪽 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출수단과, 상기 화상추출수단이 추출한 상기 물체의 화상의 형상을 해석하는 화상해석수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여, 또는 거리정보 추출수단 또는 물성정보 추출수단에서의 양쪽 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출수단과, 상기 화상추출수단이 추출한 상기 물체의 화상의 형상을 해석하는 화상해석 수단과, 해석한 상기 물체의 화상의 형상을 적어도 하나의 지시로 변환하는 변환수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출수단과, 상기 화상추출수단에 의해 추출된 상기 화상의 변화를 해석하는 변화해석수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출수단과, 상기 화상추출수단에 의해 추출된 상기 화상의 변화를 해석하는 변화해석수단과, 해석한 상기 화상의 변화를 적어도 하나의 지시로 변환하는 변화변환수단을 구비한 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보에 기초하여 적어도 하나의 대상물체의 물체화상을 추출하는 화상추출수단과, 상기 화상추출수단이 추출한 상기 물체의 화상 형상을 해석하는 화상해석수단과, 상기 화상추출수단에 의해 추출된 상기 화상의 변화를 해석하는 변화해석수단과, 해석한 상기 화상의 형상과 상기 화상의 변화를 적어도 하나의 지시로 변환하는 형상변화 변환수단을 구비한 것을 특징으로 한다.

또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하는 것을 특징으로 한다. 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출한 상기 물체의 화상 형상을 해석하는 것을 특징으로 하는 정보입력방법, 또 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출한 상기 물체의 화상 형상을 해석하며 해석한 상기 물체의 화상의 형상을 적어도 하나의 지시로 변환하는 것을 특징으로 한다. 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출된 상기 화상의 변화를 해석하는 것을 특징으로 한다. 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출된 상기 화상의 변화를 해석하며 해석한 상기 화상의 변화를 적어도 하나의 지시로 변환하는 것을 특징으로 한다. 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출된 상기 화상 형상을 해석하고 추출된 상기 화상의 변화를 해석하며 해석한 상기 화상의 형상과 상기 화상의 변화를 적어도 하나의 지시로 변환하는 것을 특징으로 한다.

또, 상기 특징정보 생성수단은 거리정보 추출수단 또는 물성정보 추출수단에서의 정보, 또는 거리정보 추출수단 또는 물성정보 추출수단에서의 양쪽 정보에 기초하여 적어도 하나의 특정화상 영역을 추출하는 화상추출수단과, 이 화상추출수단이 추출한 정보를 기억하기 위한 화상기억수단을 구비한 것을 특징으로 한다. 또, 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 특정 화상영역을 추출하고, 추출한 상기 화상영역을 기억하는 것을 특징으로 한다. 또, 상기 화상기억수단에 기억된 복수의 화상영역의 레이아웃을 지정하는 화상 레이아웃수단과 이 화상 레이아웃수단에 의해 레이아웃된 복수의 화상영역을 지정한 방법으로 서로 겹치는 화상합성수단을 구비한 것을 특징으로 한다. 또, 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 특정 화상영역을 추출하고, 추출한 상기 화상영역을 기억하며 기억한 복수의 화상영역을 레이아웃하고, 레이아웃한 상기 화상영역을 합성하는 것을 특징으로 한다. 또, 상기 수광수단에 의해 얻은 가시광 화상정보와 상기 거리정보 추출수단에 의해 얻은 거리정보를 대응시켜 기억하는 거리화상 기억수단을 구비한 것을 특징으로 한다.

또, 입력된 가시광의 화상 정보와 추출해야 하는 대상물체와의 거리를 대응시킨 거리화상을 기억하는 것을 특징으로 한다. 또, 상기 거리화상 기억수단에 기억된 거리화상 정보에 대해 거리정보가 일정한 범위 내에 있는 특정영역의 화상정보를 추출하는 화상추출수단과, 상기 화상추출수단에 의해 추출된 화상정보를 기억하는 화상정보 기억수단을 구비한 것을 특징으로 한다. 또, 입력된 가시광의 화상정보와, 추출해야 하는 대상물체와의 거리를 대응시킨 거리화상을 기억하고, 기억한 거리화상에 대해 거리정보가 일정한 범위 내에 있는 특정영역의 화상정보를 추출하고 추출된 특정영역의 화상정보를 기억하는 것을 특징으로 한다. 또, 상기 특징정보 생성수단은 화상추출수단에 의해 추출된 상기 물체의 화상 형상을 해석하는 형상해석수단과 3차원 오브젝트 데이터를 기억하는 화상기억수단과 형상해석수단에서 얻은 형상정보에서 시점정보를 생성하는 시점정보 생성수단과, 상기 시점정보 생성수단에 의해 생성된 시점정보에 기초하여 상기 화상기억수단에 기억된 3차원 오브젝트 데이터를 표시하는 표시수단을 구비한 것을 특징으로 한다. 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고, 추출한 상기 물체의 화상 형상을 해석하고 해석한 화상 형상에서 시점을 생성하고 생성한 시점에 기초하여 미리 기억된 3차원 오브젝트 데이터를 표시하는 것을 특징으로 한다.

또, 시점정보 생성수단은 해석한 형상 가운데 먼쪽에 있는 형상에서 시점정보를 생성하는 동시에 상기 형상해석수단이 해석한 형상 가운데 근방에 있는 적어도 하나의 형상정보를 적어도 하나의 지시로 변환하는 것을 특징으로 한다, 또, 추출해야 하는 대상물체와의 거리 또는 추출해야 하는 대상물체의 색, 재질, 온도 등의 물성정보에 기초하여 추출해야 하는 상기 물체의 화상을 추출하고 추출한 상기 물체의 화상 형상을 해석하고, 해석한 형상 가운데 근방에 있는 적어도 하나의 형상정보를 적어도 하나의 지시로 변환하는 것을 특징으로 한다. 또, 발광수단이 근적외광, 원적외광 등의 불가시광을 발광하는 것을 특징으로 한다, 또, 수광수단이 복수의 수광수단으로 구성되어 있고, 상기 각 수광수단은 적어도 하나의 광전변환수단과 적어도 두개의 전하축적 수단과 광전변환수단에서 발생한 전하를 어느 전하축적수단에 이끄는지를 선택하고 타이밍신호 생성수단에서의 신호와 동기하여 동작하는 게이트를 갖는 것을 특징으로 한다. 또 특정 범위의 파장광을 통과시키고 어느 파장 이상의 광을 차단하거나 어느 파장이하의 광을 차단하는 수광 필터 수단을 구비하는 것을 특징으로 한다. 또, 특정 범위의 파장광을 통과시키거나 어느 파장 이상의 광을 차단하거나 어느 파장 이하의 광을 차단하는 것을 특징으로 한다. 또, 반사광 검출수단은 대수 앰프를 구비한 것을 특징으로 한다.

결국, 광을 발광하고, 그 대상물체에 의한 반사광을 화상으로 포착하는 것에 의해 그 형상, 움직임, 거리정보 등을 입력한다. 예를 들면 물체가 존재하는 장소에서의 반사광은 어느 정도의 값을 갖고, 먼 배경에서의 반사광은 거의 없기 때문에 반사광의 화상을 임계값으로 나누는 것에 의해 물체의 형상을 추출할 수 있다. 또 그 형상에서 여러 가지 특징량을 추출할 수 있다. 형상의 시간적 연결을 해석하여 물체의 움직임과 변형 등을 포착할 수 있다. 또 물체의 요철을 반사광양의 차이로서 포착할 수 있기 때문에 대상물체의 입체구조를 얻을 수도 있다.

물체가 균일한 확산반사면을 갖는다고 가정한 경우 반사광화상을 거리화상으로 변환할 수 있다. 그러나, 렌즈의 특성과 발광얼룩, 센서의 감도얼룩 등의 요인에 의해 반사광 화상에 오차가 생긴다. 따라서, 정확한 거리화상을 얻기 위해서는 이 오차를 보정하는 수단을 갖게 한다. 이 보정수단은 반사광 화상의 휘어짐만을 보정할 수도 있고, 반사광 화상에서 거리화상의 변환을 동시에 실행해도 좋다. 또, 보정 데이터를 자동적으로 작성하기 위해 참조물체를 움직이는 수단과 참조물체의 위치와 출력된 반사광 화상에서 보정데이터를 작성하는 수단을 이용한다. 이것에 의해 정밀도가 높은 거리화상을 얻을 수 있다.

[실시예 1]

[실시예 1의 개략설명]

제1도는 본 발명의 제 1 실시예의 구성예이다. 본 실시예는 또 본 발명에 의해 실현된 여러 구체적 실시예의 대표적인 상위개념도 나타내고 있다. 본 구성은 발광수단(101), 반사광 추출수단(102), 특징정보 생성수단(103), 타이밍신호 생성 수단(104)으로 이루어진다. 발광수단(101)은 타이밍신호 생성수단(104)에 의해 생성된 타이밍신호에 따라 시간적으로 강도변동하는 광을 발광한다. 이 광은 발광수단 전방에 있는 대상물체에 조사된다. 반사광 추출수단(102)은 이 발광수단(101)이 발한 광의 대상물체에 의한 반사광을 추출한다. 이것은 또 적절하게는 반사광의 공간적인 강도 분포를 추출한다. 이 반사광의 공간적인 강도 분포는 화상으로서 포착할 수 있기 때문에 이하에서는 반사광 화상이라 부른다. 반사광 추출수단(102)은 광의 양을 검출하는 수광부를 갖지만, 수광부는 일반적으로 발광수단의 광의 대상물체에 의한 반사광만이 아니라 조명광과 태양광 등의 외광도 동시에 수광한다. 그래서 반사광 추출수단(102)은 발광수단이 발광할 때에 수광한 광의 양과 발광수단이 발광하지 않을 때에 수광한 광의 양의 차를 취하는 것에 의해 발광수단에서의 광의 대상물체에 의한 반사광의 성분만을 골라낸다. 이것은 바꿔 말하면 발광수단(101)을 제어하는 신호를 생성하는 타이밍신호 생성수단(104)에 의해 반사광 추출수단(102)도 제어되는 것을 나타낸다.

특징정보 생성수단(103)은 반사광 화상에서 여러 가지 특징정보를 추출한다. 이 특징정보 또는 특징정보의 추출방법은 여러 가지로 생각할 수 있다. 이것에 의해 예를 들면 손의 반사광화상의 특징정보에서 제스쳐와 포인팅 등의 정보를 얻고 이것에 의해 컴퓨터 등의 조작을 실행할 수 있다. 또 대상물체의 입체정보를 추출하고 이용할 수도 있다. 본 도면에 그려진 특징정보 생성수단은 반드시 필요하지 않고 예를 들면 반사광 추출수단에서 얻은 반사광 화상 그 자체를 입력하거나 이용할 수도 있다.

[실시예 1의 상세한 설명]

다음에 실시예 1의 보다 구체적인 구성에 대해 상세하게 서술한다. 제2도는 실시예 1의 보다 구체적인 구성예이다. 발광수단(105)에서 발광된 광은 대상물체(106)에 반사하여 수광 광학계(107)에 의해 반사광 추출수단(108)의 수광면상에 결상한다. 반사광 추출수단(108)은 이 반사광의 강도 분포, 즉 반사광 화상을 검출한다. 반사광 추출수단(108)은 제 1 수광수단(109), 제 2 수광수단(110) 및 차분연산부(111)로 이루어진다. 제 1 수광수단(109)과 제 2 수광수단(110)은 다른 타이밍으로 수광을 실행한다. 그리고 제 1 수광수단이 수광할 때에 발광수단이 발광하고 제 2 수광수단이 수광할 때에는 발광수단은 발광하지 않도록 타이밍 제어수단(112)이 이러한 동작 타이밍을 제어한다. 이것에 의해 제 1 수광수단은 발광수단에서의 광의 물체에 의한 반사광과 그 이외의 태양광, 조명광 등의 외광을 수광한다. 한편, 제 2수광수단은 외광만을 수광한다. 양자가 수광하는 타이밍은 다르지만 가깝기 때문에 이 사이에 있어서 외광의 변동은 무시할 수 있다. 따라서 제 1 수광수단으로 수광한 상과 제 2 수광수단으로 수광한 상의 차분을 취하면 이것은 발광수단의 광의 물체에 의한 반사광의 성분만이 추출된다. 차분 연산부(111)가 제 1 수광수단(109)과 제 2 수광수단(110)으로 수광한 상의 차를 계산하여 출력한다. 반사광 추출수단(108)에 대해서는 더 상세한 구성에 대해 후술한다.

반사광 추출수단(108)은 반사광 화상의 각 화소의 반사광양을 연속적으로 출력한다. 반사광 추출수단(108)에서의 출력은 앰프(113)에 의해 증폭되고 A/D(114)에 의해 디지털 데이터로 변환된 후, 메모리(115)에 축적된다. 알맞는 타이밍으로 이 메모리(115)에서 축적된 데이터가 판독되고, 특징정보 생성수단(116)에서 처리된다. 이러한 전체 제어를 타이밍 제어수단(112)이 실행한다. 발광수단(105)은 인간의 눈에 보이지 않는 근적외광을 발광한다. 광이 보이지 않기 때문에 눈부심을 느끼지 않는다. 또 수광광학계에는 도시하지 않은 근적외광 통과필터가 설치되어 있다. 이 필터는 발광파장인 근적외광을 통과하고 가시광, 원적외광을 차단한다. 따라서 외광의 대다수를 컷트하고 있다.

물체에서의 반사광은 물체의 거리가 커짐에 따라 대폭 감소한다. 물체 표면이 한결같이 광을 산란하는 경우, 반사광 화소 한 화소 당 수광량은 물체까지의 거리의 2승에 반비례하여 작아진다. 따라서 본 입력장치 앞에 물체를 놓을 때 배경에서의 반사광은 거의 무시할 수 있을 정도로 작아지고 물체에서만 반사광화상을 얻을 수 있다. 예를 들면 입력장치 앞에 손을 갖다 놓는 경우, 그 손에서의 반사광 화상을 얻을 수 있다. 이 때, 반사광 화상의 각 화소값은 그 화소에 대응하는 단위수광부에서 수광한 반사광의 양을 나타낸다. 반사광양은 물체의 성질(광을 경면반사, 산란, 흡수하는 등), 물체면의 방향, 물체의 거리 등에 영향받지만, 물체전체가 한결같이 광을 산란하는 물체인 경우 그 반사광양은 물체까지의 거리와 밀접한 관계를 갖는다. 손 등은 이와 같은 성질을 갖기 때문에 손을 내미는 경우의 반사광 화상은 손의 거리, 손의 경사(부분적으로 거리가 다르다) 등을 반영한다. 따라서 이러한 특징정보를 추출하는 것에 의해 여러 가지 정보의 입력, 생성이 가능해진다. 입체형상을 추출하고 싶은 경우에는 거리정보를 높은 분해능으로 구할 수 있는 것이 요망된다. 이와 같은 경우, 앰프로서 대수 앰프를 이용하면 바람직하다. 수광부의 수광량은 물체까지의 거리의 2승에 반비례하지만 대수 앰프를 이용하면 그 출력은 거리에 반비례하게 된다. 이와 같이 다이나믹 랜지를 유효하게 사용할 수 있다.

[반사광 추출수단의 상세한 설명]

제3도는 반사광 추출수단의 구성의 일례를 더욱 상세하게 나타낸 것이다. 반사광 추출수단은 반사광의 강도분포를 포착하기 위해 복수의 단위수광부로 이루어져 있고, 하나의 단위수광부와 반사광 화상의 한 화소가 대응하고 있다. 이 도면에서는 간단하게 하기 위해 2×2화소의 구성으로 나타낸다. 점선으로 둘러싸인 부분(117)이 한 화소분이고, 한 화소분의 개략 구성을 제4도에 나타낸다. 앞의 예와의 대응을 취하면 제 1 수광수단의 한 화소분과 제 2 수광수단의 한 화소분으로 하나의 단위수광부를 구성하고 있다. 하나의 단위수광부는 하나의 광전변환부(118)와 2개의 전하축적부(119, 120)를 갖고 있다. 광전변환부(118)와 전하축적부(119, 120) 사이에는 몇 개의 게이트가 있고, 이 게이트의 제어에 의해 광전변환부에서 발생한 전하를 어느 전하축적부로 이끄는지를 선택할 수 있도록 되어 있다. 이 게이트의 제어신호와 발광부의 발광제어신호를 동기시킨다.

수광부에 있어서 게이트 등의 제어신호와 발광제어신호 및 광의 강도의 시간적 변화를 제5도에 나타낸다. 발광제어 펄스(128)는 발광수단을 제어하는 신호이다. 여기에서는 펄스 발광을 실행한다. 발광제어 펄스의 레벨이 높을 때 발광수단이 발광하고 낮을 때는 발광하지 않는다. 이 발광제어신호에 대해 실제의 광은 발광소자의 시간응답에 의해 둔화되어 “129”와 같이 변화한다. 수광부에는 샘플 1(131), 샘플 2(132), 트랜스퍼, 리셋(130)의 제어신호가 부여된다. 트랜스퍼는 광전변환부에서 발생한 전하를 다음 단에 전송하기 위한 게이트를 제어하는 신호이고, 이 신호가 높을 때, 광전변환부에 축적된 전하가 전송된다. 전하축적 후, 출력부로 전하전송할 때는 이 게이트가 닫히고 광전변환부에서 발생한 전하가 출력 게이트로 흐르지 않도록 한다. 리셋(130)은 리셋 제어신호이다. 트랜스퍼가 높을 때, 리셋이 높아지면 리셋 게이트(124)가 열리고 광전변환부에 고인 전하는 트랜스퍼 게이트(121), 리셋 게이트(124)를 거쳐 배출된다. 샘플 1, 샘플 2의 두가지 제어신호는 2개의 전하축적부(119, 120)에 광전변환부(118)에서의 전하를 이끌기 위한 게이트(122, 123)를 제어하는 신호이다. 이러한 제어신호의 변화와 단위수광부의 동작을 다음에 설명한다.

전하축적기간에서는 트랜스퍼 게이트(121)는 계속 열려 있다. 우선, 리셋 게이트(124)를 여는 것에 의해 광전변환부(118)와 샘플 게이트(122, 123) 사이에 고인 불필요 전하를 배출한다. 리셋 게이트(124)를 닫고 광전변환부와 샘플 게이트 사이에 광전변환될 수 있는 전하가 축적되기 시작한다. 일정시간 후, 제 1 샘플 게이트(122)가 열리면 축적되어 있는 전하가 제 1 전하축적부(119)에 전송된다. 따라서 리셋(130)이 낮아지고 나서 샘플 1(131)이 낮아지기 까지의 축적기간 1에 광전변환된 전하가 제 1 전하축적부(119)에 축적된다. 제 1 샘플 게이트(122)가 닫힌 후 다시 리셋 게이트(124)를 열고 불필요 전하를 배출한 후, 리셋 게이트를 닫고 일정시간의 후에 이번에는 제 2 샘플 게이트(123)를 열고 제 2 전하축적부(120)에 광전변환으로 생성된 전하를 전송한다. 이 때도 마찬가지로 리셋이 낮아지고 나서 샘플 2가 낮아지기 까지의 축적기간 2에 광전변환된 전하가 제 2 전하 축적부에 축적된다. 이 때 축적기간 1과 축적기간 2는 같은 길이의 시간이다. 여기에서 전하축적기간 1에 있어서는 발광수단(105)이 발광하고, 전하축적기간 2에 있어서는 발광수단은 발광하지 않는다. 이것에 의해 제 1 전하축적부(119)에는 발광수단에서의 광이 물체에 반사한 광과, 조명광, 태양광 등의 외광의 양쪽에 의해 생성된 전하가 축적되고, 한편 제 2 전하축적부(120)에는 외광에 의해서만 생성된 전하가 축적된다. 전하축적기간 1과 전하축적기간 2는 시간적으로 가깝기 때문에 이 사이에서의 외광의 크기 변동은 충분히 작다고 생각하면 된다. 따라서, 제 1 전하축적부와 제 2 전하축적부의 전하량 차가 발광수단에서의 광이 물체에 반사한 광에서 발생한 전하량으로 간주하면 된다.

상기 샘플 1, 샘플 2, 리셋, 트랜스퍼는 모든 단위수광부에 같은 신호가 주어지기 때문에 모든 단위수광부에 있어서 동기적으로 전하의 축적이 실행된다. 이것은 1프레임분의 반사광화상을 얻기 위해 한 번의 발광만으로 끝나는 것을 나타내고 있다. 따라서, 발광을 위한 전력을 작게 할 수 있다. 또, 발광수단으로서 이용할 수 있는 LED는 발광 펄스의 DUTY비가 작은만큼(하나의 펄스 폭에 비례하여 펄스와 펄스의 간격이 긴만큼), 순간적으로 강하게 발광할 수 있는 성질을 갖기 때문에 발광전력을 효율적으로 이용할 수 있다.

전하축적 후, 전하의 추출을 실행한다. 우선 V계 선택회로(135)에서 1행을 선택한다. 각 행의 단위수광부에서 제 1 전하축적부와 제 2 전하축적부에 축적된 전하가 차례대로 골라내어지고 차분 회로(133) 중에 그 차분이 골라내어진다. H계 시프트레지스터에서 열을 선택하여 골라낸다.

[실시예 1의 변형예 1]

본 실시예에 있어서는 전하추출시에는 시프트레지스터에서 추출 셀의 어드레스를 지정하기 위해 출력의 순번이 결정되지만(연속적인 출력) 임의의 어드레스를 생성할 수 있도록 하면 랜덤 액세스가 가능하다. 이와 같이 하면 수광부 전체 가운데 일부분만을 골라낼 수 있고, 센서의 동작주파수를 저하시키거나 반사광 화상의 프레임율을 올릴 수 있는 등의 효과가 있다. 예를 들면 화상의 일부밖에 차치하지 않는 작은 물체를 검출하여 그 움직임을 추적시키도록 하는 경우는 어느 프레임에서의 위치의 주변에서만 검색하면 되기 때문에 화상의 일부만을 골라내면 된다.

[실시예 1의 변형예 2]

또, 발광원으로서 근적외광을 이용했지만 반드시 이것에 한정하지 않는다. 사람의 눈에 눈부시지 않은 조건이라면(예를 들면 발광량이 그만큼 크지 않고, 사람의 눈에 직접 들어가지 않는 방향을 향하고 있는 등) 가시광이어도 좋다. 또는 광에 한하지 않고 전자파, 초음파 등을 이용하는 것도 가능하다. 근적외광 통과필터도 외광의 영향을 고려하지 않아도 좋은 조건하에서라면 생략할 수도 있다. 그런데 통상의 촬상용 CCD이미지 센서를 이용해도 이것에 유사한 것을 실시할 수도 있지만 그 성능, 또는 가격 퍼포먼스에 있어서 본 구성 쪽이 우수하다.

예를 들면 CCD이미지 센서와 광원을 이용할 수도 있다. 그러나, CCD는 1/60 초마다 1회의 촬상밖에 할 수 없다(필드단위). 따라서, 처음 1/60초로 발광부를 발광시키고 다음 1/60초로 발광부를 소등시키고 그 차분을 취해도 1/60초의 시간차가 있으면 외광의 크기가 변동되고, 차분=반사광양이 되지 않는다. 형광등 등은 1/100초의 주기로 그 강도가 변동되기 때문에 이와 같은 일이 일어나 버린다. CCD 이미지 센서를 사용한 통상의 촬상에 있어서도 촬상주기와 외광의 변동주기의 어긋 남에 기인하여 화면의 밝기가 깜박거리는 현상이 일어나게 되고, 이것은 플릭커라고 부른다. 본 구성에 있어서는 발광시간과 소등시간의 차가 1/10000초 정도, 또는 그 이하까지 작아질 수 있기 때문에 외광의 변동 영향을 받지 않게 된다. CCD이미지 센서에 의한 촬상의 경우, 플릭커를 방지하기 위해 전하축적시간을 1/100초로 형광등의 주기와 일치시키는 방법이 취해지는 경우도 있지만, 발광부와 동기시키는 경우에 있어서도 전하축적시간을 1/100초로 하거나 CCD의 구동신호를 바꾸어 버리고, 1필드를 1/100초로 해 버리는 방법에 의해 외광의 영향을 억제할 수도 있다. 이 경우는 별도의 문제가 발생한다. 대상물체인 손이 움직이는 경우, 발광시의 촬상과 소등시의 촬상에 있어서 손의 위치가 미묘하게 어긋나 버린다. 이 상태에서 차분을 취해버리면 특히 물체(손)의 가장자리부분에 있어서 반사광화상이 크게 흐트러져 버린다. 또 구성의 컴팩트함도 크게 다르다. CCD를 이용하는 경우, 적어도 A/D변환기와 1프레임분의 데이터를 쌓는 메모리, 차분화상을 구하는 연산회로가 필요하다. 또 CCD를 이용하는 경우에는 드라이버 IC를 별도로 준비할 필요가 있다. 한편 본 구성에서는 CMOS센서 베이스로 만들어지기 때문에 드라이버를 동일칩 내에 거둘 수 있다. 또, 센서 내에서 발광시, 비발광시의 차를 취할 수 있기 때문에 차분연산회로는 불필요하다. 또 A/D변환부와 메모리, 제어부까지 1칩내에 거둘 수도 있기 때문에 매우 저렴하게 할 수 있다.

지금까지의 설명으로는 물체의 반사광 화상을 입력하기까지의 구성을 서술했다. 지금까지의 구성에서도 충분히 신규성이 있고, 제품으로서 구성할 수 있다. 그러나, 실제로 이용형태로서는 입력된 반사광화상에 어떤 가공을 실시하여 사용자의 목적에 맞는 사용을 하는 경우가 많다. 예를 들면 손의 반사광화상을 입력하는 것에 의해 포인팅과 제스쳐입력을 실행할 수 있다. 이 때문에 반사광화상에서 유용한 정보를 추출하는 것이 특징정보 생성수단이다. 여기에서 특징량을 추출하거나 가공하거나 그것에서 별도의 정보를 생성하거나 한다.

반사광화상의 가공 방법의 대표예는 거리정보의 추출과 영역추출이다. 앞에서도 서술한 바와 같이 물체가 한결같이 균질인 산란면을 갖는 물체라면 반사광화상은 거리화상으로 간주할 수 있다. 따라서, 물체의 입체형상을 추출할 수 있다. 물체가 손이라면 손바닥의 경사 등을 검출할 수 있다. 손바닥의 경사는 부분적인 거리의 차이로서 나타난다. 또, 손을 이동시킬 때에 화소값이 변하면 거리가 이동했다고 볼 수 있다. 또 배경과 같이 먼 물체에서의 반사광은 거의 없기 때문에 반사광화상에서 어느 임계값 이상의 영역을 오려내는 처리로 물체의 형상을 간단하게 오려낼 수 있다. 예를 들면 물체가 손이라면 그 실루엣상을 오려내는 것은 매우 용이하다. 거리정보를 이용하는 경우에도 한 번 임계값에 의해 영역추출을 하고나서 그 영역내의 거리정보를 이용하는 경우가 많다.

[실시예 1의 효과]

제 1 실시예에 의하면 손 등의 반사화상을 용이하게 실시간으로 획득할 수 있다. 이것은 종래의 화상처리에서 가장 어렵고, 화상처리 응용의 장벽이 된 대상물의 화상의 오려내기 처리를 불필요하게 하는 것이다. 따라서, 본 실시예에 의해 종래 실용화가 곤란한 여러 가지 화상처리를 용이하고 안정적이며 저렴한 가격으로 제공을 가능하게 하는 것이고 산업/가정/오락 등의 광범위한 시장에 큰 변혁을 가져오게 한다.

[실시예 2]

이하에는 특징정보 생성수단에 특징을 갖는 몇 개의 실시예에 대해 설명한다. 대상물체로서 손을 이용한 경우, 비접촉으로 손의 위치, 형태의 정보를 포착할 수 있기 때문에 사람에게서 기계로의 입력수단으로서 이용할 수 있다. 종래, 마우스와 트랙 볼 등의 포인팅 디바이스로 불리는 장치를 이용하여 실행한 포인팅 조작(위치를 입력하는 조작)을 손의 움직임만으로 비접촉으로 실행할 수 있다. 제 2 실시예로서 비접촉 포인팅을 실현하기 위한 장치에 대해 설명한다.

우선 비접촉인 포인팅에 이용하는 예를 설명한다. 손의 형상을 용이하게 검출할 수 있기 때문에 비접촉 포인팅 디바이스로서 이용할 수 있다. 휴대정보기기 등에 적합한 포인팅 수단을 제공한다. 사용자는 손가락을 뻗은 상태에서 입력장치 앞에 손을 내밀어 움직인다. 이것은 매우 자연스러운 동작이다. 이 때 반사광화상은 제6도의 왼쪽과 같이 된다. 이 반사광화상에서 화상처리에 의해 손가락 끝 위치를 검출하고 포인팅에 이용한다. 뻗은 손가락 부분은 윗쪽으로 봉형상물체가 되기 때문에 이 선단의 좌표를 화상처리로 구하는 것은 그만큼 어렵지 않다. 그러나, 단순하게 봉형상 선단의 좌표를 구하는 것뿐이라면 반사광화상의 해상도의 정밀도밖에 손가락 끝 위치를 구할 수 없다.

일반적으로 반사광 추출수단은 필요로 하는 화소수가 적은만큼 저가격으로 만들 수 있다. 조잡한 반사광화상에서 고정밀도로 손가락 끝 위치를 구할 수 있다면 저가격으로 비접촉 포인팅 장치를 만들 수 있다. 손가락 선단의 좌표가 아니라 제7도의 × 표(208)의 위치를 화소 이상의 분해능으로 구하고, 이것을 특징점으로 포인팅에 이용한다. 이것은 손가락 끝의 일부분의 (상의)중심이다. 이 중심을 조잡한 반사수광화상에서 어떻게 추출하는지를 설명한다. 이 반사광 화상의 화소값에 주목해 본다. 앞에서 화소값은 거리정보로 환산할 수 있다고 서술했다. 그러나, 반사광화상의 해상도가 조잡한 경우, 손의 주변부에 있어서는 이 생각은 반드시 맞지는 않다. 지금, 반사광화상의 화소와 대상공간의 관계가 제8도와 같이 되어 있다고 고려한다. 여기에서 제8도의 1매스에서의 반사광이 반사광화상의 한 화소의 화소값에 대응한다. 이 도면에서 매스(211)에서의 반사광에 비하여 매스(212)에서의 반사광은 반분정도인 것을 알 수 있다. 같은 거리에 대상이 존재해도 그 매스를 대상이 차지하는 비율에 의해 반사광양이 변한다. 결국, 여기에서는 반사광양의 줄어드는 부분이 손의 가장자리의 위치를 반영한다. 여기에서 손가락의 위치가 아주 조금 이동했다고 생각해 본다. 그러면 매스에 차지하는 손가락의 비율이 변화하기 때문에 화소값이 아주 조금 변화한다. 반사광화상이 조잡해도 화소값이 어느 정도의 정밀도로 구해질 수 있고 이것을 이용하는 것에 의해 화상 이상의 해상도로 포인팅 위치를 구할 수 있다. 뻗친 손가락의 폭이 2∼3화소분 정도라면 매우 양호하게 포인팅 정밀도를 내는 것을 실험적으로 알 수 있다. 조잡한 화상에서 높은 정밀도의 손가락 끝 위치를 구하는 방법에 대해 이하에서 상세하게 설명한다.

제 2 실시예를 실현하기 위한 특징정보 생성수단의 구성예를 제9도에 나타낸다. 특징정보 생성수단은 봉형상물체 검출부(213), 봉형상물체 선단 적출부(오려내기부)(214) 및 중심검출부(215)로 구성된다. 봉형상물체 검출부(213)에서는 세로 방향에 뻗은 봉형상의 물체, 즉 조작자의 손 중에 위로 뻗은 손가락(통상은 집게손가락)을 검출한다. 다음에 봉형상물체 선단 오려내기부(214)에서는 세로방향에 뻗은 봉형상의 물체(집게손가락)의 상부 선단을 오려내고, 나중의 중심검출부(215)에서 그 오려낸 부분의 중심을 구한다. 이 때 화소단위로 오려내면 화소가 조잡하기 때문에 오려낸 부분의 화소값 합계가 크게 변동하게 되어 검출된 중심의 정밀도가 나빠진다(이것에 대해서는 후술한다). 따라서 봉형상물체 선단 오려내기부(213)에서는 오려낸 부부의 화소값 합계가 어느 조건을 만족하도록 일부 화소값을 수정하면서 오려낸다. 중심 검출부(215)는 상기 봉형상물체 선단 오려내기부(214)에서 오려낸 선단부분의 중심을 계산한다. 이 계산된 중심을 손가락 끝 위치로 한다. 또 각 부분에 대해 상세하게 설명한다. 우선 봉형상물체 검출부(213)에 대해 서술한다. 여기에서는 사용자가 조작을 하기 위한 손가락을 내밀 때 지시하는 손가락(통상은 집게손가락)이 반사수광화상의 윗방향에 뻗는다고 가정하고 있다. 따라서 이 가정에 맞지 않은 형상으로 손을 내밀면(예를 들면 주먹 등) 정상으로 검출할 수 없는 우려가 있다.

우선, 반사수광화상(201)을 윗쪽에서 수평방향으로 스캔한다. 손가락 끝이 반사수광화상의 상단에 없으면 통상은 윗쪽은 1라인 전체의 화소가 거의 0에 가까운 화소값을 갖는다(202∼203). 수평방향의 1라인 중에서 부분적으로 화소값이 크게 되는 경우가 있는 경우(204), 각각의 위치와 그 라인을 기억해 둔다. 이것을 여러 라인 반복하여(205∼207) 부분적으로 화소값이 커지는 경우가 여러 라인 중에서 일치하면 그곳에 세로방향에 뻗은 봉형상의 물체(예를 들면 집게손가락)가 있다고 판정할 수 있다. 그리고, 뻗은 손가락이 있을 것 같은 곳을 크게 에워싼다. 이 부분 화상에 대해 이하의 처리를 실행한다. 여기에서는 봉형상물체 선단 오려내기부(214)에서의 처리이다. 제10도의 “216”이 원래의 반사수광화상이고, “217”은 봉형상물체 검출수단(213)으로서 이 중에 손가락 끝이 있다고 판정된 부분화상이다. 가장 왼쪽 위의 화소값을 P(1,1)로 하고 오른쪽 위를 P(n,1), 왼쪽 아래를 P(1,n), 오른쪽 아래를 P(n,n)로 한다. 여기에서 어느 임계값을 설정해 두고,

[수학식 1]

가 되는 k, a를 구한다. 다음에 a를 이용하여 P(1,k)∼P(n,k)의 화소값을 수정한다. 즉, 이전의 화소값을 P′(1,k)∼P′(n,k)로 할 때,

[수학식 2]

으로 한다. 이 수정된 P(1,k)∼P(n,k)를 포함하는 P(1,1)∼P(n,k)가 오려낸 부분(218)이 된다. “218”의 상부 3행은 “217”의 상부 3행과 같고, “218”의 최하행(굵은 틀로 에워싼 부분)은 “217”의 4행째의 각각의 화소값에 a를 곱하여 수정되고 있기 때문에 색이 얇아진다. 다음에 중심검출부(215)에 있어서 오려낸 P(1,1)∼P(n,k)를 사용하여 중심(xx,yy)은 다음 식을 만족하도록 결정된다.

[수학식 3]

[수학식 4]

여기에서 구해진 (xx, yy)는 제8도의 그림 중 뻗은 손가락 가운데 윗쪽부터 어느 길이만큼 취한 것(오려 취한 길이가 임계값 TH와 관련한다)의 상 중심과 거의 일치한다. 여기에서는 통상의 TV화상에 비해 화소가 조잡하기 때문에 취한 길이를 일정하게 유지하는 것과 같은 효과를 내기 위해 상기한 바와 같은 수정을 실행한다. 여기에서는 각 화소의 값 P(x,y)이 정밀도가 좋게 구할 수 있으면 구해지는 만큼 (xx,yy)의 값도 정밀도 좋게 구할 수 있다.

여기에서 P(1,k)∼P(n,k)의 값을 위와 같이 수정한 이유를 서술한다. 만약 P(1,k)∼P(n,k)의 값을 수정하지 않고 (xx,yy)를 계산하면 어떻게 될지를 제11도를 이용하여 생각해 본다. 지금, 임시로 수평라인에서 일부만 큰 화소값이 나타나는 경우에서 3화소분 아래까지(경사부분)를 이용한 중심계산으로 손가락 위치를 결정하면 손가락이 (a)에서 (b)와 같이 이동할 때 손가락의 위치변화에 비해 (xx,yy)의 위치의 변화가 커진다. 반대로 (c)에서 (d)와 같이 변화하면 손가락의 위치변화에 비해 (xx,yy)의 위치 변화가 작아진다. 즉, 실제 손가락의 위치와 계산된 (xx,yy)의 값에 선형성이 없어져 버린다. 상기한 바와 같이 우선 중심을 계산할 때의 전체 화소의 화소값의 합계가 일정하게 되도록 보정을 하고 나서 중심 계산을 하면 손가락의 움직임과 중심의 움직임은 원활하게 연동한다. 뻗은 손가락의 폭이 2∼3화소분 정도 있다면 충분한 포인팅 정밀도가 나올 수 있다고 상기했지만 반대로 손가락의 폭이 한 화소를 채우지 못하는 경우는 충분한 정밀도가 나오지 않는다. 이것은 제12도의 경우로서 손가락 끝이 아주 조금 움직여도 중심의 x좌표가 변화하지 않는 경우가 있다. 즉, 실제의 손가락 위치와 (xx,yy)의 값에 선형성이 없어져 버린다.

다음에 디지털 신호처리부에 있어서 처리의 흐름을 제13도∼제15도에 나타낸 플로우 챠트를 이용하여 설명한다. 여기에서는 위에서 서술한 것보다도 조금 세세한 연구가 실시되는 경우도 있는데 그러한 것도 포함하여 이하에서 설명한다. 이 플로우 챠트를 그대로 프로그램하면 디지털신호 처리부를 소프트웨어로 실현할 수 있다. 물론 하드웨어로 구성하는 것도 가능하고 소프트웨어, 하드웨어 양쪽으로 구성할 수도 있다. 또, 이 경우 소프트웨어는 FD 등의 기록매체에 기록되고 배포할 수 있는 상태가 된 경우도 있다.

제13도는 봉형상물체 검출부의 처리를 나타내고 있다. 여기에서는 이미 서술한 바와 같이 반사수광화상을 수평방향에 스캔하면서 부분적으로 화소값이 커지는 경우를 발견, 이것이 복수 라인에서 가까운 위치에 나타나면 봉형상물체가 있다고 판단한다. 이 부분적으로 화소값이 커지는 경우(이하에서 부분화소열이라 부른다) 및 부분화소열의 복수의 집합에서 아직 봉형상물체라고는 판단되지 않지만 봉형상물체가 될 가능성이 있는 것을 봉형상물체 후보로 부른다. 수평방향에 스캔하면 봉형상물체 후보가 발견되고 스캔이 진행됨에 따라 그 중에서 봉형상물체가 검출된다. 구체적으로는 우선 이 봉형상물체 후보의 정보를 격납해 두는 구조체를 복수 준비한다(220). 여기에서 구조체명은 infoStick[n]으로 한다([n]이 붙어 있는 것은 복수이기 때문). 복수 준비하는 것은 봉형상물체 후보는 반드시 하나가 아니라 복수 나타날 가능성도 있기 때문이다. 이 구조체는 5개의 멤버를 갖고 그 가운데 2개는 배열이다. 제15도의 “235”에도 나타낸 바와 같이 멤버 ystart은 봉형상물체가 시작된 라인의 y좌표, xstart[i]는 봉형상물체 후보의 위에서 i라인째(최상단은 0라인)의 부분화소열의 시작 x좌표, xend[i]는 봉형상물체 후보의 위에서 i라인째(최상단은 0라인)의 부분화소열의 끝 x좌표, length는 봉형상물체 후보의 세로방향의 길이(부분화소열의 수), status는 현재의 상태(STICK, NOSTICK, EXTENDED의 세가지 값을 취한다. 상세한 설명은 후술)를 각각 나타낸다. 시작의 X좌표, 끝의 X좌표는 복수의 라인에 각각 있기 때문에 이러한 것은 배열이 된다.

이하에서 처리를 설명하는데 알기쉽도록 제15도를 병용하면서 서술한다. “234”는 반사수광화상을 나타내고, 각 화소의 색의 농도는 화소값의 크기를 나타낸다. 또 상부와 좌부(左部)의 숫자는 각각 x좌표, y좌표를 나타내고 있다. “235”에는 상기한 구조체의 개요를 나타낸다. 우측의 “236”∼“238”은 처리도중의 구조체의 내용이다. 수평라인을 스캔하여 조건을 만족하는(여기에서는 화소값이 S이상의 화소가 c개 이상 연속하지 않는다) 부분화소열이 발견되면(221) 지금까지의 봉형상물체 후보에 통합되거나(226), 신규로 봉형상물체 후보로 한다(225). 가장 처음으로 발견한 부분화소열은 반드시 신규 봉형상물체 후보가 된다. 예를 들면 제15도에서는 y=3의 라인을 스캔할 때에 비로소 부분화소열이 발견되고 이것을 신규 봉형상물체 후보로 등록한다(236). 이 라인의 y좌표인 3을

infoStick[0].ystart

에 넣는다 부분화소열의 길이는 1이기 때문에

infoStick[0].xstart [0]

infoStick[0].xend[0]

모두 6을 대입한다. 신규이기 때문에

infoStick[0].length

는 1로 하고 infoStick[0].status에는 EXTENDED를 격납한다(신규등록에도 EXTENDED를 사용한다. 이유는 후술한다). y=4 라인의 스캔으로 발견한 부분화소열은 이번에는 이미 존재하는 봉형상물체 후보와 연결한다. 연결여부의 판단은 봉형상물체 후보의 마지막 라인의 부분화소열과 새로운 부분화소열의 x방향의 위치관계로 결정한다. 이 경우는

infoStick[0].xstart [0]=6

infoStick[0].xend[0]=6

이고, 새로운 부분화소열의 x좌표는 5∼7이기 때문에 이러한 것은 연결되어 있다고 판단한다. 그러면 새로운 부분화소열에 연결되었다고 판단된 봉형상물체 후보의 정보를 갱신한다(237).

새로운 부분화소열의 (x방향의) 위치를 다음 식으로 대입하여

infoStick[0].xstart[1]=5

infoStick[0].xend[1]=7

봉형상물체 후보의 길이를 1 늘린다.

infoStick[0]. length=2

또, y=5 라인에서 발견한 부분화소열을 앞의 봉형상물체 후보에 연결하면 “238”과 같이 된다. 여기에서 d를 3으로 하면 “227”의 조건식이 성립되고, 봉형상물체가 결정되며 다음 처리로 이행된다(238). 이 조건이 만족되기까지 반복되고 조건이 만족되기 전에 한 화면분의 스캔이 종료되어 버리면 봉형상물체는 검출할 수 없게 된다.

위의 설명에서는 infoStick[n].status의 사용방법의 설명이 불충분하기 때문에 다음에 이에 대해 설명한다. 이것은 STICK, NOSTICK, EXTENDED의 3가지 값을 취할 수 있다. NOSTICK은 그 구조체가 봉형상물체 후보가 아닌 것을 나타낸다(즉, 가장 처음은 모든 구조체의 status멤버는 NOSTICK이 된다). STICK은 그 구조체가 봉형상물체 후보인 것을 나타낸다. EXTENDED의 경우도 봉형상물체 후보이지만 이 값의 사용방법은 조금 다르다. 새로운 수평라인의 스캔을 시작할 때, 모든 봉형상물체 후보는 STICK을 갖는다. 1라인의 스캔 중에서 새롭게 발견된 부분화소열과 연결된 봉형상물체 후보는 EXTENDED로 변한다. 1라인의 스캔이 종료할 때, 아직 STICK인 채의 봉형상물체 후보는 그 라인상의 어느 부분화소열과도 연결되지 않아 봉형상물체 후보가 아니라고 생각된다.

따라서, 1라인의 스캔이 끝나면 STICK인 채의 봉형상물체 후보는 NOSTICK으로 변하고 EXTENDED를 갖는 봉형상물체 후보에만 다시 STICK을 준다. 이 처리에 의해 제16도의 “239”와 같이 뜬 부분화소열(노이즈인 경우도 생각할 수 있다)은 일단 봉형상물체 후보로서 infoStick[0]에 등록되지만(34), 화소열이 끊어진 시점에서 봉형상물체 후보에서 벗어난다(35, 실제로는 “222”의 처리로 삭제된다). 본래의 손가락 끝 부분은 infoStick[1]에서 등록된다. 봉형상물체 후보에서 벗어나기 위해 status를 NOSTICK으로 바꾸는 것뿐이다. 이것으로 다음의 스캔시의 “224”에서의 판단시에는 STICK을 갖는 구조체만을 보기 때문에 NOSTICK이 된 구조체는 무시된다. 또 이와 같이 한 번 사용된 구조체도 NOSTICK이 되면 다시 신규 봉형상물체의 등록에 이용할 수 있어 메모리를 절약할 수 있다. 이와 같은 처리를 실행하여 노이즈에서 받은 영향을 작게 할 수 있다.

“224”에 있어서 STICK을 갖는 구조체에 대해서만 연결여부의 판단을 실행한다. 또, 신규 봉형상물체 후보를 등록할 때에는 NOSTICK을 갖는 구조체를 찾아 그 곳에 새로운 정보를 격납한다.

제14도는 봉형상물체 선단 오려내기부 및 중심검출부의 처리를 나타낸다. 제13도의 “227”에서의 조건이 만족되면 제14도의 “229”에 처리가 이행된다. “230”에서는 봉형상물체의 선단을 오려내기 위한 매개변수 TH를 구하고 있다. 이 임계값은 고정해도 좋지만 “230”과 같이 봉형상물체의 선단부의 크기와 화소값에 의해 결정해도 좋다. 여기에서 게재한 수학식을 이용하면 손가락의 굵기가 다르거나 거리가 다르거나 하여 화소값이 변동해도 오려낸 선단부의 종횡방향의 길이의 차가 그만큼 커지지 않는다. 봉의 굵기(1라인의 화소값 합계. 0라인째는 선단이기 때문에 굵기를 나타내지 않는 경우가 많아서 계산에서 뺀다)와 한 화소의 최대값과의 비를 구하여 TH(오려낸 부분의 전화소값 합계)와 최대화소값의 비가 이것의 2승이 되도록 한다. 이 이외의 계산방법으로 TH를 구하는 것도 가능하다.

“231”은 “230”에서 구한 TH를 이용하여 수학식 1에서 서술한 a, k를 구한다. 수학식 1에서는 장방형 영역으로 계산하고 있지만, 여기에서는 각 라인의 부분화소열만을 이용하여 계산하고 있다. 이것에 의해 장방형 내의 봉형상물체와 관계없는 경우에 노이즈가 있는 경우의 영향을 작게 할 수 있다(예를 들면 제17도와 같이 손가락이 경사방향을 향하고 있을 때, “244”와 같은 노이즈의 영향을 받지 않는다). “231”에서 구한 a를 k라인째의 각 화소값에 곱한다. “230”에서 “232”까지의 처리가 봉형상물체 선단 오려내기부이다. a, k로 수정된 화소값을 이용하여 “233”에 있어서 중심을 계산한다.

기본적으로는 k라인째까지의 부분화소열 중 각 화소값과 x좌표의 적을 전부 만족하여 TH(이것은 각 화소값의 합계와 같다)로 나눈 것이 중심의 X좌표이고, 각 화소값과 y좌표의 적을 전부 만족하여 TH(이것은 각 화소값의 합계와 같다)로 나눈 것이 중심의 y좌표이다. 여기에서는 xsum[i]을 알 수 있기 때문에 이것에 y좌표(infoStick[n].ystart+i)를 곱한 것의 적을 TH로 나누어 중심의 y좌표를 구하고 있다(물론, xsum[k]은 수정된 화소값에서 재계산된다). xpsum[i]은 i라인째의 부분 화소열의 각 화소값과 그 x좌표의 적을 전부 만족하는 것이고, “233”에 나타낸 수학식에서 중심의 x좌표를 구할 수 있다. 지금까지 손가락 끝은 센서 수광계의 광축에 수직인 방향에 뻗은 때의 화상과 그 처리방법에 대해 서술했다. 실제 사용에 있어서는 손가락을 센서의 광축방향을 향하는 경우도 적지 않다. 다음에 센서를 향하고 있는 손가락 끝의 위치를 구하는 방법에 대해 서술한다.

광축방향에(센서를 향하여) 손가락을 뻗은 경우의 반사광화상은 제18도와 같이 된다. 손가락 끝에 상당하는 부분의 화소값이 급격하게 커진다. 이 도면에서 도 색이 검은 만큼 화소값이 커진다. 여기에서 화소값의 극대점만을 발견하여 이것을 포인팅위치로 해도 좋다. 이것을 위한 연산처리는 매우 간단하다. 그러나, 이 방법이라고 화상의 해상도 이상의 정밀도로 손가락 끝 위치를 구할 수는 없다. 앞의 윗쪽으로 (광축방향에 수직인 방향으로)손가락을 뻗은 경우와 같이 화상의 해상도 이상으로 손가락 끝 위치를 구하는 방법에 대해 서술한다. 우선, 화소값이 가장 큰 점을 발견한다. 이것은 화소값의 비교만이기 때문에 간단하게 할 수 있다. 그리고, 이 화소의 근방 소영역을 Γ로 할 때, 손가락 끝 위치의 좌표를 다음식으로 결정한다.

[수학식 5]

이것은 소영역에 있어서 화소의 중심으로 생각하면 된다. 근방 소영역 Γ로서는 3×3이나 5×5의 장방형 영역으로 설정하는 것이 일반적이지만 이것에 한정되지 않는다. 물론 장방형이 아니어도 좋다. 이와 같은 식을 이용하는 것에 의해 화소의 최대점만이 아닌 그 주변의 화소를 고려하게 된다. 손가락 끝 위치가 미묘하게 변화한 형태를 고려해 본다(제19(a)도→제19(b)도). 굵은 선으로 에워싼 부분이 소영역 Γ 이다. 변화가 미소하기 때문에 최대점(246)의 좌표는 변하지 않는다. 그러나, 그 주변화소의 화소값이 예를 들면 한쪽이 주변화소의 값이 조금 크게 되고(247), 또 한쪽이 조금 작게 되는(248) 변화이다. 이 변화는 위의 수학식을 이용하는 것에 의해 반영되고 × 표로 나타낸 중심위치가 아주 조금 변화하는 것과 같이 반사광화상의 해상도 이상의 손가락 끝 위치검출이 가능하게 된다. 이 위치를 계산하는 식은 위에 나타낸 것에 한정하지 않는다. 예를 들면 다음 식과 같은 것도 사용한다.

[수학식 6]

여기에서 Pmin은 소영역Γ에 있어서 최소 화소값이다. 이것에 의한 효과는 다음과 같다. 손가락 끝이 움직여서 반사광 화상의 일부분이 제20(a)도∼제20(c)도와 같이 변화한다고 하자. 굵은 선으로 에워싸인 영역이 소영역 Γ이다. 소영역 중의 × 표는 수학식 5에 의해 계산된 중심위치이다. 제20(a)도에서 제20(b)도의 변화에 있어서는 손가락 끝이 조금 향하여 오른쪽으로 움직이고 있다. 이에 따라 화소(249)의 값이 조금 작아지고 화소(250)의 값이 조금 커진다. 중심위치(× 표)는 약간 오른쪽 방향으로 이동했다. 이 경우에는 손가락의 이동에 따라 중심위치도 변화한다. 제20(b)도에서 제20(c)도의 변화에 있어서는 최대 화소의 좌표가 바뀌기 때문에 소영역 Γ 의 위치가 바뀐다. 지금 최대 화소위치가 바뀌기 직전직후의 상태를 생각해 본다. 이 때 제20(b)도에 있어서 화소(249)와 화소(250)는 그 값이 거의 같다. 그럼에도 불구하고 수학식 5를 이용한 경우는 그 주위 화소의 무게에서 중심위치는 화소(249, 250)의 중점보다도 중심쪽(좌측)으로 벗어난다.

한편, 최대 화소위치가 바뀐 직후도 화소(249, 250)의 값은 거의 같지만 역시 주위의 화소 무게로 중심위치는 중심쪽(우측)에서 벗어난다. 이것은 최대 화소위치가 바뀌는 전후에 있어서 중심위치가 원활하게 이동하지 않은 것을 나타낸다. 별도로 말하자면 화소(249, 250)의 거의 중점의 주위를 포인트하는 것이 어려워진다. 수학식 6을 이용한 경우는 소영역 내의 전체 화소에서 그 소영역 내의 최소 화소값을 이끌어내기 때문에 주변화소에 의한 영향이 작아지고 최대 화소위치가 변화하기 직전직후에 있어서는 중심위치는 이 2가지 점의 중점부근에 존재하게 된다. 포인팅위치계산에 있어서 어느 쪽 식을 이용하는지는 한 화소가 차지하는 영역의 크기와 손가락 크기의 관계, 구해지는 포인팅 위치의 정밀도 등에 의해 결정된다. 한 화소가 차지하는 영역이 작은 경우(반사광화상의 해상도가 비교적 높을 때), 또는 요구정밀도가 낮은 경우는 중심계산은 그만큼 엄격하지 않다. 또, 포인팅위치에 히스테리시스특성을 갖게 하는 것에 의해 보다 양호하게 포인팅을 실행할 수 있도록 하는 것도 가능하다. 예를 들면 소수점 이하 둘째자리를 반올림하여 0.1 화소단위로 (이 화소는 반사광화상의 화소) 포인팅위치를 구하는 경우, 10.05 가까이의 좌표값을 얻을 수 있는 경우, 반올림에 의해 10.0과 10.1의 값이 불안정하게 서로 나타나게 된다. 커서를 표시할 때는 그 커서가 깜박거린다. 계산된 좌표값의 변화가 작은 경우는 커질 때는 소수점 이하 둘째자리가 0.07을 넘을 때 0.1증가시키고, 작아질 때는 소수점 이하 둘째자리가 0.03을 못 미칠 때 0.1 감소시키는 히스테리시스특성을 갖게 하는 것에 의해 불안정하게 포인팅좌표가 구해지는 것을 방지할 수 있다. 소영역 내의 화소값의 최대값이 손가락 끝의 거리를 반영하고 있기 때문에 이것을 이용하여 3차원 포인팅을 실행하는 것이 가능하다. 또 앞의 예와 같이 손가락으로 뻗는 동작을 안길이 방향의 움직임으로 포착하면 클릭을 실현할 수 있다. 이상으로 손가락이 위(수광계의 광축과 수직인 방향)로 뻗은 때와 바로 앞(수광계쪽)에 뻗은 때의 2가지 경우에 대해 손가락 끝 위치를 반사광 화상의 해상도보다 높은 정밀도로 검출하는 방법에 대해 설명했다. 실제의 사용에 있어서는 손가락의 뻗는 방향은 어느 한쪽으로 결정하지 않는 경우가 많다. 사용하는 사람에 따라 손가락을 뻗는 방향이 다르고 또 같은 사람이 사용해도 경우에 따라 방향이 바뀌어 버리는 경우가 자주 있다. 따라서 지금 손가락이 어느 쪽을 향하여 뻗는지를 판단하여 그것에 따른 검출방법을 이용하는 것에 의해 어떤 방향을 손가락이 향하고 있어도 손가락 끝 위치를 안정적으로 구할 수 있다.

이상으로 구해진 손가락 끝 위치를 사용하여 화면의 커서를 제어한다. 손가락 끝 위치와 화면 내의 커서위치를 대응시켜 두면 손가락을 내밀 때 그 장소에 대응한 장소에 커서가 표시된다. 또 손가락을 움직이면 커서도 움직이고 손가락을 끌어당기면 커서는 사라진다. 단지 그것으로만 마우스의 보턴에 대응하는 것이 없다. 마우스의 보턴을 누르는(클릭)대신 여기에서는 커서를 정지시킨다. 제21도의 구성에서 이것을 실현할 수 있다. 손가락 끝 위치 검출수단(251)은 지금까지 설명한 바와 같이 반사광화상의 해상도보다 높은 정밀도로 손가락 끝 위치를 구한다. 커서위치 결정수단(252)은 이 손가락 위치를 기초로 커서를 표시하는 위치를 결정한다. 가장 단순한 방법은 손가락 끝 위치와 커서위치를 1대1로 대응시킨 것이다. 그러나, 구해진 손가락 끝 위치에는 노이즈가 포함되어 있거나 사람 손의 미소한 진동이 포함되기 때문에 단순하게 손가락 끝 위치에서 커서위치를 하나로 포함하여 버리면 커서가 미소하게 진동하게 된다. 미소진동하지 않을 정도로 양자화할 수도 있지만 그렇게 하면 정밀도가 떨어진다. 과거 몇 프레임에 있어서 손가락 끝 위치를 이용하여 로우 패스 필터를 걸면 미소한 진동이 억제된다. 예를 들면 최신의 손가락 끝 위치를 (x0,y0)으로 하여 n프레임 전의 손가락 끝 위치를 (xn,yn)으로 하면

[수학식 7]

에 의해 커서위치(x,y)를 결정한다. 여기에서 k는 몇 프레임전까지 손가락 끝 위치를 고려하여 넣는지를 나타내고 이것이 너무 커지면 손가락의 움직임에 대해 커서의 움직임이 늦게 반응하게 된다. 또 a_i는 과거의 각 위치에 대한 무게부여이다. 또, 어느 시점에서 커서위치를 결정한 후, 새로운 위치가 먼저의 위치에서 어느 결정된 거리 이상 떨어지기까지는 먼저의 위치를 정지시킨 채로 해 두는 처리도 생각할 수 있다. 이것에 의해 미소한 변동이 있어도 커서위치는 전혀 변화하지 않고 손가락을 크게 움직일 때만 커서가 움직인다. 또, 미소하게 변동할 때는 움직이는 방향이 정해지지 않은 것을 이용하여 동일방향에 어느 회수 이상 움직이기 까지는 커서를 정지시켜 두고 그 이상 같은 방향으로 변화하면 커서위치를 갱신하는 방법도 있다. 커서표시부(253)는 커서위치 결정수단(252)에 의해 결정된 커서 위치에 따라 화면상에 커서를 표시한다. 커서정지상태 검출수단은 커서위치의 시간적인 변화를 감시하고 있고 결정된 시간 이상 정지상태에 있는(또는 움직임이 적다) 것을 검출하면 클릭신호(255)를 발생시킨다. 이 구성에 의해 손가락 끝에서 커서를 움직이고, 정지시키는 것에 의해 클릭동작을 시킬 수 있다.

마우스 등을 이용하는 경우는 클릭동작은 보턴을 눌러서 조작자가 명시적으로 실행한다. 그러나, 커서를 정지시키는 것에 의해 클릭신호가 발생하게 되면 조작자가 알지 못 하는 사이에 클릭되는 수도 있다. 이것이 문제를 일으키는 경우도 있다. 커서표시부가 클릭신호의 발생을 감시하고 클릭신호가 있을 때 커서의 형상을 변화시키도록 하면 조작자에게 클릭이 일어나는 것을 피드백할 수 있다. 풀 다운 메뉴 중에서 하나를 선택하는 작업을 생각해 본다. 우선 손가락을 내밀어야 커서가 나타나기 때문에 우선 조작자는 손가락을 움직여서 커서를 메뉴의 항목이 있는 곳으로 움직인다. 커서를 메뉴 항목의 위에 이동시켜 일정시간 정지시키면 풀다운 메뉴가 나타난다. 여기에서 손가락을 아래쪽으로 움직이면 메뉴를 반전시키면서 커서가 움직인다. 희망하는 메뉴가 있는 곳에서 또 커서를 정지시키면 그 메뉴 명령어가 기동된다. 마우스 등을 이용하는 경우에는 마우스를 조작하지 않을 때는 항상 커서는 정지되어 있기 때문에 이 방법으로는 오조작이 많을 것 처럼 언뜻 생각될지도 모른다. 그러나, 본 실시예에 있어서는 손가락을 내밀지 않을 때는 커서는 나타나지 않고, 손가락을 내밀 때는 어느 목적을 갖고 있기 때문에 (「저메뉴를 선택한다」 등), 목표의 장소에 커서가 도달하기 전에 커서가 정지하는 경우는 그다지 없다. 따라서, 본 실시예에 있어서는 커서를 정지시켜서 클릭동작을 대용하는 것은 자연스럽다.

위의 예에서는 손가락 끝의 화상에서 그 선단부분을 오려내어 그 중심을 구하는 것뿐이었다. 이것에 의해 2차원적인 포인팅, 예를 들면 컴퓨터 화면상의 포인팅이 실현될 수 있다. 여기에서는 안길이 방향의 움직임(수광계에 가깝다/멀다)을 반영한 특징량을 포착하고, 2차원 정보+a 또는 3차원 정보를 입력할 수 있다. 예를 들면 안길이 방향의 움직임을 감시해 두고, 보턴을 눌러서 「조금 접근하여 조금 되돌아간다」 라는 움직임을 검출한 경우에 마우스의 클릭에 대응하는 신호를 발생시킬 수 있다. 이것에 의해 손가락으로 커서를 움직여서 「누르는」 동작을 하여 메뉴를 선택하거나 할 수 있다. 또, 엄밀하게 손가락까지의 거리를 입력할 수 없지만 상대적으로 「접근한다」 「멀어졌다」 라는 검출은 할 수 있기 때문에 표시에서의 피드백과 조합하면 3차원 위치정보를 입력할 수 있다. 손가락이 윗쪽으로 뻗은 경우, 손가락이 안길이 방향으로 움직이면 손가락에서의 반사광을 수광한 수광소자의 수광량이 증감한다. 또한 하나의 수광소자의 출력만이 아니라 손가락이 차지하는 화소의 수도 늘어난다. 접근하면 뻗은 손가락의 폭이 예를 들면 1.5 화소분→2화소분으로 커진다. 앞의 실시예에서 봉형상물체 검출을 할 때에 수평라인을 주사하고 같은 위치에 부분화소가 있는 라인이 계속될 때, 봉형상물체가 있다고 판정했다. 여기에서 1라인에서의 부분화소의 화소값 합계를 거리에 대응하는 양으로 이용할 수 있다. 손가락이 바로 앞에 뻗은 경우는 상기한 소영역 Γ 중의 화소값 합계를 거리에 대응하는 양으로 이용할 수 있다.

또, 거리정보를 검출하는 것 뿐만아니라 적절한 소영역의 크기를 결정하기 위한 정보로서 이용할 수 있다. 예를 들면 소영역 Γ 에 대해 손가락 끝이 너무 커지는 경우, 소영역 Γ 중의 모든 화소가 같은 정도로 높은 값을 갖는다. 이와 같은 경우, 최대점의 후보가 많고 최대점 위치가 안정적으로 구해지지 않기 때문에 소영역을 크게 한다. 또, 이와 같은 경우, 최대점을 단순하게 소영역 Γ 의 중심으로 하지 않고 어느 값 이상의 화소 집단의 중심을 Γ 의 중심과 일치시키고 어느 값보다도 작은 화소가 주변에 넣어지는 정도로 Γ 의 사이즈를 크게 한다. 「누르는」 것 만이 아닌 여러 가지 손가락 끝의 제스쳐를 명령으로 하여 이용하는 것도 효과적이다. 제22도의 구성에 의해 조작자의 손가락의 움직임을 인식하여 입력정보로서 이용할 수 있다. 예를 들면 어느 아이콘 상에 커서를 이동시켜 체크 마크의 형태 「=」로 손가락을 움직이면 그 아이콘에 관련된 명령이 기동되거나 원을 그리면 그 중의 오브젝트가 선택되는 경우에 이용할 수 있다. 커서 또는 손가락 끝 위치 움직임 검출수단(256)이 손가락 끝 또는 커서의 움직임을 감시하고 새로 등록된 움직임이 맞는 경우에 그것에 대응하는 명령과 클릭신호(257)를 출력한다.

커서위치와 보턴의 상태를 관련하여 입력정보로 하는 실시예에 대해 설명한다. 예를 들면 손가락을 움직여서 커서를 어느 메뉴 상에 움직이는 경우에 보턴을 누르면 메뉴가 선택된다. 또는 어느 아이콘 상에서 보턴을 누른채 손가락을 움직이면 아이콘을 이동할 수 있는 등, 마우스의 보턴과 같이 이용하여 클릭과 드래그 등의 조작을 할 수 있다. 보턴은 조작자의 화면을 가리키는 손과 반대의 손에서 누르기 쉬운 곳에 배치되어 있는 것이 바람직하다. 이것에 의해 손가락을 정지시키거나 「누르는」 동작을 하는 것 보다 고속으로 클릭조작 등을 할 수 있다. 또, 조작했다는 확실한 실감을 조작자에게 줄 수도 있다. 이것은 양손이 자유롭게 사용되는 경우에 유효하다. 반대로 손목시계형의 초소형 휴대정보기기를 왼손에 장착하여 오른손으로 커서조작하거나 소형의 휴대단말을 왼손에 갖고 오른손으로 커서조작하는 경우는 한손으로 클릭조작을 할 수 있는 방법이 바람직하다.

[실시예 2의 효과]

제 2 실시예에 의하면 장착물 없이 포인팅을 실행할 수 있기 때문에 사용자의 부담을 크게 경감시킬 수 있다.

[실시예 3]

제 3 실시예는 손놀림 등을 간이하게 인식하는 제스쳐 카메라와 그것을 3차원 공간에서의 포인팅 디바이스로 하여 응용한 경우의 실시예이다. 이하 도면에 따라 본 실시예의 동작에 대해 설명한다.

제23도는 제1도의 특징정보 생성수단의 제 3 실시예에 있어서 개략구성을 나타낸 것이다. 반사광 추출수단이 추출한 거리정보를 예를 들면 제24도와 같이 N×N 행렬의 형식으로 기억하는 거리화상 기억수단(331)과, 형상기억수단(332)에 기억된 형상해석규칙을 기초로 거리화상 기억수단(331)에 기억된 거리행렬의 형상을 해석하는 형상해석수단(333)으로 구성되어 있다. 제25도는 제23도의 구성에서의 특징정보 생성수단에 있어서 형상인식처리의 흐름을 나타낸다. 우선 반사광 추출수단(2)에서 추출된 거리화상은 예를 들면 256계조로 거리화상 기억수단(331)에 입력된다(스텝(401)). 입력된 거리화상은 예를 들면 제24도와 같은 N×N(N은 예를 들면 16) 행렬로서 형상해석수단(333)으로 판독된다(스텝(402)). 형상해석수단(333)은 새로 설정된 임계값을 기초로 판독된 임계값에 도달한 셀만을 거리행렬에서 추출하는 처리를 실행한다(스텝 (403)). 또 스텝(404)에서의 매칭에 필요한 처리도 여기에서 실행한다. 매칭 수법에는 여러 가지가 있다. 예를 들면 화상에서 벡터를 추출하는 벡터화나 형상 모델에 기초한 형상의 변형상태의 추출이나 주사선상의 거리값에 기초한 스펙트럼해석 등이다.

여기에서는 설명을 용이하게 하기 위해 형상을 장방형으로 분할하고 그 장방형을 기초로 매칭을 실행하는 방법으로서 동작을 설명한다. 예를 들면 제24(a)도, 제24(b)도, 제24(c)도는 각각 집게손가락을 윗쪽, 오른쪽, 비스듬하게 위로 향한 때의 거리화상이다. 이 거리화상에 대해 가장 강도가 강한 셀(도면 중에는 색이 짙은 만큼 강도가 강하다)의 중점을 묶어서 장방형을 만든다. 그 결과는 제24(a)도, 제24(b)도, 제24(c)도에 대해 각각 제24(d)도, 제24(e)도, 제24(f)도와 같이 된다. 그 결과, 작성된 정규화된 거리행렬을 기초로 여기에서는 예를 들면 제24(d)도, 제24(e)도, 제24(f)도와 같이 장방형으로 오려내어 스텝(404)에서 형상기억수단(332)에 기억된 형상과의 매칭을 실행한다. 제26도는 형상기억수단(4)에 기억된 형상해석규칙의 일례이다. 예를 들면 제24(a)도, 제24(b)도, 제24(c)도에서는 장방형은 하나이기 때문에 최초의 규칙 1로 매치한다. 규칙 1의 매칭결과는 포인팅이기 때문에 다음에 포인팅규칙에 대해 매칭을 실행한다. 포인팅규칙에서는 우선 종횡 체크를 실행한다. 제24(a)도는 종/횡이 1보다 크다는 규칙에 매치한다. 그 결과, 경사체크 2에 간다. 경사체크 2에서는 경사가 거의 0이고, 거리가 가까운 수단분(색이 짙은 수단분)이 윗쪽에 있다. 즉, 중심이 위에 있기 때문에 최초의 규칙에 매치하고 그 결과 윗쪽에 선회하는 지시라는 결과가 된다. 적합한 형상이 있으면 그 형상에 대응하는 지시를 출력한다(스텝(405)). 만약 적합한 형상이 없으면 임계값을 변경하여(스텝(406)) 다시 매칭처리를 한다. 3차원 공간에서의 포인팅 디바이스로서 이용하는 경우에는 안길이 좌표가 필요하다.

제27도는 3차원 포인팅 디바이스로서 손가락을 이용할 때의 거리행렬을 나타내고 있다. 제27(a)도는 집게손가락을 뻗고 다른 손가락은 구부린 상태, 제27(a)도와 제27(b)도는 손놀림으로는 동일하지만 가장 근방의 수단분의 거리가 제27(a)도 보다. 제27(b)도 쪽이 가깝다. 제26도의 형상해석규칙에서 제27(a)도, 제27(b)도 모두 규칙 1에 매치하고 또 종횡 체크에서 종/횡은 거의 1이기 때문에 최초 규칙에 매치한다. 여기에서 오브젝트선정/전진이 이루어진다. 2차원 공간에서는 화면을 향해 더 전진할 수 없기 때문에 오브젝트선정이 지시된다. 오브젝트선정은 예를 들면 제27(a)도에서 제27(b)도로의 이동시간이 일정 이상이라면 커서가 있는 오브젝트가 선정된다고 해석한다. 3차원 공간의 경우는 안길이 방향으로의 전진이 가능하기 때문에 오브젝트 선정 또는 전진이 지시된다. 오브젝트 선정의 경우는 2차원의 경우와 같이 제27(a)도에서 제27(b)도로의 이동시간으로 판정한다. 한편 전진의 경우에는 제27(a)도에서 제27(b)도로 거리가 가까워지기 때문에 전진속도를 빨리하는 등 조정을 실행할 수 있다. 또는 제27(a)도의 상태에서는 실제의 전진을 실행하지 않고 다음의 손놀림이 제27(b)도일 때에 그 가까운 거리분만큼 전진하도록 한다. 그와 같이 하면 실제로 시점이 손가락 끝에 있게 되어 시점을 제어할 수 있기 때문에 자연스러운 조작을 실행할 수 있다.

[실시예 3의 효과]

종래는 데이터 글로브 등 특수한 장치를 장착하지 않으면 실현할 수 없었던 손놀림의 인식을 용이하게 실현할 수 있다. 또 종래의 화상처리에서는 손의 화상의 오려내기가 어렵고 인식이 어려웠지만 본 장치에 의하면 오려내기가 불필요하기 때문에 손놀림의 인식정밀도가 오르는 것 뿐만아니라 처리속도도 대폭 올라간다.

처리는 초당 30회 이상의 처리가 가능한 것이 실험적으로 확인되고 있다. 이것은 응답속도가 이상적으로 되는 휴먼 인터페이스의 조건인 0.1초대를 끊고 있다. 따라서, 정말로 자연스러운 조작을 용이하게 실행할 수 있기 때문에 그 효과는 절대적이다.

[실시예 3의 변형예 1]

제26도의 형상해석규칙은 어디까지나 일례에 지나지 않고 여러 가지 변형이 가능하다. 또, 매칭도 간단하기 때문에 장방형으로 분할하는 방법을 나타내고 있지만 이것도 일례에 지나지 않는다. 매칭방법에 맞추어 형상해석규칙도 변한다. 또, 형상해석의 결과도 대상이 되는 어플리케이션에 맞추어 변한다. 또, 실시예 중에서 설명하기 위해 이용하는 거리행렬은 16×16이지만 이것도 이 배열에 한정된 것은 아니다. 엄밀하게 수광소자를 배치할 수 있으면 예를 들면 64×64, 또는 256×256이라는 배열도 가능하다. 행렬의 정밀도가 높은 것에 따라 매칭방법도, 형상 해석규칙도 변화하는 것은 말할 것도 없다.

[실시예 3의 변형예 2]

또, 실시예는 손놀림 인식을 3차원 공간에서의 지시 등 계산기로의 입력수단으로서 소개하고 있지만 반드시 이에 한정된 것은 아니다. 예를 들면 텔레비젼과 조명기기 등의 전원 온/모프의 지시수단으로서 이용하는 것도 가능하다. 그러한 경우 본래 지시가 아닌 것까지 잘못하여 인식할 우려가 있다. 잘못하여 지시된 것을 방지하기 위해 복수 형상의 조합에 의해 지시 입력으로 한다. 예를 들면 손을 편 상태와 오므린 상태를 교대로 실행하는 것 등이다. 제28(a)도, 제28(b)도, 제28(c)도는 두 손가락, 주먹, 다섯손가락에서의 손놀림일 때의 거리화상의 예이다. 이 제28(a)도, 제28(b)도, 제28(c)도를 이 순서대로 하면 예를 들면 전원이 들어오고 반대로 제28(c)도, 제28(b)도, 제28(a)도로 하면 전원이 끊어진다고 해 둔다. 이와 같이 하면 본 장치 앞에 손과 인간이 움직여도 잘못하여 인식하여 전원이 끊어지는 것을 방지할 수 있다. 이러한 복수의 제스쳐의 조합으로 지시를 주는 경우의 형상해석수단(3)의 형상해석규칙은 예를 들면 제29도와 같이 된다. 여기에서는 간단하기 때문에 전원의 온/오프의 경우에 특화된 해석을 상정하고 있다. 장방형의 수만으로는 한 손가락인지 주먹인지의 판단은 하지 않는다. 여기에서는 면적이 임계값 α를 대폭 넘을 때에 주먹이라고 판정한다. 이와 같이 복수의 제스쳐를 조합시키는 것에 의해 특별한 도구를 필요로 하지 않고 오동작하지 않으면서 조명기구의 전원 온/오프 등의 조작을 자연스럽게 실현할 수 있다. 또 조명기구와 TV 등의 가전기기의 스위치의 온/오프 이외에도 은행의 캐시 디스펜서(ATM)와 역의 승차권 자동판매기 등의 입력 디바이스로서의 응용도 가능하다.

[실시예 3의 변형예 3]

실시예 3은 손의 형상을 선택하는 경우를 설명하지만 반드시 이에 한정된 것은 아니다. 예를 들면 얼굴의 방향을 인식하여 시점정보를 제어하는 것도 가능하다. 제30도는 화면에 대해 얼굴의 방향(즉 시점의 방향)이 변화하는 경우의 개략을 나타내기 위해 화면과 화면에 대한 인간과 화면 중에 있는 3차원 물체(원기둥, 사각추, 구)를 맨 위에서 본 도면이다. 시점 1,2,3은 화면에 대해 사람의 얼굴이 향하고 있는 방향을 나타내고 있다. 시점 1은 화면에 대해 정면을 향하고 있다. 시점 2는 화면에 대해 오른쪽(왼뺨이 화면에 가까운 방향)이 되고 있다. 시점 3은 화면에 대해 왼쪽(오른뺨이 화면에 가까운 방향)이 되고 있다. 실제로 이러한 시점에서 보이는 3차원 물체는 제31도와 같다. 즉 시점 1에서는 세 개의 물체가 모두 보이지만 시점 2에서는 좌단에 있는 원기둥이 가려져 있다. 이에 대해 시점 3에서는 우단에 있는 구가 전혀 보이지 않는 상태이다. 이와 같은 시점의 변경을 실행하는데에 손가락을 사용하는 방법도 있다. 예를 들면 손가락을 화면에 대해 수직인 상태(제27(a)도)를 시점 1의 지시로 한다. 손가락을 화면에 대해 오른쪽인 상태(제24(b)도)를 시점 2의 지시로 한다. 이와 같은 손에 의해 시점을 제어할 때의 문제는 현실세계의 시점의 제어와 크게 조작성이 다르다는 점이다. 현실세계에서는 오른쪽을 향하면 오른쪽에 있는 물체를 보고, 왼쪽을 향하면 왼쪽의 물체를 볼 수 있도록 얼굴의 방향으로 시점을 제어하고 있다(누구라도 제어한다고 과장한다고는 인식하지 않지만). 손가락은 보이는 물체 중의 특정한 것을 지시할 때에 사용하고, 시점을 바꾸거나 하는 데에 사용하지 않는다. 이 점, 종래의 VR기술로 이용하는 데이터 글로브와 스페이스 마우스 등은 자연스러운 조작감을 실현할 수 없다는 문제가 있었다.

이 실시예 3의 변형예 3은 그 자연스러운 조작감을 실현하는 것이다. 제32도는 얼굴의 방향을 본 화상 입력생성장치에 의해 취득할 때의 거리화상의 예이다. 제32(a)도는 시점 1의 얼굴이 정면을 향한 상태, 제32(b)도는 시점 2의 얼굴이 오른쪽을 향한 상태, 제32(c)도는 얼굴이 왼쪽을 향한 상태이다. 제32(d)도, 제32(d)도, 제32(e)도, 제32(f)도는 각각에서 장방형을 오려낸 도면이다. 여기에서는 얼굴 전체에 맞는 장방형과 코에 맞는 장방형을 오려내기 위해 가장 먼 셀(농도가 엷은 셀, 얼굴 전체에 맞는다)과, 가장 가까운 셀(농도가 짙은 셀, 코에 맞는다) 및 그 윗쪽에 한 수단만큼 거리가 먼 셀(농도가 엷은 셀, 눈에 맞는다)을 이용하여 세 개의 장방형을 만들어낸다. 제33도는 동체 시차를 위한 형상해석규칙의 일례이다. 여기에서는 간단하기 때문에 얼굴의 방향의 인식만으로 특화된 선택규칙의 일례를 나타낸다. 규칙 1은 얼굴과 코에 맞는 두 개의 장방형이 오려내어지는지를 체크한다. 없는 경우는 규칙 2로서 특별히 어떤 처리도 실행하지 않는다(NULL). 두 개의 장방형이 있는 경우에는 얼굴 체크의 규칙에서 큰 장방형이 멀어지고 작은 장방형이 가까워 진다는 관계로 되어 있는지를 체크한다. 되어 있지 않으면 얼굴 이외의 것이 비춘다고 해석하여 여기에서는 특별히 어떤 처리도 실행하지 않는다(NULL). 두 개의 장방형이 바른 관계에 있을 때 비로소 시점방향의 산출을 실행한다. 산출식은 이하와 같다.

[수학식 8]

L이 0인 경우, 왼쪽 90도에서 코가 가장 좌단으로 오는 해석이기 때문에 여기에서는 -90도가 된다. 정면을 향할 때는 L과 R은 같기 때문에 분자는 0이 되고 시점방향은 0도가 된다. L이 R보다 크면 그만큼 오른쪽이 된다. R=0에서 90도가 되고 코가 가장 오른쪽으로 오는 상태가 되며 얼굴이 완전히 오른쪽이 된다. 이 변형예에서는 좌우의 시점이동에 대해 서술했지만 마찬가지로 위에서 바라본 시점과 아래에서 올려다본 시점제어도 가능하다. 이 경우는 얼굴에 대한 코의 상하 위치를 취하면 좋다. 이상과 같은 해석에 의해 얼굴방향에 따른 시점변경이 가능하게 되고 자연스러운 조작을 실현할 수 있다. 본 화상입력 생성장치가 소형이 되면 휴대정보기의 입력 디바이스로 하여 이용할 수 있다. 이와 같은 경우에는 얼굴에 대해 휴대정보 단말의 위치를 변경할 수 있다(제34도). 얼굴을 움직이는 대신 단말쪽을 손으로 움직여도 시점 1,2,3의 얼굴방향은 제32도와 같이 되기 때문에 제31도에 있는 시점제어를 실행할 수 있다. 상하방향에 관해서도 마찬가지이다. 이와 같이 하면 진짜 동체시차를 실현할 수 있다. 즉, 사용자는 어디까지나 3차원 공간을 휴대정보 단말의 화면이라는 윈도우를 통해 보는 진짜 직접적인 조작감을 실현할 수 있다.

[실시예 4]

제 3 실시예는 형상을 인식하여 계산기에 대한 지시로 변환하는 것이다. 전원을 넣거나 끄는 등의 조작을 하기에 편리하다. 그러나, 애니메이션에서 캐릭터에 움직임을 곁들이거나 움직이는 속도를 바꾸는 조작을 하기에는 아쉽지만 사용할 수 없다. 형상의 인식만으로 하려면 예를 들면 속도를 조정하는 슬라이더 등을 조작하는 형식이 되어 직접적으로 움직임을 주무를 수 없다. 이 실시예 4는 이 문제를 해결하기 위해 움직임(모션)의 입력을 할 수 있도록 한 것이다.

이하, 도면을 따라 본 발명의 동작에 대해 설명한다. 제35도는 제 4 실시예에 있어서 특징정보 생성수단의 개략 구성도이다. 제23도의 형상해석수단(333) 대신에 화상변화 추출수단(343)이 형상기억수단(332) 대신에 비교위치 기억수단(342)이 있는 형태가 된다. 비교위치수단(342)에는 움직임 벡터를 산출하기 위해 비교하고 싶은 현재보다. 이전의 위치, 예를 들면 M프레임 전의 중심점, 또는 최근점 등 화상변화 추출수단(343)에 의해 산출된 위치를 격납하고 있다. 화상변화 산출수단(343)은 거리행렬을 해석하여 예를 들면 중심점, 최근점 등의 변화 등에 의해 움직임 벡터를 추출하는 것이다. 중심점과 최근점 등의 산출에 관해서는 손놀림의 진동에 의한 오차를 M프레임분의 평균을 취하여 상쇄한다. 즉, 제 i 번째의 프레임에 있어서 중심점(Xn,Yn)은

[수학식 9]

그 처리의 흐름은 제36도와 같이 된다. 우선 처리에 앞서서 스텝(901)에서 비교위치 기억수단(342)의 내용을 초기화하여 비워둔다. 다음에 거리화상을 기억에 격납한다(스텝(972)). 이 거리행렬을 판독하여(스텝(903)) 예를 들면 중심점을 산출한다(스텝(904)). 중심점의 산출은 예를 들면 이하와 같이 한다. 제 1회째는 중심점(Xn-1,Yn-1)이 비교위치 기억수단(342)에 기억되지 않기 때문에(스텝(905)) 우선 비교위치 기억수단(342)에 격납한다(스텝(907)). 다음에 중심점(Xn,Yn)을 산출할 때에는 비교위치 기억수단(342)에는 M프레임 전의 (Xn-1,Yn-1)이 기억된다. (Xn-1,Yn-1)에서 (Xn,Yn)까지 변화하는데에 필요한 시간은 M·1/30=M/30 초이다. 따라서 변화분((Xn,Yn)-(Xn-1,Yn-1))을 이 시간으로 나눈 것이 움직임 벡터이다. 그 결과는 이하와 같다.

[수학식 10]

추출된 움직임 벡터를 사용하여 애니메이션에 움직임을 주는 예를 설명한다. 제37도의 좌측 인형의 캐릭터의 예를 들면 양손의 위치를 움직이면 오른쪽과 같이 된다. 움직임 벡터 v의 값이 커지면 움직임이 빨라지기 때문에 인형의 손의 움직임이 커지고 활동적인 움직임이 된다. 반대로 값이 작아지면 움직임은 늦어지고 완만한 움직임이 된다. 위의 예에서는 화상변화 추출수단(343)이 움직임 벡터를 산출하는 예를 서술했지만 반드시 이에 한정된 것은 아니다. 이 이외에 움직임 벡터에서 진폭, 또는 속도, 또는 각도만을 산출하는 것도 가능하다. 이 경우는 예를 들면 제36도의 처리의 흐름의 스텝(906)을 스텝(908), 또는 스텝(909,910)으로 치환하면 좋다. 예를 들면 X방향의 변화량을 진폭으로 추출하고 Y방향의 움직임을 속도로 하여 제38도에 있는 것과 같이 진폭으로 인형의 위치를 제어하고 속도로 인형의 움직이는 속도를 제어하는 것도 가능하다. 또는 손가락의 흔들리는 각에 의해 인형의 목 흔들림의 각도를 제어하는 것도 가능하다. 이 경우에는 단지 중심을 취하는 것만으로는 정확히 중심을 잡을 수 없다. 즉 제39(a)도에 있는 것과 같이 t시 때의 손가락과, 그곳에서 흔들린 (t+1)시의 손가락은 손가락의 지점이 어긋나기 때문에 각도는 실제의 각도보다 커진다. 다소, 실제의 손가락의 흔들림보다도 과장한 동작이 되어도 좋은 경우에는 이 흔들리는 각을 그대로 사용하는 것도 문제없다. 그러나 세세한 동작 등을 하고 싶으면 불편하다. 이것을 방지하기 위해 제39(b)도와 같이 t시의 손가락과 (t+1)시의 손가락의 지점을 일치시키고 나서 중심을 산출하지 않으면 안 된다. 구체적으로는 t시의 손가락의 지점을 (Xst,Yst), 중심을 (Xbt,Ybt)로 하여 (t+1)시의 손가락의 지점(Xst+1,Yst+1), 중심(Xbt+1,Ybt+1)로 한다. t시의 손가락의 지점에서 (t+1)시의 손가락의 지점과 중심을 보정한 것을 각각 (X′st+1,Y′st+1),(X′bt+1,Y′bt+1)로 하면 다음과 같이 된다.

[수학식 11]

이러한 것을 사용하여 흔들리는 각을 구하면 다음과 같이 된다.

[수학식 12]

이와 같이 하여 구한 흔들리는 각을 사용하면 예를 들면 제40도와 같이 팔의 팔꿈치에서 아래 수단분과 다리의 무릎에서 아래 수단분을 이 흔들리는 각으로 흔들며 걷는 모션을 임의로 하는 것이 가능하다. 또는 제41도의 뱀 캐릭터의 입을 이 흔들리는 각으로 움직이면 입이 뻐끔뻐끔 움직이는 것이 가능하다. 손가락의 흔들리는 방법을 변화시키면 대사에 맞추어 입을 뻐끔뻐끔 하게하여 말하는 느낌을 용이하게 낼 수 있다. 또 직접 사용자가 자신의 입을 뻐끔거려서 뱀의 캐릭터의 입을 움직이는 것도 가능하다. 예를 들면 제42(a)도, 제42(b)도, 제42(c)도는 화상생성장치를 향하여 입을 움직이는 경우이다. 제42도의 (a)와 제42도의 (c)는 입을 열고 제42(b)도는 닫는 것이다. 입을 연 길이 m은 제42(a)도, 제42(b)도, 제42(c)도에서 구한다. 입의 길이는 평균적인 값(예를 들면 β 로 한다)을 이용하여 흔들리는 각을 이하와 같이 구한다.

[수학식 13]

이것을 사용하여 뱀의 입을 움직인다. 또는 입을 연 길이 m을 그대로 뱀의 입의 개폐에 이용하는 방법도 가능하다.

[실시예 4의 효과]

종래의 조작으로는 움직임을 컨트롤하는 슬라이더를 조작하는 간접적인 조작이었기 때문에 경험이 적은 사용자에게 있어서는 자신의 생각대로 움직임을 곁들이는 것이 상당히 곤란했다. 이에 대해 본실시예에 의하면 사용자는 애니메이션의 캐릭터를 보면서 몸놀림을 하면 그 몸놀림에 맞추어 캐릭터가 움직이는 완전히 직접적인 조작을 실행할 수 있기 때문에 그 효과는 절대적이다.

[실시예 4의 변형예 1]

제30도에서는 중심점의 추출을 예로 처리의 흐름을 설명했는데 이에 반드시 구속되는 것은 아니다. 최근점과 거리화상 중에서 어느 거리 이하에서 X방향으로 가장 상위에 있는 점, 또는 Y방향으로 가장 오른쪽에 있는 점 등의 여러 점을 취하는 것이 가능하다.

또 화상변화 추출수단은 실시예 2에 나타낸 바와 같이 1종류만 변화를 추출할 뿐만아니라 복수 종류의 변화를 추출하는 것이 가능하다. 예를 들면 중심점과 면적을 추출하려고 한다. 면적은 거리행렬에서 어느 임계값 이상의 셀개수를 세서 얻을 수 있다. 그 때, 오차를 작게 하기 위해 M프레임분의 평균을 취하도록 한다. 중심점에 의해 양손의 변위를 주고 면적에 의해 캐릭터 전체의 크기를 지시하도록 해 둔다. 그러면 손을 피거나 잡으면서 위치를 변화시키면 캐릭터의 크기가 변화하면서 양손을 움직이는 애니메이션이 실현될 수 있다.

이와 같이 본 장치에 의하면 거리정보의 다른 정보(예를 들면 면적 등)를 사용하여 인식의 정밀도를 올리고 저가격, 고속으로 자연스러운 조작성을 실현하는 것이 가능하다. 또 이것에 의해 캐릭터에 대한 복수의 지시를 별로 어려운 조작을 느끼지않고 실현할 수 있다.

실시예 3 또는 실시예 4에 있어서 손가락과 손, 또는 얼굴을 사용한 조작에 대해 소개했는데 이러한 조작에 한정된 것은 아니다. 예를 들면 양손을 사용하여 왼손의 움직임은 캐릭터의 왼손, 또는 왼발의 수단분, 캐릭터의 움직임은 인형의 오른손, 오른발의 수단분에 나누어 마치 인형의 안무가가 인형에 동작을 안무하여 조작하는 것도 가능하다. 또는 영화에서 개의 형태를 만들어 움직이는 몸놀림에 의해 캐릭터에 움직임을 주는 것도 가능하다.

또, 실시예 4에서는 2차원의 애니메이션의 캐릭터에 대한 조작을 예로 설명했는데 반드시 이것에 한정된 것은 아니다. 예를 들면 중심점에서 안길이 좌표까지 취하면 3차원의 애니메이션의 캐릭터에 대해 조작하는 것도 가능하다.

또는 유아의 리듬감의 교육 등에 이용하는 경우에는 X방향만의 변이분을 취하여 그것에서 캐릭터의 머리를 움직이도록 하면 유아는 용이하게 스스로 리듬을 눈으로 보고 확인할 수 있다. 또 실시예 3과 같이 유아의 손의 움직임에 맞추어 캐릭터에 움직을 주어 눈에 보이는 형식으로 하는 것 이외에 소리를 발생시키는 등 CG이외의 다른 미디어의 매개변수로서 이용하는 것도 가능하다.

또 실시예 4에서는 몸놀림만으로 모션을 하는 실시예이지만 다른 입력 디바이스와의 병용도 가능하다. 예를 들면 오른손의 움직임에 맞추어 대상의 물체를 회전시킬 때에 현재 위치에서 일시 대상물체의 움직임을 홀드하고 오른손의 움직임을 한 번 더 원래대로 되돌려서 홀드시킨 위치에서 회전시키는 경우가 있다. 이와 같은 때에 홀드를 지시하거나 해제하거나 하는데에 홀드지시의 메뉴 보턴을 왼손으로 누르는 것에 의해 실현할 수 있다. 또는 어느 모션을 할 때에 그 일련의 모션을 보존하고 싶을 때에 기억을 지시하는 메뉴 보턴을 누르는 조작으로 실현할 수 있다.

이와 같이 본 장치에 의하면 간단한 메뉴 보턴으로는 용이하게 실현할 수 없는 모션부착 등의 조작과, 단순하게 메뉴 보턴을 누르면 좋은 조작을 사용자에게 위화감없이 병행하여 실행할 수 있어서 그 효과는 크다.

[실시예 4의 변형예 2]

제43도는 실시예 4의 별도의 변형예의 개략구성도이다. 제35도의 구성은 움직임 벡터 등 화상의 변화분만을 추출하여 애니메이션의 캐릭터에 움직임을 주는데에 이용된다. 한편, 제23도의 구성은 거리화상을 정지화로 하여 인식하고 몸놀림의 해석을 실행하여 그 결과를 지시로 이용한다.

이에 대해 제43도는 대다수의 매개변수를 거리화상에서 추출하여 복잡한 캐릭터의 움직임을 제어하는 매개변수에 할당하도록 하는 것이다. 그 때문에 화상변화 추출수단(343)과 형상해석수단(333)의 양쪽이 짜여진 구성이 된다. 물론, 화상변화 추출수단(343)으로만 복수의 매개변수를 추출할 수 있기 때문에 형상해석수단(333)이 반드시 포함될 필요는 없다. 마찬가지로 형상해석수단(3)에 있어서도 몸놀림의 인식결과 이외에도 면적과 중심의 값을 추출할 수 있기 때문에 이것만으로 복수의 매개변수를 추출할 수 있기 때문에 반드시 화상변화 추출수단(343)이 포함될 필요도 없다.

매개변수 매칭수단(344)은 형상해석수단(333)과 화상변화 추출수단(343)에 의해 추출된 복수의 매개변수를 캐릭터의 움직임 제어의 어느 수단분에 적용하는지를 결정하는 것이다.

한편, 캐릭터 제어수단(345)은 매개변수 매칭수단(344)에 의해 할당된 매개 변수에 따라 실제로 캐릭터의 움직임 계산을 실행하는 수단분이다. 그 결과를 묘화한 것이 묘화수단(346)이다. 매개변수 매칭수단(344)은 사용자의 학습을 용이하게 하기 위해 뉴럴 네트워크와 GA(Genetic Algorithm) 등의 여러 가지 최적화 수법을 이용하여 매개변수의 할당을 제어하는 것이 가능하다. 또는 매개변수마다 어느 수단분에 적용하는 것인지 새로 매개변수 매칭수단(344)을 결정해 두는 방법도 가능하다. 예를 들면 제41도의 뱀의 캐릭터를 예로 들면 면적은 뱀의 크기, 속도는 뱀의 꼬리를 흔드는 속도, 손가락의 위치는 뱀의 위치라는 식이다.

또, 매개변수의 변화의 크기에 따라 어느 수단분에 적용하는지 결정해 두는 것도 가능하다. 우선 최초에 손을 움직여 보아 가장 변화가 심한 매개변수를 뱀의 꼬리의 속도, 변화가 적은 매개변수를 뱀의 크기로 결정한다. 다음에 손을 움직일 때에는 최초의 구경측정에 의해 결정된 매개변수에 따른다. 이 변형예 2에 의하면 사용자는 실제로 손가락과 손을 움직여서 그에 따른 캐릭터가 변화하는 것을 보면서 캐릭터의 동작을 간단하게 습득할 수 있을 뿐아니라 복잡한 움직임을 하는 것이 가능하게 된다.

또, 여기에서는 애니메이션의 캐릭터의 모션부착의 적용을 중심으로 서술했지만 반드시 이에 한정된 것은 아니다. 애니메이션 이외에는 음악연주와 화상의 특수효과부착 등에 적용하는 것도 가능하다. 손의 좌우 흔들림으로 리듬, 손의 제스쳐에 의해 나타나는 음정을 제어하여 음악을 연주할 수도 있다. 또는 손의 좌우 흔들림으로 화상의 와이프의 빠르기, 손의 회전에 맞추어 문자를 회전시키는 등의 프리젠테이션에 있어서 특수표시효과를 제어하는 것도 가능하다. 이와 같은 여러 어플리케이션의 적용이 가능하고 여기에 기술한 실시예에 한정된 것은 아니다.

또, 제44도는 제43도의 구성에 있어서 GUI(그래픽 사용자 인터페이스)의 화면의 일례를 나타낸 것이다. 이 GUI는 제스쳐를 한정하고 싶을 때에 화면 밑에 나열된 아이콘에서 한정하고 싶은 제스쳐를 선택하도록 이루어져 있다.

예를 들면 가장 왼쪽에 있는 아이콘은 손가락 끝을 움직여서 X축 방향의 움직임을 하는 것을 나타내고 있다. 마찬가지로 그 오른쪽에 있는 아이콘은 손가락 끝을 움직여서 Y축 방향의 움직임을 하도록 한다. 그 오른쪽에 있는 아이콘은 Z축 방향의 움직임을 한다. 이에 대해 오른쪽에서 2번째의 아이콘은 「바위」 「가위」「보」 의 세가지 형상이 겹쳐져 있다. 이것은 이 아이콘을 선택하면 이 세가지 제스쳐를 인식할 수 있도록 형상규칙 수단(332)에 격납된 규칙이 전환되고 그에 따른 해석을 형상해석수단(333)이 응답하는 것을 나타내고 있다. 마찬가지로 가장 오른 쪽의 아이콘은 「바위」 「보」의 두가지 형상이 겹쳐져 있고, 이 두가지 형상으로 특화되어 인식하도록 이루어져 있다. 제44도는 겹쳐진 상태에서의 아이콘이 표시되고 있는데 이러한 아이콘은 반드시 정지된 형태일 필요는 없고, 예를 들면 「바위」「가위」「보」 의 세가지 형상이 차례차례로 표시되고 애니메이션적으로 표시되어 이 세가지 형상을 인식할 수 있는 것을 나타내거나 또는 손가락이 좌우로 움직여서 X축방향의 움직임을 취할 수 있는 것을 나타내는 것도 가능하다. 또 이러한 아이콘을 복수 선택하여 측정폭을 넓히는 것도 가능하다. 이 때 조합시킨 인식을 할 수 없는 경우에는 어느 아이콘을 선택할 때에 선택할 수 없는 아이콘은 페이드 아웃하여 선택하려고 해도 선택할 수 없게 된다. 제45도에서는 오른쪽에서 2번째의 「바위」 「가위」 「보」 의 아이콘을 선택하면 그에 조합시켜 가장 오른쪽의 「바위」 「보」 의 아이콘을 선택할 수 없기 때문에 이 아이콘이 페이드 아웃하여 표시된다. 또, 제36도와 같은 GUI의 구성이 되면 사용자가 새로운 몸놀림을 등록한 경우도 이 새로운 몸놀림은 아이콘으로 표시할 수 있다. 그 때에 아이콘에 표시되는 것은 거리화상을 간략화한 것이다.

따라서 별도의 사용자도 그 아이콘 표시를 보고 새로운 아이콘의 몸놀림을 흉내내어 새로운 아이콘을 사용해 보는 것을 용이하게 실행할 수 있다. 즉, 제22도와 같은 GUI에 의해 사용자 사이에서 용이하게 모션을 하기 위한 지식을 용이하게 공유하고 용이하게 학습할 수 있기 때문에 그 효과는 절대적이다.

[실시예 5]

동화상 압축 기술은 급속하게 진전되었지만 아직 휴대형의 단말장치로서 양호하게 동화상을 표시하는 것은 어렵다. 유용한 정보만 전송하고 표시할 수 있도록 하면 통신 가격을 내리고 휴대단말의 저소비전력화, 저가격화가 가능하게 된다. 이 때문에 예를 들면 TV전화에 있어서는 양쪽 얼굴만 오려내어 보내도록 하는게 좋다. 또 전자회의의 의사록 등에 있어서 클로즈 업된 발신자의 얼굴만 주목하여 검색을 실행하는 경우가 생긴다. 이와 같은 화상에서 특정 대상만을 오려내기 위한 크로마키 카메라의 실시예에 대해 설명하는 것이다. 제46도는 실시예 5의 개략구성도이다.

실시예 3,4와 같이 반사화상을 기억하는 거리화상 기억수단(331)이 있다(여기에서는 거리는 반드시 기억할 필요가 없고 각 셀마다 수광하면 「1」, 수광하지않으면 「0」을 설정하여 작성되는 반사행렬도 충분하다). 이것과 병렬로 비디오 등 CCD카메라로서 사용되는 가시광의 수광소자 어레이(351)와 그것을 기억하는 화상기억수단(352)가 있다. 화상기억수단(352)에 기억된 화상정보와 거리화상 기억수단(331)에 기억된 거리화상을 비교하고 특정 화상만을 오려내는 오려내기수단(353)과 오려낸 화상을 기억하는 오려내기 화상 기억수단(354)으로 구성되어 있다. 제46도는 가시광의 수광수단(351)이 반사광 추출수단(2)과는 병렬이지만 실장상 반드시 이에 한정된 것은 아니다. 예를 들면 제47도와 같이 동일한 수광소자 어레이 중에 어느 것은 근적외의 수광소자이고 어느 것은 가시광의 수광소자로 배치하여 수광렌즈를 공유하고, 소형화, 경량화를 꾀하는 것도 충분히 가능하다. 제48도는 오려내기 수단(353)으로 실행되는 오려내기 처리의 개요를 나타낸 것이다. 제48도에서 원화상이라고 하는 것이 가시수광 어레이(351)로 수광한 화상이다. 화상기억수단(352)에는 이것이 기억된다. 한쪽 마스크가 반사광추출수단(2)에 의해 수광된 반사화상이다. 이것이 반사행렬로서 거리화상 기억수단(331)에 기억된다. 오려내기 수단(353)은 원화상과 마스크를 서로 겹쳐서 겹쳐진 수단분만큼을 남겨서 제48도의 최하단에 있는 오려내기 화상을 얻을 수 있다. 이 오려내기 화상은 오려내기 화상기억수단(354)에 기억된다. 반사광 추출수단(2) 및 가시수광소자 어레이(351)에서의 수광을 완전히 병행하여 실행하면 매초 30회의 수광을 실행한다(통상의 비디오 프레임 레이트가 30장/초). 오려내기 수단(353)에서의 오려내기 속도가 충분히 빠르면 매초 30회의 갱신이 가능하다. 그 경우는 수광한 때에 즉 매초 30회, 화상기억수단(352)과 거리화상 기억수단(331)에 기억된 화상도 갱신하도록 하면 좋기 때문에 화상기억수단(352)과 거리화상 기억수단(331)의 기억용량은 작아서 좋다.

한편, 오려내기 속도가 충분히 빠르지 않으면 화상 기억수단(352)과 거리화상 기억수단(331)에는 직전의 프레임분의 화상, 또는 거리화상을 기억하기 위한 버퍼가 필요하다. 그러나 이 버퍼에 기억된 전의 프레임분과 현재의 프레임분을 가산평균한 것을 대상으로 오려내기 처리를 실행하여 단순히 속도를 보상하는 것 뿐만 아니라 S/N비의 향상도 꾀할 수 있다.

다음에 오려낸 화상의 이용방법에 대해 서술한다. 예를 들면 전자회의 등의 회의록 시스템은 현재 제46도의 화상기억수단(352)에 기억된 동화상을 비디오 테입 등에 녹화하거나 또는 MPEG2등으로 압축하여 기록하는 방법이 취해지고 있다. 그러나 이러한 방법은 발언자 이외의 화상 등 의사록으로서 어느 정도 중요하지 않은 동화정보 까지도 기록하게 되어 쓸데없이 기록하게 될 뿐만 아니라 발언내용을 중시하여 재생하는 등의 효율적인 재생을 할 수 없다.

이에 대해 본 실시예에 의하면 발언자 등의 특정수단분만큼을 오려낼 수 있다(제48도의 오려내기 화상이 발언자에 상당한다). 그 오려내기 화상을 기록하는 것에 의해 기록용량을 대폭(수분의 1에서 수십분의 1) 삭감할 수 있을 뿐만 아니라 낭비없는 재생을 실행할 수 있다. 그 경우의 개략구성은 예를 들면 제49도와 같이 된다. 오려내기 화상(압축)기록수단(355)은 오려내기 화상을 그대로 비디오신호로서 기록하거나 또는 MPEG2 엔코더 등에 의해 압축하여 기록한다.

또는 오려내기 화상을 기억하는 대신에 전송할 수도 있다. 이 경우도 종래 여분으로 보낸 배경화상을 생략할 수 있기 때문에 전송량을 대폭 삭감할 수 있다. 이 경우의 개략구성은 예를 들면 제50도와 같이 된다. (압축)송신수단(356)은 오려 내기 화상을 그대로 비디오신호로서 송신하거나 또는 MPEG2 엔코더 등에 의해 압축하여 송신한다. 오려낸 화상을 이용하면 제51도와 같이 별도의 배경과 서로 겹칠 수 있는 크로마키를 매우 간단하게 실행할 수 있다. 그 경우의 구성은 예를 들면 제52도와 같다. 화상합성 수단(357)은 배경화상 기억수단(358) 등이 축적되고, 예를 들면 제51도의 왼쪽 위의 지도와 같은 배경화상에 대해 별도 입력된 위치에 오려 내기 화상을 제57도의 밑에 있는 것과 같이 합성하여 출력한다. 배경화상이 압축되어 기억된 경우에는 화상합성수단(21)에서 복호(디코더)를 실행하고 나서 합성한다. 물론, 새로 기록된 오려내기 화상을 이용한 합성도 가능하다. 또 복수의 오려내기 화상을 이용한 합성도 가능하다.

[실시예 5의 효과]

종래는 동화상에서 특정한 수단분만큼을 오려내어 취하려면 사람 손으로 오려낸 수단분을 특정하는 등의 작업을 실행하지 않으면 안 되어 매우 많은 노력을 필요로 했다. 그러나 본 실시예에 의하면 캐릭터 수단분 등의 마스크를 반사행렬에 의해 용이하게 만들어 낼 수 있기 때문에 종래의 노력을 대폭 삭감할 수 있어서 그 효과는 절대적이다. 한편 전자회의 등에 있어서 발언자의 얼굴 등을 인덱스로서 이용하는 회의록 시스템의 응용 등에 의해 검색에 필요한 정보의 입력작업도 대폭 경감시킬 수 있다.

[실시예 5의 변형예]

본 실시예는 반사광 추출수단(2)과 가시광의 수광어레이(351)가 동시에 수광하도록 이루어져 있는데 반드시 이에 한정된 것은 아니다. 예를 들면 제53도와 같이 전환수단(359)에 의해 전환되어 수광하는 것도 가능하다. 전환주기가 60Hz라면 가시광과 근적외로 각각 30Hz로 수광할 수 있다.

또, 제47도는 가시광의 수광 어레이(351) 중에 근적외 수광 어레이(1)가 나열된 배치로 이루어져 있는데 이에 반드시 한정된 것은 아니다. 예를 들면 장래의 기술혁신에 의해 가전압을 변화시켜서 가시광을 수광하거나 근적외를 수광하는 것을 제어할 수 있는 소자가 개발된 경우도 있다. 이와 같은 소자를 사용하는 것에 의해 제53도의 전환수단(359)으로 가전압을 전환할 수 있는 것에 의해 실현하는 것도 가능하다. 또, 제53도와 같은 구성으로 오려낸 화상을 합성할 때에 제51도에 나타낸 바와 같이 합성하는 캐릭터는 하나로 한정되는 것은 아니다. 예를 들면 별도로 오려낸 복수의 오려내기 화상을 배경화상에 서로 겹치는 것도 가능하다. 이 때 복수의 오려내기 화상에 다른 안길이 좌표(Z값)를 주고 합성하는 것도 가능하다.

이와 같이 하면 간단하게 안길이가 있는 영상을 만들어 내는 것이 가능해진다. 이때 부여된 안길이 좌표에 맞추어 투시변환(무한원(無限遠)에 소실점이 있다)인(X/Z,Y/Z,1/Z)를 실시한다. 이것에 의해 안이 될 정도로 작은 화상이 되기 때문에 안길이 감이 있는 영상으로 하는 것이 매우 간단해질 수 있다.

[실시예 6]

캐릭터를 3차원의 모델로 작성하려면 몇 개의 방법이 있다.

하나는 점토 등으로 캐릭터의 모델을 만들고 그것을 3차원 디지타이저로 불리는 3차원 좌표값을 입력하는 디바이스로 표면의 주요 포인트를 덧그리는 방법이다. 이 방법은 정밀한 모델을 할 수 있기 때문에 영화와 CM등 비 실시간의 고화질 영상을 이용하는 분야에서 자주 이용된다. 3차원 모델로 하는 대상이 대형인 경우에는 3차원 디지타이저로 표면의 포인트를 하나하나 입력하는 것은 어렵기 때문에 레인지파인더라고 하는 레이저광을 쏘여 그 반사로 거리를 계측하는 디바이스를 이용하는 것도 있다. 또 별도의 방법은 3차원 CAD 등을 사용하여 모델을 만들어 간다. 이 방법은 비교적 곡면이 작은 기계기구와 건축물 등을 만드는 것에 적합하다.

어느 방법에 있어서도 현실감(진짜같음)을 내기 위해서 작성한 3차원의 모델에 캐릭터의 재질감 등을 내기 위해 사진을 부착한 (텍스쳐 매핑) 작업을 실행한다.

텍스쳐 매핑은 정방형의 모형(텍스쳐)을 부착하는 3차원 물체의 (곡)면에 맞춘 2차원적인 좌표변환이다. 자주 사용되는 모델링 소프트웨어는 부착하는 면과 그곳에 부착하는 텍스쳐를 지정할 필요가 있다. 이와 같은 수고는 현장감을 내기 위해 빠질 수 없지만 번잡한 것도 사실이다. 특히 어린아이 등이 가정에서 애니메이션을 만들어 즐기는 용도로는 부하가 너무 커서 사용하지 않는다. 3차원 모델을 만들어 텍스쳐를 붙이는 작업을 보다 간단하게 할 수 있는 것이 실시예 6이다.

제54도는 제 6 실시예의 개략구성도이다. 제46도의 구성과 거의 같지만 오려 내기 화상기억수단(354) 대신에 오려낸 화상과 Z값을 대응시켜 기억하는 Z값 화상 기억수단(361)과 Z값을 비교하여 묘화를 위한 처리를 실행하는 묘화수단(362)이 부가된 구성이 된다.

제55도는 Z값을 비교하여 묘화를 실행할 때의 원리를 설명한 것이다. 제55(a)도와 제55(b)도의 도면은 Z값 화상기억수단(361)에 기억된 Z값 화상의 일례이다. 제 5 실시예 중의 제46도의 구성도의 오려내기 화상기억수단(354)에 기억되고, 예를 들면 제48도와 같은 오려내기 화상과 제 3 실시예의 제23도의 구성도 중의 거리화상 기억수단(311)에 기억된다. 예를 들면 제24(a)도와 같은 거리화상을 서로 겹친 화상이 된다. 즉, 하나의 화상에 대해 RGB 색의 정보와 안길이 정보인 Z값을 갖고 있다.

제55도의 Z값 화상은 설명을 위해 모노클로화상으로 한다. 또 설명을 용이하게 하기 위해 제55(a)도의 Z값은 1, 제55(b)도의 Z값은 2로 한다(그 값이 각각의 화소에 입력되지만 여기에서는 간단하게 하기 위해 모두 동일하게 하여 값을 하나만 기억한다). 제55(a)도의 도면과 제55(b)도의 도면을 합성할 때를 설명한다. 색이 짙은 쪽이 거리가 가깝다. 즉 Z값이 작게 된다.

우선 합성을 할 때에는 제55(a)도의 도면을 그대로 입력한다. 다음에 제55(b)도의 도면을 입력한다. (6,6)(6,7)(6,8)(7,6)(7,8)에는 제55(a)도의 도면 밖에 없기 때문에 그대로 남는다. (7,8)에는 제55(b)도의 도면도 화상이 있지만 이미 입력된 Z값은 제55(a)도의 1에 대해 제55(b)도의 Z값은 2이고 제55(b)도의 쪽이 멀다는 것을 알 수 있기 때문에 입력을 실행하지 않는다. 이하 마찬가지로 Z값을 비교하여 Z값이 작은 쪽(즉, 거리가 작은 쪽)만 남기고 감추인 면 처리를 실행할 수 있다. 마찬가지의 처리로 예를 들면 제56도와 같이 오려낸 화상을 Z값을 기초로 합성하여 안길이가 있는 화상을 간단하게 만들어 낼 수 있다.

[실시예 6의 효과]

본 실시예에 의하면 종래와 같이 3차원 모델을 입력하여 텍스쳐를 붙이는 면을 지정하는 등의 수고가 들지않고 사진을 찍는 감각으로 간단하게 텍스쳐 매핑을 실행한 3차원 모델을 작성할 수 있다. 따라서 종래의 방식으로는 프로 또는 꽤 기술이 있는 사용자가 아니면 애니메이션을 작성할 수 없었지만 본 실시예에 의하면 용이하게 누구라도 3차원 모델에 의한 애니메이션을 손쉽게 즐길 수 있다.

[실시예 6의 변형예 1]

실시예 6은 Z값을 사용하여 그대로 화상을 입력하여 안길이가 있는 영상을 만들지만 반드시 이에 한정된 것은 아니다. 예를 들면 (x,y,z)의 좌표값을 정점좌표로 하는 폴리곤(다각형)을 생성하고 3차원 모델을 만들어 그곳에 오려낸 화상을 매핑하는 것도 가능하다.

[실시예 6의 변형예 2]

실시예 6은 복수의 영상을 오려내는 것이 어렵다. 이것을 해결한 것이 이 변형예 2이다. 그 구성은 제57도와 같이 된다. 제57도는 오려낼 때의 Z값의 범위를 오려내기 범위 결정수단(363)에 의해 제어하는 것에 의해 복수의 대상을 오려낼 수 있다. 예를 들면 제58(a)도와 같이 복수의 대상이 겹친 형태로 거리화상을 얻을 수 있다. 오려내기 범위 결정수단(363)은 우선 오려내기의 중심 Z값을 복수 결정한다. 오려내기 범위 결정수단(363)은 제58(a)도의 거리의 히스토그램을 취한다. 그 결과, 제58(b)도와 같은 히스토그램(빈도분포)을 얻을 수 있다. 히스토그램의 분포(산이 어디에 있는지)를 기초로 오려내기의 중심 Z값을 결정한다. 여기에서는 히스토그램의 산이 2개 있기 때문에 그곳에서 2개의 중심 Z값(Zc1, Zc2)을 결정한다. 오려내기는 이 중심 Z값에 대해 어느 정도의 폭(예를 들면 γ)을 갖게 하여 Zcl±γ, Zc2±γ로 오려내기를 실행한다. 그 결과가 제58(c)도, 제58(d)도가 된다. 이 오려낸 거리화상에 대응하는 수단분의 오려내기 화상을 오려낸다.

제58(c)도에서는 오려낸 영역이 2개로 나뉘기 때문에 이것을 제58(c)도에 그리도록 이어져서 폐곡선이 되도록 이어져 하나의 대상으로 정리된다. 그러나 이어진 수단분(전에 별도의 대상이 서로 끊어지는 수단분)의 오려내기 화상은 감추어져 있기 때문에 오려내어지지 않는다. 이 때문에 이미 오려낸 화상을 기초로 보간(補間)화상을 생성하고 이것을 오려내기가 상으로 보간하여 이용한다.

오려내기 후의 Z값 화상에 대해서는 각각의 Z값을 기초로 실시예 4와 같이 묘화를 실행하여 감추인 면 처리를 실행하여 안길이가 있는 합성을 할 수 있다.

이상과 같이 제 2 변형예에 의하면 복수의 대상도 나누어 추출하여 간단하게 안길이가 있는 영상을 생성할 수 있기 때문에 가정에서 어린아이 등이 즐기면서 새로운 영상(아트) 생성을 할 수 있기 때문에 그 효과는 크다.

[보정수단의 필요성]

반사광 화상의 각 화소는 반사광의 강도를 나타내는데 반사광의 강도는 물체까지의 거리의 2승에 반비례한다. 따라서, 비선형인 변환수단을 이용하는 것에 의해 반사광 화상에서 거리화상을 생성할 수 있다. 단, 여기에서 말하는 거리화상에는 어느 정도의 오차가 포함된다. 이것은 실제로는 같은 거리에 있는 물체라도 그 표면의 방향과 그 반사특성이 영향을 주어 반드시 같은 반사광이 되돌아오지 않기 때문이다. 그러나 대충의 거리화상은 얻을 수 있다. 여기에서는 물체에 의한 거리화상의 오차는 무시한다.

이상적인 반사광 화상을 얻을 수 있다면 비선형의 변환수단에 의해 양호한 거리화상을 얻을 수 있다. 그러나 실제로는 여러 가지 요인에 의해 이상적인 반사광 화상을 얻을 수 없다. 그 때문에 반사광 화상을 바르게 보정하기 위한 수단이 필요하다. 또는 비선형 변환과 보정을 맞추어 실행하는 수단(이것도 이후에는 넓은 의미에서 보정수단이라고 부른다)이 필요하다.

이후에 이러한 보정수단에 대해 상세하게 서술한다.

[촬상렌즈의 영향]

우선 반사광 화상이 휘어진 원인에 대해 서술한다.

우선 촬상렌즈의 영향이 있다. 촬상렌즈는 물체에서의 반사광을 센서면 상에 결상시키기 위한 것이지만 일반적으로 그 밝기가 광의 입사방향에 의해 변하는 특성을 갖고 있다. 일반적으로 광축방향은 밝고, 주변으로 향하는 만큼 어두워진다. 즉 같은 방향에서 같은정도의 반사광이 돌아와도 영상의 중심부 쪽이 주변부에 비해 밝아진다.

[발광얼룩]

또 발광수단에 의한 발광얼룩도 거리화상의 오차가 된다. 조명은 일반적으로는 완전하게 균일하지 않고 조사된 면상에서의 조도에는 얼룩이 있다. 이것은 평평한 확산면에 비추인 광의 반사광 화상을 취득해도 평면이 되지 않는 것을 나타낸다.

[센서의 감도얼룩]

또, 반사광 화상을 촬상하기 위한 이미지 센서에 의한 촬상얼룩이 있다. 이미지 센서는 일반적으로 광을 전하로 바꾸는 수단, 그것을 축적하는 수단, 전송하기 위한 수단, 필요에 따라 증폭수단 등을 구비한 셀이 2차원적으로 배열되어 있다. 셀의 특성은 반드시 일치되어 있지 않고, 개개에 불균일이 있다. 이것에 의해서도 거리화상의 오차가 생긴다.

이상 서술한 바와 같은 여러 가지 요인에 의해 취득한 반사광 화상에 휘어짐이 생기고 그것에 의해 재구성된 거리화상에도 오차가 생긴다. 그 때문에 화상의 보정이 필요하다.

[반사광에서 거리값으로의 변환]

제66도는 비선형 변화수단(722)을 이용하여 반사광 화상을 거리화상에 변환하기 위한 구성예이다. 반사광 화상 생성수단은 타이밍제어수단(720)에서 출력된 제어신호에 따라 동작하고 반사광 화상을 나타내는 신호를 출력한다. 이것은 발광수단도 포함한다. 이것은 아날로그신호이다. 비선형 변환수단은 입력전압에 의해 증폭율이 다른 비선형 앰프이다. 이상적으로는 입력전압(Vi)과 출력전압(Vo)의 관계가

[수학식 14]

인 것이 바람직하다. 실제로는 이와 같은 특성을 갖는 비선형 앰프를 만드는 것은 어렵기 때문에 이것을 근사하는 특성을 갖는 비선형 앰프와 대수 앰프 등을 이용해도 좋다. 비선형 변환수단에서 출력된 신호를 A/D변환하는 것에 의해 디지털화된 거리화상을 얻을 수 있다.

비선형 변환수단은 반드시 아날로그 변환이 아니어도 좋다. A/D변환된 후에 디지털신호로 비선형 변환을 실행해도 좋다. 제67도는 이 구성을 나타낸다. 반사광 화상 생성수단(721)에서 출력된 신호는 A/D변환기(724)에서 디지털 데이터로 변환되고 디지털화된 반사광 화상이 되고 나서 보정수단(725)에서 거리화상으로 변환한다. 보정수단으로는 화상의 좌표에 의해 다른 보정 매개변수를 사용하기 때문에 좌표의 정보를 타이밍신호(723)에서 얻는다. 이 경우 ROM의 어드레스 신호에 입력을 주고 출력을 변환 후의 값으로 얻도록 하면 임의의 특성을 얻을 수 있기 때문에 수학식 14의 특성을 만족시킬 수 있다. 그러나 수학식 14의 변환은 입력신호가 클때 변환정밀도가 나빠지기 때문에 최종적인 출력보다 많은 비트수로 A/D변환하는 것이 바람직하다. 디지털화하고 나서 비선형 변환하는 경우는 후술하는 바와 같이 반사광 화상의 보정수단과 조합시켜 버릴 수 있다.

또 도시하지 않지만 A/D변환한 화상 데이터를 일단 메모리에 격납하고 나서 보정수단이 메모리에 액세스하여 보정작업을 실행하는 형태도 있을 수 있다.

[2단계의 변환]

제68도는 2단계의 변환수단을 이용하여 반사광 화상의 휘어짐을 보정하면서 거리화상으로 변환하기 위한 구성예이다. 우선 반사광 화상 생성수단(721)의 출력을 비선형 변환수단(726)에 의해 거리정보로 변환한다. 이것을 A/D변환한 후, 보정수단(727)에 의해 정확한 거리화상으로 변환한다. 반사광 화상의 휘어짐의 보정은 2차원 화상으로서 보정할 필요가 있기 때문에 디지털화상으로 변환하고 나서 실행하는 쪽이 좋다.

이와 같이 2단계의 변환수단을 이용하면 이하와 같은 장점이 있다. 제67도와 같이 반사광에서 거리값으로의 변환을 디지털화한 후에 실행하면 A/D변환기의 비트 수가 많이 필요하게 된다. 반사광에서 거리값으로 변환하는 비선형 변환수단의 이상적인 특성은 제69도와 같은 곡선이다. 이것을 디지털화한 후의 화상으로 실행하면 입력신호가 클 때의 변환정밀도가 나빠지는 것을 알 수 있다. 이것을 방지하기 위해서는 최종적으로 필요한 비트수보다 많은 비트수로 A/D변환할 필요가 있다. A/D변환하기 전에 이 비선형 변환수단을 사용하여 거리값으로 변환해 두어 A/D변환기의 비트수는 적게 된다. 또 A/D변환 전의 비선형 변환수단은 그 특성은 대충 좋다. 즉 수학식 14와 같은 특성을 완전하게 만족할 필요는 없다는 것도 변환 후에 반사광 화상의 휘어짐을 보정할 때에 비선형 변환수단으로 변환할 수 없었던 오차를 흡수하도록 보정하면 좋기 때문이다. 휘어짐의 보정을 할 때에 비선형 변환수단의 오차의 보정을 동시에 실행하는 것에 의한 어려움과 가격상승은 없다. 반대로 아날로그 신호 레벨에서의 비선형 변환수단에 높은 정밀도가 요구되지 않아서 가격 하락을 꾀할 수 있다.

또 이것은 반사광화상 생성수단이 반사광의 강도에 대해 비선형인 출력신호를 내는 구성이어도 좋다. 이 경우도 본 특허의 권리범위에 포함된다.

[보정의 구성 상세-풀 테이블]

다음에 보정수단의 상세에 대해 서술한다. 제70도, 제72도는 보정수단을 보다 구체적으로 한 구성을 나타낸다. 제70도는 입력과 출력을 1대1 대응시킨 보정테이블(728)을 갖는 경우이다. 화소수가 64×64=4096 화소라고 하면 이 좌표는 12비트로 표현할 수 있다. 출력데이터를 8비트로 하면 20비트의 어드레스 입력을 갖는 메모리를 사용하는 것에 의해 임의의 화소의 임의의 값에 대해 출력값을 결정할 수 있다. 출력값을 8비트로 하면 이것은 기껏해야 1MByte의 메모리를 사용하여 실현할 수 있다. 제71도는 테이블 데이터의 예이다. 열에 12비트로 나타낸 좌표를 할당하고, 행에 8비트로 나타낸 입력값을 할당한다. 매트릭스의 교점이 출력값을 나타낸다.

[보정의 구성상세-선형보간]

제72도는 몇 개의 포인트만을 테이블로 하는 예의 구성도이다. 제73도에는 이 구성도에서 사용하는 테이블 데이터의 예를 나타낸다. 256계조의 입력값을 8계조마다 구획출력값을 테이블화하고 있다. 테이블에 없는 값이 입력될 때에는 근방양측의 2가지 테이블값에서 선형보간에 의해 출력값을 계산한다.

예를 들면 테이블은 이하와 같이 정의된다.

f(LOC, IN)=OUT

LOC=0,1, … 4095

IN=8n(n: 0,1, …, 32)

OUT=0,1, … 255

테이블에 없는 입력값은 이하의 식으로 나타낸다.

IN={8a+b｜a=0,1, …, 31, b=1,2, …, 7)

이 때의 출력값은 이하의 식으로 산출된다.

이 방법을 취하면 제70도 경우의 구성에 비해 보정 테이블을 격납하는 메모리 용량은 8분의 1이 된다.

[공간적으로 이산]

화상상에서 가까운 점은 보정데이터도 비슷하다. 따라서 모든 좌표에 대한 보정 데이터를 갖지 않고 솎아 낸 좌표점에 대해서만 보정 데이터를 갖게 하여 그 사이의 점의 보정 데이터는 근방의 점에서 계산으로 구하는 방법을 취해도 좋다. 이러한 것에 의해 보정 데이터를 격납하는 메모리 용량을 줄일 수 있다.

[HW 인가 SW 인가]

보정수단을 소프트웨어로 실행한 경우는 약간 구성이 다른 것이 있다. 제74도는 그 일례이다. 화상 데이터 축적수단(731)은 도시하지 않은 A/D변환기로 변환된 반사광 화상을 보정시키지 않고 일단 축적한다. 화상 데이터 전송수단(732)은 화상 데이터 축적수단이 축적한 화상 데이터를 보정이 그 후에 실행되는 컴퓨터 등에 전송된다. 이것은 구체적으로는 반사광화상 생성수단(721)이 포함된 하드웨어상에 있는 인터페이스 회로이고, 또 컴퓨터상에서 데이터를 받아들이는 움직임을 하는 디바이스 드라이버이다. 보정연산부(729)는 컴퓨터상에서 소프트웨어로 실행된다. 보정데이터도 컴퓨터상의 보정테이블(730)에 격납된다. 이 경우는 보정연산부는 화상데이터를 받아들이지만 이 화상 데이터에 좌표정보도 포함되기 때문에 논리적으로는 제72도와 같이 출력데이터를 좌표정보와 함께 받아들이는 것과 같다.

[보정데이터의 작성방법]

다음에 보정데이터를 작성하는 방법에 대해 서술한다. 제75도는 보정데이터를 자동적으로 만드는 장치의 구성을 나타낸 것이다. 반사화상 생성수단(721)은 이미 서술한 것과 같다. 타이밍제어수단(735)은 미리 서술한 움직임 외에 참조물체 가동수단(733)을 제어한다. 참조물체 가동수단은 이 제어신호에 따라 참조물체(734)를 움직인다. 참조물체는 평판에서 촬상렌즈의 광축과 수직이 되는 형태로 촬상부와의 거리가 변하도록 움직인다. 손의 형태를 포착하기 위한 보정 데이터를 작성하기 위해서는 손의 표면이 되어야 할 동등한 반사특성을 갖는 참조물체를 이용하는 것이 바람직하다. 또, 타이밍 제어수단은 보정 데이터 산출부(737)에 현재의 참조물체의 거리 정보를, 보정데이터 축적부(736)에 좌표신호를 부여한다. 보정 데이터 산출부는 반사광 화상과 현재의 참조물체의 거리 정보에서 보정데이터를 생성한다. 산출된 보정데이터는 보정데이터 축적부에 쌓이지만, 이 때 타이밍 제어수단에서 부여된 좌표정보와 함께 격납된다. 또는 좌표정보는 타이밍 제어수단에서 보정데이터 산출부로 보내지고 보정데이터 산출부가 보정데이터를 좌표정보와 함께 격납해도 좋다.

또 상세한 처리의 절차를 설명한다. 우선 입력해야 하는 거리의 범위를 256으로 등분하고 참조물체와 반사광화상 생성수단 사이의 거리를 이 256단계로 이동시킨다. 각 단계에서 복수의 반사광 화상을 캡쳐하고 평균화하여 1장의 반사광 화상을 만든다. 이것을 각 거리에서 반복하고 전부 256장의 반사광 화상을 만든다. 이것으로 각 화소에 대해 256점의 출력과 거리의 관계를 얻을 수 있다. 이것을 기초로 하여 보정데이터를 작성한다. 모든 출력값(보정수단의 입력)에 대해 보정값을 모두 테이블로 하여 갖는 경우는 이러한 데이터에서 테이블을 작성한다. 이산적으로 보정값을 갖게 하는 경우는 선택된 출력과 거리의 관계를 구획마다 선분 근사하여 그 교점을 보정데이터로서 격납한다. 예를 들면 제76도 밑에 나타낸 곡선은 참조물체를 이동시키면서 얻은 출력과 거리의 관계, 제76도 상의 꺾은 선은 근사된 선분, 그 꺾은 점이 보정데이터이다. 이산적으로 보정데이터를 갖는 경우는 균등한 간격으로 보정데이터를 가져도 좋고, 근사하기 쉽게 보정데이터간의 간격을 고르지 않게 해도 좋다. 예를 들면 커브가 심한 곳은 보정데이터를 갖는 점의 간격을 좁히고 직선에 가까운 곳은 간격을 넓힌다. 이 그래프에서 출력값이 한계점이 된 것은 출력을 8비트(0∼255)로 가정하고 있기 때문에 그 이상 먼 거리가 나타날 수 없기 때문이다.

[보정데이터를 사용자에게 작성시키는 방법]

상기 서술한 바와 같은 보정을 위한 데이터는 새로 만들어 두고 제품에 포함되는 형태로 제공되는 것이 바람직하지만 사용자가 구입 후에도 다시 보정 데이터를 작성할 필요가 나오는 경우도 있다. 예를 들면 사용하는 환경의 변동에 의해 보정데이터가 충분히 맞추어져 있지 않을 가능성도 있다. 또 LED의 고장과, LED, 센서 특성의 변화 등도 그 요인이 된다. 또는 처음부터 사용자에게 보정데이터를 만들게 할 수도 있다.

이와 같은 경우, 보정데이터를 사용자의 조작에 의해 만드는 구조를 만들어 둘 필요가 있다. 이것을 가능하게 하는 장치의 구성예를 제77도에 나타낸다. 사용자에게 지시수단(738) 이외의 구성요소는 제75도의 그것과 거의 같다. 사용자에게 지시수단은 결정된 거리에 참조용 물체를 두도록 지시한다. 사용자는 그 지시에 따라 작업하는 것만으로 보정용 데이터를 만들 수 있다. 보정용 데이터의 작성방법은 상기와 거의 같다. 단, 사람 손으로 작업시키기 때문에 꽤 세밀한 간격으로 많은 회수 반복시키는 것은 적합하지 않다. 또, 놓여진 참조물체의 위치와 방향은 반드시 정밀도가 좋게 놓여지지 않기 때문에 적당한 오차를 예상하여 계산하는 것이 중요하다.

제78도는 사용자에게로의 지시수단이 화면상에 내는 다이알로그 박스의 예이다.

[렌즈의 광축어긋남을 보정하는 툴을 붙여서 사용자에게 실행시킨다]

사용자에게 보정데이터를 작성시키는 경우, 그 보정데이터의 신뢰성은 조금 떨어진다고 하는 것도 사용자는 지정된 위치에 참조판을 놓지만 이 위치와 방향이 반드시 정확하지 않기 때문이다. 이와 같은 경우, 보정하는 것을 모델화하기 쉬운 요인으로만 좁혀서 부정확함을 흡수하는 수단도 있다.

반사광 화상으로 재구성한 거리화상을 휘게 하는 큰 요인의 하나가 촬상렌즈의 주변광량 저하이다. 이것은 광축에서 떨어지는만큼 밝기가 어두워진다. 즉 평면을 놓아도 주변에서의 반사광이 중심에 비해 작아진다. 실제로는 이것에 주변쪽이 거리가 커지는 것에 의한 저하가 더해진다.

센서의 감도얼룩 등과 발광얼룩이 허용범위 이하라면 상기한 렌즈의 광량저하(거리의 차에 의한 저하도 포함한다)만을 보정하면 좋다. 렌즈의 스펙크는 이미 알고 있기 때문에 어느 정도 주변광량의 저하여부라는 특성은 이미 알고 있다. 광축이 이미지 센서의 중심을 통하는 가정하에서는 이 특성을 역계산하면 보정데이터를 용이하게 얻을 수 있다. 그러나, 광축이 반드시 이미지 센서의 중심을 통한다고 한정하지 않는다. 이것은 주로 센서 칩을 센서 패키지에 마운트할 때의 부착위치의 오차에 의한다. 그러나, 광축이 이미지 센서의 중심을 통하는 가정에서의 보정데이터를 위치어긋남만큼 시프트하면 바른 보정을 할 수 있다.

제79도는 이 생각을 나타내고 있다. 봉그래프는 보정하기 전의 원래 데이터이다. 밑에 있는 곡선그래프는 보정데이터를 나타낸다. 여기에서는 원래 데이터에 곱한 값으로 했다. 마커부착 선그래프는 보정된 후의 데이터를 나타낸다. 화상 데이터는 2차원이지만 이 도면에서는 간단하기 때문에 1방향(x방향, 또는 y방향)만 나타내고 있다. 위의 도면은 렌즈의 광축이 센서의 중심을 통하고 있는 경우에 평면에서의 반사광을 화상화한 것이다. 중심을 피크로 주변쪽이 완만하게 파워가 감소하고 있다. 이 상태에 있어서 도면과 같은 보정데이터를 곱하면 마커부착 선그래프와 같이 데이터값이 같아져서 평면을 표현할 수 있게 된다. 중간 도면은 렌즈의 광축이 센서의 중심에서 벗어나 있는 경우에 위의 도면과 같이 보정데이터를 곱한 경우이다. 보정된 후의 데이터가 평행이 되지 않는 것을 알 수 있다. 밑의 도면은 보정 후의 데이터가 평행하게 되도록 이 보정데이터를 좌우로 어긋나게 한 경우이다.

이와 같이 렌즈의 주변광량 하락이 지배적인 경우는 렌즈광축과 센서 중심의 위치가 맞는 경우의 보정모델을 준비해 두고, 그것을 어긋나게 하면서 가장 평행인 장소를 발견하면 좋다. 이 보정데이터를 만들 때의 동작을 플로우 챠트로 제80도에 나타낸다. 이 플로우 챠트는 보정데이터를 만든 후, 사용자에게 참조판을 평행하게 움직이도록 지시하고 있다. 움직일 때마다 대다수의 거리에서 취한 참조물체의 반사광 화상을 얻을 수 있고, 그것에 대해 보정을 실행한 화상을 만드는 것에 의해 보정데이터가 적절한지 여부를 판단할 수 있다. 보정데이터가 적절한지의 여부는 자동적으로 판단시켜도 상관없지만 보정 후의 거리화상을 사용자에게 보이는 것에 의해 바르게 보정되는지의 여부를 사용자에게 판단시켜도 좋다.

또, 여기에서는 사용자에게 보정데이터를 만들게 하는 경우로 서술했지만 참조물체 이동수단을 이용하여 자동적으로 보정데이터를 생성시키는 경우도 이 보정모델을 사용하는 수법은 유효하다.

[실시예 7]

여기에서는 지금까지 설명해 온 정보입력장치를 구비한 시스템으로서의 실시예를 설명한다.

제59도는 본 발명에 의한 정보입력장치를 구비한 컴퓨터이다. 이것은 일반적으로 노트북 퍼스컴이라고 불린다. 본체, 키보드, 디스플레이가 일체가 되어 갖고운반하는 것이 가능한 컴퓨터이다. 조작자가 보아 키보드의 향하는 쪽에 본입력장치의 발광부(701)와 센서부(702)를 배치하고 바로 앞 비스듬하게 위로 수광광학계의 광축이 향해진다(도면에 있어서 조작자의 손 전체가 비추어지고, 점선으로 둘러싸인 원이 비추이는 범위). 이것에 의해 키보드를 조작하고 있는 손의 집게손가락을 조금 위로 들어올려 움직여서 포인팅과 제스쳐 입력을 실행할 수 있다. 키보드 입력과 포인팅과 제스쳐 입력을 대부분 손의 위치 움직임없이 실행할 수 있기 때문에 사용의 편리성이 현저하게 향상된다. 보턴을 준비해 두고 이것과 포인팅과 제스쳐 입력을 병용해도 좋다. 화면상의 아이콘을 선택하거나 움직이기 위한 클릭과 드래그라는 조작을 이 보턴으로 실행할 수 있다. 또, 제스쳐입력에 있어서 타이밍 트리거를 입력하고 싶은 경우에 보턴을 사용하는 것도 편리하다. 보턴을 누른 때에만 이 정보입력장치가 동작하도록 할 수도 있다. 즉, 포인팅과 제스쳐입력하고 싶은 때는 보턴을 누르면서 손을 움직여서 입력한다. 이러한 것에 의해 포인팅과 제스쳐입력을 실행하는 의지가 없는데 조작영역에 손가락이 들어가 버리는 오동작을 방지할 수 있다. 이것은 포인팅의 경우에 특히 유효하여 키보드를 사용하고 있을 때에 잘못하여 포인팅해 버릴 우려가 없기 때문에 조작영역을 키보드의 홈포지션의 아주 가까운 곳에 설정하고 최소한의 손의 움직임으로(예를 들면 오른손의 집게손가락만을 조금 위로 향하는 것만으로) 포인팅할 수도 있다. 또 보턴이 눌려진 때만 발광부가 발광하기 때문에 소비전력을 절약할 수도 있다.

노트북 퍼스컴과 같은 경우 이 보턴을 키보드의 키로 대용할 수도 있다. 예를 들면 스페이스 바를 사용한 경우 통상은 스페이스의 입력으로서 움직이도록 해두고, 손가락을 가리켜 커서표시를 할 때에 스페이스 키가 눌려지는 경우는 클릭, 드래그로서 움직이도록 한다.

키보드와 병용하는 경우, 키보드와 본 정보입력장치와의 위치관계가 중요한 경우가 있다. 제60도는 본 정보입력장치를 구비한 키보드이다. 역시 앞의 노트북 퍼스컴의 예와 같이 발광부(703)와 수광부(704)를 구비하고 손을 홈 포지션에서 윗쪽으로 들어올리면 광이 손에 비추이도록 위치관계가 된다. 여기에서도 점선으로 둘러싸인 범위가 비추어진다. 반드시 전부 필요하지는 않지만 이 도면에서는 포인팅과 제스쳐입력을 할 때에 병용할 수 있는 키(705)가 부착되어 있다. 키보드를 이것과 교환하면 쾌적한 환경에서 키보드입력과 포인팅과 제스쳐입력을 병용할 수 있다. 왼손잡이도 사용하기 쉽도록 병용할 수 있는 키를 좌우에 배치해도 좋다.

또, 제61도는 본 정보입력장치를 구비한 디스플레이이다. 조작하는 손과 화면의 위치관계가 중요할 때에는 이 디바이스가 편리하다. 디스플레이 윗쪽에 발광부(706)와 수광부(707)가 붙어 있다. 광과 수광계의 방향은 조금 아래를 향하고 점선의 원으로 나타낸 범위에 비추어진다. 이것은 조작자가 대개 화면과 같거나 약간 낮은 위치에 손을 갖고 오는 것이 조작하기 쉽기 때문이다. 이 도면에서는 상부에 입력장치가 붙어 있지만 디스플레이 하부와 측부에 있어도 좋다. 또 좌우 양방에 하나씩 붙어 있으면 양손으로 동시에 입력할 수 있는 환경을 만들 수도 있다.

제62도는 벽에 매설된 디스플레이와 함께 본 입력장치를 구성한 것이다 본 정보입력장치(708)는 매설형의 디스플레이(709)에 부착되고 또는 디스플레이의 근방에 설치하여 이용한다. 또는 매설형 디스플레이와 일체화하고 있다. 디스플레이상에 있는 상자형상의 케이스 몸체 중에 적어도 발광부와 수광부가 들어가 있다. 특징정보 생성수단은 이 상자 중에 들어가 있는 경우도 있고, 디스플레이 본체 중에 들어가 있는 경우도 있으며 별도의 형태로 놓여진 경우도 있다. 이 발광부, 수광부가 들어간 케이스 몸체는 그 방향이 조정할 수 있도록 이루어지면 더욱 좋다. 여기에서는 점선의 원의 범위에 발광되고 이 중에서 조작자가 손(710)을 움직여서 디스플레이에 표시되는 오브젝트(711)를 조작하고 있다. 이와 같은 실시형태는 박물관과 역 등의 공공장소에서의 정보제시, 입력단말 등에 적합하다. 또 홈 오토메이션 등에 있어서 조작부로서 벽에 매설된 소형의 디스플레이와 본 정보입력장치에서 적합한 환경을 제공할 수 있다. 이 입력장치를 구비한 다른 휴대정보기기의 이미지를 설치한다. 제63도는 한손으로 들 수 있는 소형 휴대정보기기이다. 본 입력 장치는 바깥쪽에는 발광, 수광할 수 있는 만큼 창이 있으면 좋기 때문에 스페이스를 유효하게 사용한다. 여기에서는 “712”가 발광부, 수광부의 창이다. 창 앞에서 손가락(713)을 움직이면 화면 내의 커서(714) 위치를 제어할 수 있다. 창이 이만큼 작기 때문에 나머지 스페이스를 큰 표시부(715)로서 사용할 수 있다.

제64도는 본 입력장치가 붙은 손목시계형의 초소형 휴대정보기기이다. 역시 손가락(716)의 움직임으로 커서(717)를 제어할 수 있다. “718”, “719”가 발광부, 수광부의 창이다. 이만큼 본체가 작으면 이미 펜을 격납하는 스페이스조차 없고, 본 입력장치에 의한 입력의 적합함은 말할 것도 없다. 또, 눈과 표시장치 사이에서 어긋난 경우에 조작공간을 배치하면 손가락에 의해 표시가 보기 어렵게 되는 경우도 없다. 휴대기기 등에 탑재하는 것을 고려한 경우, 기기의 전력절약화를 꾀할 필요가 있다. 이 시스템은 상당히 광을 발광하고 있기 때문에 발광전류를 억제하는 것이 전력절약화에 이어진다. 이 때문에 발광타이밍, 발광량을 제어하여 전력절약화를 꾀할 수 있다. 예를 들면 장치 앞에 물체가 없는 것은 반사광화상의 화소값이 전부 0에 가까워져서 검출할 수 있다. 물체가 없는 것이 검출될 때 또는 물체가 없는 것이 검출되고 나서 정해진 시간이 경과한 때, 발광의 간격을 길게 한다. 예를 들면 1/30초에 1회 발광하고 있는 것을 1/10초에 1회로 한다. 이것으로 발광전력을 1/3로 떨어뜨릴 수 있다.

다시 물체가 앞에 나타날 때에는 반사광 화상에 나타나는 변화에서 검출할 수 있기 때문에 다시 1/30초에 1회의 발광으로 되돌린다. 실제로 커서를 이동시킨 때는 초 30회 검출하는 경우와, 초 10회 검출하는 경우는 커서 움직임의 원활함에서 명백한 차이를 알 수 있다. 그러나, 손을 내밀고나서 커서가 나타나기까지의 시간은 다소 지연이 있어도 걱정되지 않는다. 발광의 타이밍이 아니라 발광량을 제어하여 전력절약화할 수도 있다. 손가락 끝의 위치를 높은 정밀도로 검출하기 위해 필요한 발광량에 비해 앞에 물체가 있는지의 여부를 판단하는 것만으로 필요한 발광량은 상당히 작다. 따라서 앞에 물체가 없는 것이 검출될 때에 발광량이 작아지도록 제어하고 물체가 다시 나타나는지의 여부만을 체크한다. 물체가 다시 나타난 것이 검출되면 발광량을 처음으로 되돌린다.

발광 타이밍과 발광량의 제어를 동시에 실행해도 좋다. 이 경우에는 더 큰 전력절약효과를 기대할 수 있다.

또 이 전력절약 효과에 대해서도 포인팅을 실행할 때만 제한되는 것이 아니라 어떻게 나타나는 여러 종류의 형태에 대해서도 적용할 수 있고, 그 효과를 발휘할 수 있다.

본원 발명에 의해 특수한 장치를 장착하지 않고 간이하게 제스쳐와 움직임의 입력을 실행하고, 특히 3차원 공간에서의 포인팅과 시점의 변경을 용이하게 실행할 수 있다. 또 사용자의 제스쳐와 움직임을 그대로 사용하여 애니메이션의 캐릭터 등에 자연스러운 움직임을 주는 등의 직접적인 조작을 실행할 수 있다. 또 특정 캐릭터만을 오려내거나 캐릭터의 안길이 정보를 용이하게 입력할 수 있다.

Claims (38)

1. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 및 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고, 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단을 갖는 것을 특징으로 하는 정보입력장치.
2. 제1항에 있어서, 상기 반사광 추출수단은 상기 발광수단이 발광하는 때와 발광하지 않은 때에 얻을 수 있는 복수의 외광을 분리하여 상기 발광수단에서 발한 광의 물체에 의한 반사광 화상을 추출하는 것을 특징으로 하는 정보입력장치.
3. 제2항에 있어서, 상기 반사광 추출수단은 상기 발광수단이 발광하는 때와 발광하지 않는 때에 얻을 수 있는 복수의 외광의 검출정보의 차분을 반사광 화상으로 추출하는 것을 특징으로 하는 정보입력장치.
4. 제1항에 있어서, 상기 발광수단은 불가시광을 발광하는 것을 특징으로 하는 정보입력장치.
5. 제1항에 있어서, 상기 반사광 추출수단은 입력하는 광에 대응하여 전하를 생성하는 하나 이상의 광전변환수단, 상기 광전변환수단에 의해 생성된 전하를 축적하는 2개 이상의 전하축적수단, 상기 광전변환수단에서 발생한 전하를 어느 하나의 전하축적수단으로 이끄는 가를 선택하고, 타이밍신호 생성수단에서의 신호와 동기하여 동작하는 게이트를 갖는 것을 특징으로 하는 정보입력장치.
6. 제1항에 있어서, 상기 반사광 추출수단은 특정 범위의 파장광을 통과시키거나 어느 파장 이상의 광을 차단하거나 또는 어느 파장 이하의 광을 차단하는 광학 필터를 구비하는 것을 특징으로 하는 정보입력장치.
7. 제1항에 있어서, 상기 물체는 사용자의 몸의 일부이고, 반사광 화상은 사용자가 조작해야 하는 디바이스를 제어하기 위한 입력정보인 것을 특징으로 하는 정보입력장치.
8. 제1항에 있어서, 반사광 추출수단은 기판상에 수광수단, 이 수광수단에서 검출된 신호를 증폭하는 증폭수단, 셀을 선택하는 선택수단, 및 상기 수광수단을 리셋하는 리셋수단을 갖는 단위셀을 행렬 2차원 형상으로 배열하여 이루어지고, 상기 단위셀은 상기 수광수단에서 받은 광량에 따른 신호를 보존하는 기억수단을 2개 이상 갖고, 상기 기판은 상기 2개 이상의 기억수단에 기억시킨 신호의 차를 검출하는 차분검출수단을 갖는 고체촬상장치를 이용하는 것을 특징으로 하는 정보입력장치.
9. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고, 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 및 이 반사광 추출수단에 의해 추출된 반사광 화상에서 물체의 특징정보를 생성하는 특징정보 생성수단을 갖는 것을 특징으로 하는 정보입력장치.
10. 제9항에 있어서, 상기 특징정보 생성수단은 물체의 안길이의 정보를 포함한 거리정보를 추출하는 것에 의해 특징정보를 생성하는 것을 특징으로 하는 정보입력장치.
11. 제9항에 있어서, 상기 특징정보 생성수단은 물체의 색 또는 재질 등의 정보인 물성정보를 추출하는 것에 의해 특징정보를 생성하는 것을 특징으로 하는 정보입력장치.
12. 제9항에 있어서, 상기 특징정보 생성수단은 상기 반사광 추출수단에서 얻을 수 있는 반사광 화상에서 소망하는 물체의 화상을 추출하는 화상추출수단을 구비하는 것을 특징으로 하는 정보입력장치.
13. 제12항에 있어서, 상기 화상추출수단은 거리정보 또는 물성정보에 기초하여, 또는 거리정보 및 물성정보의 양쪽 정보에 기초하여 물체의 화상을 추출하는 것을 특징으로 하는 정보입력장치.
14. 제12항에 있어서, 상기 물체는 사용자의 몸의 일부이고, 상기 화상추출수단에 의해 추출된 상기 물체의 화상은 사용자에 의한 포인팅조작을 위한 정보입력의 지시인 것을 특징으로 하는 정보입력장치.
15. 제12항에 있어서, 상기 특징정보 생성수단은 상기 화상추출수단이 추출한 상기 물체 화상의 형상을 해석하는 형상해석수단을 구비하는 것을 특징으로 하는 정보입력장치.
16. 제15항에 있어서, 상기 물체는 사용자의 몸의 일부이고, 상기 형상해석수단에 의해 해석된 화상의 형상은 사용자에 의한 제스쳐입력을 위한 정보입력의 지시인 것을 특징으로 하는 정보입력장치.
17. 제15항에 있어서, 상기 물체는 사용자의 몸의 일부이고, 상기 형상해석수단에 의해 해석된 화상의 형상은 사용자에 의한 포인팅조작을 위한 정보입력의 지시인 것을 특징으로 하는 정보입력장치.
18. 제15항에 있어서, 상기 형상해석수단은 정보입력에 이용하는 명령으로서 형상을 해석하는 것을 특징으로 하는 정보입력장치.
19. 제15항에 있어서, 상기 형상해석수단은 정보입력에 이용하는 시점정보로서 형상을 해석하고, 시점정보는 표시수단에 표시된 3차원 물체에서의 시점을 지시하는 것을 특징으로 하는 정보입력장치.
20. 제12항에 있어서, 상기 특징정보 생성수단은 상기 화상추출수단에 의해 추출된 상기 물체의 변화를 추출하는 움직임 추출수단을 갖는 것을 특징으로 하는 정보입력장치.
21. 제20항에 있어서, 상기 움직임 추출수단은 변화를 정보입력의 명령으로서 추출하는 것을 특징으로 하는 정보입력장치.
22. 제20항에 있어서, 상기 물체는 사용자의 몸의 일부이고, 상기 움직임 추출수단에 의해 추출된 물체의 변화는 사용자에 의한 동작의 입력을 위한 정보입력의 지시인 것을 특징으로 하는 정보입력장치.
23. 제12항에 있어서, 상기 특징정보 생성수단은 상기 화상추출수단이 추출한 상기 물체의 형상을 해석하는 형상해석수단, 상기 화상추출수단에 의해 추출된 상기 물체의 변화를 추출하는 움직임 추출수단, 및 상기 형상해석수단에 의해 해석된 물체의 형상과 상기 화상추출수단에 의해 추출된 상기 물체의 변화에 기초하여 정보입력에 이용하는 명령을 생성하는 명령생성수단을 갖는 것을 특징으로 하는 정보입력장치.
24. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고, 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 및 상기 물체의 가시광 화상을 촬상하는 촬상수단을 갖는 것을 특징으로 하는 정보입력장치.
25. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 물체의 가시광 화상을 촬상하는 촬상수단, 및 상기 촬상수단에 의해 촬상된 가시광 화상에서, 반사광 화상 또는 반사광 화상에서 추출된 정보, 또는 반사광 화상과 반사광 화상에서 추출된 정보에 대응하는 특정 화상영역을 추출하는 화상추출수단을 갖는 것을 특징으로 하는 정보입력장치.
26. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 물체의 가시광 화상을 촬상하는 촬상수단, 상기 촬상수단에 의해 촬상된 가시광 화상에서 반사광 화상 또는 반사광 화상에서 추출된 정보, 또는 반사광 화상과 반사광 화상에서 추출된 정보에 대응하는 특정 화상영역을 추출하는 화상추출수단, 상기 화상추출수단에 의해 추출된 특정 화상영역의 화상을 기억하는 화상기억수단, 및 상기 화상기억수단에 기억된 화상과 다른 화상 데이터를 지정된 방법으로 합성하는 화상합성수단을 갖는 것을 특징으로 하는 정보입력장치.
27. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 물체의 가시광 화상을 촬상하는 촬상수단, 및 상기 촬상수단에 의해 촬상된 가시광 화상에 반사광 화상에서 추출된 물체의 거리정보를 대응시켜 Z값 화상을 생성하는 수단을 갖는 것을 특징으로 하는 정보입력장치.
28. 제27항에 있어서, Z값 화상을 생성하는 수단은 3차원 모델상에 붙어 있는 텍스쳐정보의 정보입력으로서 Z값 화상을 생성하는 것을 특징으로 하는 정보입력장치.
29. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 물체의 가시광 화상을 촬상하는 촬상수단, 상기 촬상수단에 의해 촬상된 가시광 화상에 반사광 화상에서 추출된 물체의 거리정보를 대응시켜 Z값 화상을 생성하는 수단, 및 이 수단에 의해 생성된 Z값 화상에서 Z값 화상에 포함된 거리정보에 대응하여 일정한 범위 내에 있는 특정 화상영역의 화상을 추출하는 화상추출수단을 갖는 것을 특징으로 하는 정보입력장치.
30. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 및 상기 반사광 추출수단에 의해 검출된 반사광 화상의 각 화소값인 반사광의 강도를 물체의 거리값으로 변환하기 위한 변환수단을 갖는 것을 특징으로 하는 정보입력장치.
31. 제30항에 있어서, 상기 변환수단은 대수 앰프인 것을 특징으로 하는 정보입력장치.
32. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 및 상기 반사광 추출수단에 의해 검출된 반사광 화상의 휘어짐을 보정하기 위한 보정수단을 갖는 것을 특징으로 하는 정보입력장치.
33. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 및 상기 반사광 추출수단에 의해 검출된 반사광 화상의 휘어짐을 보정하면서 물체의 거리에 변환하기 위한 보정· 변환수단을 갖는 것을 특징으로 하는 정보입력장치.
34. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 반사광 추출수단에 의해 검출된 반사광의 강도를 물체와의 거리의 근사값으로 변환하는 비선형 변환수단, 및 이 비선형 변환수단에서 변환된 거리의 근사값을 정확한 거리로 변환하는 보정수단을 갖는 것을 특징으로 하는 정보입력장치.
35. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 반사광 추출수단에 의해 추출된 물체에 있어서 참조해야 하는 물체를 이동시키는 수단, 반사광 화상에서 거리화상의 생성 또는 반사광 화상의 휘어짐의 보정, 또는 거리화상의 생성 및 반사광 화상의 휘어짐을 보정하는 보정데이터를 상기 수단에서 이동시킨 참조물체의 위치와 반사광 화상에서 생성하는 수단을 갖는 것을 특징으로 하는 정보입력장치.
36. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 반사광 추출수단에 의해 추출된 물체에 있어서, 참조해야 하는 물체를 특정의 장소에 이동시키는 지시를 내는 지시수단, 및 반사광 화상에서 거리화상의 생성 또는 반사광 화상의 휘어짐의 보정, 또는 거리화상의 생성 및 반사광 화상의 휘어짐의 보정 데이터를 지시수단에 의해 지시되어 이동된 참조물체의 위치와 반사광 화상에서 생성하는 수단을 갖는 것을 특징으로 하는 정보입력장치.
37. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호를 발생시키기 위한 타이밍신호 생성수단, 상기 타이밍신호 생성수단에 의해 생성된 신호에 기초하여 강도변화하는 광을 발하기 위한 발광수단, 상기 발광수단에서 발한 광의 물체에 의한 반사광을 상기 타이밍신호 생성수단으로부터의 상기 발광수단에서 발광하는 광강도의 변화에 대응하는 신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성하고 광의 물체에 의한 반사광 화상을 검출하는 반사광 추출수단, 상기 반사광 추출수단에 의해 추출된 물체에 있어서 참조해야 하는 물체를 특정 장소에 이동시키는 지시를 내는 지시수단, 반사광 화상에서 거리화상의 생성 또는 반사광 화상의 휘어짐의 보정, 또는 거리화상의 생성 및 반사광 화상의 휘어짐의 보정 데이터를 지시수단에 의해 지시되어 이동된 참조물체의 위치와 반사광 화상에서 생성하는 수단, 및 상기 수단에서 생성한 보정데이터를 이용하여 어느 거리의 범위에 있는 참조물체의 반사광 화상을 입력하고 작성한 보정데이터가 바른지의 여부를 검증하는 수단을 갖는 것을 특징으로 하는 정보입력장치.
38. 시간적으로 일정 또는 시간적으로 변화하는 펄스신호와 변조신호인 타이밍신호를 발하고, 상기 타이밍신호에 기초하여 강도변화하는 광을 발광하며, 상기 발광된 광의 물체에 의한 반사광을 상기 발광강도에 대응하는 상기 타이밍신호와 동기하여 외광에서 분리하여 검출하는 수단을 배열하여 구성되어 이루어지고 광의 물체에 의한 반사광 화상을 검출하는 것을 특징으로 하는 정보입력방법.

Images