JPH0844490A

JPH0844490A - インターフェイス装置

Info

Publication number: JPH0844490A
Application number: JP6176851A
Authority: JP
Inventors: Susumu Maruno; 進丸野; Toshiyuki Koda; 敏行香田; Taro Imagawa; 太郎今川; Michiyo Moriie; みち代森家
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-07-28
Filing date: 1994-07-28
Publication date: 1996-02-16

Abstract

(57)【要約】【目的】キーボードやマウス等の入力装置を必要とせ
ず、簡単に機器の操作が可能なインターフェイス装置を
実現すること。【構成】ＣＣＤカメラ３で撮像した画像中の物体の形
状、動きを認識するホストコンピュータ１と、ホストコ
ンピュータ１によって認識した物体の形状、動きを表示
するディスプレイ２とを備え、ＣＣＤカメラ３にユーザ
ーが向い、例えば手振りによって指示を与えると、与え
た手振りがディスプレイ２の表示画面上に表示され、例
えば表示画面上に表示した仮想スイッチ201、202、203
等を手振りによって矢印カーソルのアイコン200で選択
でき、マウス等の入力装置を必要とせず、非常に簡便な
機器の操作が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータやワード
プロセッサ等の情報機器や、テレビ等のディスプレイを
有する機器の入出力を行うインターフェイス装置に関す
る。

【０００２】

【従来の技術】この種の従来のインターフェイス装置と
して、表示画面中のマウスによって検出した座標位置に
カーソルを表示し、画面中に表示した任意の操作ボタン
をユーザーに選択させるものがある。

【０００３】図７はこの種の従来のインターフェイス装
置の概要を示すものである。図７において、71はディス
プレイで、ディスプレイ71中にはホストコンピュータ72
により、仮想の操作ボタン711、712、713が表示されて
いる。73はマウス、710はマウスカーソルで、マウス73
によって検出したマウス73の移動量に基づき、マウス73
の動きに同期して画面中を動くように、ホストコンピュ
ータ72が表示制御する。ユーザーは、マウス73を動かす
事により、表示画面中の任意の仮想操作ボタンの位置に
マウスカーソル710を移動させ、マウス73上のスイッチ7
31を押すことにより、操作ボタンを選択し、ホストコン
ピュータ72に動作の指示を与えられるようになってい
る。

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
の装置においては、機器の本体とは別にマウスという入
力装置が必要で、又マウスを操作するテーブル等の基台
が必要であり、携帯情報機器等に用いる事は適さない。
又、マウスを介して操作を行なうため、必ずしも直接的
で分かりやすいインターフェイスにはなっていないとい
う課題を有していた。

【０００５】本発明はかかる点に鑑み、キーボードやマ
ウス等の入力装置を必要とせず、簡単に機器の操作が可
能なインターフェイス装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】本発明は上記目的を達成
するため、少なくとも撮像部と、前記撮像部で撮像した
画像中の物体の形状と動きまたは形状もしくは動きを認
識する動作認識部と、前記動作認識部によって認識した
物体の形状と動きまたは形状もしくは動きを表示する表
示部とを備えた構成である。

【０００７】

【作用】以上のように構成した本発明のインターフェイ
ス装置の撮像部にユーザーが向い、例えば手振りによっ
て指示を与えると、与えた手振りが表示画面上に表示さ
れ、例えば表示画面上に表示した仮想スイッチ等を手振
りによって選択出来るものであり、マウス等の入力装置
を必要とせず、非常に簡便な機器の操作が可能となるも
のである。

【０００８】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は、本発明によるインターフェ
イス装置の実施例の外観を示したものである。

【０００９】図１において、１はホストコンピュータ、
２は表示に用いるディスプレイ、３は画像を撮像するＣ
ＣＤカメラである。ＣＣＤカメラ３は、ディスプレイ２
の表示方向と同一方向に撮像面を配置してあり、ユーザ
ーが表示面に向かうことにより、ユーザーの手振りを撮
像できるようになっている。又、ＣＣＤカメラ３の撮像
面上には、図示しない肌色領域の波長の光透過フィルタ
を配置してあり、人間の顔や手等の画像のみがＣＣＤカ
メラ３によって撮像され、背景等の画像がカットされる
ようになっている。ディスプレイ２上には、仮想スイッ
チ201、202、203、及び前記仮想スイッチを選択する矢
印カーソル200が表示できるようになっている。

【００１０】図２は、本実施例の詳細なブロック図を示
すものである。図２において、ＣＣＤカメラ３から入力
された画像は、フレームメモリ21に蓄えられる。動作認
識部22は、フレームメモリ21の中に蓄えた画像中から、
例えば、ユーザーの手に相当する部分を抽出し、その形
状が、例えば図３(Ａ)に示すような、一本指の形状であ
るのか、又図３(Ｂ)に示すような握り拳の形状であるの
かを判断する。

【００１１】図４は、動作認識部22の詳細な実施例を示
したもので、輪郭抽出部221と、物体抽出部222と、形状
変化識別部223と、位置検出部224とによって構成した例
を示したものである。

【００１２】輪郭抽出部221は、画像中に存在する物体
の輪郭形状を抽出する。具体的な方法例としては、画像
を二値化し、そのエッジを抽出することにより、簡単に
輪郭形状が抽出できる。

【００１３】物体抽出部222は、輪郭抽出部221によって
抽出した複数の物体の輪郭形状中から、例えばユーザー
の手に相当する輪郭形状を抽出する。具体的方法の一例
としては、輪郭線で囲まれた閉領域の面積を判断させる
方法や、又、ニューラルネットワークを用いて手の部分
の輪郭形状を抽出する方法を用いることが出来る。

【００１４】形状変化識別部223は、物体抽出部222によ
って抽出した手の部分の輪郭形状を更に詳細に識別し、
例えばその形状が、図３(Ａ)に示すような、一本指の形
状であるのか、又図３(Ｂ)に示すような握り拳の形状で
あるのかを判断する。同時に位置検出部224は、前記ユ
ーザーの手の部分の輪郭形状の重心座標を演算する。ア
イコン生成部24は、形状変化識別部223による手の形状
の識別結果に基づいて、ディスプレイに表示すべきアイ
コン画像を生成する。例えば、手の形状の識別結果が一
本指の形状であれば、例えば図５(Ａ)に示すような矢印
のアイコンを、また握り拳の形状であれば、例えば図５
(Ｂ)に示すような、Ｘ印のアイコンを生成する。

【００１５】表示制御部23は、アイコン生成部24によっ
て生成したアイコンのディスプレイ上での表示位置を制
御するもので、座標変換部231と座標反転部232から成
る。座標変換部231は、撮像した画像の座標からディス
プレイの表示座標への変換を行ない、また、座標反転部
232は、変換した表示座標の左右位置を反転する。即
ち、位置検出部224によって検出したユーザーの手に相
当する部分の画像中の重心座標から、ディスプレイの表
示座標への変換を行い、左右の座標を反転させてディス
プレイにアイコンを表示するわけである。この操作によ
り、ユーザーが手を右に動かせば、この動作を鏡に写し
たのと同様に、表示画面状でアイコンが向かって右に動
く。

【００１６】以上の様に構成した本実施例による操作例
を以下に示す。図１に示すように、本実施例によるイン
ターフェイス装置を備えた機器にユーザーが向い、手を
一本指の形状にして動かすと、ディスプレイ上に表示し
た矢印カーソルのアイコン200が、手の動きに対応した
任意の位置に移動する。次に、ディスプレイ上に表示し
た任意の仮想スイッチの上に、手を動かすことによって
矢印カーソルのアイコン200を移動させ、手を握り、握
り拳形状にすると、その仮想スイッチが選択され、ホス
トコンピュータ１に指令を与えることができるわけであ
る。

【００１７】図６は、本発明によるインターフェイス装
置の動作認識部の他の実施例を示すものである。この実
施例では、動作認識部22を、輪郭抽出部221と形状変化
識別部223と、位置検出部224とによって構成した例であ
る。即ち、物体抽出部221の動作を形状変化識別部223に
よって一括して行なわせるものである。前述の実施例に
おいては、物体抽出部222によって、手の形状の物体を
一旦抽出し、更に形状変化識別部223によって、手の形
状の細かな違いを詳細に識別するものであった。手の形
状変化が、例えば、一本指と握り拳の２種類程度に限定
するのであれば、図５に示すように、形状変化識別部22
3によって、画像中の複数の物体中から、この２種類の
形状の何れかに相当する物体を識別、抽出させるだけで
充分実用に耐える。

【００１８】又、表示するアイコンの例としては、例え
ば図５(Ｃ)、(Ｄ)に示すように、手の形状そのものをア
イコン化すれば、実際の手の動きと対応が取れ、分かり
やすい。具体的には、図５(Ｃ)、(Ｄ)のような画像を予
め登録しておいてもよいし、又、輪郭抽出部221によっ
て抽出した手の輪郭形状データを任意の大きさに縮小又
は拡大し、アイコン画像として用いることもできる。

【００１９】

【発明の効果】以上のように本発明は、少なくとも撮像
部と、前記撮像部で撮像した画像中の物体の形状及び又
は動きを認識する動作認識部と、前記動作認識部によっ
て認識した物体の形状及び又は動きを表示する表示部と
によって構成され、この撮像部にユーザーが向い、例え
ば手振りによって指示を与えると、与えた手振りが表示
画面上に表示され、例えば表示画面上に表示した仮想ス
イッチ等を手振りによって選択でき、マウス等の入力装
置を必要とせず、非常に簡便な機器の操作が可能となる
ものである。

【図面の簡単な説明】

【図１】本発明の一実施例におけるインターフェイス装
置の外観図

【図２】本発明の一実施例におけるインターフェイス装
置の詳細なブロック図

【図３】（Ａ），（Ｂ）は同インターフェイス装置によ
って判断する手の形状例を示す図

【図４】同インターフェイス装置の動作認識部の詳細な
実施例を示すブロック図

【図５】（Ａ）〜（Ｄ）は同インターフェイス装置によ
って表示画面上に表示するアイコンの例を示す図

【図６】本発明によるインターフェイス装置の動作認識
部の他の詳細な実施例を示すブロック図

【図７】従来のマウスによるインターフェイス装置を示
す外観図

【符号の説明】

１ホストコンピュータ２ディスプレイ３ＣＣＤカメラ 21 フレームメモリ 22 動作認識部 23 表示制御部 24 アイコン生成部 200 アイコン 201、202、203 仮想スイッチ 221 輪郭抽出部 222 物体抽出部 223 形状変化識別部 224 位置検出部 231 座標変換部 232 座標反転部

───────────────────────────────────────────────────── フロントページの続き (72)発明者森家みち代大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】少なくとも撮像部と、前記撮像部で撮像し
た画像中の物体の形状及び又は動きを認識する動作認識
部と、前記動作認識部によって認識した物体の形状及び
又は動きを表示する表示部とによって構成したインター
フェイス装置。
【請求項２】表示部の表示方向と同一方向に撮像部の撮
像面を配置した請求項１記載のインターフェイス装置。
【請求項３】使用者の目に対向させて表示部を配置した
請求項１記載のインターフェイス装置。
【請求項４】撮像部の撮像範囲と表示部の表示範囲とを
割当る表示制御部を設け、前記表示制御部により、前記
撮像部の撮像範囲を左右逆転させて前記表示部の表示範
囲に割当るようにした請求項１または２記載のインター
フェイス装置。
【請求項５】表示制御部を、撮像した画像の座標から表
示部の表示座標に変換する座標変換部と、前記変換した
表示座標の左右の座標を反転させる座標反転部とにより
構成した請求項４記載のインターフェイス装置。
【請求項６】動作認識部によって識別した物体の形状及
び又は動きを、複数のアイコン画像として生成するアイ
コン生成部を設けた請求項１記載のインターフェイス装
置。
【請求項７】アイコン生成部が、動作認識部によって識
別した物体の概略形状をアイコン画像として生成する事
を特徴とした請求項６記載のインターフェイス装置。
【請求項８】画像中の所定の物体の形状変化を識別する
形状変化識別部と、前記物体の重心を検出する位置検出
部とによって動作認識部を構成した請求項１記載のイン
ターフェイス装置。
【請求項９】物体識別部に物体抽出部を設け、画像中の
複数の物体中から所定の物体を予め抽出させた後、形状
変化識別部によって、前記物体抽出部によって抽出した
物体の形状変化を識別させるようにした請求項１または
７記載のインターフェイス装置。
【請求項１０】撮像素子と、前記撮像素子の前面に配置
した、人間の肌色近傍の波長の光を透過する肌色透過フ
ィルタとによって撮像部を構成した請求項１記載のイン
ターフェイス装置。