[go: up one dir, main page]

JP2013206373A - インタラクティブ表示装置 - Google Patents

インタラクティブ表示装置 Download PDF

Info

Publication number
JP2013206373A
JP2013206373A JP2012077675A JP2012077675A JP2013206373A JP 2013206373 A JP2013206373 A JP 2013206373A JP 2012077675 A JP2012077675 A JP 2012077675A JP 2012077675 A JP2012077675 A JP 2012077675A JP 2013206373 A JP2013206373 A JP 2013206373A
Authority
JP
Japan
Prior art keywords
detection
detection light
distance
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012077675A
Other languages
English (en)
Inventor
Yutaka Usuda
裕 臼田
Takahiro Miura
高広 三浦
Masahiko Kawana
雅彦 川名
Shigeru Kano
茂 加納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2012077675A priority Critical patent/JP2013206373A/ja
Priority to PCT/JP2012/005443 priority patent/WO2013145035A1/en
Priority to US13/642,601 priority patent/US20130257811A1/en
Priority to CN201280000880.1A priority patent/CN103492982A/zh
Publication of JP2013206373A publication Critical patent/JP2013206373A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】嵩張る赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことのできるタッチスクリーン装置を提供する。
【解決手段】プロジェクター22は、PC20の制御により、赤外光反射部材26の表面に映像を投射する。検出ユニット24は、赤外光照射器28および深度カメラ30を備えている。赤外光反射部材26においては、赤外光が反射し深度カメラ30には戻ってこないので、距離測定が不能な領域となる。また、赤外光反射部材26の外側では、赤外光が乱反射するため距離を得ることができる。したがって、赤外光反射部材26の外周の位置と、対象物の位置との相対的な関係を取得することができる。これにより、タッチした位置を算出することができ、これに基づく処理が可能である。
【選択図】図3

Description

この発明は、プロジェクタなどで画像を投影しているスクリーン上で人間の指などをタッチすることで、インタラクティブに制御を行うことのできる装置に関するものである。
画面上のオブジェクトを指などで操作することのできるタッチパネルを搭載したコンピュータが登場している。直感的な操作を行うことができるため、急速にに普及している。しかし、これを大画面にて実現しようとすると、タッチパネルのコストがかさみ、取り扱いも難しくなる。
そこで、プロジェクタとカメラを組み合わせ、プロジェクタで投射した画面上でのペンや指の位置をカメラで検出し、コンピュータを操作するというタッチスクリーン装置が開発されている。
特許文献1に開示されたタッチスクリーン装置を図1に示す。PC2には、プロジェクター14が接続されている。プロジェクター14は、PC2の制御により、検出領域4に向けて投射を行って画像を表示する。
検出領域4の上部には、検出ユニット6が設けられている。検出ユニット6には、第一検出器8、第二検出器10が設けられている。第一検出器8は、赤外光照射器8a、赤外光検出器8bを備えている。また、検出領域4の左右端および下端には、赤外光反射器12が設けられている。赤外光検出器8bは、赤外光反射器12にて反射された赤外光を検出する。同様に、第二検出器10は、赤外光照射器10a、赤外光検出器10bを備えている。
ここで、検出領域にペンなどの検出対象物が存在すると、赤外光検出器8b、10bがこれを検出する。なお、赤外光反射器12は、赤外光が入射した方向に向かって反射するように構成されているので、赤外光検出器8b、10bは、検出対象物に対する角度を特定することができる。したがって、PC2は、赤外光検出器8b、10bの検出出力をあわせることにより、検出対象物の位置を特定する。
PC2は、検出された検出対象物の動きに応じて、たとえば、検出領域4の対応する位置に描画を行うよう制御する。これにより、プロジェクター14によって、描画が行われる。
上記のようにして、特別なペンなどを用いることなく、インタラクティブな表示制御を行うことができる。
特許文献2に記載されたタッチスクリーン装置を図2に示す。プロジェクター14は、PC2の制御により、検出領域4に向けて投射を行って画像を表示する。
検出領域4の上部には、検出ユニット6が設けられている。検出ユニット6には、赤外光検出器8b、赤外光検出器10bが設けられている。ユーザは、検出領域4において、電子ペン16を移動させる。電子ペン16の先には、赤外光照射器18が設けられている。したがって、赤外光検出器8b、10bは、電子ペン16に対する角度を検出することができる。PC2は、赤外光検出器8b、10bからの出力を受けて、電子ペン16の位置を特定する。
PC2は、検出された電子ペン16の動きに応じて、たとえば、検出領域4の対応する位置に描画を行うよう制御する。これにより、プロジェクター14によって、描画が行われる。
特開2011−253286 特開2011−126225
しかしながら、特許文献1の装置では、赤外光反射器12が必要である。このため、備え付けの赤外光反射器12を有するタッチスクリーン装置として構成する場合には、装置の大型化を招くという問題があった。また、赤外光反射器12をその都度設置して使用する装置として構成する場合には、これを持ち運びしなければならず、取り扱いが煩雑であるという問題があった。
また、特許文献2の装置では、電子ペン16などの特殊な機器が必要である。このため、電子ペン16を紛失した場合に、代用が容易でないという問題があった。
この発明は、上記のような問題点を解決して、嵩張る赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことのできるタッチスクリーン装置を提供することを目的とする。
(1)(2)(3)この発明に係るインタラクティブ表示装置は、検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、前記検出光反射面に映像を表示するための映像表示部と、前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光反射面に表示される映像を変化させる映像制御手段とを備えている。
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
(4)この発明に係るインタラクティブ表示装置は、位置算出手段が、検出対象物において反射した検出光に基づく検出距離に加えて、検出対象物から反射し前記検出光反射面にてさらに反射した検出光に基づく検出距離に基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴としている。
したがって、検出対象物が検出光反射面に触れたことに基づいて処理を行うことができる。
(5)この発明に係るインタラクティブ表示装置は、検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、位置算出手段が、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴としている。
したがって、検出対象物が検出光反射面に触れたことに基づいて処理を行うことができる。
(6)この発明に係るインタラクティブ表示装置は、検出光が赤外光であることを特徴としている。
したがって、インタラクティブ制御のための検出光を不可視とすることができる。
(7)この発明に係るタッチ位置検出方法は、検出光を反射する検出光反射面を有する検出領域用部材を検出領域に配置し、前記検出領域に向けて検出光を照射するよう検出光照射部を配置し、前記検出光反射面によって反射された検出光が入射しない位置において、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を算出し、前記算出した距離に基づいて、検出対象物の、前記検出領域における位置を算出することを特徴としている。
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
(8)(9)(10)この発明に係るインタラクティブ表示装置は、検出領域に配置するための、検出光を吸収する検出光吸収面を有する検出領域用部材と、前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、前記検出光吸収面に映像を表示するための映像表示部と、前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光吸収面に表示される映像を変化させる映像制御手段とを備えている。
したがって、赤外光反射器や電子ペンのような特殊な機器を必要とせずに、インタラクティブな制御を行うことができる。
(11)この発明に係るインタラクティブ表示装置は、検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、検出距離に基づいて距離画像を生成する距離画像生成手段とを備え、位置算出手段が、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光吸収面にタッチしたと判断することを特徴としている。
したがって、検出対象物が検出光吸収面に触れたことに基づいて処理を行うことができる。
(12)この発明に係るインタラクティブ表示装置は、映像表示部が、プロジェクターであることを特徴としている。
したがって、プロジェクターにより表示を行うことができる。
(13)この発明に係るインタラクティブ表示装置は、映像表示部がディスプレイであり、検出領域用部材が、ディスプレイの表面に配置されることを特徴としている。
したがって、透明電極などを用いなくとも、タッチパネルを実現することができる。
「位置算出手段」は、実施形態においては、図6のステップS5や、図15のステップS5がこれに対応する。
「映像制御手段」は、実施形態においては、図6のステップS6や、図15のステップS6がこれに対応する。
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
従来のインタラクティブ表示装置を示す図である。 従来のインタラクティブ表示装置を示す図である。 本発明の一実施形態によるインタラクティブ表示装置の外観を示す図である。 一実施形態によるインタラクティブ表示装置の原理を示す図である。 インタラクティブ表示装置のハードウエア構成である。 制御プログラム56のフローチャートである。 検出領域に指が存在しない場合の距離画像の例である。 検出領域に指が存在する場合の距離画像の例である。 指が赤外光反射部材26にタッチした場合の距離画像の例である。 反射画像が生じる原理を示す図である。 指の距離画像の例である。 座標変換による位置特定の手法を示す図である。 赤外光反射部材26を格子状(線状)に配置した場合の例である。 第二の実施形態による制御プログラム56のフローチャートである。 第二の実施形態による制御プログラム56のフローチャートである。 指が存在しない場合と存在する場合の距離画像の例である。 距離画像における差分画像の例および抽出した輪郭を示す図である。 赤外画像における輪郭を示す図である。 距離画像の輪郭と赤外画像の輪郭とを比較するための図である。 距離画像の輪郭先端と赤外画像の輪郭先端とを比較するための図である。 他の実施形態による赤外光反射部材26の例である。
1.第一の実施形態
1.1全体構成
図3に、この発明の一実施形態によるタッチスクリーン装置の外観を示す。PC20には、プロジェクター22、検出ユニット24が接続されている。検出領域には、検出領域用部材として赤外光反射部材26が設けられている。赤外光反射部材26の表面は、赤外光を反射する赤外光反射面となっている。
赤外光反射部材26としては、深度カメラ30が照射する赤外光を反射すること(後述のように距離測定不能となる程度に反射する)が必要である。たとえば、赤外線を反射する積層ポリエステルフィルム(3Mスコッチティントガラスフィルム マルチレイヤーナノ80S(商標))を用いることができる。
プロジェクター22は、PC20の制御により、赤外光反射部材26の表面に映像を投射する。
検出ユニット24は、赤外光照射器28および深度カメラ30を備えている。深度カメラ30は、各画素に対応する領域までの距離を出力する。図4に示すように、赤外光照射器28から出され、検出対象物32によって反射した赤外光を受光し、検出対象物32までの距離を得ることができる。なお、赤外光反射部材26においては、赤外光が反射し深度カメラ30には戻ってこないので、距離測定が不能な領域となる。また、赤外光反射部材26の外側では、赤外光が乱反射するため距離を得ることができる。
なお、検出ユニット24は、図4に示すように、赤外光照射器28、深度カメラ30が、赤外光反射部材26に対して、20cm〜30cm程度の高さとなるように構成されている。
1.2ハードウエア構成
図5に、タッチスクリーン装置のハードウエア構成を示す。CPU42には、メモリ44、深度カメラ30、CD−ROMドライブ48、ハードディスク50、プロジェクタ22が接続されている。
ハードディスク50には、WINDOWS(商標)などのオペレーティングシステム(OS)54、制御プログラム56が記録されている。制御プログラム56は、OS54と協働してその機能を発揮するものである。OS54、制御プログラム56は、CD−ROM52に記録されていたものを、CD−ROMドライブ48を介して、ハードディスク50にインストールしたものである。
1.3処理フローチャート
図6に、制御プログラム56のフローチャートを示す。CPU42は、深度カメラ30から、各画素ごとの距離データを取り込む(ステップS1)。この実施形態では、深度カメラの撮像範囲は、検出領域としての赤外光反射部材26よりもやや広い範囲としている。
CPU42は、取り込んだ各画素ごとの距離データに基づいて、距離に応じて濃度差を付けた距離画像(グレースケール画像)を生成する(ステップS2)。図7に、このようにして生成された距離画像の例を示す。この実施形態では、距離が近いほど濃度を濃くし、距離が遠いほど濃度を薄くしている。
赤外光反射部材26からは赤外光が戻ってこないため、無限遠の距離(測定不能)となり、図7の領域100に示すように薄い色となる。また、赤外光反射部材26の周囲では、赤外光が乱反射されるため測定を行うことができる。したがって、領域102に示すように、領域100より濃い色として示されることになる。
以上のようにして、検出領域(つまり赤外光反射部材26のある領域)とそれ以外の領域を画像として区別することができる。つまり、CPU42は、検出領域の4隅の座標(画素の位置)を特定する。
次に、CPU42は、検出領域内に検出対象物があるかどうかを判断する(ステップS3)。この実施形態では、赤外光を反射するものであれば検出可能であるから、人の指、棒などを検出対象物とすることができる。検出領域内に検出対象物があると、これによって赤外光が反射するため、距離データを得ることができる。
図8に、検出対象物としての指を検出した際の距離画像を示す。領域104が指を表す部分である。領域104においては、距離データが得られており、背景としての赤外光反射部材26よりも濃い色にて示されることになる。
CPU42は、検出領域内において、所定濃度よりも濃い(つまり所定の距離よりも近い)画素を抽出する。たとえば、2mよりも近い距離データの画素を抽出する。さらにCPU42は、所定濃度よりも濃い画素の塊の画素数を算出する。所定の画素数よりも小さい塊(たとえば、20画素よりも小さい面積の塊)については、検出対象物でないとして除外する。このようにして、CPU42は、検出対象物の有無を判断する。検出対象物がないと判断した場合には、ステップS1に戻って処理を進める。
検出対象物があると判断した場合には、当該検出対象物が赤外光反射部材26にタッチしているかどうかを判断する(ステップS4)。図8に検出対象物である指が赤外光反射部材26に触れていない場合の距離画像を、図9に指が赤外光反射部材26に触れている場合の距離画像を示す。
図9に示すように、指が赤外光反射部材26に触れている場合には、反射画像106が現れる。これは、図10に示すように、軌跡αのように指27にて直接的に反射する場合だけでなく、軌跡βのように赤外反射部材26、指27にて反射した赤外光が検出されるためである。CPU42は、このような反射画像106の有無により、指27が赤外光反射部材26に触れているかどうかを判断する。
CPU42による判断の詳細は以下のとおりである。まず、検出対象物の外形を抽出する。図8の画像に対しては、図11Aのように輪郭が抽出される。図9の画像に対しては、図11Bのように輪郭が抽出される。
続いて、CPU42は、検出対象物の幅に対して長さが2倍以上の領域108を見いだす。次に、この領域108に連続する突出部(小さい幅で接続され、当該接続部よりも大きな幅を有する部分)があるかどうかを判断する。あれば、これを反射画像106として認識する。CPU42は、反射画像106の面積を算出し、所定の値以上であれば、検出対象物が赤外光反射部材26にタッチしたと判断する。
したがって、図8(図11A)においては反射画像106が見られないので、CPU42は、検出対象物である指が赤外光反射部材26にタッチしていないと判断する。また、図9(図11B)においては反射画像106が見られるので、CPU42は、検出対象物である指が赤外光反射部材26にタッチしていると判断する。
CPU42は、検出対象物がタッチしたことを検出すると、タッチ位置を算出する(ステップS5)。この実施形態では、次のようにしてタッチ位置の算出を行っている。
まず、検出対象物のない距離画像(図7参照)に基づいて、赤外光反射部材26(つまり検出領域)の4隅の、画像上における座標を取得する。この処理は、使用のための前処理として行っておくことが好ましい。
図11Bにおいて、指の先端部122の距離画像上での座標を取得する。次に、予め記録しておいた赤外光反射部材26の縦横の大きさに基づいて、画面上の座標と、赤外光反射部材26上の位置との対応関係をつけ、前記先端部122の座標を、赤外光反射部材26上の位置に変換する。
たとえば、赤外光反射部材26の4隅の画像上における座標が、図12Aに示すように、(X1、Y1)(X2、Y2)(X3、Y3)(X4、Y4)であり、画像上でのタッチ位置が(Xa、Ya)であったとする。これを、図12Bに示す、赤外光反射部材26上の座標Xb、Yb(左上を0、0、右下をLy、Lxとする座標)に変換するものとする。この場合、図12の下部に示すような変換式を用いることができる。以上のようにして、タッチ位置を算出する。
次に、CPU42は、動作モードに応じて、これに対応する処理を行う(ステップS6)。たとえば、描画モードであれば、検出対象物の移動に応じて描画を行う。CPU42は、このような処理を繰り返して行う。
以上のように、この実施形態においては、特殊なペンや反射部材などを用いることなく、検出対象物の位置を検出してこれに応じた処理を行うことができる。
1.4その他の実施形態
(1)上記実施形態では、検出領域の全面にわたって赤外光反射部材26を設けている。しかし、図13Aに示すように、赤外光反射部材26を検出領域において格子状に設けるようにしてもよい。検出対象物が触れると、図13Bに示すように、距離画像において格子が歪むことになる。このような歪んだ位置をタッチ位置として検出するようにしてもよい。
(2)上記実施形態では、深度センサとして深度カメラ30を用いている。一般に、深度カメラ30においては、赤外画像も出力できるようになっていることが多い。ただし、この実施形態では、赤外画像は利用していないので、赤外画像は出力せず、深度を出力するセンサを用いてもよい。
2.第二の実施形態
2.1全体構成およびハードウエア構成
全体構成およびハードウエア構成は、第一の実施形態と同様である。ただし、この実施形態では、深度カメラの赤外画像も用いる点が、第一の実施形態とは異なっている。
2.2処理フローチャート
制御プログラム56の処理フローチャートを図14、図15に示す。ステップS1〜S3は、図6と同様である。なお、この実施形態では、予め検出対象物の存在しない距離画面を基準距離画像として保存しておき、計測時の距離画像と基準距離画像との差分画像に基づいて、検出対象物の有無を判断している。図16Aに基準距離画像を、図16Bに計測時の距離画像を示す。その差分画像は、図17Aに示すとおりである。所定面積以上の塊の差分画像が現れれば、検出対象物があると判断する。
検出対象物があると判断すると、CPU42は、距離画像において、検出対象物の外形を抽出する(ステップS14)。抽出した外形を図17Bに示す。
次に、CPU42は、深度カメラ30から赤外画像を取り込む(ステップS15)。続いて、CPU42は、距離画像における検出対象物の外形に基づいて、赤外画像における、検出対象物の外形を抽出する(ステップS16)。この実施形態では、距離画像も赤外画像も同じ範囲を撮像し、同じ画素数としているので、距離画像における検出対象物の外形を参照することで、容易に、赤外画像における検出対象物の外形を抽出することができる。
このようにして抽出した赤外画像における検出対象物の外形を、図18に示す。図17Bと図18の外形を比較すれば明らかなように、両者はほぼ一致している。検出対象物が赤外光反射部材26にタッチしていない場合には、このように両者の外形は一致する。したがって、CPU42は、距離画像における外形と赤外画像における外形の、検出対象物の先端部長さの差が所定値未満であれば、検出対象物が赤外光反射部材26にタッチしていないと判断する(ステップS17)。
一方、図19Aの距離画像、図19Bの赤外画像に示すように、検出対象物が赤外光反射部材26にタッチしている場合には、それぞれの検出対象物の外形の先端長さが異なる。これは、検出対象物が赤外光反射部材26にタッチすると(あるいは極めて近接すると)、検出対象物の影(映り込み)も画像として検出することになる。この際、赤外画像の方が映り込みが鮮明であって大きく、距離画像の方が映り込みが小さくなる。このようなことから、検出対象物が赤外光反射部材26にタッチすると、外形の先端長さが異なることになる。
したがって、CPU42は、図20に示すように、距離画像における外形の最下端(先端部)82と、赤外画像における外形の最下端(先端部)84との差Qが、所定の長さ(実長さ換算で5〜10cm程度)を超えた場合には、検出対象物が赤外光反射部材26にタッチしたと判断する(ステップS17)。
続いて、CPU42はタッチ位置の算出を行う(ステップS5)。この処理は、距離画像における外形の最下端82の座標を算出することにより行う。算出方法は、第一の実施形態と同様である。
タッチ位置の算出が終わると、CPU42は、第一の実施形態と同様に、タッチ位置に基づく処理を行う(ステップS6)。
2.3その他の実施形態
(1)上記各実施形態では、検出領域に赤外光反射部材26を設置している。しかし、代わりに、赤外光吸収部材を用いるようにしてもよい。
(2)上記各実施形態では、検出ユニット24をプロジェクター14とは異なる位置に配置している。しかし、プロジェクター14に深度カメラ24を設置するようにしてもよい。あるいは、検出ユニット24をプロジェクター14に一体化するようにしてもよい。
(3)上記各実施形態では、赤外光と赤外光反射部材26を用いている。しかし、これに代えて、超音波と超音波反射部材(吸収部材)、紫外光と紫外光反射部材(吸収部材)、電磁波と電磁波反射部材(吸収部材)などを用いてもよい。
(4)上記各実施形態では、映像表示部としてプロジェクターを用いている。しかし、ディスプレイを用いてもよい。この場合、透明電極などを用いることなくタッチパネルを実現することができる。
(5)上記各実施形態では、検出対象物として指を例として説明した。しかし、通常の筆記具、差し棒など赤外光を反射図するものであれば、検出対象物として用いることができる。
(6)上記各実施形態における装置は、予め完成された装置として構築してもよいし、深度カメラと赤外光反射部材を持ち運び、机や壁などに赤外光反射部材26を置くことで装置として構築するようにしてもよい。
(7)上記各実施形態では、赤外光反射部材26に検出対象物がタッチしたことを検出して処理を行っている。しかし、検出対象物を検出すれば、タッチの有無に関係なく処理を行うようにしてもよい。
(8)なお、上記実施形態では、赤外光を通常どおり反射する赤外光反射部材を用いている。しかし、図21に示すように赤外光を入射方向に反射する構造を持つ赤外光反射部300に、ある程度赤外光を反射する透明フィルム310を重ねたものを、赤外光反射部材26として用いてもよい。赤外光反射部300は、赤外光を入射方向に反射するので、赤外光照射器28から出た赤外光は、赤外光反射器28の元に戻ってくる。このため、検出対象物が無い状態では、赤外光照射器28と離れた位置にある深度カメラ30において赤外光は検出されず、距離測定は不能となる。検出対象物があれば、これによって反射された赤外光が検出され距離測定データが得られる。

Claims (13)

  1. 検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、
    前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
    前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
    深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
    前記検出光反射面に映像を表示するための映像表示部と、
    前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光反射面に表示される映像を変化させる映像制御手段と、
    を備えたインタラクティブ表示装置。
  2. 検出領域に配置するための、検出光を反射する検出光反射面を有する検出領域用部材と、
    前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
    前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
    深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
    を備えたタッチ位置検出装置。
  3. タッチ位置検出装置をコンピュータによって実現するためのプログラムであって、コンピュータを、
    検出光反射面が配置された検出領域に対して検出光を照射した際に、前記検出光反射面によって反射された検出光が入射しない位置に設けられ、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサからの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段として機能させるためのタッチ位置検出用プログラム。
  4. 請求項1〜3のいずれかの装置またはプログラムにおいて、
    前記位置算出手段は、検出対象物において反射した検出光に基づく検出距離に加えて、検出対象物から反射し前記検出光反射面にてさらに反射した検出光に基づく検出距離に基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴とする装置またはプログラム。
  5. 請求項1〜3のいずれかの装置またはプログラムにおいて、
    前記検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、
    前記検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、
    前記位置算出手段は、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光反射面にタッチしたと判断することを特徴とする装置またはプログラム。
  6. 請求項1〜5のいずれかの装置またはプログラムにおいて、
    前記検出光は赤外光であることを特徴とする装置またはプログラム。
  7. 検出光を反射する検出光反射面を有する検出領域用部材を検出領域に配置し、
    前記検出領域に向けて検出光を照射するよう検出光照射部を配置し、
    前記検出光反射面によって反射された検出光が入射しない位置において、検出領域に位置する検出対象物によって反射された検出光および前記検出光反射面の周囲において反射された検出光を受けて、それぞれまでの距離を算出し、
    前記算出した距離に基づいて、検出対象物の、前記検出領域における位置を算出すること、
    を特徴とするタッチ位置検出方法。
  8. 検出領域に配置するための、検出光を吸収する検出光吸収面を有する検出領域用部材と、
    前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
    検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
    深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
    前記検出光吸収面に映像を表示するための映像表示部と、
    前記位置算出手段によって算出された検出対象物の位置に応じて、映像表示部によって前記検出光吸収面に表示される映像を変化させる映像制御手段と、
    を備えたインタラクティブ表示装置。
  9. 検出領域に配置するための、検出光を吸収する検出光反射面を有する検出領域用部材と、
    前記検出領域に向けて検出光を照射するよう設置される検出光照射部と、
    検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサと、
    深度センサの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段と、
    を備えたタッチ位置検出装置。
  10. タッチ位置検出装置をコンピュータによって実現するためのプログラムであって、コンピュータを、
    検出光吸収面が配置された検出領域に対して検出光を照射した際に、前記検出領域に位置する検出対象物によって反射された検出光および前記検出光吸収面の周囲において反射された検出光を受けて、それぞれまでの距離を取得する深度センサからの出力に基づいて、検出対象物の、前記検出領域における位置を算出する位置算出手段として機能させるためのタッチ位置検出用プログラム。
  11. 請求項8〜10のいずれかの装置またはプログラムにおいて、
    前記検出領域の赤外画像を撮像するよう設置される赤外画像撮像部と、
    前記検出距離に基づいて距離画像を生成する距離画像生成手段とをさらに備え、
    前記位置算出手段は、前記赤外画像と前記距離画像における検出対象物の画像のずれに基づいて、検出対象物が前記検出光吸収面にタッチしたと判断することを特徴とする装置またはプログラム。
  12. 請求項1〜11の装置またはプログラムにおいて、
    前記映像表示部は、プロジェクターであることを特徴とする装置またはプログラム。
  13. 請求項1〜11の装置またはプログラムにおいて、
    前記映像表示部はディスプレイであり、
    前記検出領域用部材は、ディスプレイの表面に配置されることを特徴とする装置またはプログラム。

JP2012077675A 2012-03-29 2012-03-29 インタラクティブ表示装置 Pending JP2013206373A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012077675A JP2013206373A (ja) 2012-03-29 2012-03-29 インタラクティブ表示装置
PCT/JP2012/005443 WO2013145035A1 (en) 2012-03-29 2012-08-29 Interactive display device
US13/642,601 US20130257811A1 (en) 2012-03-29 2012-08-29 Interactive display device
CN201280000880.1A CN103492982A (zh) 2012-03-29 2012-08-29 交互显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012077675A JP2013206373A (ja) 2012-03-29 2012-03-29 インタラクティブ表示装置

Publications (1)

Publication Number Publication Date
JP2013206373A true JP2013206373A (ja) 2013-10-07

Family

ID=47045108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012077675A Pending JP2013206373A (ja) 2012-03-29 2012-03-29 インタラクティブ表示装置

Country Status (3)

Country Link
JP (1) JP2013206373A (ja)
CN (1) CN103492982A (ja)
WO (1) WO2013145035A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015158558A (ja) * 2014-02-24 2015-09-03 セイコーエプソン株式会社 プロジェクター
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP2017217268A (ja) * 2016-06-08 2017-12-14 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258410B (zh) * 2020-05-06 2020-08-04 北京深光科技有限公司 一种人机交互设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127809A (ja) * 1991-04-19 1993-05-25 Sharp Corp 三次元空間座標入力装置
FI112706B (fi) * 2000-06-28 2003-12-31 Nokia Corp Menetelmä ja järjestely tiedon syöttämiseksi elektroniseen laitteeseen ja elektroninen laite
US20060291049A1 (en) * 2005-06-24 2006-12-28 Hewlett-Packard Development Company L.P. Screen
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
JP5053188B2 (ja) * 2008-06-18 2012-10-17 株式会社リコー 入力装置及び画像形成装置
US20100201812A1 (en) * 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems
DE112009004948T5 (de) * 2009-07-23 2012-07-12 Hewlett-Packard Development Co., L.P. Anzeige mit einem optischen Sensor
JP2011090604A (ja) * 2009-10-26 2011-05-06 Seiko Epson Corp 光学式位置検出装置および位置検出機能付き表示装置
JP5276577B2 (ja) 2009-12-21 2013-08-28 株式会社日立ソリューションズ 前面投影型の電子黒板システム及びキャリブレーション開始方法
JP5530809B2 (ja) 2010-06-01 2014-06-25 株式会社日立ソリューションズ 位置検出装置、及び画像処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015158558A (ja) * 2014-02-24 2015-09-03 セイコーエプソン株式会社 プロジェクター
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP2017217268A (ja) * 2016-06-08 2017-12-14 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム
WO2017213124A1 (ja) * 2016-06-08 2017-12-14 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2013145035A1 (en) 2013-10-03
CN103492982A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
US20210181857A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
CN102799318B (zh) 一种基于双目立体视觉的人机交互方法及系统
JP3968477B2 (ja) 情報入力装置及び情報入力方法
KR101102953B1 (ko) 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법
JP6078884B2 (ja) カメラ式マルチタッチ相互作用システム及び方法
CN103929603B (zh) 图像投影设备、图像投影系统及控制方法
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
US20130135199A1 (en) System and method for user interaction with projected content
JP3201426U (ja) 入力装置のバーチャル2次元測位モジュール及びバーチャル入力デバイス
KR101019254B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
US20130106792A1 (en) System and method for enabling multi-display input
CN104298405B (zh) 触控模块、投影系统及其触控方法
TW201423484A (zh) 動態偵測系統
US20130257811A1 (en) Interactive display device
CN103609093A (zh) 一种互动手机
JP2013206373A (ja) インタラクティブ表示装置
CN102314287A (zh) 互动显示系统及方法
JP5651358B2 (ja) 座標入力装置及びプログラム
CN101609363B (zh) 输入装置及输入方法
JP4687820B2 (ja) 情報入力装置及び情報入力方法
JP2007200353A (ja) 情報処理装置及び情報処理方法
TWI394063B (zh) 應用影像辨識之指令輸入系統以及方法
WO2012126193A1 (zh) 一种影像键盘的生成方法和装置
CN103869941B (zh) 具虚拟触控服务的电子装置及虚拟触控即时校正方法
TWM399375U (en) Display touch screen system