JP6102751B2 - インターフェース装置およびインターフェース装置の駆動方法 - Google Patents
インターフェース装置およびインターフェース装置の駆動方法 Download PDFInfo
- Publication number
- JP6102751B2 JP6102751B2 JP2013555102A JP2013555102A JP6102751B2 JP 6102751 B2 JP6102751 B2 JP 6102751B2 JP 2013555102 A JP2013555102 A JP 2013555102A JP 2013555102 A JP2013555102 A JP 2013555102A JP 6102751 B2 JP6102751 B2 JP 6102751B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- lens
- projection direction
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 46
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 239000004065 semiconductor Substances 0.000 description 11
- 238000000926 separation method Methods 0.000 description 8
- 230000010287 polarization Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
Description
本発明は、インターフェース装置およびインターフェース装置の駆動方法に関する。
従来、コンピュータ、デジタル機器を中心とする機械と人とのインターフェースは、ボタン、キーボード、マウスであった。近年では、インターフェースは、前述のものから、画面に直接触れるタッチインターフェースへと発展しており、さらに、ジェスチャーによる空間操作型インターフェースも開発されている。空間操作型インターフェースは、例えば、非特許文献１から３のものがあげられる。
非特許文献１には、マサチューセッツ工科大学で開発されている「SixthSense」が開示されている。「SixthSense」では、小型プロジェクタとカメラとを組み合わせたインターフェースにより、カメラが指にはめた色サックの位置を認識し、様々なインタラクティブな操作を行える。
非特許文献２には、マイクロソフト社で開発されている「Omnitouch」が開示されている。「Omnitouch」は、人の肩に装置を乗せたインターフェースであり、小型プロジェクタと物体との３次元計測を行う「Xtion」（特許文献１参照）と呼ばれる装置が組み合わされている。
非特許文献３には、マサチューセッツ工科大学で開発されている「LuminAR」が開示されている。「LuminAR」は、ライトスタンド型のインターフェースであり、ライトスタンドのライトの部分に小型プロジェクタとカメラとを設け、機械的に動くアームを備える。
Pranav Mistry, SixthSense, MIT Media Lab, ［平成２３年１２月１６日検索］、インターネット(URL:http://www.pranavmistry.com/projects/sixthsense)
Hrvoje Benko and Scott Saponas, Omnitouch, Microsoft, ［平成２３年１２月１６日検索］、インターネット(URL:http://research.microsoft.com/en-us/news/features/touch-101711.aspx)
Natan Linder and Pattie Maes, LuminAR, MIT Media Lab, ［平成２３年１２月１６日検索］、インターネット(URL:http://fluid.media.mit.edu/people/natan/current/luminar.html)
「SixthSense」および「Omnitouch」は、操作するために投射する画像の位置を人が制御する必要がある。また、「SixthSense」および「Omnitouch」は、肩、手等を動かして、画像がそこに投射されるようにしなければならず、インターフェースを行う装置を人が装着していなくてはならない。「LuminAR」は、人は何も装着する必要はないが、ライトスタンドのライトの下に手を持っていかなくてはならない。これらは、人が機械に合わせる旧来型のインターフェースであり、ユビキタス型と呼ばれている。これからの世界において、機械と人とのインターフェースは、アンビエント型と呼ばれる、機械が人に合わせるインターフェースに変わっていくとされている。例えば、デジタルサイネージのような大型のものから、携帯端末、携帯電話等の小型のものまで、機械が人とその動きを認識して、状況にあったインタラクションを自律的に行うようになるのである。
アンビエント型のインターフェースを実現するには、機械が人を認識するために、広い認識空間を持たなくてはならない。認識空間が狭いということは、人の動きを制限することになるからである。また、色サックのような道具を使うことも回避しなければならない。この点において、現代技術は多くの課題を抱えている。例えば、現在最も有力なジェスチャー入力装置である「Xtion」は、つぎのような課題を抱えている。
図１６に、「Xtion」の基本的な原理および課題を示す。図１６に示すとおり、「Xtion」は、赤外光パターン発生装置４０１およびカメラ４０３を備える。「Xtion」の基本原理は、いわゆる三角測量による３次元的な対象物認証である。赤外光パターン発生装置４０１から投射される赤外光パターン４０２が対象物（本例では、手）４０４に当たり、手４０４の形状に応じて発生する画像歪みを、カメラ４０３で読み取る。赤外光パターン発生装置４０１の投射範囲とカメラ４０３の画角との重複する領域が認識空間となり、この空間から外れたものは認識できない。このように、認識空間は、装置に近づくほど狭くなるため、距離が近づくにつれて、この空間から外れやすいということになる。このように、現状の技術は、認識空間の狭いものとなっている。
本発明の目的は、アンビエント型のインターフェースを実現するために、小型で、精度よく広い認識領域で人等の対象物を認識することが可能なインターフェース装置、インターフェース装置の駆動方法を提供することにある。
前記目的を達成するために、本発明のインターフェース装置は、
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる。
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる。
本発明のインターフェース装置の駆動方法は、
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む。
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む。
本発明によれば、アンビエント型のインターフェースを実現するための、小型で、精度よく広い認識領域で人等の対象物を認識することが可能なインターフェース装置、インターフェース装置の駆動方法を提供できる。
以下、本発明のインターフェース装置について、例を挙げて詳細に説明する。ただし、本発明は、以下の実施形態に限定されない。なお、以下の図において、同一部分には、同一符号を付している。また、図面においては、説明の便宜上、各部の構造は適宜簡略化して示す場合があり、各部の寸法比等は、実際とは異なる場合がある。
（実施形態１）
図１は、本実施形態のインターフェース装置の構成を示すブロック図である。図２は、本実施形態におけるインターフェース装置を用いた駆動方法のフローチャートである。図１に示すように、本実施形態のインターフェース装置１００は、画像投射手段１０１と、撮像手段１０６と、投射方向調整手段１０５と、制御手段１０７とを主要な構成要素としている。画像投射手段１０１は、光源１０２を含む。本実施形態において、光源１０２は、対象物を検出するための検出光を発する光源であり、赤外光光源等を好ましく用いることができる。制御手段１０７は、画像投射手段１０１、撮像手段１０６および投射方向調整手段１０５に接続されている。図１において、１０８は画像投射手段１０１から投射される画像の投射方向が、投射方向調整手段１０５によって変えられた検出光（検出光画像）の方向を示しており、１０９は検出光が対象物Ｘによって反射された反射光を示している。
図１は、本実施形態のインターフェース装置の構成を示すブロック図である。図２は、本実施形態におけるインターフェース装置を用いた駆動方法のフローチャートである。図１に示すように、本実施形態のインターフェース装置１００は、画像投射手段１０１と、撮像手段１０６と、投射方向調整手段１０５と、制御手段１０７とを主要な構成要素としている。画像投射手段１０１は、光源１０２を含む。本実施形態において、光源１０２は、対象物を検出するための検出光を発する光源であり、赤外光光源等を好ましく用いることができる。制御手段１０７は、画像投射手段１０１、撮像手段１０６および投射方向調整手段１０５に接続されている。図１において、１０８は画像投射手段１０１から投射される画像の投射方向が、投射方向調整手段１０５によって変えられた検出光（検出光画像）の方向を示しており、１０９は検出光が対象物Ｘによって反射された反射光を示している。
本実施形態のインターフェース装置を用いた駆動方法は、図１のインターフェース装置を用いて、図２のフローチャートに示すように、以下のステップを実施する。
まず、撮像手段１０６で、対象物の位置を認識する（対象物認識工程：ステップＳ１０）。対象物は、例えば、人や手、指、顔、胴体等の人の身体の一部である。撮像手段１０６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等を備えている。近年では、画像認識の技術が進んできており、顔認証などは一般のデジタルカメラでも当たり前のものになってきている。前記身体の一部の認識も同様に可能である。画像認識により、例えば、一旦手を捉えれば、撮像手段１０６の初期の画角から出るような動作を行っても、追跡することが可能である。なお、撮像手段１０６の画角の位置を周期的に動かして、人や人の身体の一部の動きを見つけることも可能である。
つぎに、投射方向調整手段１０５により、画像投射手段１０１から投射される画像（検出光画像）の投射方向を、前記認識された対象物Ｘの位置に応じて、移動させる（投射方向調整工程：ステップＳ２０）。対象物Ｘが動いている場合には、追尾させてもよい。投射方向調整手段１０５については、後述する。
そして、画像投射手段１０１から、対象物Ｘに、詳細な位置や動きを検出するための検出光画像を投射する（検出画像投射工程：ステップＳ３０）。画像投射手段１０１は、例えば、レーザプロジェクタ等を用いることができる。
つぎに、撮像手段１０６により、対象物Ｘで反射された前記検出光の画像（反射光）を取得し、画像認識をして、対象物Ｘの形、動作、位置等の状態を認識する（画像認識工程：ステップＳ４０）。本実施形態（図１）においては、対象物認識工程Ｓ１０と画像認識工程Ｓ４０では、同一の撮像手段１０６を使用しているが、本発明は、これに限定されない。前記の２つの工程において、別々の撮像手段を使用する構成とすることもできる。
画像投射手段１０１、撮像手段１０６および投射方向調整手段１０５の動作や作用は、制御手段１０７によって制御される。そして、制御手段１０７は、前記検出された対象物Ｘの形、動作、位置等の状態に対し、予め定められた所定の動作を行う信号を発する（動作工程：ステップＳ５０）。対象物Ｘの形、動作、位置等の状態を入力信号とするインターフェース装置では、本実施形態の構成を含むことにより、対象物の動きに対して適切に応答することが可能である。本発明のインターフェース装置は、例えば、検出された対象物の動作に応じて、電子機器等を制御する操作信号を出力する手段を含むことができ、この場合、精度良く、広い動作範囲で前記電子機器等の操作をすることが可能となる。
本実施形態の投射方向調整手段１０５は、画像投射手段１０１から投射される画像の投射方向を調整する手段であり、以下の構成とすることができる。
図３は、本発明のインターフェース装置における、投射方向調整手段の一例である。本例の投射方向調整手段は、レンズを有し、前記レンズは、画像投射手段に対する傾斜角を調整可能であるとともに回転可能となっている。図３において、レンズ１２０１は、レンズホルダー１２０２に取り付けられている。そして、レンズホルダー１２０２は、レンズ１２０１の傾斜角を調整可能とする駆動手段（例えば、リニアモータ）１２０３と接続されている。駆動手段１２０３は、支持体１２０４と接続されている。支持体１２０４は、別の駆動手段（例えば、モータ）１２０５により回転可能である。駆動手段１２０３および１２０５を駆動させることにより、レンズ１２０１に傾きと回転を与えることができ、レンズ１２０１が投射方向前方に広い範囲で可動となる。レンズ１２０１を動かすことにより、投射レンズ８１３からの投射光１２０６の方向を、前記認識された対象物の移動に追尾して移動させることができる。
図４は、本発明のインターフェース装置における、投射方向調整手段のその他の例である。本例の投射方向調整手段は、レンズを有し、前記レンズは、画像投射手段に対する傾斜角を調整可能であるとともに回転可能となっている。図４において、レンズ１３０１は、球面を有するレンズ支持体１３０２に取り付けられている。レンズ支持体１３０２は、その周囲をリング状の支持部１３０３で支持されている。そして、支持部１３０３は、レンズ支持体１３０２が回転可能となるように、その内側に少なくとも一対の駆動手段（例えば、超音波モータ）１３０４および１３０５を有している。本例では、概略球形のレンズ支持体１３０２を超音波モータにより駆動する。レンズ支持体１３０２は透明であることが好ましい。リング状の支持部１３０３は、内側の所定の位置にベアリングなどが設置されているとよい。図４において、駆動手段１３０４および１３０５は、支持部１３０３と、レンズ支持体１３０２との間に形成され、それぞれ矢印の方向にレンズ支持体１３０２を回転させる超音波モータとすることが好ましい。駆動手段１３０４および１３０５を駆動させることにより、レンズ１３０１に傾きと回転を与えることができ、レンズ１３０１が投射方向前方に広い範囲で可動となる。レンズ１３０１を動かすことにより、投射レンズ８１３からの投射光１３０６の方向を、前記認識された対象物の移動に追尾して移動させることができる。また、この投射方向調整手段によれば、レンズの方向を変える機械系を平面にし、全体のサイズを更に小さくすることが可能である。また、レンズ支持体１３０２を球形とすることで軸が不要となる。また、モータが平面化されるため、投射方向調整手段に起因する体積増を少なくすることができ、好ましい。
図５は、本発明のインターフェース装置における、投射方向調整手段のさらにその他の例である。本例の投射方向調整手段は、ミラーを有し、前記ミラーは、前記画像投射手段に対する傾斜角を調整可能であるとともに回転可能である。図５において、ミラー１４０１は、傾斜角方向に回転可能な回転軸を有しており、前記回転軸に駆動手段（モータ）１４０２が取り付けられている。駆動手段（モータ）１４０２は、支持体１４０３を介して、別の駆動手段（モータ）１４０４と接続されている。駆動手段（モータ）１４０４は、ミラー１４０１が前記画像投射手段から画像が投射される方向を軸として回転可能となるように接続されている。駆動手段１４０２および１４０４を駆動させることにより、ミラー１４０１に傾きと回転を与えることができ、ミラー１４０１が投射方向前方に広い範囲で可動となる。ミラー１４０１を動かすことにより、投射レンズ８１３からの投射光１４０５の方向を、前記認識された対象物の移動に追尾して移動させることができる。
（実施形態２）
図６は、本実施形態のインターフェース装置の構成を示すブロック図である。図７は、本実施形態のインターフェース装置を用いた駆動方法の説明図である。図６に示すように、本実施形態のインターフェース装置６００は、画像投射手段６０１と、光分離手段６０４と、投射方向調整手段６０５と、撮像手段６０６と、制御手段６０７とを主要な構成要素としている。画像投射手段６０１は、光源６０２および画像回転手段６０３を含む。光源６０２は、例えば、赤色光、緑色光、青色光の可視光を出力する可視光光源と、赤外光を出力する赤外光光源とを含み、前記光源は、例えば、半導体レーザである。前記赤外光光源は、対象物を検出するための検出光を発する光源とすることができる。画像投射手段６０１は、例えば、レーザプロジェクタを使用することができる。光分離手段６０４は、投射画像の反射光のうち、検出光の反射光を分離し、カメラ等の撮像手段に入射させる、撮像手段用検出光分離光学系である。投射方向調整手段６０５は、方向可変構造を有する光学系である。制御手段６０７は、画像投射手段６０１、撮像手段６０６および投射方向調整手段６０５に接続されている。図６において、６０８は画像投射手段６０１から投射される画像の投射方向が、投射方向調整手段６０５によって変えられた検出光（検出光画像）の方向を示しており、６０９は検出光が対象物Ｘによって反射された戻り光（反射光）の経路を示している。なお、図６では、投射方向調整手段６０５の右上方に位置する対象物Ｘの図示を省略している。その他の構成は、実施形態１で記載したインターフェース装置と同様である。
図６は、本実施形態のインターフェース装置の構成を示すブロック図である。図７は、本実施形態のインターフェース装置を用いた駆動方法の説明図である。図６に示すように、本実施形態のインターフェース装置６００は、画像投射手段６０１と、光分離手段６０４と、投射方向調整手段６０５と、撮像手段６０６と、制御手段６０７とを主要な構成要素としている。画像投射手段６０１は、光源６０２および画像回転手段６０３を含む。光源６０２は、例えば、赤色光、緑色光、青色光の可視光を出力する可視光光源と、赤外光を出力する赤外光光源とを含み、前記光源は、例えば、半導体レーザである。前記赤外光光源は、対象物を検出するための検出光を発する光源とすることができる。画像投射手段６０１は、例えば、レーザプロジェクタを使用することができる。光分離手段６０４は、投射画像の反射光のうち、検出光の反射光を分離し、カメラ等の撮像手段に入射させる、撮像手段用検出光分離光学系である。投射方向調整手段６０５は、方向可変構造を有する光学系である。制御手段６０７は、画像投射手段６０１、撮像手段６０６および投射方向調整手段６０５に接続されている。図６において、６０８は画像投射手段６０１から投射される画像の投射方向が、投射方向調整手段６０５によって変えられた検出光（検出光画像）の方向を示しており、６０９は検出光が対象物Ｘによって反射された戻り光（反射光）の経路を示している。なお、図６では、投射方向調整手段６０５の右上方に位置する対象物Ｘの図示を省略している。その他の構成は、実施形態１で記載したインターフェース装置と同様である。
本実施形態においては、その内部に光源６０２および画像回転手段６０３を有する画像投射手段（レーザプロジェクタ）６０１が発した画像は、光分離手段６０４を通して投射方向調整手段６０５によって方向を変えられ投射される。対象物Ｘの３次元計測を行うためには、光源６０２は赤外光を発する。この際、対象物Ｘに当たって戻ってきた光は経路６０９を通り、光分離手段６０４を通って撮像手段６０６に入射する。制御手段６０７はこれら一連の動作の制御を行う。
図７は、本実施形態のインターフェース装置についての、基本動作を示している。図７において、７０１は本実施形態のインターフェース装置（ヘッド部のみを図示）、７０２は撮像手段（カメラ系）６０６の画角、７０３は対象物Ｘの例としての手、７０４は赤外投射光、７０５はその光によって投影された手の上の赤外光のパターン、７０６は画像回転手段６０３を回転させている様子、７０７は投射画像（可視光）を示している。
動作は以下のようになる。図７（ａ）に示すようにインターフェース装置７０１の内部の撮像手段（カメラ）６０６がジェスチャーを行う手や指の位置を認識する。前記認識は、例えば、投射方向調整手段６０５を周期的に走査することで行ってもよい。また、一旦、手や指などの対象物を認識した後は、前記認識した対象物を追跡するように、投射方向調整手段６０５を動作させてもよい。
次に、図７（ｂ）に示すように、必要に応じて投射方向調整手段（方向可変構造を有する光学系）６０５により方向を変えた赤外投射光７０４を、手７０３に向かって投射する。認識の方式は、例えば、単眼のカメラの場合、タイムオブフライト方式、位相差方式等の方法を用いることができる。後述する別部分にカメラを設ける方式では、三角測量方式も使用することができる。
この手順で読み取った手や指の位置に応じて、操作し易い方向に向けて、操作用の画像を投射することが好ましい。そこで、図７（ｃ）では、画像回転手段６０３により、つぎに投射する投射画像７０７の方向を最適化している。そして、図７（ｄ）に示すように、投射画像（可視光）７０７を投射する。この画像に対する人のジェスチャーに応じて、何らかのアクションを行うことになる。この例では画像投射された選択肢を選ぶという動作になる。このように、本実施形態によると、インタラクティブな操作が可能となる。以上は投射画像を使ってアクションを行う例の説明であるが、単なるジェスチャーの入力で他のものをコントロールするだけでもよい。
このように、本実施形態においては、ユーザ（操作を行おうとしている人）がアクセスする方向が、例えば、装置が初期に設定する画像の方向と異なっていた場合、体や手の位置を認識することにより、画像投射の方向を回転させ最適な位置に向けることが可能である。これに対し、関連する技術では、投射画像の輝度低下を起こさずに最適な位置に向けることは難しい。図１７において、５０１は小型プロジェクタ、５０２は投射画像範囲、５０３はその一部を使った投射画像である。このように、人の方向に合わせようとすると、関連する技術では画像の制御は投射画像の一部を使って制御せざるを得ない。アンビエント型インターフェースでは、投射対象の形や位置が一定ではないために、その形や位置に合わせて投射画像を変えねばならず、より大きな投射範囲の一部を用いてこれを実現している。投射画像の明るさは投射面積に反比例する。従って、関連する技術において、このような使用形態では、画像は不必要に暗くなってしまう。本実施形態のような動作を行えることは、機械が人とその動きを認識して自律的に働きかけるアンビエント型インターフェースには重要であり、従って、本実施形態のインターフェース装置は、アンビエント型インターフェースに好適に対応させることができる。
（実施形態３）
図８は、本発明のインターフェース装置における画像投射手段である、レーザプロジェクタ部分の一実施形態を示した図である。本発明のインターフェース装置における画像投射手段としては、例えば、小型プロジェクタを用いることができる。前記プロジェクタには、いくつか方式があるが、大別するとＬＥＤを光源にするものと、レーザを光源にするものとに分けられる。ＬＥＤ型は光源自体の大きさのために、その光自体を走査することが不可能なために、ＤＭＤ（デジタル・マイクロミラー・デバイス）やＳｉチップを画像変調に用いる反射型の小型液晶ディスプレイであるＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）等の面型の素子を用いて光の変調を行っている。レーザ型は前述したＤＭＤやＬＣＯＳを用いる方式の他に小型のミラーを走査してビーム自体を走査する方式もある。ＬＥＤ型とレーザ型の最も大きな違いは、ＬＥＤ型は投射レンズによる焦点調節が必要であり、斜めや曲面になった面に投射する場合には全面で焦点を合わせることが不可能であるのに対し、レーザ型はレーザが実用的な範囲において焦点調節が不要であるということである。
図８は、本発明のインターフェース装置における画像投射手段である、レーザプロジェクタ部分の一実施形態を示した図である。本発明のインターフェース装置における画像投射手段としては、例えば、小型プロジェクタを用いることができる。前記プロジェクタには、いくつか方式があるが、大別するとＬＥＤを光源にするものと、レーザを光源にするものとに分けられる。ＬＥＤ型は光源自体の大きさのために、その光自体を走査することが不可能なために、ＤＭＤ（デジタル・マイクロミラー・デバイス）やＳｉチップを画像変調に用いる反射型の小型液晶ディスプレイであるＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）等の面型の素子を用いて光の変調を行っている。レーザ型は前述したＤＭＤやＬＣＯＳを用いる方式の他に小型のミラーを走査してビーム自体を走査する方式もある。ＬＥＤ型とレーザ型の最も大きな違いは、ＬＥＤ型は投射レンズによる焦点調節が必要であり、斜めや曲面になった面に投射する場合には全面で焦点を合わせることが不可能であるのに対し、レーザ型はレーザが実用的な範囲において焦点調節が不要であるということである。
図８に示すように、本実施形態のレーザプロジェクタは、緑色半導体レーザ８０１、青色半導体レーザ８０２、赤色半導体レーザ８０３、赤外半導体レーザ８０４を有している。これらのレーザから出た光はそれぞれコリメートレンズ８０５で整形され、ミラー８０６、ダイクロイックミラー８０７によって合成され、回転機構付きホモジナイザ８０８に入射する。ホモジナイザ８０８の役割は、後述する変調素子の形状に合わせてビームを整形することと、回転機構により、その投射画像を回転することであり、本発明の画像回転手段に相当する。ホモジナイザ８０８を出た光はレンズ系８０９に入射した後、偏光ビームスプリッタ８１０に入る。元々レーザから出た光は一方向に偏光されており、ここでほとんどの光が反射されて、ＬＣＯＳ８１１に入射する。ＬＣＯＳ８１１が実装されている台８１２は回転機構を有している。ＬＣＯＳ８１１で変調、反射された光は再び偏光ビームスプリッタ８１０に入射し、投射レンズ８１３を通して投射される。８１４がその投射光を表している。
ＬＣＯＳ８１１は、時分割で駆動される素子であり、この場合、緑、青、赤、赤外の光はそれぞれ時間を区切って投射される。また、光源がレーザという点光源であるので、投射レンズはあるものの、実用的な範囲で焦点調節の必要のない画像が得られる。また、走査素子を使ってレーザビームを振る方式と異なり、レーザ光に対する法的規制が低減されるため、より明るい光を投射することが可能である。条件にもよるが、数百ルーメンの明るさを得ることが可能であり、ビームを走査する方式より、１桁程度明るい画像の表示が可能である。
本発明における画像回転手段である前記回転機構について、図９を用いて更に詳細に説明する。図９（ａ）は、回転機構付きホモジナイザ８０８、ＬＣＯＳ８１１とそれが実装された回転機構付き台８１２、偏光ビームスプリッタ８１０、投射レンズ８１３の部分のみを示す斜視図である。図９（ｂ）において、９０１は回転機構付き台８１２の最初の位置、９０２は回転機構付きホモジナイザ８０８によって回転して投射された照明光の位置を示している。回転機構付きホモジナイザ８０８と回転機構付き台８１２が協調して回転することにより、このように、ＬＣＯＳ８１１の回転に合わせて投射光も形を維持しながら回転し、画像を投射レンズ８１３を通して投射できる。これにより画像の回転がなされる。
（実施形態４）
図１０に回転機構を設けなくても画像の回転ができる方式の一例を示す。図１０（ａ）は、ホモジナイザ１００１、ＬＣＯＳ８１１とそれが実装された台１００２、偏光ビームスプリッタ８１０、投射レンズ８１３の部分のみを示す斜視図である。図９に示した方式との違いは、ホモジナイザ１００１が略円形の光を形成し回転機構がないこと、および、ＬＣＯＳ８１１の台１００２に回転機構がないことである。これにより、図１０（ｂ）に示すように、ＬＣＯＳ８１１上の照明光１００３が略円形となり、必然的に投射画像も略円形となる。このように、一部照射がなされない領域はでるものの、光のロスは、投射画像が長方形や正方形である場合に比べて小さく、明るい投射が可能である。
図１０に回転機構を設けなくても画像の回転ができる方式の一例を示す。図１０（ａ）は、ホモジナイザ１００１、ＬＣＯＳ８１１とそれが実装された台１００２、偏光ビームスプリッタ８１０、投射レンズ８１３の部分のみを示す斜視図である。図９に示した方式との違いは、ホモジナイザ１００１が略円形の光を形成し回転機構がないこと、および、ＬＣＯＳ８１１の台１００２に回転機構がないことである。これにより、図１０（ｂ）に示すように、ＬＣＯＳ８１１上の照明光１００３が略円形となり、必然的に投射画像も略円形となる。このように、一部照射がなされない領域はでるものの、光のロスは、投射画像が長方形や正方形である場合に比べて小さく、明るい投射が可能である。
投射画像が略円形である場合のメリットを、図１１を用いて説明する。図１１（ａ）に示すように、最初の投射画像１１０１が人の手１１０２に対して適切でない方向を向いていたとしても、機械的な回転を用いずに、画像データのみを適切な形に変換することにより、最適な方向への画像投射が可能となる（投射画像１１０３）。これも、アンビエント型の表示として好ましい態様である。
（実施形態５）
図１２に、実施形態５のインターフェース装置を示す。本実施形態は、図６に示す実施形態２のインターフェース装置の構成に沿ったものである。図１２に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、光分離手段、および、投射方向調整手段（方向可変機構付きレンズ１５１３）を有している。１５１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１５０１、ミラー１５０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１５０３、回転機構付きホモジナイザ１５０４、レンズ系１５０５、偏光ビームスプリッタ１５０６、ＬＣＯＳ１５０７、および、回転機構付き台１５０８を有している。前記撮像手段は、カメラ１５１１およびカメラのレンズ系１５１０を有している。物体からの反射信号光を撮像手段（カメラ１５１１、カメラのレンズ系１５１０）に導く偏光ビームスプリッタ１５０９は、前記光分離手段である。投射レンズ１５１２の位置は、２つの偏光ビームスプリッタ１５０６と１５０９の間であってもよい。全体がコンパクトにまとまるように、構成要素を配置してある。この場合、カメラ１５１１は最初の物体の画像認識とその物体の赤外パターン認識の両方に用いられる。デスペックラ１５０３はあれば好ましいが、必須の構成要素ではなく、これは、以下の実施形態でも同様である。また、前記画像投射手段と前記撮像手段とは、光学的に同一軸上にあることが好ましい。本実施形態のインターフェース装置では、例えば、方向可変機構付きレンズ１５１３を周期的に走査することにより、前記物体の画像認識を行ってもよい。また、一旦、前記物体を認識した後は、前記認識した物体を追跡するように、方向可変機構付きレンズ１５１３を動作させてもよい。
図１２に、実施形態５のインターフェース装置を示す。本実施形態は、図６に示す実施形態２のインターフェース装置の構成に沿ったものである。図１２に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、光分離手段、および、投射方向調整手段（方向可変機構付きレンズ１５１３）を有している。１５１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１５０１、ミラー１５０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１５０３、回転機構付きホモジナイザ１５０４、レンズ系１５０５、偏光ビームスプリッタ１５０６、ＬＣＯＳ１５０７、および、回転機構付き台１５０８を有している。前記撮像手段は、カメラ１５１１およびカメラのレンズ系１５１０を有している。物体からの反射信号光を撮像手段（カメラ１５１１、カメラのレンズ系１５１０）に導く偏光ビームスプリッタ１５０９は、前記光分離手段である。投射レンズ１５１２の位置は、２つの偏光ビームスプリッタ１５０６と１５０９の間であってもよい。全体がコンパクトにまとまるように、構成要素を配置してある。この場合、カメラ１５１１は最初の物体の画像認識とその物体の赤外パターン認識の両方に用いられる。デスペックラ１５０３はあれば好ましいが、必須の構成要素ではなく、これは、以下の実施形態でも同様である。また、前記画像投射手段と前記撮像手段とは、光学的に同一軸上にあることが好ましい。本実施形態のインターフェース装置では、例えば、方向可変機構付きレンズ１５１３を周期的に走査することにより、前記物体の画像認識を行ってもよい。また、一旦、前記物体を認識した後は、前記認識した物体を追跡するように、方向可変機構付きレンズ１５１３を動作させてもよい。
（実施形態６）
図１３に、実施形態６のインターフェース装置を示す。図１３に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きレンズ１６１３）を有している。１６１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１６０１、ミラー１６０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１６０３、回転機構付きホモジナイザ１６０４、レンズ系１６０５、偏光ビームスプリッタ１６０６、ＬＣＯＳ１６０７、回転機構付き台１６０８、および、投射レンズ１６０９を有している。前記撮像手段は、カメラ１６１２およびカメラ用広角レンズ１６１０を有しており、１６１１は画角を示す。実施形態５と異なる点は、撮像手段（カメラ系）が分離されていることである。投射系の場合、先に述べたように方向をしぼらなければ非常に暗くなるため広角にはできないが、カメラ系では広角にすることは可能である。この例では、投射系とカメラ系の位置の違いを利用して、三角測量を応用した３次元測量も可能である。
図１３に、実施形態６のインターフェース装置を示す。図１３に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きレンズ１６１３）を有している。１６１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１６０１、ミラー１６０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１６０３、回転機構付きホモジナイザ１６０４、レンズ系１６０５、偏光ビームスプリッタ１６０６、ＬＣＯＳ１６０７、回転機構付き台１６０８、および、投射レンズ１６０９を有している。前記撮像手段は、カメラ１６１２およびカメラ用広角レンズ１６１０を有しており、１６１１は画角を示す。実施形態５と異なる点は、撮像手段（カメラ系）が分離されていることである。投射系の場合、先に述べたように方向をしぼらなければ非常に暗くなるため広角にはできないが、カメラ系では広角にすることは可能である。この例では、投射系とカメラ系の位置の違いを利用して、三角測量を応用した３次元測量も可能である。
（実施形態７）
図１４に、実施形態７のインターフェース装置を示す。図１４に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きミラー１７１３）を有している。１７１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１７０１、ミラー１７０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１７０３、回転機構付きホモジナイザ１７０４、レンズ系１７０５、偏光ビームスプリッタ１７０６、ＬＣＯＳ１７０７、回転機構付き台１７０８、および、投射レンズ１７１９を有している。前記撮像手段は、カメラ１７１２およびカメラ用広角レンズ１７１０を有しており、１７１１は画角を示す。本実施形態は、投射方向調整手段（方向可変光学系）の主要素が、ミラーである場合の形態の一例である。他の基本的構成要素は図１３に示す例と同様である。
図１４に、実施形態７のインターフェース装置を示す。図１４に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きミラー１７１３）を有している。１７１４は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１７０１、ミラー１７０２、レーザプロジェクタの課題の一つであるスペックルノイズを低減するための振動板からなるデスペックラ１７０３、回転機構付きホモジナイザ１７０４、レンズ系１７０５、偏光ビームスプリッタ１７０６、ＬＣＯＳ１７０７、回転機構付き台１７０８、および、投射レンズ１７１９を有している。前記撮像手段は、カメラ１７１２およびカメラ用広角レンズ１７１０を有しており、１７１１は画角を示す。本実施形態は、投射方向調整手段（方向可変光学系）の主要素が、ミラーである場合の形態の一例である。他の基本的構成要素は図１３に示す例と同様である。
（実施形態８）
以上の実施形態においては、画像を形成する素子にＬＣＯＳを用いるものについて説明したが、ＤＭＤ（デジタル・マイクロミラー・デバイス）型でも、前述の実施形態と同様なことが可能である。また、前述したように明るさは劣るものの、走査型のプロジェクタにおいても、前述の実施形態と同様の投射方向調整手段（方向可変光学系）の適用が可能である。図１５に、その実施形態の一例を示す。図１５に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きミラー１８０６）を有している。１８０７は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１８０１、および、水平、垂直にビームを走査する能力を有し、少なくとも画像を回転させる機構を有する走査系１８０２を有している。走査系１８０２は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）などで形成される。前記撮像手段は、カメラ１８０５およびカメラ用広角レンズ１８０３を有しており、１８０４は画角を示す。前述したように走査素子型の場合、走査素子が小さいため、それ自体の方向を変える機構を設けることも可能であるが、ミラーやレンズ単体の方が小型かつ質量が小さいため、より小型化することが可能である。
以上の実施形態においては、画像を形成する素子にＬＣＯＳを用いるものについて説明したが、ＤＭＤ（デジタル・マイクロミラー・デバイス）型でも、前述の実施形態と同様なことが可能である。また、前述したように明るさは劣るものの、走査型のプロジェクタにおいても、前述の実施形態と同様の投射方向調整手段（方向可変光学系）の適用が可能である。図１５に、その実施形態の一例を示す。図１５に示すように、本実施形態のインターフェース装置は、画像投射手段、撮像手段、および、投射方向調整手段（方向可変機構付きミラー１８０６）を有している。１８０７は投射光である。前記画像投射手段は、青、緑、赤、赤外のレーザを光源要素とする光源１８０１、および、水平、垂直にビームを走査する能力を有し、少なくとも画像を回転させる機構を有する走査系１８０２を有している。走査系１８０２は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）などで形成される。前記撮像手段は、カメラ１８０５およびカメラ用広角レンズ１８０３を有しており、１８０４は画角を示す。前述したように走査素子型の場合、走査素子が小さいため、それ自体の方向を変える機構を設けることも可能であるが、ミラーやレンズ単体の方が小型かつ質量が小さいため、より小型化することが可能である。
また、以上の実施形態では、プロジェクタは全てレーザプロジェクタであったが、非常に狭い範囲だけでしか動作させないのであれば、ＬＥＤ型のプロジェクタも実用に供する。その際でも画像の方向を変えることのできる機能は、機械が自律的に人に働きかけるアンビエント型の特性を有することになる。
以上、実施形態を例示して説明したとおり、本発明のインターフェース装置は、動作範囲を広くすることが可能である。対象物となるもの、例えば、手がカメラの画角から外れるような動きをする場合、手の動く方向に投射方向調整手段を制御して向けて、追跡することにより、幅広い領域での動作をカバーすることができる。また、３次元的に対象を計測してジェスチャーを認識する際に投射する認識用のパターンを対象の位置によって可変できるため、常に最適なパターンを投射することが可能で、奥行き方向の動作範囲も拡大できる。
また、装置の小型化が容易である。投射方向調整手段の主たる部分は、例えば、ミラーやレンズのような、小型かつ質量が小さい部材を使用可能であるので、これを駆動する機械系も非常に小さくて済む。従来のように、プロジェクタとカメラとの組合せそのものの方向を可変する機構を考えれば、その差は明らかである。
さらに、人の動作に対しての追随性を良好にすることが可能である。前述した投射方向調整手段により、速い応答性を持たせることが容易である。特に装置に対して対象物となる手などが近くにある場合、この高速応答性は大きな効果となる。
また、認識精度を向上することも可能である。本発明では対象物を正面でとらえ、かつ認識パターンを奥行きに対して動的に変化させることが可能であり、常に最適な密度のパターンを投射することができる。これにより、対象物の３次元的測定精度を一定に保つことが可能であり、距離に対する精度劣化を防ぐことができる。
さらにまた、投射画像を提示する態様においては、明るい投射画像を適切な方向に投射することが可能である。対象物の動く方向に投射方向調整手段を制御して向けて、追跡することが可能であり、不必要な部分に画像を投射することがないため、高輝度とすることができる。また、画像回転手段を有することで、人に対して適切な方向に画像を投射することが可能である。
以上説明したように、本発明のインターフェース装置およびインターフェース装置の駆動方法は、小型で、精度よく広い認識領域で人等の対象物を認識することが可能なインターフェースを提供可能である。すなわち、本発明によれば人の動作を機械が認識し、自律的かつ的確に情報を映像として伝えることが可能なアンビエント型のインターフェースを提供することができる。本発明のインターフェース装置およびインターフェース装置の駆動方法の用途としては、これに限られず、例えば、デジタルサイネージ、ＰＣ、タブレット端末、会議室や家庭での機器制御等があげられる。ただし、その用途は限定されず、広い分野に適用可能である。
上記の実施形態の一部または全部は、以下の付記のようにも記載しうるが、以下には限定されない。
（付記１）
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる、インターフェース装置。
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる、インターフェース装置。
（付記２）
前記画像投射手段は、さらに、可視光を発する光源を有している、付記１記載のインターフェース装置。
前記画像投射手段は、さらに、可視光を発する光源を有している、付記１記載のインターフェース装置。
（付記３）
前記撮像手段は、前記画像投射手段からの投射画像の反射光のうち、前記検出光の反射光を分離する光分離手段を有し、前記画像投射手段と前記撮像手段とが光学的に同一軸上にある、付記２記載のインターフェース装置。
前記撮像手段は、前記画像投射手段からの投射画像の反射光のうち、前記検出光の反射光を分離する光分離手段を有し、前記画像投射手段と前記撮像手段とが光学的に同一軸上にある、付記２記載のインターフェース装置。
（付記４）
前記撮像手段は、広角のレンズ系を有し、前記画像投射手段と分離された位置に設置されている、付記１または２記載のインターフェース装置。
前記撮像手段は、広角のレンズ系を有し、前記画像投射手段と分離された位置に設置されている、付記１または２記載のインターフェース装置。
（付記５）
前記画像投射手段は、画像回転手段を有している、付記１から４のいずれかに記載のインターフェース装置。
前記画像投射手段は、画像回転手段を有している、付記１から４のいずれかに記載のインターフェース装置。
（付記６）
さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像回転手段は、前記変調素子の面と照射面積が略同一の大きさの照射光を導くホモジナイザを有し、
前記変調素子を実装した台の回転に同期して、前記ホモジナイザが前記変調素子に同一面積の照射光を照射可能となるように回転する、
付記５記載のインターフェース装置。
さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像回転手段は、前記変調素子の面と照射面積が略同一の大きさの照射光を導くホモジナイザを有し、
前記変調素子を実装した台の回転に同期して、前記ホモジナイザが前記変調素子に同一面積の照射光を照射可能となるように回転する、
付記５記載のインターフェース装置。
（付記７）
さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像投射手段は、略円形の照射光を前記変調素子に照射可能なホモジナイザを有し、
画像信号の変換により、画像の回転が行われる、
付記１から４のいずれかに記載のインターフェース装置。
さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像投射手段は、略円形の照射光を前記変調素子に照射可能なホモジナイザを有し、
画像信号の変換により、画像の回転が行われる、
付記１から４のいずれかに記載のインターフェース装置。
（付記８）
前記投射方向調整手段は、レンズを有し、
前記レンズは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
付記１から７のいずれかに記載のインターフェース装置。
前記投射方向調整手段は、レンズを有し、
前記レンズは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
付記１から７のいずれかに記載のインターフェース装置。
（付記９）
前記レンズは、球面を有するレンズ支持体に取り付けられ、
前記レンズ支持体は、その周囲をリング状の支持部で支持され、
前記支持部は、前記レンズ支持体が回転可能となるように、その内側に少なくとも一対の駆動手段を有している、
付記８記載のインターフェース装置。
前記レンズは、球面を有するレンズ支持体に取り付けられ、
前記レンズ支持体は、その周囲をリング状の支持部で支持され、
前記支持部は、前記レンズ支持体が回転可能となるように、その内側に少なくとも一対の駆動手段を有している、
付記８記載のインターフェース装置。
（付記１０）
前記投射方向調整手段は、ミラーを有し、
前記ミラーは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
付記１から７のいずれかに記載のインターフェース装置。
前記投射方向調整手段は、ミラーを有し、
前記ミラーは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
付記１から７のいずれかに記載のインターフェース装置。
（付記１１）
前記光源が、青色光、緑色光、赤色光の可視光を出力する可視光光源と、赤外光を出力する赤外光光源とを含み、
前記可視光光源および前記赤外光光源が半導体レーザである、
付記１から１０のいずれかに記載のインターフェース装置。
前記光源が、青色光、緑色光、赤色光の可視光を出力する可視光光源と、赤外光を出力する赤外光光源とを含み、
前記可視光光源および前記赤外光光源が半導体レーザである、
付記１から１０のいずれかに記載のインターフェース装置。
（付記１２）
前記画像投射手段が、走査素子による走査型である、
付記１から１１のいずれかに記載のインターフェース装置。
前記画像投射手段が、走査素子による走査型である、
付記１から１１のいずれかに記載のインターフェース装置。
（付記１３）
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む、インターフェース装置の駆動方法。
画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む、インターフェース装置の駆動方法。
（付記１４）
前記対象物が、人の部位の一部であり、
前記対象物認識工程において、前記撮像手段により、前記対象物の動きを認識し、
前記投射方向調整工程は、前記対象物認識工程において、前記対象物が前記撮像手段の画角から外れるように動くと予測される場合、前記撮像手段の画角から外れないように、前記対象物の動く方向に投射方向調整手段を制御して向ける工程を含み、
前記画像認識工程は、前記対象物に対して投射された検出光の画像の、前記対象物からの反射パターンを前記撮像手段で読み取ることにより、前記対象物の３次元計測を行う３次元計測工程を含み、
さらに、
前記対象物の状態を認識して、前記人の位置を感知し、前記人の位置に応じた最適な方向に画像を回転させる画像回転工程と、
前記画像投射手段から可視光の画像を投射する可視光画像投射工程とを含む、付記１３記載のインターフェース装置の駆動方法。
前記対象物が、人の部位の一部であり、
前記対象物認識工程において、前記撮像手段により、前記対象物の動きを認識し、
前記投射方向調整工程は、前記対象物認識工程において、前記対象物が前記撮像手段の画角から外れるように動くと予測される場合、前記撮像手段の画角から外れないように、前記対象物の動く方向に投射方向調整手段を制御して向ける工程を含み、
前記画像認識工程は、前記対象物に対して投射された検出光の画像の、前記対象物からの反射パターンを前記撮像手段で読み取ることにより、前記対象物の３次元計測を行う３次元計測工程を含み、
さらに、
前記対象物の状態を認識して、前記人の位置を感知し、前記人の位置に応じた最適な方向に画像を回転させる画像回転工程と、
前記画像投射手段から可視光の画像を投射する可視光画像投射工程とを含む、付記１３記載のインターフェース装置の駆動方法。
（付記１５）
前記対象物認識工程は、前記投射方向調整手段を周期的に走査して行い、一旦、対象物を認識した後は、前記認識した対象物を追跡するように動作する、
付記１３または１４記載のインターフェース装置の駆動方法。
前記対象物認識工程は、前記投射方向調整手段を周期的に走査して行い、一旦、対象物を認識した後は、前記認識した対象物を追跡するように動作する、
付記１３または１４記載のインターフェース装置の駆動方法。
（付記１６）
前記対象物認識工程は、広角のレンズを具備した撮像手段によって行われる、
付記１３から１５のいずれかに記載のインターフェース装置の駆動方法。
前記対象物認識工程は、広角のレンズを具備した撮像手段によって行われる、
付記１３から１５のいずれかに記載のインターフェース装置の駆動方法。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は、上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、２０１２年１月２４日に出願された日本出願特願２０１２−１２１５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００、６００、７０１ インターフェース装置
１０１、６０１ 画像投射手段
１０２、６０２、１５０１、１６０１、１７０１、１８０１ 光源
１０５、６０５、１５１３、１６１３、１７１３、１８０６ 投射方向調整手段
１０６、６０６ 撮像手段
１０７、６０７ 制御手段
１０８、６０８、１５１４、１６１４、１７１４、１８０７ 投射光
１０９、６０９ 反射光
４０１ 赤外光パターン発生装置
４０２ 赤外光パターン
４０３ カメラ
４０４、７０３、１１０２ 対象物（手）
５０１ 小型プロジェクタ
５０２ 投射画像範囲
５０３、１１０１、１１０３ 投射画像（可視光）
６０３ 画像回転手段
６０４ 光分離手段
７０２ 画角
７０４ 赤外投射光
７０５ 赤外光パターン
７０６ 画像回転手段の回転
７０７ 投射画像（可視光）
８０１ 緑色半導体レーザ
８０２ 青色半導体レーザ
８０３ 赤色半導体レーザ
８０４ 赤外半導体レーザ
８０５ コリメートレンズ
８０６、１５０２、１６０２、１７０２ ミラー
８０７ ダイクロイックミラー
８０８、１５０４、１６０４、１７０４ 回転機構付きホモジナイザ
８０９、１５０５、１６０５、１７０５ レンズ系
８１０、１５０６、１５０９、１６０６、１７０６ 偏光ビームスプリッタ
８１１、１５０７、１６０７、１７０７ ＬＣＯＳ
８１２、１５０８、１６０８、１７０８ 回転機構付き台
８１３、１５１２、１６０９、１７１９ 投射レンズ
８１４ 投射光
９０２、１００３ 照明光
１００１ ホモジナイザ
１００２ 台
１２０１、１３０１ レンズ（投射方向調整手段）
１２０２ レンズホルダー
１２０３、１２０５、１３０４、１３０５、１４０２、１４０４ 駆動手段
１２０４、１４０３ 支持体
１２０６、１３０６、１４０５ 投射光
１３０２ レンズ支持体
１３０３ 支持部
１４０１ ミラー（投射方向調整手段）
１５０３、１６０３、１７０３ デスペックラ
１５１０ カメラのレンズ系
１５１１、１６１２、１７１２、１８０５ カメラ
１６１０、１７１０、１８０３ カメラ用広角レンズ
１６１１、１７１１、１８０４ 画角
１８０２ 走査系
１０１、６０１ 画像投射手段
１０２、６０２、１５０１、１６０１、１７０１、１８０１ 光源
１０５、６０５、１５１３、１６１３、１７１３、１８０６ 投射方向調整手段
１０６、６０６ 撮像手段
１０７、６０７ 制御手段
１０８、６０８、１５１４、１６１４、１７１４、１８０７ 投射光
１０９、６０９ 反射光
４０１ 赤外光パターン発生装置
４０２ 赤外光パターン
４０３ カメラ
４０４、７０３、１１０２ 対象物（手）
５０１ 小型プロジェクタ
５０２ 投射画像範囲
５０３、１１０１、１１０３ 投射画像（可視光）
６０３ 画像回転手段
６０４ 光分離手段
７０２ 画角
７０４ 赤外投射光
７０５ 赤外光パターン
７０６ 画像回転手段の回転
７０７ 投射画像（可視光）
８０１ 緑色半導体レーザ
８０２ 青色半導体レーザ
８０３ 赤色半導体レーザ
８０４ 赤外半導体レーザ
８０５ コリメートレンズ
８０６、１５０２、１６０２、１７０２ ミラー
８０７ ダイクロイックミラー
８０８、１５０４、１６０４、１７０４ 回転機構付きホモジナイザ
８０９、１５０５、１６０５、１７０５ レンズ系
８１０、１５０６、１５０９、１６０６、１７０６ 偏光ビームスプリッタ
８１１、１５０７、１６０７、１７０７ ＬＣＯＳ
８１２、１５０８、１６０８、１７０８ 回転機構付き台
８１３、１５１２、１６０９、１７１９ 投射レンズ
８１４ 投射光
９０２、１００３ 照明光
１００１ ホモジナイザ
１００２ 台
１２０１、１３０１ レンズ（投射方向調整手段）
１２０２ レンズホルダー
１２０３、１２０５、１３０４、１３０５、１４０２、１４０４ 駆動手段
１２０４、１４０３ 支持体
１２０６、１３０６、１４０５ 投射光
１３０２ レンズ支持体
１３０３ 支持部
１４０１ ミラー（投射方向調整手段）
１５０３、１６０３、１７０３ デスペックラ
１５１０ カメラのレンズ系
１５１１、１６１２、１７１２、１８０５ カメラ
１６１０、１７１０、１８０３ カメラ用広角レンズ
１６１１、１７１１、１８０４ 画角
１８０２ 走査系
Claims (11)
- 画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられ、
下記条件（２）を満たす、インターフェース装置。
条件（２）：さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像投射手段は、略円形の照射光を前記変調素子に照射可能なホモジナイザを有し、画像信号の変換により、画像の回転が行われる。
- 前記画像投射手段は、さらに、可視光を発する光源を有している、請求項１記載のインターフェース装置。
- 前記撮像手段は、前記画像投射手段からの投射画像の反射光のうち、前記検出光の反射光を分離する光分離手段を有し、前記画像投射手段と前記撮像手段とが光学的に同一軸上にある、請求項２記載のインターフェース装置。
- 前記撮像手段は、広角のレンズ系を有し、前記画像投射手段と分離された位置に設置されている、請求項１または２記載のインターフェース装置。
- 前記投射方向調整手段は、レンズを有し、
前記レンズは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
請求項１から４のいずれか一項に記載のインターフェース装置。 - 前記レンズは、球面を有するレンズ支持体に取り付けられ、
前記レンズ支持体は、その周囲をリング状の支持部で支持され、
前記支持部は、前記レンズ支持体が回転可能となるように、その内側に少なくとも一対の駆動手段を有している、
請求項５記載のインターフェース装置。 - 前記投射方向調整手段は、ミラーを有し、
前記ミラーは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能である、
請求項１から４のいずれか一項に記載のインターフェース装置。 - 画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含み、
下記条件（２）を満たす、インターフェース装置の駆動方法。
条件（２）：前記インターフェース装置は、さらに、画像を変調する変調素子を有し、
前記変調素子は、面型の素子であって、
前記画像投射手段は、略円形の照射光を前記変調素子に照射可能なホモジナイザを有し、画像信号の変換により、画像の回転が行われる。
- 前記対象物が、人の部位の一部であり、
前記対象物認識工程において、前記撮像手段により、前記対象物の動きを認識し、
前記投射方向調整工程は、前記対象物認識工程において、前記対象物が前記撮像手段の画角から外れるように動くと予測される場合、前記撮像手段の画角から外れないように、前記対象物の動く方向に投射方向調整手段を制御して向ける工程を含み、
前記画像認識工程は、前記対象物に対して投射された検出光の画像の、前記対象物からの反射パターンを前記撮像手段で読み取ることにより、前記対象物の３次元計測を行う３次元計測工程を含み、
さらに、
前記対象物の状態を認識して、前記人の位置を感知し、前記人の位置に応じた最適な方向に画像を回転させる画像回転工程と、
前記画像投射手段から可視光の画像を投射する可視光画像投射工程とを含む、請求項８記載のインターフェース装置の駆動方法。 - 画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含み、
前記画像投射手段は、対象物を検出するための検出光を発する光源を含み、
前記撮像手段により、前記対象物の位置が認識され、
前記投射方向調整手段により、前記画像投射手段から投射される画像の投射方向を、前記 認識された対象物の位置に応じて移動可能とし、
前記画像投射手段により、前記対象物に前記検出光の画像が投射され、
前記撮像手段により、前記検出光の画像が認識され、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とが 制御され、かつ、前記撮像手段により認識された検出光の画像の状態に応じて、予め前記 状態に対し定められた所定の動作を行う信号が発せられ、
前記投射方向調整手段は、レンズを有し、
前記レンズは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能で あり、
前記レンズは、球面を有するレンズ支持体に取り付けられ、
前記レンズ支持体は、その周囲をリング状の支持部で支持され、
前記支持部は、前記レンズ支持体が回転可能となるように、その内側に少なくとも一対の 駆動手段を有しており、
下記条件（１）を満たす、インターフェース装置。
条件（１）：前記画像投射手段が、画像回転手段を有している。
- 画像投射手段と、撮像手段と、投射方向調整手段と、制御手段とを含むインターフェース 装置を用い、
前記撮像手段により、対象物の位置を認識する対象物認識工程と、
前記投射方向調整手段により、前記画像投射手段から投射する画像の投射方向を、前記認 識された対象物の位置に応じて移動可能とする投射方向調整工程と、
前記画像投射手段により、前記対象物に前記検出光の画像を投射する検出画像投射工程と 、
前記撮像手段により、前記検出光の画像を認識する画像認識工程と、
前記制御手段により、前記画像投射手段と、前記撮像手段と、前記投射方向調整手段とを 制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に 対し定められた所定の動作を行う信号を発する動作工程とを含み、
前記投射方向調整手段は、レンズを有し、
前記レンズは、前記画像投射手段に対する傾斜角を調整可能であるとともに、回転可能で あり、
前記レンズは、球面を有するレンズ支持体に取り付けられ、
前記レンズ支持体は、その周囲をリング状の支持部で支持され、
前記支持部は、前記レンズ支持体が回転可能となるように、その内側に少なくとも一対の 駆動手段を有しており、
下記条件（１）を満たす、インターフェース装置の駆動方法。
条件（１）：前記画像投射手段が、画像回転手段を有している。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012012159 | 2012-01-24 | ||
| JP2012012159 | 2012-01-24 | ||
| PCT/JP2012/073791 WO2013111376A1 (ja) | 2012-01-24 | 2012-09-18 | インターフェース装置およびインターフェース装置の駆動方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013111376A1 JPWO2013111376A1 (ja) | 2015-05-11 |
| JP6102751B2 true JP6102751B2 (ja) | 2017-03-29 |
Family
ID=48873125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013555102A Active JP6102751B2 (ja) | 2012-01-24 | 2012-09-18 | インターフェース装置およびインターフェース装置の駆動方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6102751B2 (ja) |
| WO (1) | WO2013111376A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015049866A1 (ja) * | 2013-10-02 | 2015-04-09 | 日本電気株式会社 | インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体 |
| JP6669068B2 (ja) * | 2014-08-27 | 2020-03-18 | ソニー株式会社 | 投射型表示装置 |
| US10216075B2 (en) | 2014-09-15 | 2019-02-26 | Hewlett-Packard Development Company, L.P. | Digital light projector having invisible light channel |
| CN106796386B (zh) * | 2014-10-03 | 2021-07-13 | 索尼公司 | 投影型显示装置 |
| EP3229469A1 (de) * | 2016-04-06 | 2017-10-11 | Fisba AG | Lichtmodul zur emission von licht und verfahren zum emittieren von sichtbarem und nicht-sichtbarem licht |
| KR102422245B1 (ko) * | 2020-08-03 | 2022-07-19 | 주식회사 다함 | 이끼벽 생육감시 제어시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4611932B2 (ja) * | 2006-05-17 | 2011-01-12 | 日本電信電話株式会社 | 移動体追従撮影投影装置 |
| JP4991458B2 (ja) * | 2007-09-04 | 2012-08-01 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
-
2012
- 2012-09-18 JP JP2013555102A patent/JP6102751B2/ja active Active
- 2012-09-18 WO PCT/JP2012/073791 patent/WO2013111376A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013111376A1 (ja) | 2013-08-01 |
| JPWO2013111376A1 (ja) | 2015-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8373678B2 (en) | Electronics device having projector module | |
| JP6102751B2 (ja) | インターフェース装置およびインターフェース装置の駆動方法 | |
| US8570372B2 (en) | Three-dimensional imager and projection device | |
| KR102461253B1 (ko) | 시선 추적기를 구비하는 투사형 디스플레이 장치 | |
| JP4829765B2 (ja) | 画像表示装置及び画像表示システム | |
| AU2014217524B2 (en) | Flexible room controls | |
| JP5971053B2 (ja) | 位置検出装置及び画像表示装置 | |
| WO2015045125A1 (ja) | 映像投射装置 | |
| JP2015111772A (ja) | 投影装置 | |
| JP6102750B2 (ja) | インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法 | |
| US20150109261A1 (en) | Projection apparatus | |
| JP2014170149A (ja) | プロジェクタ | |
| JP2014170136A (ja) | プロジェクタおよびプロジェクタ機能を有する電子機器 | |
| JP5437206B2 (ja) | 電子機器 | |
| TWI661233B (zh) | 點陣投影器結構，以及利用點陣投影器結構擷取圖像的方法 | |
| JP2008227883A (ja) | プロジェクタ | |
| JP6645588B2 (ja) | 表示システム | |
| WO2014016994A1 (ja) | インターフェース装置、プログラム、及び制御方法 | |
| JP2005062486A (ja) | 投射システム、投射装置、及び投射方法 | |
| CN115280217B (zh) | 显示装置 | |
| JP2018028579A (ja) | 表示装置および表示方法 | |
| JP2024084548A (ja) | 電子機器、画像処理方法及びプログラム | |
| JP2014145813A (ja) | プロジェクタ | |
| JP2016192799A (ja) | 位置検出装置及び画像表示装置 | |
| JP2018107489A (ja) | 入出力装置、情報共有方法及び情報共有プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160804 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6102751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |