JP2015204615A - 機器と移動デバイスとの間でインタラクトする方法及びシステム - Google Patents

Abstract

【課題】移動デバイスが多くの種類の機器とインタラクトする。【解決手段】まず移動デバイス１３０を用いて機器１１０を選択することによって、機器と移動デバイスとの間でインタラクトする。移動デバイスと機器との間に通信リンクが確立される。これに応じて、機器からのデータが移動デバイスにおいて受信される。次いで、機器と移動デバイスとはデータに従ってインタラクトする。機器は移動デバイスの視認可能範囲１４０内にある。【選択図】図１

Description

本発明は、包括的には、移動コンピューティングデバイスを用いて機器とインタラクトすることに関し、より詳細には、コンピュータービジョン及び拡張現実を用いてインタラクトすることに関する。

ユーザーが移動デバイスを用いて機器とインタラクトすることを望む際に、移動デバイスはその機器の性能及び機能を事前に知らない場合がある。これにより、移動デバイスと機器とが機能的にインタラクトする能力が制限される。一方、移動デバイスが機器の性能を知っている場合、移動デバイスは正しいコマンドをすぐに生成し、機器から受信したデータを解釈実行することができる。この動作を迅速に行うためには、データは移動デバイスにローカルに存在しなければならない。しかし、膨大な種類の機器を考慮すると、データが常にデバイス上に存在している可能性は低い。その場合、データはソースから取得する必要がある。

１つのあり得るソースは、ネットワークによって移動デバイスに接続されたデータベースサーバーである。しかし、いくつかの潜在用途において、そのようなネットワークは常に利用可能であるとは限らない。これは、ネットワークが利用可能であり、かつ移動デバイスがこのネットワークにアクセスすることを許可されているという前提で、ユーザーが将来インタラクトする予定の全ての機器を前もって知り、そのデータを事前にダウンロードする必要があることを意味する。この前提は、セキュリティ上の理由により常にそうであるとは限らない。

いくつかの用途において、コンピュータービジョン（ＣＶ）技法を用いてグラフィクス等の拡張現実（ＡＲ：augmented reality）コンテンツをデバイスにおいて重ね合わせ、移動デバイスと機器との間のインタラクションを容易にすることが有益である。この用途において、デバイスは、例えば、２次元カメラ、３次元深度スキャナー等からの感覚入力に基づいて取得された機器の画像において、機器を認識及び／又は区分化することができる必要がある。デバイスがそのようなコンピュータービジョン動作を行うことができるようになるには、機器又はその一部を一意に識別する或る特定のデータが存在しなくてはならない。多くの場合に、データは非常に機器に固有であり、ユーザーによって容易に解読することができない。ＣＶ技法による認識及びそれに続くインタラクションを容易にするデータは上記のように実現可能であるが、これは上記理由により問題になる場合がある。

ＣＶ／ＡＲインタラクションの成功を可能にするのに必要なデータの、別のあり得るソースは、ユーザーがデバイスを用いてデータを生成することである。これも問題になる。なぜかというと、デバイスのセンサーを用いてデータを正しく取得して、インタラクションを信頼できる方法で実行可能にすることが多くの場合に困難であり、これはコストと時間を大幅に増やす可能性があるからである。実際、多くの場合に、専門家がデータ生成を行う必要がある。さらに、この場合、各デバイスはデータの異なるコピーを含むので、これにより、インタラクションを行うときに各デバイスの動作が異なる場合がある。

更に別の方法は、タグ、例えば、クイックレスポンス（ＱＲ）コードを機器及びその一部に設置することである。通常そのようなタグはそれらのタグと関連付けられた機器を識別するのみである。これは、タグが機器の動作特性に関する固有の情報を欠いていることを意味する。手動でデバイスに情報を入力するのは時間を要する。さらに、そのようなタグは、或る特定の角度からしか正確に視認することができず、かつ、破れ及び汚れにより読み込むことができなくなりやすい。

工場等の現代設備は、多くの場合に非常に高度な製造機器を大量に備える。例えば、ＮＣフライス盤、レーザーカッター、及びロボットは、今日の工場において一般的である。保守技術者は工場ができるだけ長い稼働時間を達成することを保証する必要があり、彼らの作業にとって、機器と容易で直観的な方法でインタラクトできることは非常に有益である。例えば、保守技術者は機械の詳細な診断情報を受け取るか、又は機械のアクチュエーターを安全な場所へと操作することを望む場合がある。

そのようなインタラクションを可能にする１つのあり得る方法は、各産業機器に独自のインターフェース（すなわち、ディスプレイ及びインプット）を設けることであるが、これは各機器の販売コストを著しく上げる。さらに、いくつかの機器は小さすぎるか、又は直接見ることができない（例えば、プログラマブルロジックコントローラー）場合がある。タブレット、スマートフォン、及び拡張現実メガネ等の移動デバイスが普及した今、技術者は、自身が整備し得る全ての機器とインタラクトすることができるタイプの汎用移動デバイスを与えられる場合がある。しかし、汎用移動デバイスがどのようにしてそれほど多くの種類の機器とインタラクトすることができるかという問題が残る。

タブレットは、ディスプレイと、回路と、メモリと、バッテリーとを単一のユニットに備えた移動コンピューターである。タブレットは、カメラ、マイクロフォン、加速度計及びタッチセンサー式スクリーンを含むセンサーと、機器との通信及びネットワークへのアクセスを行う無線送受信機とを備える。

インタラクトに成功するために、移動デバイスは、次のうちの１つ又は複数に関する特定の知識を要する場合がある：
・アプリケーションプログラミングインターフェース（ＡＰＩ）によって呼び出し及び解釈実行される機械の機能及び返却可能データ。
・オペレーターが容易に機械を操作又は特定のデータを要求することを可能にする表示可能なユーザーインターフェース。
・オペレーターのデバイスが、受信するセンサーデータから機器を識別することを可能にする機器の詳細データ。
インタラクションを有効にするために、機器は、タブレットのユーザー及びカメラの視認可能範囲内にあると仮定する。

１つの特に有益な用途は、インターフェース又は診断データを機器のライブ画像の上に直接提供することである。ユーザーが移動デバイスを用いて、コンピュータービジョン（ＣＶ）及び拡張現実（ＡＲ）コンテンツを介して１つの機器又は機械とインタラクトすることを望む場合、移動デバイスは機器又は機器の一部を認識し、機器に対するデバイスの相対姿勢を抽出する手段が必要である。そのためには、移動デバイスが機器と信頼できる方法でインタラクトできるようにする或る特定のデータがデバイス上に存在する必要がある。

ＣＶ及びＡＲをサポートするデータは、ローカルに定めることができるが、これは機器のセットアップ時間を著しく延ばす場合がある。加えて、データは、スキャン技法、機器設定の変更、環境、及び他の多くの要因により不正確である場合がある。代替的に、データは、環境の差異に適応するように汎用性を向上させた従来方法によって予め定めることができる。姿勢及び状態のセットの画像記述子等の予め定められたデータは、ネットワーク接続されたデータベースから取得することができるが、無線ネットワークは産業環境においてセキュリティ及び信頼性の問題を有するので、これは常に可能とは限らない。

本発明の実施形態は、予め定められたデータを機器に記憶し、近距離無線通信（ＮＦＣ：near field communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷｉ−Ｆｉ（登録商標）等の狭域通信技法を介してデータを移動デバイスに通信することにより、従来技法における制限を克服する。これにより、移動デバイスのユーザーは機器とインタラクトして、予め定められたデータをデバイスに転送することができる。移動デバイスは、ユーザーが移動デバイスを介して機器とインタラクトすることを可能にするソフトウェアも備えることができる。

そのようなシステムは多くの利点を有する。まず、移動デバイスの構成及び性能を機器に指定し、それに対して機器が、その機器との機能的インタラクションを行うために正しく適応したデータを返信することで、多様な移動デバイスを用いて様々な機器とインタラクトすることができる。この場合のインタラクションは、例えば、機械のオン／オフ切替、アクチュエーターの操作、機械パラメーターの変更等の機械の多様な機能を動作させることを含むことができるし、あるいは、インタラクションは、多種の重要な動作データを機器から受信してユーザーに表示することで、ユーザーが機器のアクティビティ、例えば特定のタスクの完了に対する進捗を監視できるようになることを含むことができる。

更に別のインタラクションとして、ユーザーが移動デバイスを複数の機器に無線接続し、それらの複数の機器からインタラクションデータを取り込み、移動デバイスを用いてそのデバイスと機器との間、及び機器間のインタラクションを連携させるものがあり得る。機器とのインタラクションを指定する特定の機能は１つ又は複数の機器からもたらされる。

いくつかの実施形態では、ＣＶデータは、各センサーモダリティにつき１回、専門家によって生成することができる。これは、ユーザーにとって、最小セットアップ時間並びに最高の精度及び信頼性を意味する。利点として、ユーザーは、自身がどの機器とインタラクトするかを事前に知る必要がない。更なる利点として、移動デバイス以外の追加の機器が必要ない。

インタラクションは、機器から受信したデータのみを揮発性メモリに記憶し、特定のインタラクションのための機器から供給されるデータのみを受信するようにデバイスを制限することによって、セキュア（secure）にすることができる。

本発明の実施形態に係る機器及び移動デバイスのブロック図である。 本発明の実施形態に係る、図１の機器と移動デバイスとの間でインタラクトする方法の流れ図である。 機器の画像と、拡張現実が機器とインタラクトするのに十分な機械固有のグラフィックオーバーレイを表示している移動デバイスの概略図である。 本発明の実施形態に係る複数の機器とインタラクトしている移動デバイスの概略図である。

図１に示されるように、本発明の実施形態は、機器１１０及び機器とインタラクトする移動デバイス１３０を備える。機器は、コンピューター制御インターフェース１２０を備える。インターフェース１２０は、無線送受信機１１１、マイクロプロセッサ１１２、及びメモリ１１４を備える。機器は、例えば、フライス盤若しくはボール盤等の産業機械、工場の組立ラインの一部、又はロボットとすることができる。送受信機は、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、又は別のポイント間通信技術を用いることができる。マイクロプロセッサは、セキュアデジタル（ＳＤ）カードを備えたＡｒｄｕｉｎｏ（登録商標）のマイクロコントローラーとすることができる。ＳＤカードは、移動電話、デジタルカメラ、及びタブレットコンピューター等のポータブルデバイスにおいて使用する不揮発性メモリである。

移動デバイス１３０は、送受信機１３１、プロセッサ１３２、タッチセンサー式ディスプレイ１３３、メモリ１３４（例えば、ＳＤメモリカード）、並びにセンサー１３５、例えば、カメラ、マイクロフォン、及び加速度計も備える。機器と効果的及び効率的にインタラクトするために、機器はタブレットのユーザー及びカメラの視認可能範囲１４０内にある。

図２は、図１の機器１１０と移動デバイス１３０との間でインタラクトする方法のステップを示す。移動デバイスを用いて機器を選択する（２１０）。これを自動的に行う１つの方法は、機器の画像２１１を取得してから、コンピュータービジョンを用いて機器を識別することである。機器が選択された後、機器と移動デバイスとの間に通信リンクが確立される（２２０）。移動デバイスはこのリンクを用いて、機器にデータ２４１を要求する（２３０）ことができる。要求への応答として、機器は移動デバイスにデータを転送する（２４０）。

１つの実施形態では、機器の製造業者は、各潜在移動デバイスに単一の「マスター」アプリケーション（ＭＡＰＰ）を提供することができる。このＭＡＰＰは、製造業者がこの種の性能を有するように製作した機器を探索し、接続を確立し、必要なデータを全て要求するのに必要な機能性を全て有する。なお、データ要求は、デバイスと機器との間の接続において暗黙である場合があることに留意されたい。このデータは、デバイスと機器との間のインタラクションを容易にするのに用いられる多種多様なデータ片を含むことができる。これには、中でも、ＣＶデータ（例えば画像記述子又は３Ｄ ＣＡＤモデル）、ＡＲオーバーレイ、アプリケーションプログラマーインターフェース（ＡＰＩ）等が含まれる。

次に、移動デバイスを用いて機器を動作させる（２５０）ことができる。いくつかのデータは、汎用制御アプリケーションに用いることができる。他のデータは、機器固有とすることができる。

図３に示すように、機器の動作中、移動デバイスは機器３０１全体又はその一部を表示することができる。拡張現実（ＡＲ）コンテンツ３０２も表示することができる。ＡＲコンテンツは、機器を制御する仮想ボタン３０３を備えることができる。機器は、リアルタイムの動作状態及びステータス等をオーバーレイグラフィックスの一部としてフィードバックすることもできる。機器がカメラを備える場合、ユーザーは移動デバイスに表示される画像のシーケンスにおいて、機器の、例えばフライス工具の、例えば重要な内部動作を遠隔で観察し、それに応じて機器を操作することができる。

図４に示すように、別の実施形態において、ユーザーは移動デバイスを複数の機器に無線で接続し、これらの複数の機器からインタラクションデータを検索し、移動デバイスを用いてデバイスと機器との間のインタラクション及びそれらの機器間のインタラクションを連携させる（４００）。機器との間のインタラクションを指定する特定の機能は１つ又は複数の機器からもたらされる。

この種の用途が有益となり得る１つのシナリオは、ＣＮＣフライスマシンが移動デバイスを介して移動ロボットに、フライス工程が完了したこと、及び移動ロボットが、移動デバイスを介して供給されたＣＶ及び位置特定データを用いて、完成した被加工物を位置特定及び回収することができることをシグナリングすることである。

Claims (19)

1. 機器と移動デバイスとの間でインタラクトする方法であって、
   前記移動デバイスを用いて前記機器を選択するステップと、
   前記移動デバイスと前記機器との間に通信リンクを確立するステップと、
   前記機器からのデータを前記移動デバイスにおいて受信するステップと、
   前記データに従って、前記機器と移動デバイスとの間でインタラクトするステップであって、前記機器は、前記移動デバイスの視認可能範囲内にある、ステップと
   を含み、各前記ステップは前記移動デバイスのプロセッサが実行する、方法。
2. 前記機器は製造機械である、請求項１に記載の方法。
3. 前記機器は工場の組立ラインの全体又は一部である、請求項１に記載の方法。
4. 前記機器はロボットである、請求項１に記載の方法。
5. 前記機器の画像を前記移動デバイスに配置されたカメラを用いて取得することと、
   コンピュータービジョンを用いて、前記機器を該機器の識別情報に従って選択することと
   を更に含む、請求項１に記載の方法。
6. 前記データは前記機器を動作させるためのマスターアプリケーション（ＭＡＰＰ）を含む、請求項１に記載の方法。
7. 前記データはアプリケーションプログラミングインターフェース（ＡＰＩ）を含む、請求項１に記載の方法。
8. 前記データは拡張現実（ＡＲ）コンテンツを含み、前記方法は、前記ＡＲを前記移動デバイスに表示することを更に含む、請求項１に記載の方法。
9. 前記ＡＲコンテンツは、前記機器を動作させるための仮想ボタンを備える、請求項８に記載の方法。
10. 前記ＡＲコンテンツは前記機器のリアルタイム動作状態を含む、請求項８に記載の方法。
11. 前記データは前記機器のリアルタイム動作状態を含み、前記方法は、リアルタイムで動作する前記機器を前記移動デバイスに表示することを更に含む、請求項１に記載の方法。
12. 前記データは前記機器の全体又は一部の画像のシーケンスを含み、前記方法は、前記画像のシーケンスを前記移動デバイスに表示することを更に含む、請求項１に記載の方法。
13. 前記データは前記移動デバイスの揮発性メモリにのみ記憶される、請求項１に記載の方法。
14. 前記移動デバイスは複数の機器とインタラクトする、請求項１に記載の方法。
15. 前記移動デバイスによって、該移動デバイスの構成及び性能を前記機器に指定することと、
    前記データを前記移動デバイスの構成及び性能に適応させることと
    を更に含む、請求項１に記載の方法。
16. 機器と移動デバイスとの間でインタラクトするシステムであって、
    前記機器は、
    無線送受信機と、
    前記機器に関するデータを記憶するように構成される不揮発性メモリと、
    マイクロプロセッサと
    を備え、
    前記移動デバイスは、
    無線送受信機と、
    前記データを記憶するように構成される揮発性メモリと、
    タッチセンサー式スクリーンと、
    センサーと、
    プロセッサと
    を備え、
    前記プロセッサは、前記インタラクトの間、前記機器を選択し、前記移動デバイスと前記機器との間に通信リンクを確立し、前記機器からデータを受信し、前記データに従って前記機器と前記移動デバイスとの間でインタラクトする、
    システム。
17. 前記機器は製造機械である、請求項１６に記載のシステム。
18. 前記移動デバイスは、
    前記機器の画像を取得するように構成されるセンサー
    を更に備え、
    前記プロセッサは、コンピュータービジョンを用いて、前記機器を該機器の識別情報に基づいて選択する、請求項１６に記載のシステム。
19. 前記データは拡張現実（ＡＲ）コンテンツを含み、前記ＡＲコンテンツは前記機器のリアルタイム動作状態を含む、請求項１６に記載のシステム。

Images