[go: up one dir, main page]

JP6160154B2 - 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置 - Google Patents

頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置 Download PDF

Info

Publication number
JP6160154B2
JP6160154B2 JP2013059623A JP2013059623A JP6160154B2 JP 6160154 B2 JP6160154 B2 JP 6160154B2 JP 2013059623 A JP2013059623 A JP 2013059623A JP 2013059623 A JP2013059623 A JP 2013059623A JP 6160154 B2 JP6160154 B2 JP 6160154B2
Authority
JP
Japan
Prior art keywords
information
unit
user
head
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013059623A
Other languages
English (en)
Other versions
JP2014186434A (ja
Inventor
総志 木村
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013059623A priority Critical patent/JP6160154B2/ja
Priority to US14/185,692 priority patent/US9824496B2/en
Priority to CN201410108493.0A priority patent/CN104062759B/zh
Publication of JP2014186434A publication Critical patent/JP2014186434A/ja
Application granted granted Critical
Publication of JP6160154B2 publication Critical patent/JP6160154B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、頭部装着型表示装置を利用した情報表示システムに関する。
観察者の頭部に装着されて用いられることによって、観察者の視野領域に虚像を形成する頭部装着型表示装置が知られている(例えば、特許文献1および特許文献2参照)。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、頭部装着型表示装置を装着した状態において使用者の視界が遮断される非透過型の頭部装着型表示装置と、頭部装着型表示装置を装着した状態で使用者の視界が遮断されない透過型の頭部装着型表示装置とがある。
一方、現実環境にコンピューターを用いて情報を付加提示する拡張現実感(AR、Augmented Reality)と呼ばれる技術が知られている。拡張現実感を実現する方法として、画像認識による方法と、パススルー方式に基づく方法と、が知られている。画像認識による方法の場合、例えばWEBカメラ等で撮像された外景の画像を画像認識することで付加提示用の情報が生成される。パススルー方式に基づく方法の場合、例えばGPS等で取得された現在位置情報と、例えば電子コンパス等で取得された方位情報とを用いて付加提示用の情報が生成される。非透過型の頭部装着型表示装置では、外景の画像と、上記のようにして生成された付加提示用の情報とを重畳させた画像が、液晶ディスプレイに表示される。これにより、使用者は拡張現実感を体感することができる。透過型の頭部装着型表示装置では、上記のようにして生成された付加提示用の情報のみが液晶ディスプレイに表示される。使用者は、液晶ディスプレイを介して虚像として表示された付加提示用の情報と、目前のレンズを透過して見える実際の外景との両方を視認することで、拡張現実感を体感することができる。
そして、近年では、このような拡張現実感を利用したソーシャルネットワーキングサービス(SNS、Social Networking Service)が知られている。以降、拡張現実感を利用したソーシャルネットワーキングサービスを「AR−SNSサービス」とも呼ぶ。AR−SNSサービスを提供するサーバーは、様々なクライアント装置から送信されるタグ(公開の対象となるテキストや画像等)を記憶する記憶部を持つ。AR−SNSサービスのクライアント装置は、サーバーに対して、使用者の現在位置と使用者の向きとを特定できる情報(具体的には、外景の画像、または、現在位置情報と方位情報)を送信する。サーバーは、クライアント装置から受信した情報に基づいて、記憶部から当該現在位置に対応するタグを抽出し、クライアント装置へ送信する。クライアント装置は、サーバーから受信したタグを用いて付加提示用の情報を生成し、表示する。
特開平10−307698号公報 特開2011−134054号公報
上記のようなAR−SNSサービスを提供する情報表示システムにおいて、特定の使用者に限ってタグを公開するために、情報の公開に制限を設けたいという要望があった。また、上記のようなAR−SNSサービスを提供する情報表示システムにおいて、様々な使用者から送信されてサーバーに蓄積されるタグの内容は玉石混淆であり、中には誹謗中傷のような情報も含まれるのが実情である。誹謗中傷の類のタグは、意図せず目にした他の使用者に不快感を与えたり、特定の人物や店舗等に損害を与えたりするという問題があった。このため、情報表示システムにおける情報の蓄積に制限を設けたいという要望があった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の第1の形態は、
情報装置と、使用者に虚像を視認させる頭部装着型表示装置と、を備える情報表示システムであって、
前記情報装置は、
前記情報装置による公開の対象である対象情報を記憶する対象情報記憶部と、
前記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と、
抽出された前記対象情報を前記頭部装着型表示装置へ送信する送信部と、
を備え、
前記頭部装着型表示装置は、
前記情報装置に対して前記使用者情報を送信すると共に、前記情報装置から前記対象情報を取得する情報取得部と、
取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
を備え、
前記情報装置において、
前記対象情報記憶部には、さらに、前記対象情報に対応付けられて、前記対象情報の表示順を決定するための順序情報が記憶され、
前記抽出部は、前記対象情報記憶部から前記対象情報と共に前記順序情報を抽出し、
前記送信部は、抽出された前記対象情報と前記順序情報とを前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置において、
前記情報生成部は、複数の前記対象情報が取得された場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、
情報表示システムである。
本発明の第2の形態は、
使用者に虚像を視認させる頭部装着型表示装置であって、
前記使用者に関する情報である使用者情報に基づいて抽出された情報である対象情報を取得する情報取得部と、
取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
を備え、
前記情報生成部は、複数の前記対象情報が取得された場合に、該対象情報に対応付けられ、前記対象情報の表示順を決定するための順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、頭部装着型表示装置である。
本発明の第3の形態は、
使用者に虚像を視認させる頭部装着型表示装置であって、
前記頭部装着型表示装置による公開の対象である対象情報を記憶する対象情報記憶部と、
前記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と、
抽出された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
を備え、
前記対象情報記憶部には、さらに、前記対象情報に対応付けられて、前記対象情報の表示順を決定するための順序情報が記憶され、
前記抽出部は、前記対象情報記憶部から前記対象情報と共に前記順序情報を抽出し、
前記情報生成部は、複数の前記対象情報が抽出された場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、頭部装着型表示装置である。
本発明は、以下の形態としても実現可能である。
(1)本発明の一形態によれば、情報装置と、使用者に虚像を視認させる頭部装着型表示装置と、を備える情報表示システムが提供される。この情報表示システムは;前記情報装置は;前記情報装置による公開の対象である対象情報を記憶する対象情報記憶部と;前記頭部装着型表示装置の前記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と;抽出された前記対象情報を前記頭部装着型表示装置へ送信する送信部と、を備え;前記頭部装着型表示装置は;前記情報装置に対して前記使用者情報を送信すると共に、前記情報装置から前記対象情報を取得する情報取得部と;取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と;生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、を備える。この形態の情報表示システムによれば、情報装置は、頭部装着型表示装置の使用者に関する情報である使用者情報に基づいて、対象情報記憶部から対象情報を抽出し、頭部装着型表示装置へ送信する。そして、頭部装着型表示装置は、取得された対象情報を用いて付加提示用の情報を生成し、生成した付加提示用の情報を虚像として使用者に視認させる。このように、使用者情報を用いることで、AR−SNSサービスを提供する情報表示システムにおいて、情報の公開に制限を設けることができる。
(2)上記形態の情報表示システムにおいて;前記対象情報記憶部には、前記対象情報に対応付けられて、当該対象情報を抽出する際の条件である抽出許可条件が記憶され;前記抽出部は、前記頭部装着型表示装置から受信した前記使用者情報が、前記抽出許可条件を満たす場合に、当該対象情報を抽出してもよい。この形態の情報表示システムによれば、情報装置の抽出部は、抽出許可条件を満たす使用者情報を送信した頭部装着型表示装置の使用者に限って、対象情報を公開することができる。また、情報装置の対象情報記憶部において、抽出許可条件が対象情報に対して対応付けられて記憶されているため、対象情報ごとに、きめ細やかに公開の制限を設けることができる。
(3)上記形態の情報表示システムにおいて;前記使用者情報には、前記使用者によって設定されたアカウント名と、前記使用者によって設定された認証情報と、前記使用者のメールアドレスと、前記頭部装着型表示装置のネットワークアドレスと、前記頭部装着型表示装置のMACアドレスと、前記使用者が利用するサービスの提供元から提供されたアカウント名と、前記使用者が利用するサービスの提供元から提供された認証情報と、のうちの少なくとも1つが含まれていてもよい。この形態の情報表示システムによれば、情報装置の抽出部は、様々な使用者情報に基づいて、対象情報記憶部から対象情報を抽出することができる。
(4)上記形態の情報表示システムにおいて;前記情報装置において;前記対象情報記憶部には、さらに、前記対象情報に対応付けられて、前記対象情報の表示順を決定するための順序情報が記憶され;前記抽出部は、前記対象情報記憶部から前記対象情報と共に前記順序情報を抽出し;前記送信部は、抽出された前記対象情報と前記順序情報とを前記頭部装着型表示装置へ送信し;前記頭部装着型表示装置において;前記情報生成部は、複数の前記対象情報を受信した場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成してもよい。この形態の情報表示システムによれば、情報装置は、対象情報と共に対象情報の表示順を決定するための順序情報を頭部装着型表示装置へ送信する。頭部装着型表示装置は、複数の対象情報を受信した場合に、順序情報に従った順序で対象情報を重畳させて付加提示用の情報を生成する。このように、情報装置は、頭部装着型表示装置へ複数の対象情報を送信する場合に、どの対象情報を付加提示用の情報において上のレイヤーに表示させるか、すなわち、どの対象情報を使用者に対して視認させやすくするかを、順序情報を用いて指定することができる。
(5)上記形態の情報表示システムにおいて;前記情報装置は、さらに;前記対象情報記憶部の更新を許可するための更新許可条件を記憶する更新許可条件記憶部と;前記頭部装着型表示装置から受信した受信情報が前記更新許可条件を満たす場合に、前記受信情報を用いて前記対象情報記憶部を更新する更新部と、を備え;前記頭部装着型表示装置は、さらに;前記情報装置に対して、前記対象情報記憶部を更新するための情報を送信する更新要求部を備えていてもよい。この形態の情報表示システムによれば、情報装置の更新部は、頭部装着型表示装置から受信した受信情報が更新許可条件を満たす場合に、受信情報を用いて対象情報記憶部を更新する。このため、対象情報記憶部に蓄積される情報を、更新許可条件を満たす情報に限定することができる。この結果、AR−SNSサービスを提供する情報表示システムにおいて、情報の蓄積に制限を設けることができる。
(6)上記形態の情報表示システムにおいて;前記情報装置において;前記更新許可条件記憶部には、前記更新許可条件に対応付けられて、前記対象情報記憶部の更新を制限する制限領域を特定する制限領域情報が記憶され;前記更新部は;前記受信情報に含まれる前記頭部装着型表示装置の現在位置情報に対応する前記制限領域情報を求め;前記受信情報が、求めた前記制限領域情報に対応付けられている前記更新許可条件を満たす場合に、前記受信情報を用いて前記対象情報記憶部を更新し;前記頭部装着型表示装置において;前記更新要求部は、前記対象情報記憶部を更新するための情報と共に、前記頭部装着型表示装置の現在位置を表す前記現在位置情報を送信してもよい。この形態の情報表示システムによれば、情報装置の更新許可条件記憶部において、更新許可条件に対応付けられて、対象情報記憶部の更新を制限する制限領域を特定するための制限領域情報が記憶されている。このため、情報装置の更新部は、更新許可条件を、制限領域ごとに適用することができる。この結果、AR−SNSサービスを提供する情報表示システムにおいて、制限領域ごとに、きめ細やかに情報の蓄積に制限を設けることができる。
(7)上記形態の情報表示システムにおいて;前記更新許可条件には、前記対象情報記憶部の更新を許可する前記使用者を指定する条件と、前記対象情報記憶部の更新日時を指定する条件と、前記対象情報記憶部の更新を許可しない旨の条件と、のうちの少なくとも1つが含まれていてもよい。この形態の情報表示システムによれば、情報装置の更新部は、対象情報記憶部の更新を許可する使用者を指定する条件を用いて、対象情報記憶部に対する情報の蓄積を「使用者」単位で制限することができる。また、情報装置の更新部は、対象情報記憶部の更新日時を指定する条件を用いて、対象情報記憶部に対する情報の蓄積を「日時」単位で制限することができる。また、情報装置の更新部は、対象情報記憶部の更新を許可しない旨の条件を用いて、対象情報記憶部に対する情報の蓄積を全て制限することができる。
(8)本発明の一形態によれば、使用者に虚像を視認させる頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記頭部装着型表示装置の前記使用者に関する情報である使用者情報に基づいて抽出された情報である対象情報を取得する情報取得部と;取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と;生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者に関する情報である使用者情報に基づいて抽出された情報である対象情報を取得し、取得された対象情報を用いて使用者へ拡張現実感を提供するための付加提示用の情報を生成し、虚像として使用者に視認させることができる。この結果、AR−SNSサービスのクライアント装置である頭部装着型表示装置において、情報の公開に制限を設けることができる。
(9)本発明の一形態によれば、使用者に虚像を視認させる頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記頭部装着型表示装置による公開の対象である対象情報を記憶する対象情報記憶部と;前記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と;抽出された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と;生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、を備える。この形態の頭部装着型表示装置によれば、情報の公開に制限を設けたAR−SNSサービスを提供する頭部装着型表示装置を提供することができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、対象情報記憶部と、抽出部と、送信部と、情報取得部と、情報生成部と、画像表示部と、の6つの要素のうちの一部または全部の要素を備えたシステムとして実現可能である。すなわち、このシステムは、対象情報記憶部を有していてもよく、有していなくてもよい。また、このシステムは、抽出部を有していてもよく、有していなくてもよい。また、このシステムは、送信部を有していてもよく、有していなくてもよい。また、このシステムは、情報取得部を有していてもよく、有していなくてもよい。また、このシステムは、情報生成部を有していてもよく、有していなくてもよい。また、このシステムは、画像表示部を有していてもよく、有していなくてもよい。こうしたシステムは、例えば情報装置と頭部装着型表示装置とを備える情報表示システムとして実現できるが、情報表示システム以外の他の形態(例えば、頭部装着型表示装置単体での形態や、情報装置単体としての形態)としても実現可能である。前述した技術的特徴の一部または全部は、いずれも各形態の装置に適用することが可能である。
なお、本発明は、種々の態様で実現することが可能であり、例えば、情報表示システムおよび情報表示方法、情報装置、頭部装着型表示装置、これらの装置、方法、またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
本発明の一実施形態における情報表示システムの概略構成を示す説明図である。 タグテーブルの一例を示す説明図である。 更新条件テーブルの一例を示す説明図である。 本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 使用者に視認される虚像の一例を示す説明図である。 制限公開処理の手順を表すフローチャートである。 制限公開処理のステップS104について説明するための説明図である。 制限公開処理のステップS112によって使用者に視認される虚像の一例を示す説明図である。 タグテーブルの他の例を示す説明図である。 制限更新処理の手順を表すフローチャートである。 制限更新処理のステップS204について説明するための説明図である。 第2実施形態におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。
A.第1実施形態:
A−1.情報表示システムの構成:
図1は、本発明の一実施形態における情報表示システムの概略構成を示す説明図である。情報表示システム1000は、頭部装着型表示装置100と、サーバー300とを備えている。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認することができる光学透過型の頭部装着型表示装置である。サーバー300は、ヘッドマウントディスプレイ100に対して、拡張現実感(AR、Augmented Reality)を利用したソーシャルネットワーキングサービス(SNS、Social Networking Service)を提供する装置である。以降、拡張現実感を利用したソーシャルネットワーキングサービスを「AR−SNSサービス」とも呼ぶ。なお、サーバー300は、特許請求の範囲における「情報装置」に相当する。
ヘッドマウントディスプレイ100は、通信キャリアBSを介して無線通信でインターネットINTに接続されている。サーバー300は、有線通信でインターネットINTに接続されている。この結果、サーバー300とヘッドマウントディスプレイ100とは、互いにインターネットINTによって接続される。通信キャリアBSは、送受信アンテナや、無線基地局、交換局を含む。
AR−SNSサービスを提供するサーバー300は、様々なクライアント装置から送信されるタグ情報(公開の対象となるテキストや画像等のタグと、タグが関連付けられている位置情報を対応付けた情報)を記憶する記憶部を持つ。クライアント装置とは、サーバー300が提供するAR−SNSサービスのクライアントたる装置を意味し、図1に示すヘッドマウントディスプレイ100のほか、例えば、パーソナルコンピューターやスマートフォンがある。以降では、クライアント装置としてヘッドマウントディスプレイ100を用いた場合について説明する。
クライアント装置としてのヘッドマウントディスプレイ100は、サーバー300に対して、使用者の現在位置と使用者の向きとを特定できる情報を送信する。使用者の現在位置と使用者の向きとを特定できる情報とは、具体的には、外景の画像、または、現在位置情報と方位情報である。サーバー300は、ヘッドマウントディスプレイ100から受信した情報に基づいて、記憶部から当該現在位置に対応付けられているタグを抽出し、ヘッドマウントディスプレイ100へ送信する。ヘッドマウントディスプレイ100は、サーバー300から受信したタグを用いて付加提示用の情報を生成し、表示する。これにより、ヘッドマウントディスプレイ100の使用者は、自身の現在位置に対応したタグを虚像として視認することができる。
A−2.情報装置(サーバー)の構成:
サーバー300は、ROM310と、RAM320と、通信部330と、CPU340と、通信部350とを備えている。サーバー300が備える各部はバスにより相互に接続されている。通信部330は、インターネットINTを介してヘッドマウントディスプレイ100等の他のデバイスと通信を行う。CPU340は、ROM310や通信部350に格納されているコンピュータープログラムをRAM320に展開して実行することにより、抽出部342、更新部344として機能する。
抽出部342は、制限公開処理の制御主体となる。制限公開処理は、抽出部342が、タグ情報を記憶する記憶部(タグテーブル352)からタグを抽出し、抽出されたタグをヘッドマウントディスプレイ100に表示させる処理である。更新部344は、制限更新処理の制御主体となる。制限更新処理は、ヘッドマウントディスプレイ100から送信される情報を受信し、受信情報が条件を満たす場合に、当該受信情報を用いてタグ情報を記憶する記憶部(タグテーブル352)を更新する処理である。
通信部350は、例えば、ROM、RAM、DRAM、ハードディスク等によって構成されている。通信部350には、タグテーブル352と、更新条件テーブル354とが格納されている。
図2は、タグテーブル352の一例を示す説明図である。タグテーブル352は、サーバー300による公開の対象となる情報を記憶(蓄積)するための記憶部である。タグテーブル352は、識別子と、タグと、位置情報と、抽出許可条件とを含んでいる。識別子には、タグを一意に識別するための情報が格納される。
タグには、AR−SNSサービスにおいて公開の対象となる情報が格納される。公開の対象となる情報としては、例えば、テキストファイルや、アプリケーションデーターファイルや、静止画および動画を含む画像ファイルや、音声ファイル等がある。テキストファイルは、文字など文字コードによって表されるデーターが含まれるファイルである。アプリケーションデーターファイルは、文書作成ソフトウェア等、任意のソフトウェア(アプリケーション)によって作成されたデーターが含まれるファイルである。画像ファイルは、静止画や動画のデーターが含まれるファイルである。音声ファイルは、音声データーが含まれるファイルである。本実施形態では、上記のようなテキストファイル、アプリケーションデーターファイル、画像ファイル、音声ファイルによって表される内容(コンテンツ)を「タグ」とも呼ぶ。なお、タグには、ファイルそのものが格納されてもよいし、サーバー300の通信部350においてファイルが格納されている場所を表すファイルパスが格納されてもよい。
位置情報には、タグが関連付けられている実世界上における位置を特定するための情報が格納される。本実施形態では、実世界上における位置は、緯度と経度との組み合わせによって特定する。
抽出許可条件には、制限公開処理において、抽出部342がタグを抽出する際に用いる条件(換言すれば、タグの公開を許可するために用いる条件)が格納される。本実施形態では、抽出許可条件には、タグの公開を許可する使用者を指定する条件と、タグの公開日時を指定する条件と、が含まれる。タグの公開を許可する使用者を指定する条件としては、例えば、使用者情報の内容を指定する条件(タグ情報T2およびT6)、パスワード(認証情報)の内容を指定する条件(タグ情報T10)等がある。なお、使用者情報とは、ヘッドマウントディスプレイ100の使用者に関する情報である。タグの公開日時を指定する条件としては、例えば、タグの公開開始日と公開終了日との範囲を指定する条件(タグ情報T1)、タグの公開開始時刻と公開終了時刻との範囲を指定する条件(タグ情報T8)、タグの公開日と公開時刻との両方を指定する条件(タグ情報T9)等がある。また、図2の例では、抽出許可条件には、タグの公開を無制限に(換言すれば、全ての使用者に対して全ての日時で)許可する旨の条件(タグ情報T3〜T5、T7)も含まれている。
なお、識別子と、タグと、位置情報とを総称して「タグ情報」とも呼ぶ。タグは特許請求の範囲における「対象情報」に相当し、タグテーブル352は特許請求の範囲における「対象情報記憶部」に相当する。
図2の例では、タグ情報T1からは、実世界上における緯度XX.XXXX、経度XXX.XXXXで特定される位置に対して、識別子が001、テキストファイルAによって表されるタグが関連付けられていることがわかる。また、タグ情報T1のタグは、2013年2月21日から2013年2月26日までの間は公開が許可されることがわかる。同様に、タグ情報T2からは、実世界上における緯度XX.XXXX、経度XXX.XXXXで特定される位置に対して、識別子が002、テキストファイルBによって表されるタグが関連付けられていることがわかる。また、タグ情報T2のタグは、ヘッドマウントディスプレイ100の使用者を識別するための使用者情報が「XXX」である場合に、公開が許可されることがわかる。同様に、タグ情報T3からは、実世界上における緯度XX.XXXX、経度XXX.XXXXで特定される位置に対して、識別子が003、音声ファイルAによって表されるタグが関連付けられていることがわかる。また、タグ情報T3のタグは、無制限に公開が許可されることがわかる。なお、図2では、タグ情報T1〜T10の緯度経度(位置情報)と、使用者情報やパスワードを構成する文字列と、を「X」を用いて表した。図2における「X」は、任意の文字列を意味し、実際は、それぞれ異なる文字列が挿入される。
図3は、更新条件テーブル354の一例を示す説明図である。更新条件テーブル354は、タグテーブル352の更新を許可するための更新許可条件を記憶する記憶部である。更新条件テーブル354は、制限領域情報と、更新許可条件とを含んでいる。
制限領域情報には、実世界上における、タグテーブル352の更新を制限する制限領域を特定する情報が格納される。本実施形態では、実世界上における領域は、範囲指定された緯度と、範囲指定された経度との組み合わせによって特定する。
更新許可条件には、制限更新処理において、更新部344がタグテーブル352の更新を許可するために用いる条件が格納される。本実施形態では、更新許可条件には、タグテーブル352の更新を許可する使用者を指定する条件と、タグテーブル352の更新日時を指定する条件と、タグテーブル352の更新を許可しない旨の条件と、が含まれる。タグテーブル352の更新を許可する使用者を指定する条件としては、例えば、使用者情報の内容を指定する条件(条件C1)、パスワード(認証情報)の内容を指定する条件(条件C6)等がある。タグテーブル352の更新日時を指定する条件としては、例えば、タグテーブル352が更新可能となる日(開始日)と更新不可能となる日(終了日)との範囲を指定する条件(条件C7)、タグテーブル352が更新可能となる時刻(開始時刻)と更新不可能となる時刻(終了時刻)との範囲を指定する条件(条件C4)、タグテーブル352が更新可能となる日と更新可能となる時刻との両方を指定する条件(条件C3)等がある。タグテーブル352の更新を許可しない旨の条件としては、例えば、条件C2、C5がある。
以上より、制限領域情報は、更新許可条件の有効領域を特定するための情報として用いられることがわかる。なお、更新条件テーブル354は特許請求の範囲における「更新許可条件記憶部」に相当する。
図3の例では、条件C1からは、実世界上における緯度がXX.XXXXからXX.XXXXの範囲、かつ、経度がXXX.XXXXからXXX.XXXXの範囲で特定される領域では、ヘッドマウントディスプレイ100の使用者を識別するための使用者情報が「XXX」である場合に、タグテーブル352の更新が許可されることがわかる。同様に、条件C2からは、実世界上における緯度がXX.XXXXからXX.XXXXの範囲、かつ、経度がXXX.XXXXからXXX.XXXXの範囲で特定される領域では、どのような場合であっても、タグテーブル352の更新が許可されないことがわかる。同様に、条件C3からは、実世界上における緯度がXX.XXXXからXX.XXXXの範囲、かつ、経度がXXX.XXXXからXXX.XXXXの範囲で特定される領域では、2013年4月2日の10:00から12:00までの間は、タグテーブル352の更新が許可されることがわかる。なお、図3では、条件C1〜C7の緯度経度(制限領域情報)と、使用者情報やパスワードを構成する文字列と、を「X」を用いて表した。図3における「X」は、任意の文字列を意味し、実際は、それぞれ異なる文字列が挿入される。
A−3.頭部装着型表示装置(ヘッドマウントディスプレイ)の構成:
図4は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。ヘッドマウントディスプレイ100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、ヘッドマウントディスプレイ100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、ヘッドマウントディスプレイ100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ100の電源の状態を切り替える。
図5は、ヘッドマウントディスプレイ100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120には、ユーザー情報122が格納されている。ユーザー情報122には、ヘッドマウントディスプレイ100の使用者に関する情報が予め記憶されている。使用者に関する情報には、例えば、使用者によって設定されたアカウント名(ハンドルネーム)、使用者によって設定されたパスワード等の認証情報、使用者の氏名、使用者の住所、使用者の電話番号、使用者のメールアドレス、ヘッドヘッドマウントディスプレイ100のネットワークアドレス(例えばIPアドレス)、マウントディスプレイ100のMACアドレス、使用者が利用する種々のサービスの提供元から提供されたアカウント名、使用者が利用する種々のサービスの提供元から提供されたパスワード等の認証情報のうちの、少なくとも一部の情報が含まれる。なお、使用者が利用する種々のサービスの提供元から提供されたアカウント名、パスワード(認証情報)には、提供されたまま変更されていないものと、提供後に使用者によって変更されたものとの両方を含む。
電源130は、ヘッドマウントディスプレイ100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、無線LANやブルートゥースといった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、音声処理部170、表示制御部190、タグ取得部142、情報生成部144、更新要求部146として機能する。タグ取得部142は、制限公開処理において、サーバー300からタグを取得する。情報生成部144は、制限公開処理において、サーバー300から受信したタグを用いて、ヘッドマウントディスプレイ100の使用者へ拡張現実感を提供するための付加提示用の情報を生成する。更新要求部146は、制限更新処理において、サーバー300に対してタグテーブル352を更新するための情報を送信する。なお、タグ取得部142は特許請求の範囲における「情報取得部」に相当する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データーDataとを生成・送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデーターの画像データーDataとして、1フレームごとに記憶部120内のDRAMに格納する。一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、9軸センサー66とを備えている。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。
図6は、使用者に視認される虚像の一例を示す説明図である。図6(A)は、通常の表示処理中の使用者の視野VRを例示している。上述のようにして、ヘッドマウントディスプレイ100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像VIを視認する。図6(A)の例では、虚像VIは、ヘッドマウントディスプレイ100のOSの待ち受け画面である。また、使用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のヘッドマウントディスプレイ100の使用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VRのうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。
図6(B)は、制限公開処理中の使用者の視野VRを例示している。制限公開処理において、ヘッドマウントディスプレイ100の情報生成部144は、タグ取得部142によって取得されたタグを用いて、使用者が知覚する外景SCを拡張するための付加提示用の情報を生成する。付加提示用の情報の生成方法については、後述する。なお、「外景SCを拡張する」とは、使用者が眼にする現実環境、すなわち外景SCに対して情報を付加、削除、強調、減衰させることを意味する。情報生成部144は、生成した付加提示用の情報を、画像処理部160へ送信する。付加提示用の情報を受信した画像処理部160では、図5で説明した表示処理が実行される。これにより、使用者は、付加提示用の情報を虚像VIとして視認することができる。図6(B)の例では、虚像VIには、外景SCに含まれる現実の山の上に重なるように表示された吹き出し形状のタグTA1と、外景SCに含まれる木の前に表示されたノート形状のタグTA2およびTA3と、が含まれている。これにより、使用者は、外景SC上に吹き出しやノート形状のタグが付されているような感覚を得ることができる。
A−4.制限公開処理:
図7は、制限公開処理の手順を表すフローチャートである。制限公開処理は、抽出部342が、タグ情報を記憶する記憶部(タグテーブル352)からタグを抽出し、抽出されたタグをヘッドマウントディスプレイ100に表示させる処理である。なお、図7では、ヘッドマウントディスプレイ100とサーバー300とを1対1の関係で記載する。しかし、ヘッドマウントディスプレイ100とサーバー300とは、多対1の関係でもよく、多対多の関係でもよい。
ヘッドマウントディスプレイ100のタグ取得部142は、サーバー300に対して、現在位置情報と、方位情報と、使用者情報とが含まれたタグ取得要求を送信する(ステップS102)。ここで、情報生成部144は、現在位置情報として、GPSモジュール134(図5)により検出された制御部10の位置情報を使用することができる。情報生成部144は、方位情報として、9軸センサー66に含まれる地磁気センサー(図5)により検出された画像表示部20の向きを使用することができる。情報生成部144は、使用者情報として、ユーザー情報122(図5)に格納されている情報を使用することができる。
図8は、制限公開処理のステップS104について説明するための説明図である。図8では、タグテーブル352のタグを、タグに対応付けられている位置情報に従った位置にプロットしている。図7のステップS104において、タグ取得要求を受信したサーバー300の抽出部342は、表示範囲内のタグを抽出する。具体的には、抽出部342は、以下の手順a1〜a3を実行する。
(a1)抽出部342は、タグ取得要求に含まれる現在位置情報から、使用者の位置D1を決定する(図8)。
(a2)抽出部342は、タグ取得要求に含まれる方位情報から、使用者の向きD2を決定する(図8)。
(a3)抽出部342は、使用者の位置D1から使用者の向きD2に向かって延伸する所定の範囲SAに含まれる位置情報を持つタグを、タグテーブル352から抽出する。
上記手順a1〜a3の結果、図8の例では、タグ情報T5、T6、T7、T8が抽出される。なお、手順a3における「所定の範囲SA」は、任意に定めることができる。しかし、違和感のない拡張現実感を提供するために、所定の範囲SAは、使用者の視界の範囲と一致させることが好ましい。
図7のステップS106において、表示範囲内のタグを抽出した抽出部342は、さらに、抽出許可条件に合うタグを抽出する。具体的には、抽出部342は、ステップS104で抽出したタグの全てについて、それぞれ、以下の手順b1〜b4を実行する。
(b1)タグテーブル352において、タグに対応付けられている抽出許可条件を参照する。
(b2)抽出許可条件が、タグの公開を許可する使用者を指定する条件である場合、抽出部342は、タグ取得要求に含まれる使用者情報が、抽出許可条件を満たすか否かを判定する。使用者情報が抽出許可条件を満たす場合、抽出部342は、当該タグを抽出対象のタグとする。使用者情報が抽出許可条件を満たさない場合、抽出部342は、当該タグを破棄する。
(b3)抽出許可条件が、タグの公開日時を指定する条件である場合、抽出部342は、現在の日時が、抽出許可条件を満たすか否かを判定する。なお、抽出部342は、現在の日時をCPU340内部のシステム時計から取得することができる。現在の日時が抽出許可条件を満たす場合、抽出部342は、当該タグを抽出対象のタグとする。現在の日時が抽出許可条件を満たさない場合、抽出部342は、当該タグを破棄する。
(b4)抽出許可条件が、タグの公開を無制限に許可する旨の条件である場合、抽出部342は、当該タグを抽出対象のタグとする。
例えば、ステップS102のタグ取得要求が送信された送信日時が2013年2月26日の22:00であり、タグ取得要求に含まれる使用者情報が「XXXXX」である場合、上記手順b1〜b4の結果、ステップS104で抽出されたタグ情報T5、T6、T7、T8の全てが抽出対象となる。一方、ステップS102のタグ取得要求が送信された送信日時が2013年2月26日の17:00であり、タグ取得要求に含まれる使用者情報が「XX」である場合、上記手順b1〜b4の結果、ステップS104で抽出されたタグ情報のうち、T5、T7のみが抽出対象となる。
図7のステップS108において、通信部330は、抽出部342により抽出されたタグをヘッドマウントディスプレイ100へ送信する。なお、ステップS108において通信部330は、タグだけでなく、識別子や位置情報を含むタグ情報を送信してもよい。
ステップS110において、タグを受信したヘッドマウントディスプレイ100のタグ取得部142は、情報生成部144に付加提示用の情報を生成させる。具体的には、情報生成部144は、以下の手順c1〜c4を実行する。
(c1)情報生成部144は、タグ取得部142によって取得されたタグを記憶部120へ記憶させる。
(c2)情報生成部144は、記憶部120に記憶されたタグへのリンクを表すアイコンを生成する。アイコンは、タグの種類や、ヘッドマウントディスプレイ100の使用者の設定によって変更されてもいい。
(c3)情報生成部144は、手順c2で生成されたアイコンを任意の場所に配置し、他の部分には黒色のダミーデーターを配置した付加提示用の情報を生成する。なお、タグ取得部142が、タグと共に、当該タグに対応付けられた位置情報を取得している場合、情報生成部144は、取得された位置情報と、使用者の現在位置情報および方位情報とに基づいて、アイコンが配置される場所を決定してもよい。
(c4)タグ取得部142によって取得されたタグが複数ある場合、情報生成部144は、手順c1〜c3を繰り返す。そして、情報生成部144は、生成した複数の付加提示用の情報を各レイヤーとした合成画像を生成し、生成した合成画像を(最終的な)付加提示用の情報とする。
図7のステップS112において、情報生成部144は、生成した付加提示用の情報を表示させる。詳細は図6(B)で説明した通りである。
図9は、制限公開処理のステップS112によって使用者に視認される虚像の一例を示す説明図である。図9の例では、虚像VIには、外景SCに含まれる観覧車に表示されたタグTA5と、外景SCに含まれる門の横に表示されたタグTA6と、外景SCに含まれる門の中央付近に表示されたタグTA7と、外景SCに含まれるジェットコースターに表示されたタグTA8と、が含まれている。また、虚像VI(付加提示用の情報)における各タグの位置および大きさは、使用者の現在位置情報D1および方位情報D2を基準とした、各タグの位置情報の変化(図8)に応じて決定されている。すなわち、図8において使用者の現在位置情報D1の近くに対応付けられているタグTA7は、虚像VIの中心近傍に大きく表示され、図8において使用者の現在位置情報D1の遠くに対応付けられているタグTA5やタグTA8は、虚像VIの端部に小さく表示される。このようにすれば、ヘッドマウントディスプレイ100の使用者は、タグが対応付けられている位置を感覚的に把握することができる。
以上のように、第1実施形態の制限公開処理によれば、サーバー300(情報装置)の抽出部342は、ヘッドマウントディスプレイ100(頭部装着型表示装置)の使用者に関する情報である使用者情報に基づいて、タグテーブル352(対象情報記憶部)からタグ(対象情報)を抽出し、ヘッドマウントディスプレイ100へ送信する。そして、ヘッドマウントディスプレイ100は、取得されたタグを用いて付加提示用の情報を生成し、生成した付加提示用の情報を虚像VIとして使用者に視認させる。このように、サーバー300の抽出部342は、抽出許可条件を満たす使用者情報を送信したヘッドマウントディスプレイ100の使用者に限って、タグを公開することができる。このため、AR−SNSサービスを提供する情報表示システムにおいて、情報の公開に制限を設けることができる。
さらに、サーバー300(情報装置)の抽出部342は、タグの公開を許可する使用者を指定する条件を用いて、情報表示システム1000におけるタグの公開を「使用者」単位で制限することができる。また、サーバー300の抽出部342は、タグの公開日時を指定する条件を用いて、情報表示システム1000におけるタグの公開を「日時」単位で制限することができる。
さらに、サーバー300(情報装置)のタグテーブル352(対象情報記憶部)において、抽出許可条件がタグ(対象情報)に対して対応付けられて記憶されているため、タグごとに、きめ細やかに公開の制限を設けることができる。
A−4−1.タグテーブル352のバリエーション:
図10は、タグテーブル352の他の例を示す説明図である。図10(A)は、タグテーブル352の第1のバリエーションを示す説明図である。図2に示すタグテーブル352との違いは、識別子と、タグと、位置情報と、抽出許可条件とに加えて、さらに重要度を備える点である。重要度には、タグの重要度が格納される。重要度の値は、例えば、使用者がタグ情報をタグテーブル352にアップロードする際に設定することができる。例えば、図10(A)の例では、タグ情報T1の重要度は「高」であることがわかる。同様に、タグ情報T2の重要度は「中」であることが、タグ情報T3の重要度は「緊急」であることがわかる。なお、重要度は、図10のような表現方法を用いてもよいし、アルファベットや数字に重要度を対応付けてもよい。重要度は特許請求の範囲における「順序情報」に相当する。
重要度は、ヘッドマウントディスプレイ100においてタグが表示される順序を決定するために用いられる。制限公開処理(図7)のステップS108において、サーバー300の抽出部342は、抽出したタグと共に、抽出したタグに対応付けられている重要度をヘッドマウントディスプレイ100へ送信する。ステップS110において、ヘッドマウントディスプレイ100の情報生成部144は、受信した重要度に従った順序で受信したタグを重畳させて、付加提示用の情報を生成する。具体的には、情報生成部144は、付加提示用の情報を生成する手順c4において、生成した複数の付加提示用の情報を各レイヤーとした合成画像を生成する際に、重要度の高いタグによって生成された付加提示用の情報を上位のレイヤーに配置する。
図10(B)は、タグテーブル352の第2のバリエーションを示す説明図である。図2に示すタグテーブル352との違いは、識別子と、タグと、位置情報と、抽出許可条件とに加えて、さらに同意数を備える点である。同意数には、タグに対する使用者からの評価が格納される。同意数の値は、例えば、タグを閲覧した使用者が、ボタン押下等の何らかの操作を行った場合にインクリメントされる。すなわち、同意数の値が大きければ大きいほど、当該タグに同意した使用者の数が多いことがわかる。例えば、図10(B)の例では、タグ情報T1の同意数は「8」であることがわかる。同様に、タグ情報T2の同意数は「15」であることが、タグ情報T3の同意数は「243」であることがわかる。なお、同意数は、図10のような表現方法を用いてもよいし、アルファベットや数字に同意数を対応付けてもよい。同意数は特許請求の範囲における「順序情報」に相当する。
同意数は、ヘッドマウントディスプレイ100においてタグが表示される順序を決定するために用いられる。制限公開処理(図7)のステップS108において、サーバー300の抽出部342は、抽出したタグと共に、抽出したタグに対応付けられている同意数をヘッドマウントディスプレイ100へ送信する。ステップS110において、ヘッドマウントディスプレイ100の情報生成部144は、受信した同意数に従った順序で受信したタグを重畳させて、付加提示用の情報を生成する。具体的には、情報生成部144は、付加提示用の情報を生成する手順c4において、生成した複数の付加提示用の情報を各レイヤーとした合成画像を生成する際に、同意数の多いタグによって生成された付加提示用の情報を上位のレイヤーに配置する。
以上のように、タグテーブル352の第1および第2のバリエーションを用いた制限公開処理によれば、サーバー300(情報装置)は、タグ(対象情報)と共にタグの表示順を決定するための重要度または同意数(順序情報)をヘッドマウントディスプレイ100(頭部装着型表示装置)へ送信する。ヘッドマウントディスプレイ100では、複数のタグを受信した場合に、順序情報に従った順序でタグを重畳させて付加提示用の情報を生成する。このように、サーバー300は、ヘッドマウントディスプレイ100へ複数のタグを送信する場合に、どのタグを付加提示用の情報において上のレイヤーに表示させるか、すなわち、どのタグを使用者に対して視認させやすくするかを、順序情報を用いて指定することができる。
A−5.制限更新処理:
図11は、制限更新処理の手順を表すフローチャートである。制限更新処理は、クライアント装置(ヘッドマウントディスプレイ100)から送信される情報を受信し、受信情報が条件を満たす場合に、当該受信情報を用いてタグ情報を記憶する記憶部(タグテーブル352)を更新する処理である。なお、図11では、ヘッドマウントディスプレイ100とサーバー300とを1対1の関係で記載する。しかし、ヘッドマウントディスプレイ100とサーバー300とは、多対1の関係でもよく、多対多の関係でもよい。
ヘッドマウントディスプレイ100の更新要求部146は、サーバー300に対して、現在位置情報と、タグと、使用者情報とが含まれたタグ書込要求を送信する(ステップS202)。現在位置情報と使用者情報については図7のステップS102と同様である。また、タグは、ヘッドマウントディスプレイ100の使用者によって指定された公開の対象となる情報であり、テキストファイル、アプリケーションデーターファイル、静止画や動画を含む画像ファイル、音声ファイル等を含む。
図12は、制限更新処理のステップS204について説明するための説明図である。図12では、更新条件テーブル354の制限領域情報で指定される制限領域(すなわち、更新許可条件の有効領域)を破線で表している。また、タグテーブル352のタグを、タグに対応付けられている位置情報に従った位置にプロットしている。図12のステップS204において、タグ書込要求を受信したサーバー300の更新部344は、タグ書込要求を送信したヘッドマウントディスプレイ100の位置が、制限領域に含まれるか否かを判定する。具体的には、更新部344は、以下の手順d1、d2を実行する。
(d1)更新部344は、タグ書込要求に含まれる現在位置情報から、使用者の位置D1を決定する(図12)。
(d2)更新部344は、使用者の位置D1が、更新条件テーブル354の制限領域情報に規定されている制限領域C1〜C7の範囲内であるか否かを判定する(図12)。
ヘッドマウントディスプレイ100の位置が制限領域C1〜C7の範囲内でない場合、更新部344は、受信したタグをタグテーブル352に書き込む(ステップS206)。具体的には、更新部344は、タグ書込要求に含まれるタグを用いて、タグテーブル352のタグを更新する。同様に、更新部344は、タグ書込要求に含まれる現在位置情報を用いてタグテーブル352の位置情報を更新し、システム的に割り振った一意な識別子を用いて識別子を更新する。なお、タグ書込要求にタグの抽出許可条件が含まれる場合、更新部344は、タグテーブル352の抽出許可条件を更新する。
一方、ヘッドマウントディスプレイ100の位置が制限領域C1〜C7の範囲内に含まれる場合、更新部344は、受信したタグのうち、更新許可条件に合うタグをタグテーブル352に書き込む(ステップS208)。具体的には、更新部344は、以下の手順e1〜e4を実行する。
(e1)更新条件テーブル354において、ヘッドマウントディスプレイ100が位置する制限領域(上記手順d2で求めた)に対応付けられている更新許可条件を参照する。
(e2)更新許可条件が、タグテーブル352の更新を許可する使用者を指定する条件である場合、更新部344は、タグ書込要求に含まれる使用者情報が、更新許可条件を満たすか否かを判定する。使用者情報が更新許可条件を満たす場合、更新部344は、受信したタグ書込要求に含まれるタグを、タグテーブル352に書き込む。詳細は、ステップS206と同様である。使用者情報が更新許可条件を満たさない場合、更新部344は、当該タグ書込要求を破棄する。
(e3)更新許可条件が、タグテーブル352の更新日時を指定する条件である場合、更新部344は、現在の日時が、更新許可条件を満たすか否かを判定する。なお、更新部344は、現在の日時をCPU340内部のシステム時計から取得することができる。現在の日時が更新許可条件を満たす場合、更新部344は、受信したタグ書込要求に含まれるタグを、タグテーブル352に書き込む。詳細は、ステップS206と同様である。現在の日時が更新許可条件を満たさない場合、更新部344は、当該タグ書込要求を破棄する。
(e4)更新許可条件が、タグテーブル352の更新を許可しない旨の条件である場合、更新部344は、当該タグ書込要求を破棄する。
図11のステップS210において、更新部344は、処理結果をヘッドマウントディスプレイ100へ送信する。処理結果を受信したヘッドマウントディスプレイ100の更新要求部146は、処理結果を使用者へ通知するための通知画面を生成し、画像処理部160へ送信する。画像処理部160によって図5で説明した表示処理がされることにより、ヘッドマウントディスプレイ100の使用者は、通知画面を虚像VIとして視認することができる。
以上のように、第1実施形態の制限更新処理によれば、サーバー300(情報装置)の更新部344は、ヘッドマウントディスプレイ100(頭部装着型表示装置)から受信したタグ書込要求(受信情報)が更新許可条件を満たす場合に、タグ書込要求を用いてタグテーブル352(対象情報記憶部)を更新する。このため、タグテーブル352に蓄積されるタグ(情報)を、更新許可条件を満たす情報に限定することができる。この結果、AR−SNSサービスを提供する情報表示システム1000において、情報の蓄積に制限を設けることができる。
さらに、サーバー300(情報装置)の更新部344は、タグテーブル352(対象情報記憶部)の更新を許可する使用者を指定する条件を用いて、タグテーブル352に対する情報の蓄積を「使用者」単位で制限することができる。また、サーバー300の更新部344は、タグテーブル352の更新日時を指定する条件を用いて、タグテーブル352に対する情報の蓄積を「日時」単位で制限することができる。また、サーバー300の更新部344は、タグテーブル352の更新を許可しない旨の条件を用いて、タグテーブル352に対する情報の蓄積を全て制限することができる。
さらに、サーバー300(情報装置)の更新条件テーブル354(更新条件記憶)において、更新許可条件に対応付けられて、タグテーブル352(対象情報記憶部)の更新を制限する制限領域を特定するための制限領域情報が記憶されている。このため、サーバー300の更新部344は、更新許可条件を、制限領域ごとに適用することができる。この結果、AR−SNSサービスを提供する情報表示システム1000において、制限領域ごとに、きめ細やかに情報の蓄積に制限を設けることができる。
B.第2実施形態:
本発明の第2実施形態では、情報表示システムを単一の頭部装着型表示装置のみで実施する構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
B−1.情報表示システムの構成:
第2実施形態の情報表示システムは、ヘッドマウントディスプレイを備えている。図1に示した第1実施形態との違いは、サーバー300を備えていない点である。
B−2.頭部装着型表示装置(ヘッドマウントディスプレイ)の構成:
図13は、第2実施形態におけるヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。図5に示した第1実施形態との違いは、制御部10に代えて制御部10aを備える点である。制御部10aは、記憶部120に代えて記憶部120aを備え、CPU140に代えてCPU140aを備えている。
記憶部120aは、ユーザー情報122に加えて、さらにタグテーブル124と更新条件テーブル126とを備えている。タグテーブル124の構成は、図2に示したタグテーブル352と同様である。更新条件テーブル126の構成は、図3に示した更新条件テーブル354と同様である。
CPU140aは、OS150と、画像処理部160と、音声処理部170と、表示制御部190と、タグ取得部142と、情報生成部144と、更新要求部146とに加えて、抽出部148と、更新部149とを備えている。抽出部148の機能および動作は、図1に示した抽出部342と同様である。ただし、抽出部148は、タグテーブル124を参照する。更新部149の機能および動作は、図1に示した更新部344と同様である。ただし、更新部149は、更新条件テーブル126を参照し、タグテーブル124を更新対象とする。
B−3.制限公開処理:
第2実施形態における制限公開処理は、図7に示した「A−4.制限公開処理」と同様である。ただし、第2実施形態における制限公開処理の制御主体は、抽出部148となる。
B−4.制限更新処理:
第2実施形態における制限更新処理は、図11に示した「A−5.制限更新処理」と同様である。ただし、第2実施形態における制限公開処理の制御主体は、更新部149となる。
以上のように、第2実施形態においても、第1実施形態と同様の効果を得ることができる。また、上記第2実施形態によれば、単一のヘッドマウントディスプレイ100a(頭部装着型表示装置)において、第1実施形態の情報表示システム1000と同様のサービスを使用者に対して提供することができる。
C.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、情報表示システムの構成について例示した。しかし、情報表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
例えば、情報表示システムは、ヘッドマウントディスプレイと、サーバーとを備える構成としたが、しかし、ヘッドマウントディスプレイとサーバーとは、多対1の関係でもよく、多対多の関係でもよい。また、AR−SNSサービスの提供を受けるクライアント装置は、ヘッドマウントディスプレイ以外の種々の装置、例えば、パーソナルコンピューター、スマートフォン、携帯電話、カーナビゲーションシステム、PDA(Personal Digital Assistant)等であってもよい。
例えば、サーバーが備える抽出部、更新部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
・変形例2:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図5に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、図5に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
図14は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図14(A)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20bが、右光学像表示部26に代えて右光学像表示部26bを備える点と、左光学像表示部28に代えて左光学像表示部28bを備える点である。右光学像表示部26bは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28bは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図14(B)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20cが、右光学像表示部26に代えて右光学像表示部26cを備える点と、左光学像表示部28に代えて左光学像表示部28cを備える点である。右光学像表示部26cは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28cは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
例えば、画像処理部、表示制御部、タグ取得部、情報生成部、更新要求部、抽出部、更新部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
・変形例3:
上記実施形態では、タグテーブル(対象情報記憶部)および更新条件テーブル(更新許可条件記憶部)の一例を示した。しかし、これらのテーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、これらのテーブルは、複数のテーブルに分割して正規化してもよい。なお、「フィールド」とは、データベースフィールド(レコードにデーターを入力する際の基本単位)を意味する。
例えば、タグテーブルにおいて、抽出許可条件はタグに対して1対1に対応付けられて記憶されるものとしたが、抽出許可条件は、複数のタグに関連付けられて記憶されていてもよい。
例えば、タグテーブルにおいて、図2に示したフィールド以外の他のフィールドを備えていてもよい。例えば、タグの用途を表す「用途」フィールドを備えていてもよい。また、用途フィールドを用いた新たな抽出許可条件を設けてもよい。
例えば、更新条件テーブルにおいて、図3に示したフィールド以外の他のフィールドを備えていてもよい。例えば、タグテーブルを更新可能なデバイスの種類を規定する「デバイス種類」フィールドを備えていてもよい。
図2に例示した抽出許可条件の内容、および、図3に例示した更新許可条件の内容は、あくまで一例であり、種々の変形が可能である。抽出許可条件の「タグの公開を許可する使用者を指定する条件」として、例えば、使用者の身長が所定の閾値を超えている場合、という条件を使用してもよい。この場合、ヘッドマウントディスプレイに高度計を内蔵する構成とし、制限公開処理(図7)のステップS102において、ヘッドマウントディスプレイは、タグ取得要求と共に高度計の測定値を送信することができる。このようにすれば、使用者の身長に応じてタグの表示を変えることができる。また、使用者の身長から当該使用者が大人か子供かを推定することができる。また、例えば、使用者の脈拍や体温等が所定の閾値を超えている場合、という条件を使用してもよい。この場合、ヘッドマウントディスプレイに脈拍計や体温計を内蔵する構成とし、制限公開処理(図7)のステップS102において、ヘッドマウントディスプレイは、タグ取得要求と共に脈拍計や体温計の測定値を送信することができる。このようにすれば、使用者の健康状態に応じてタグの表示を変えることができる。
・変形例4:
上記実施形態では、ユーザー情報の一例を示した。しかし、ユーザー情報は、種々の変形が可能である。例えば、一部の項目を省略してもよいし、更なる他の項目を追加してもよい。
例えば、認証情報としてパスワードを用いることとしたが、認証情報としては、サイン、指紋認証に用いる指紋読み取り情報、手のひら静脈認証に用いる静脈読み取り情報、声紋認証に用いる声紋読み取り情報、網膜認証に用いる網膜読み取り情報、ディジタル証明書、ワンタイムパスワード等、種々の情報を採用することができる。
・変形例5:
上記実施形態(図7)では、制限公開処理の一例を示した。しかし、上記制限公開処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、制限公開処理では、ヘッドマウントディスプレイの現在位置情報と方位情報とからタグを抽出するパススルー方式に基づくAR−SNSサービスを例示して説明した。しかし、ヘッドマウントディスプレイの使用者の視界方向の画像を画像認識してタグを抽出する画像認識による方法においても、制限公開処理を実行することができる。この場合、サーバーの抽出部は、現在位置情報と方位情報に代えて、使用者の視界方向の画像を受信し、受信した視界方向の画像に基づいて、タグテーブルからタグを抽出する。そして、抽出部は、抽出したタグに対応付けられている抽出許可条件を用いて、同様の処理を行うことができる。
例えば、ステップS110において、ヘッドマウントディスプレイの情報生成部は、付加提示用の情報の生成手順c1〜c4のうち、手順c2において生成するアイコンの色を、タグの重要度やタグの同意数に応じて変更してもよい。
ステップS112において、情報生成部が付加提示用の情報を生成する方法の一例を挙げた。しかし、上記で説明した方法(使用者の現在位置情報D1および方位情報D2を基準として付加提示用の情報における各タグの位置および大きさを変更する方法)はあくまで一例であり、種々の変更が可能である。例えば、画像表示部に対して、使用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得するカメラを設ける。情報生成部は、カメラにより取得された外景画像を画像認識して、タグを配置する位置とタグの大きさとを決定してもよい。この場合、情報生成部は、例えば、建物のドアや門扉を画像認識して、ドアや門扉に重畳させるような位置に、または、ドアや門扉の近傍にあたる位置に対してタグを配置してもよい。また、情報生成部は、例えば、道路標識や店舗の看板を画像認識して、標識や看板に重畳させるような位置に、または、標識や看板の近傍にあたる位置に対してタグを配置してもよい。また、情報生成部は、山やビルと空との境界を画像認識して、この境界に重畳させるような位置に、または、境界の近傍にあたる位置に対してタグを配置してもよい。
例えば、画像表示部または制御部に対して、近距離無線通信または中距離無線通信を可能とする無線通信インターフェイスを備える構成とする。この無線通信インターフェイスは、外界の門扉、ドア、アーチ等に内蔵されている近距離無線通信チップまたは中距離無線通信チップに記憶されている情報を読み取る。ステップS112において、情報生成部は、無線通信インターフェイスによる読み取り結果に応じて、付加提示用の情報におけるタグの表示有無、タグの位置、タグの大きさ等を変更してもよい。そうすれば、外界の門扉、ドア、アーチ等の所有者(以降、単に「所有者」と呼ぶ)は、タグを公開したくない場合はチップにその旨を記憶させておけばよく、タグを限定的に公開したい場合もチップにその旨を記憶させておけばよい。すなわち、所有者の意思で以て、手軽にタグの公開可否を制限することができる。
・変形例6:
上記実施形態では、制限更新処理の一例を示した。しかし、上記制限更新処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、ステップS210の処理結果の送信ステップと、ステップS212の処理結果の表示ステップとは、省略してもよい。
例えば、上記実施形態の制限更新処理では、タグを書き込むことができない場所(更新条件テーブルの更新許可条件が「許可しない」に設定されている場所)をヘッドマウントディスプレイの使用者に対して通知する処理については言及していない。しかし、サーバーは、ヘッドマウントディスプレイの現在位置情報に基づいて、ヘッドマウントディスプレイに対して、タグを書き込むことができない場所に入ったことや、タグを書き込むことができない場所が近いことおよびその方向等を通知してもよい。通知の態様は、タグとして表示させてもよく、音声で案内されてもよい。
・変形例7:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
110…入力情報取得部
100…ヘッドマウントディスプレイ(頭部装着型表示装置)
120…記憶部
122…ユーザー情報
124…タグテーブル(対象情報記憶部)
126…更新条件テーブル(更新許可条件記憶部)
130…電源
140…CPU
142…タグ取得部(情報取得部)
144…情報生成部(情報生成部)
146…更新要求部
148…抽出部(抽出部)
149…更新部(更新部)
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…サーバー(情報装置)
330…通信部
340…CPU
342…抽出部(抽出部)
344…更新部(更新部)
350…通信部
352…タグテーブル(対象情報記憶部)
354…更新条件テーブル(更新許可条件記憶部)
1000…情報表示システム
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
RE…右眼
LE…左眼
VI…虚像
ER…端部
EL…端部
AP…先端部
VR…視野
C1〜C7…条件
T1〜T10…タグ情報
TA5〜TA8…タグ

Claims (9)

  1. 情報装置と、使用者に虚像を視認させる頭部装着型表示装置と、を備える情報表示システムであって、
    前記情報装置は、
    前記情報装置による公開の対象である対象情報を記憶する対象情報記憶部と、
    記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と、
    抽出された前記対象情報を前記頭部装着型表示装置へ送信する送信部と、
    を備え、
    前記頭部装着型表示装置は、
    前記情報装置に対して前記使用者情報を送信すると共に、前記情報装置から前記対象情報を取得する情報取得部と、
    取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
    生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
    を備え
    前記情報装置において、
    前記対象情報記憶部には、さらに、前記対象情報に対応付けられて、前記対象情報の表示順を決定するための順序情報が記憶され、
    前記抽出部は、前記対象情報記憶部から前記対象情報と共に前記順序情報を抽出し、
    前記送信部は、抽出された前記対象情報と前記順序情報とを前記頭部装着型表示装置へ送信し、
    前記頭部装着型表示装置において、
    前記情報生成部は、複数の前記対象情報が取得された場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、
    情報表示システム。
  2. 請求項1に記載の情報表示システムであって、
    前記対象情報記憶部には、前記対象情報に対応付けられて、当該対象情報を抽出する際の条件である抽出許可条件が記憶され、
    前記抽出部は、前記頭部装着型表示装置から受信した前記使用者情報が、前記抽出許可条件を満たす場合に、当該対象情報を抽出する、情報表示システム。
  3. 請求項1または請求項2に記載の情報表示システムであって、
    前記使用者情報には、前記使用者によって設定されたアカウント名と、前記使用者によって設定された認証情報と、前記使用者のメールアドレスと、前記頭部装着型表示装置のネットワークアドレスと、前記頭部装着型表示装置のMACアドレスと、前記使用者が利用するサービスの提供元から提供されたアカウント名と、前記使用者が利用するサービスの提供元から提供された認証情報と、のうちの少なくとも1つが含まれる、情報表示システム。
  4. 請求項1から請求項のいずれか一項に記載の情報表示システムであって、
    前記情報装置は、さらに、
    前記対象情報記憶部の更新を許可するための更新許可条件を記憶する更新許可条件記憶部と、
    前記頭部装着型表示装置から受信した受信情報が前記更新許可条件を満たす場合に、前記受信情報を用いて前記対象情報記憶部を更新する更新部と、
    を備え、
    前記頭部装着型表示装置は、さらに、
    前記情報装置に対して、前記対象情報記憶部を更新するための情報を送信する更新要求部を備える、情報表示システム。
  5. 請求項に記載の情報表示システムであって、
    前記情報装置において、
    前記更新許可条件記憶部には、前記更新許可条件に対応付けられて、前記対象情報記憶部の更新を制限する制限領域を特定する制限領域情報が記憶され、
    前記更新部は、
    前記受信情報に含まれる前記頭部装着型表示装置の現在位置情報に対応する前記制限領域情報を求め、
    前記受信情報が、求めた前記制限領域情報に対応付けられている前記更新許可条件を満たす場合に、前記受信情報を用いて前記対象情報記憶部を更新し、
    前記頭部装着型表示装置において、
    前記更新要求部は、前記対象情報記憶部を更新するための情報と共に、前記頭部装着型表示装置の現在位置を表す前記現在位置情報を送信する、情報表示システム。
  6. 請求項または請求項に記載の情報表示システムであって、
    前記更新許可条件には、前記対象情報記憶部の更新を許可する前記使用者を指定する条件と、前記対象情報記憶部の更新日時を指定する条件と、前記対象情報記憶部の更新を許可しない旨の条件と、のうちの少なくとも1つが含まれる、情報表示システム。
  7. 情報装置と、使用者に虚像を視認させる頭部装着型表示装置と、を用いた情報表示方法であって、
    (a)前記頭部装着型表示装置が、前記情報装置に対して前記使用者に関する情報である使用者情報を送信する工程と、
    (b)前記情報装置が、受信した前記使用者情報に基づいて、前記情報装置による公開の対象である対象情報を抽出する工程と、
    (c)前記情報装置が、抽出された前記対象情報を前記頭部装着型表示装置へ送信する工程と、
    (d)前記頭部装着型表示装置が、前記情報装置から前記対象情報を取得する工程と、
    (e)取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する工程と、
    (f)生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる工程と、
    を備え、
    前記工程(b)では、前記対象情報と共に、前記対象情報に対応付けられ、前記対象情報の表示順を決定するための順序情報を抽出し
    前記工程(c)では、抽出された前記対象情報と前記順序情報とを前記頭部装着型表示装置へ送信し、
    前記工程(e)では、複数の前記対象情報が取得された場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、
    情報表示方法。
  8. 使用者に虚像を視認させる頭部装着型表示装置であって、
    記使用者に関する情報である使用者情報に基づいて抽出された情報である対象情報を取得する情報取得部と、
    取得された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
    生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
    を備え
    前記情報生成部は、複数の前記対象情報が取得された場合に、該対象情報に対応付けられ、前記対象情報の表示順を決定するための順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、頭部装着型表示装置。
  9. 使用者に虚像を視認させる頭部装着型表示装置であって、
    前記頭部装着型表示装置による公開の対象である対象情報を記憶する対象情報記憶部と、
    前記使用者に関する情報である使用者情報に基づいて、前記対象情報記憶部から前記対象情報を抽出する抽出部と、
    抽出された前記対象情報を用いて前記使用者へ拡張現実感を提供するための付加提示用の情報を生成する情報生成部と、
    生成された前記付加提示用の情報を前記虚像として前記使用者に視認させる画像表示部と、
    を備え
    前記対象情報記憶部には、さらに、前記対象情報に対応付けられて、前記対象情報の表示順を決定するための順序情報が記憶され、
    前記抽出部は、前記対象情報記憶部から前記対象情報と共に前記順序情報を抽出し、
    前記情報生成部は、複数の前記対象情報が抽出された場合に、前記順序情報に従った順序で前記対象情報を重畳させて前記付加提示用の情報を生成する、頭部装着型表示装置。
JP2013059623A 2013-03-22 2013-03-22 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置 Expired - Fee Related JP6160154B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013059623A JP6160154B2 (ja) 2013-03-22 2013-03-22 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
US14/185,692 US9824496B2 (en) 2013-03-22 2014-02-20 Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device
CN201410108493.0A CN104062759B (zh) 2013-03-22 2014-03-21 信息显示系统、信息显示方法、以及头戴式显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013059623A JP6160154B2 (ja) 2013-03-22 2013-03-22 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置

Publications (2)

Publication Number Publication Date
JP2014186434A JP2014186434A (ja) 2014-10-02
JP6160154B2 true JP6160154B2 (ja) 2017-07-12

Family

ID=51550548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013059623A Expired - Fee Related JP6160154B2 (ja) 2013-03-22 2013-03-22 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置

Country Status (3)

Country Link
US (1) US9824496B2 (ja)
JP (1) JP6160154B2 (ja)
CN (1) CN104062759B (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015158747A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器
US9781292B2 (en) * 2014-06-03 2017-10-03 Sony Mobile Communications Inc. Lifelog camera and method of obtaining a digital image tagged with corrected image direction information
WO2016013269A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
JP2016138908A (ja) 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP2016139168A (ja) 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
US9784976B2 (en) * 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
KR101716326B1 (ko) * 2015-09-08 2017-03-14 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
US10452860B2 (en) * 2015-11-09 2019-10-22 Toshiba Client Solutions CO., LTD. System, electronic apparatus and method
US20170153698A1 (en) * 2015-11-30 2017-06-01 Nokia Technologies Oy Method and apparatus for providing a view window within a virtual reality scene
WO2017122274A1 (ja) * 2016-01-12 2017-07-20 サン電子株式会社 画像表示装置
KR102658303B1 (ko) * 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP6711033B2 (ja) * 2016-03-08 2020-06-17 富士通株式会社 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
JP6702785B2 (ja) * 2016-04-25 2020-06-03 株式会社ゼンリンデータコム ウェアラブル端末、プログラム及び情報処理方法
US11734720B2 (en) * 2016-07-05 2023-08-22 Sony Corporation Information processing system, recording medium, and information processing method
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
EP3296940A4 (en) * 2016-07-15 2018-11-14 Brainy Inc. Virtual reality system and information processing system
CN106484099B (zh) * 2016-08-30 2022-03-08 广州大学 内容重放装置、具有该重放装置的处理系统及方法
CN106791620A (zh) * 2016-12-05 2017-05-31 西南石油大学 基于ar技术和地理信息技术的埋地管线巡检方法及装置
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US11024064B2 (en) 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11417426B2 (en) 2017-02-24 2022-08-16 Masimo Corporation System for displaying medical monitoring data
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
TWI658376B (zh) * 2017-05-12 2019-05-01 宏碁股份有限公司 模擬攜帶式裝置之感測訊號的虛擬實境系統、虛擬實境系統之控制方法、頭戴式顯示裝置、主機、攜帶式裝置
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
CN107608509A (zh) * 2017-09-14 2018-01-19 国家电网公司 一种vr控制器及巡检头戴设备
US11074292B2 (en) * 2017-12-29 2021-07-27 Realwear, Inc. Voice tagging of video while recording
CN110244459B (zh) 2018-03-09 2021-10-08 财团法人工业技术研究院 增强现实装置
TWI664438B (zh) * 2018-03-09 2019-07-01 Industrial Technology Research Institute 擴增實境裝置
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
TWI691891B (zh) * 2018-09-07 2020-04-21 財團法人工業技術研究院 多重目標物資訊顯示方法及裝置
CN111260792A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
JP7453490B2 (ja) * 2019-01-21 2024-03-21 株式会社アルファコード ユーザ属性推定装置およびユーザ属性推定方法
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US20230214004A1 (en) * 2020-05-21 2023-07-06 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2024043526A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW362207B (en) 1997-05-08 1999-06-21 Shimadzu Corp Display system
JP3928211B2 (ja) 1997-05-08 2007-06-13 株式会社島津製作所 表示システム
JP4329264B2 (ja) * 2000-12-27 2009-09-09 セイコーエプソン株式会社 アクセス権限レベル制御装置及び方法
JP2006099227A (ja) * 2004-09-28 2006-04-13 Olympus Corp 情報重畳表示システム
JP4705355B2 (ja) * 2004-10-04 2011-06-22 株式会社日立製作所 無線タグのデータ表示システム、携帯型コンピュータおよび無線タグのデータ表示方法
JP5074827B2 (ja) * 2007-06-01 2012-11-14 キヤノン株式会社 画像提示装置及び方法
EP2378392B1 (en) * 2008-12-25 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
WO2011074172A1 (ja) * 2009-12-18 2011-06-23 パナソニック株式会社 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
JP5207145B2 (ja) 2009-12-24 2013-06-12 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8908043B2 (en) * 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
JP5651372B2 (ja) * 2010-05-18 2015-01-14 株式会社Nttドコモ 投稿情報制御装置、投稿情報制御システム及び投稿情報制御方法
JP5638365B2 (ja) * 2010-06-08 2014-12-10 株式会社ソニー・コンピュータエンタテインメント コンテンツ保護システム
JP5676982B2 (ja) * 2010-08-31 2015-02-25 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
US8723886B2 (en) * 2010-09-08 2014-05-13 Navteq B.V. Generating a multi-layered geographic image and the use thereof
JP5674441B2 (ja) * 2010-12-02 2015-02-25 新日鉄住金ソリューションズ株式会社 情報処理システム、その制御方法及びプログラム
JP5170223B2 (ja) * 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
JP5859843B2 (ja) * 2010-12-24 2016-02-16 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
US9275254B2 (en) * 2011-03-22 2016-03-01 Fmr Llc Augmented reality system for public and private seminars
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9092600B2 (en) * 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device

Also Published As

Publication number Publication date
JP2014186434A (ja) 2014-10-02
US20140285521A1 (en) 2014-09-25
CN104062759A (zh) 2014-09-24
CN104062759B (zh) 2018-01-05
US9824496B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
JP6160154B2 (ja) 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP6064464B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
JP6209906B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6459421B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6492451B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2016063504A1 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN104280884A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN106537404B (zh) 根据头戴式装置中的应用认证状态来控制硬件资源的性能或精度
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2015019274A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6375662B2 (ja) 頭部装着型表示装置
JP2016119544A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017078894A (ja) 携帯型表示装置、検索サーバー、および携帯型表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160127

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170529

R150 Certificate of patent or registration of utility model

Ref document number: 6160154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees