[go: up one dir, main page]

WO2015155841A1 - 情報表示方法および情報表示端末 - Google Patents

情報表示方法および情報表示端末 Download PDF

Info

Publication number
WO2015155841A1
WO2015155841A1 PCT/JP2014/060217 JP2014060217W WO2015155841A1 WO 2015155841 A1 WO2015155841 A1 WO 2015155841A1 JP 2014060217 W JP2014060217 W JP 2014060217W WO 2015155841 A1 WO2015155841 A1 WO 2015155841A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information display
unit
display terminal
communication unit
Prior art date
Application number
PCT/JP2014/060217
Other languages
English (en)
French (fr)
Inventor
大内　敏
瀬尾　欣穂
佑哉 大木
川村　友人
俊輝 中村
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to US15/302,005 priority Critical patent/US10445577B2/en
Priority to JP2016512518A priority patent/JP6177998B2/ja
Priority to PCT/JP2014/060217 priority patent/WO2015155841A1/ja
Priority to CN201480077827.0A priority patent/CN106164838B/zh
Publication of WO2015155841A1 publication Critical patent/WO2015155841A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0235—Discounts or incentives, e.g. coupons or rebates constrained by time limit or expiration date
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/04—Electronic labels

Definitions

  • the present invention relates to an information display method and an information display terminal.
  • Wearable information display terminals are naturally more integrated with users in terms of wearables than smartphones and tablet terminals, and users can continue to view display screens stably and easily regardless of movement or operation. Is possible.
  • the display When displaying information by distributing information to such an information display terminal, or displaying an image taken by the information display terminal itself, the display is performed unless the user actively performs a display control operation.
  • the possibility, frequency, timing, and the like of the user are irrelevant to the user's intention.
  • an object of the present invention is to provide a technique for improving the comfort and / or convenience of the user when using the terminal.
  • the information display method of the present invention that solves the above-described problems communicates with an imaging unit that captures the visual field direction of the wearer, a display unit that displays information in the visual field direction, and a network or another terminal accessible to the network.
  • An information display terminal including a plurality of types of communication units recognizes a first object according to a predetermined criterion in a captured image by the imaging unit, information stored in advance with respect to the first object, and predetermined In accordance with at least one of the predetermined detection information obtained from the element, a predetermined type of communication unit is selected from the plurality of types, the network or the other terminal is accessed via the communication unit, and the first An information acquisition process for acquiring related information of the first object from the network based on identification information recognized from the object; When the presence or absence of the second object in the image captured by the imaging unit or the predetermined positional relationship between the first object and the second object is determined or specified, the acquired first object And an information display process for displaying related information in the visual field direction by the display unit
  • the information display method of the present invention includes a display unit that displays information in the direction of the wearer's visual field, a plurality of types of communication units that communicate with a network or another terminal that can access the network, and the information display terminal.
  • An information display terminal comprising an attitude detection unit, a positioning unit that measures the current position of the information display terminal, and a storage unit that stores map information, and a current position of the information display terminal obtained from the positioning unit; From the orientation of the information display terminal obtained from the posture detection unit and the map information, the object that the wearer of the information display terminal faces on the map is recognized as the first object, and the first object is previously
  • a communication unit of a predetermined type is selected from the plurality of types according to at least one of held information and predetermined detection information obtained from a predetermined element, and the corresponding communication
  • Information display processing for measuring the
  • the information display terminal of the present invention has a plurality of types that communicate with an imaging unit that photographs the wearer's visual field direction, a display unit that displays information in the visual field direction, and a network or another terminal accessible to the network.
  • the first object is recognized according to a predetermined criterion, information held in advance regarding the first object, and predetermined detection information obtained from a predetermined element Based on identification information recognized from the first object by selecting a predetermined type of communication unit from among the plurality of types and accessing the network or the other terminal via the communication unit according to at least one of Processing for acquiring the relevant information of the corresponding first object from the network, and the second object in the captured image by the imaging unit.
  • the display unit displays related information of the acquired first object in the visual field direction when the presence or absence of the first object or a predetermined positional relationship between the first object and the second object is determined or specified.
  • a calculation unit that executes a process of displaying.
  • the information display terminal of the present invention includes a display unit that displays information in the wearer's visual field direction, a plurality of types of communication units that communicate with a network or another terminal that can access the network, and the information display terminal. Obtained from the posture detection unit, a positioning unit that measures the current position of the information display terminal, a storage unit that stores map information, the current position of the information display terminal obtained from the positioning unit, and the posture detection unit Based on the orientation of the information display terminal and the map information, the object on which the wearer of the information display terminal faces is recognized as a first object, information stored in advance with respect to the first object, and predetermined information A predetermined type of communication unit is selected from the plurality of types according to at least one of the predetermined detection information obtained from the element, and the network is transmitted via the communication unit.
  • the timing and frequency of information display can be matched with the user's intention, and the terminal operating time and / or communication charge can be improved. As a result, it is possible to improve user comfort and / or convenience when using the terminal.
  • FIG. 1 is a diagram illustrating a network configuration example including the information display terminal 100 according to the first embodiment.
  • the information display terminal 100 shown in FIG. 1 is a wearable information display terminal, which matches the timing and frequency of information display with the user's intention, and further improves the terminal operating time and communication fee. This improves the user's comfort and convenience during use.
  • Such an information display terminal 100 is a small terminal that is mounted on the head of the user 1 in the same manner as a head-mounted display, and directly follows the direction in which the user 1 faces and can photograph various objects, that is, objects in the line-of-sight direction. is there.
  • the information display terminal 100 appropriately triggers the related information of the candidate object (first object) specified by the predetermined reference among the above-described objects on a display made of a transparent material in front of the user 1's line of sight. Is displayed as an opportunity.
  • the information display terminal 100 includes a plurality of types of communication units.
  • the information display terminal 100 selectively uses the communication unit according to the situation where the information display terminal 100 is placed, and the server 300 or the object that is the information distribution source.
  • the above-mentioned related information can be acquired by communicating with the facility terminal 400 or the like of a certain facility 5.
  • the server 300 described above is an apparatus that provides information held in the storage 310 for each object, that is, related information of candidate objects to the information display terminal 100 via the Internet 10. .
  • a personal computer 500 operated by a person having knowledge about the object, or a facility terminal 400 operated by a person in charge of each object such as a store or a public facility is assumed. it can.
  • the information disclosed by an unspecified number of devices connected to the Internet 10 may be the related information.
  • the related information provided in advance to the server 300 is, for example, information useful for the user 1 who is interested in each object such as store sales information, discount coupons, exhibition contents at public facilities, admission coupons, etc. .
  • the information display terminal 100 includes a plurality of types of communication units, but may not always support the communication environment in which the user 1 is placed.
  • the information display terminal 100 that includes a short-range communication unit but does not include a mobile phone unit
  • the related information cannot be acquired from the server 300 by connecting to a wide-area communication network such as the Internet 10 as it is.
  • the corresponding user 1 has a mobile phone 200 having a short-range communication unit.
  • the information display terminal 100 can be connected to the mobile phone 200 by the short-range communication 13 and can be connected to the Internet 10 via the mobile phone network 11 using the mobile phone 200 as a router.
  • the corresponding user 1 has a mobile phone 200 having a short-range communication unit and a wireless LAN unit.
  • the device that provides related information is a facility terminal 400 that is not connected to a wide area communication network such as the Internet 10.
  • the information display terminal 100 can be connected to the mobile phone 200 by the short-range communication 13 and can be connected to the facility terminal 5 via the wireless LAN 11 as a wireless LAN unit.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the information display terminal 100 according to the present embodiment.
  • the information display terminal 100 includes a storage unit 101, a memory 103, a calculation unit 104, a communication unit 108, an imaging unit 105, a display unit 106, a voice input / output unit 107, a communication unit 108, a posture sensor 109 (posture detection unit), and a GPS unit. 110 (positioning unit) and a power management unit 120 are provided.
  • the posture sensor 109 is not an essential component in the information display terminal 100 of the first embodiment.
  • storage part 101 is a memory
  • the memory 103 is configured by a volatile storage element such as a RAM, and serves as a read destination of the program 102 of the storage unit 101, for example.
  • calculation unit 104 is a CPU that executes the program 102 held in the storage unit 101 by reading it into the memory 103 and performs overall control of the terminal itself and performs various determinations, calculations, and control processes.
  • the imaging unit 105 is an imaging unit having a size and weight that can be accepted as being included in the wearable information display terminal 100, and can be assumed to be a very small digital camera unit that can be attached to glasses or the like.
  • the imaging unit 105 is provided with an optical system so that the user 1 captures the direction of the line of sight while the information display terminal 100 is worn.
  • the data of the photographed image photographed by the imaging unit 105 is sent to an appropriate storage area of the memory 103 and / or the storage unit 101, temporarily stored, and then subjected to candidate object specifying processing.
  • the display unit 106 is an element having the same configuration as that of a conventional wearable terminal.
  • the display unit 106 includes a display made of a transparent material similar to glasses, and display data ( Example: a display control unit that outputs an image photographed by the imaging unit 105 and related information on candidate objects) on the above-described display.
  • FIG. 3 illustrates an example of information display by the display unit 106.
  • the display unit 106 can project the virtual image plane 21 as a display region for related information on the imaging region 20 in front of the user 1 by the imaging unit 105.
  • the virtual image plane 21 is an area where image data of related information is displayed as a virtual image, a real image, or retina writing. Note that the virtual image plane 21 illustrated in FIG. 3 has a size that occupies only a part of the imaging region 20, but is not limited thereto, and may be a size that covers the imaging region 20 widely.
  • an existing technology including a necessary configuration can be adopted as an information display form such as a head-mounted display in such a wearable terminal.
  • the form of the information display terminal 100 illustrated in FIG. 3 is mounted on the head of the user 1 and can display information in the field of view of the user 1.
  • the unit 105 is provided integrally, the form is not limited, such as glasses, goggles, one eye, and both eyes.
  • a method for displaying information on the display a method using a half mirror or a method for directly projecting a virtual image onto the retina of the user 1 can be adopted.
  • at least a head-mounted display is transmissive and does not display a virtual image. In this case, it is assumed that the field of view of the user 1 is not concealed.
  • the voice input / output unit 107 provided in the information display terminal 100 includes a microphone that senses the voice of the user 1 and an earphone that outputs sound data sent from the calculation unit 104.
  • the communication unit 108 is a device that performs communication processing with the server 300, the facility terminal 400, the mobile phone 200, and the like using various communication environments such as the mobile phone network 11, the wireless LAN 12, and the short-range communication 13.
  • the communication unit 108 in this embodiment includes a wireless LAN unit 111, a mobile phone unit 112, and a short-range communication unit 113 as examples of a plurality of types of communication units.
  • As the short-range communication unit 113 for example, Bluetooth (registered trademark) can be adopted.
  • a wireless communication unit using radio waves of each wavelength such as UHF and VHF as a carrier wave can be employed.
  • the attitude sensor 109 is a sensor that detects the attitude of the information display terminal 100 or the user 1 wearing the information display terminal 100, and an existing sensor such as a gyro that detects an inclination from a predetermined axis and its direction can be adopted.
  • the GPS unit 110 receives radio waves from a plurality of positioning satellites 15 (see FIG. 1) that orbit around the earth, and determines the current position coordinates of itself on the earth, that is, the information display terminal 100 or the user 1 wearing the same. It is a device to identify.
  • the power management unit 120 is a device that manages the battery 115 that drives the information display terminal 100, and can monitor the state of the battery 115 and always detect the remaining amount.
  • the object information table 125 In the storage unit 101, in addition to the program 102 for implementing functions necessary as the information display terminal 100 of the present embodiment, the object information table 125, the communication unit information table 126, the map information 127, and the reference information table 128 is stored. Details of these tables will be described later.
  • the general configuration of such a computer is the same for the server 300 and the facility terminal 400.
  • the information display terminal 100 recognizes a candidate object in a photographed image by the imaging unit 105 according to a predetermined criterion (for example, a template for image recognition held in advance in a reference information table 128 described later), and Information held in advance regarding candidate objects (eg, information held in the object information table 125), and predetermined detection information obtained from predetermined elements (eg, each unit of the attitude sensor 109, the GPS unit 110, and the communication unit 108) 111 to 113), a predetermined type of communication unit is selected from the plurality of types of units 111 to 113, and a predetermined device on the network such as the server 300 is accessed via the communication unit, and the candidate object is selected. Recognized identification information (eg, facility name obtained by image recognition, It has an information acquisition function of acquiring the relevant information of the candidate object based on the product name, etc.).
  • a predetermined criterion for example, a template for image recognition held in advance in a reference information table 128 described later
  • the information display terminal 100 includes the presence of a predetermined object (second object, for example, a finger of the user 1 who touches the candidate object) in a captured image by the imaging unit 105, or a predetermined position between the candidate object and the predetermined object.
  • a predetermined object second object, for example, a finger of the user 1 who touches the candidate object
  • the display unit 106 has an information display function for displaying related information of the candidate object acquired from the predetermined device on the network in the viewing direction of the user 1.
  • the predetermined positional relationship between the candidate object and the predetermined object in the captured image by the imaging unit 105 is held in, for example, a predetermined time (eg, the reference information table 128). Value), the related information of the candidate object acquired from the above-mentioned predetermined device on the network may be displayed in the viewing direction of the user 1 by the display unit 106.
  • the information acquisition function in the information display terminal 100 uses the communication environment information in the candidate object as information held in advance for the candidate object when selecting any of the communication units 111 to 113 in the communication unit 108.
  • the communication types that can be communicated are collated with a communication unit information display terminal table 126, which will be described later in detail, and the communication unit of the corresponding type may be selected.
  • the above-described information acquisition function in the information display terminal 100 uses a predetermined element obtained from, for example, a point when a candidate object is recognized from a predetermined element when selecting any of the communication units 111 to 113 in the communication unit 108.
  • a communication unit whose current radio wave intensity detected by each of the communication units 111 to 113 is equal to or higher than a predetermined level may be selected.
  • the above-described information acquisition function in the information display terminal 100 uses a predetermined element obtained from, for example, a point when a candidate object is recognized from a predetermined element when selecting any of the communication units 111 to 113 in the communication unit 108.
  • the detection information when the value of the remaining battery level obtained from the power management unit 120 of the information display terminal 100 is equal to or lower than a predetermined level, the information on the power consumption level of each communication unit in the communication unit information table 126 is referred to. The communication unit with the minimum power consumption may be selected.
  • the above-described information acquisition function in the information display terminal 100 uses a predetermined element obtained from, for example, a point when a candidate object is recognized from a predetermined element when selecting any of the communication units 111 to 113 in the communication unit 108.
  • the detection information of the candidate object the current position of the information display terminal 100 obtained from the GPS unit 110 and the identification information of the object recognized from the candidate object (for example, the name of the facility) are collated with the map information 127 and specified.
  • the above-described information acquisition function in the information display terminal 100 recognizes, for example, a candidate object from information held in advance regarding the candidate object or a predetermined element when selecting any of the communication units 111 to 113 in the communication unit 108.
  • the communication units may be selected in the order of priority of each communication unit in the communication unit information table 126 in accordance with at least one of the predetermined detection information obtained at or before that time.
  • FIG. 4 is a diagram illustrating an example of the object information table 125 according to the first embodiment.
  • the object information table 125 is a table that stores information acquired by the information display terminal 100 regarding each object such as a store, a facility, and a product.
  • the data structure is an aggregate of records in which data such as the type, name, communication environment, and image recognition template of the corresponding object is associated with the object ID as a key.
  • the object image recognition template is a template for identifying a candidate object from images captured by the image capturing unit 105 of the information display terminal 100, and includes feature quantities relating to combinations of shapes and colors of the corresponding objects. This data is aggregated data.
  • FIG. 5 is a diagram showing an example of the communication unit information table 126 in the first embodiment.
  • the communication unit information table 126 is a table for storing information on the specifications of the communication units 111 to 113 constituting the communication unit 108 and the priority order to be used.
  • the data structure is an aggregate of records in which data such as communication type, communicable distance, power consumption, and usage priority in the communication unit is associated with the unit ID as a key.
  • FIG. 6 is a diagram showing an example of the reference information table 128 in the first embodiment.
  • the reference information table 128 is a table that stores information to be used as a reference when the information display terminal 100 makes a determination accompanying processing.
  • the data structure is a collection of records in which each data of the reference type and the reference value is associated with the reference ID as a key.
  • the information display terminal 100 holds identification information related to a process involving determination in advance, and this identification information is associated with the reference ID of the reference information table 128. Therefore, the information display terminal 100 reads and uses the reference value that is referred to when making the determination from the record of the reference ID associated with the determination.
  • this map information 127 is the data of the general electronic map currently used widely already. Therefore, the description about the specific content is abbreviate
  • FIG. 7 is a flowchart showing a processing procedure example 1 of the information display method in the first embodiment.
  • the user 1 wearing the information display terminal 100 is walking around a shopping mall or a shopping street and looking at each store as an assumed usage state of the information display terminal 100.
  • this flow is described as being constantly executed while the information display terminal 100 is in operation, an operation mode that is executed only by a predetermined start trigger can also be assumed.
  • various user instructions such as a predetermined voice input event detected by the voice input / output unit 107 by the information display terminal 100 or a touch operation in a pressure-sensitive sensor (not shown) may be adopted as a flow start trigger.
  • a predetermined voice input event detected by the voice input / output unit 107 by the information display terminal 100 or a touch operation in a pressure-sensitive sensor may be adopted as a flow start trigger.
  • an event in which the user 1 is determined to be close to or located in a specific store based on position information detected by the GPS unit 110 or an image captured by the imaging unit 105 may
  • the information display terminal 100 moves together with the user 1 in the above-described shopping mall, and the object information table 125 (or the reference information table 128) is used for a captured image such as a scene in the mall by the imaging unit 105.
  • Each recognition template such as a store or a product stored in advance is collated, a candidate object included in the photographed image is recognized, and information stored in advance regarding the candidate object is searched from the object information table 125 (s100).
  • the information display terminal 100 recognizes the above-described candidate object, specifically, the above-described captured image is subjected to image recognition processing using a predetermined image processing function included in the program 102, and each object cut out by this image recognition processing is displayed.
  • the candidate object is recognized by executing a pattern matching process with the above-described recognition template.
  • the information display terminal 100 can acquire information about the communication environment such as “store wireless LAN” for the candidate object “shop wear” for example in the search in step s100 described above (s101: y), the corresponding communication environment. Are identified by the communication unit information display terminal table 126 (s102).
  • the corresponding template is linked only to individual specific objects.
  • the template is a template for specifying a “fast food restaurant” as a general concept, there is a common communication environment in any fast food restaurant. This is because communication environment information cannot be set in the object information table 125 unless it is provided.
  • the information display terminal 100 cannot acquire information on the communication environment regarding the candidate object in the search in step s100 described above (s101: n).
  • the information display terminal 100 performs a communication unit selection operation according to predetermined detection information obtained from at least one of the elements included in the information display terminal 100 (s103).
  • the information display terminal 100 acquires the detection information from a predetermined specific element, or an element determined according to whether or not the detection information can be acquired or in the acquisition order, and compares this with the communication unit information table 126.
  • the corresponding communication unit is specified.
  • each pattern is demonstrated about the example of the communication unit selection process in this case. Note that the information display terminal 100 may sequentially perform the processes of patterns 1 to 3 described below until a communication unit can be selected, or may execute only one of predetermined patterns.
  • Pattern 1 is a pattern in which the information display terminal 100 selects a communication unit based on the current radio wave intensity sensed by each of the communication units 111 to 113.
  • the information display terminal 100 calls the value of the detected radio wave intensity from each of the communication units 111 to 113, and selects a communication unit having the radio wave intensity value of a predetermined level or more (s104). : Y, s105).
  • s104 the radio wave intensity value of a predetermined level or more
  • Y, s105 a communication unit having the radio wave intensity value of a predetermined level or more
  • the information display terminal 100 selects the mobile phone unit 112.
  • the information display terminal 100 recognizes that the communication itself cannot be performed in the current situation and The acquisition is temporarily abandoned, and the process returns to step s100 described above.
  • the information display terminal 100 records a status value in which the related information is not acquired in the memory 103 and / or the storage unit 101 for the candidate object for which the related information cannot be acquired in this process (s10).
  • pattern 2 is a pattern in which the information display terminal 100 selects a communication unit based on the value of the remaining battery level obtained from the power management unit 120.
  • the information display terminal 100 calls the value of the remaining battery level in the battery 115 from the power management unit 120 in the above-described step s103, and when the remaining battery level is below a predetermined level, the information display terminal 100
  • the communication unit with the minimum power consumption is selected (s104: y, s105).
  • the short-range communication unit 113 with the unit ID “T003” is selected as the communication unit with the least power consumption.
  • pattern 3 is a pattern for selecting a communication unit according to the distance between the information display terminal 100 and the candidate object.
  • the information display terminal 100 determines the current position (coordinate value) of the information display terminal 100 obtained from the GPS unit 110 and the identification information of the object recognized from the candidate object (eg, facility name) in step s103 described above. Etc.) are compared with the map information 127 and the position on the map (coordinate value) of the candidate object identified and the calculated distance is communicable with each communication unit in the communication unit information table 126.
  • the communication unit is selected by comparing with the distance value and the calculated distance is included in the communicable distance (s104: y, s105).
  • the current position coordinates of the information display terminal 100 obtained from the GPS unit 110 are (a, b), and object identification information (eg, facility name) recognized from the candidate object is collated with the map information 127. If the position coordinates on the map of the candidate object specified in this way are (c, d), the distance x between them is calculated as ((ac) 2 + (bd) 2 ) 1/2 it can. If the distance x is “5 m”, for example, the communication unit information table 126 shown in FIG. 5 indicates that the communicable distance is “5 m” or more, the wireless LAN unit 111 with the unit ID “T001”, and The mobile phone unit 112 having the unit ID “T002” is selected.
  • object identification information eg, facility name
  • the information display terminal 100 may select, for example, a higher priority order or a lower power consumption amount. If any of the communication units 111 to 113 has a distance x calculated above that exceeds the communicable distance (s104: n), the information display terminal 100 recognizes that it is in an environment where communication cannot be performed at present. Thus, the acquisition of the related information is abandoned, and the process returns to step s100 described above. As already described, the information display terminal 100 re-executes a series of processes for acquiring related information at an appropriate timing for candidate objects for which related information could not be acquired in this process (s10 to s12). ) Is preferable.
  • the information display terminal 100 that has selected the communication unit in the above steps s103 to s105 determines whether the selected communication unit is a protocol that can directly access the Internet 10 (s106). If the communication unit is the mobile phone unit 112 or the wireless LAN unit 111, the information display terminal 100 determines that the Internet 10 can be accessed as it is (s106: y). On the other hand, when the communication unit is the short-range communication unit 113, the information display terminal 100 determines that the Internet 10 cannot be directly accessed (s106: n).
  • the information display terminal 100 uses the communication unit to transmit the server 300 or the facility terminal on the Internet 10. 400, and using the identification information recognized from the candidate object (for example, facility name, product name, etc. obtained by image recognition) as a key, the related information of the candidate object is searched, coupon coupons, sale information, Various related information such as a preferential ticket is acquired (s107).
  • step s106 when it is determined in step s106 described above that the communication unit is a protocol that cannot directly access the Internet 10 (s106: n), the information display terminal 100 is close to the mobile phone 200 possessed by the user 1. A link establishment process of the short-range communication 13 by the communication unit 113 is tried (s108). Naturally, when the user 1 does not have the mobile phone 200 having the short-range communication function, naturally, the link is not established and the process is terminated, and the process returns to s100.
  • the information display terminal 100 performs so-called tethering processing using the mobile phone 200 as a router, and the Internet 10, the server 300 and / or the facility terminal 400 is accessed, and the related information of the candidate object is searched in the same manner as described above to acquire the related information (s107).
  • the link establishment process of the short-range communication 13 is performed by confirming or authenticating whether or not the mobile phone 200 that is the target of link establishment is a specific mobile phone 200 previously paired (associated) with the information display terminal 100. To do first.
  • the information display terminal 100 establishes communication for acquiring related information. Is recognized and cannot be obtained, and the process returns to step s100 described above. As already described, the information display terminal 100 re-executes a series of processes for acquiring related information at an appropriate timing for candidate objects for which related information could not be acquired in this process (s10 to s12). ) Is preferable.
  • the information display terminal 100 repeatedly executes the above steps until a predetermined object (hereinafter referred to as “display trigger”) is specified in the captured image (s109: n to s100).
  • this display trigger is imaged by the imaging unit 105, and the corresponding candidate object is detected.
  • the virtual image of the related information is not displayed on the display unit 106 unless it is recognized in the captured image included.
  • the display trigger assumes a part of the body of the user 1 as a specific example in the embodiment. In the following, description will be made on the assumption that a “finger” is the body part of the user 1 that is the display trigger.
  • candidate objects 42 to 45 such as products such as clothes and billboards are detected in a captured image corresponding to the imaging region 20 in a clothing store.
  • the information display terminal 100 in this case has executed the related information acquisition process described above and has obtained related information regarding the candidate objects 42 to 45. Therefore, the information display terminal 100 determines whether the finger image of the user 1 as a display trigger is included in the captured image including the candidate objects 42 to 45 by the image recognition process (s110). For the image recognition process associated with this determination, the information display terminal 100 holds in advance a template indicating a feature amount or the like related to the finger image of the user 1 in the above-described reference information table 128 and can use it appropriately.
  • the information display terminal 100 determines that the captured image including the candidate objects 42 to 45 does not include the finger image of the user 1 that is the display trigger (s110: n), and any of the relations between the candidate objects 42 to 45 is determined.
  • the display of information is not executed, and the process returns to each step s100 described above.
  • the captured image of the imaging region 20 by the imaging unit 105 includes an image in which the finger approaches or overlaps the candidate object.
  • FIG. 9 illustrates a situation where the image of the finger of the user 1 that is the display trigger 46 is superimposed on the image of the candidate object 42.
  • the information display terminal 100 determines or specifies that the display trigger 46 is at least partially overlapped with the candidate object 42 or in a positional relationship within a certain distance in the captured image of the imaging region 20 (s110: y)
  • the related information of the candidate object 42 already acquired in the steps up to the above is displayed as a virtual image 47 in the visual field direction of the user 1 by the display unit 106 (s111).
  • the process returns to the above-described step s100 or receives the instruction from the user 1 and ends the process.
  • step s110 described above the time during which the predetermined positional relationship between the candidate object and the display trigger 46 in the captured image by the imaging unit 105 is maintained is measured, and the measurement time is a fixed time (eg, reference information). If the value exceeds the value held in the table 128, the relevant information of the candidate object may be displayed on the display unit 106.
  • acquisition of related information is constantly executed in the information display terminal 100, but humans such as reaching out for an object that the user is interested in or who wants to independently want information can take it.
  • the related information can be displayed as appropriate.
  • the user wearing the information display terminal 100 is not placed in a situation where unnecessary information regarding an object that is not particularly interested is frequently displayed, and the troublesomeness associated with information display is as much as possible.
  • since information can be browsed at a timing and frequency that matches the natural user intention the comfort and convenience of the user can be improved.
  • FIG. 10 is a diagram illustrating a hardware configuration example of the information display terminal according to the second embodiment.
  • the imaging unit 105 is not an essential configuration (of course, may be provided), and the attitude sensor 109, the GPS unit 110, and the map information 127 are essential configurations.
  • description about the same structure, function, etc. as the information display terminal 100 of 1st Embodiment is abbreviate
  • the current position coordinates of the information display terminal 100 obtained from the GPS unit 110 and the orientation of the information display terminal 100 obtained from the attitude sensor 109, that is, the user 1 is directed to the line of sight.
  • the map information 127 stored in the storage unit 101, the position on the map indicated by the current position coordinates described above, and the function of specifying the gaze direction of the user 1 on the map at the position are provided. ing.
  • the information display terminal 100 identifies the object existing in the line-of-sight direction from the position of the user 1 on the map by the map information 127 and recognizes the corresponding object as a candidate object that the user 1 is interested in. It has a function to do.
  • the information display terminal 100 can select a specific communication unit among a plurality of types of communication units 111 to 113 in accordance with at least one of information stored in advance regarding the above candidate object and predetermined detection information obtained from a predetermined element. And the server 300 and the facility terminal 400 on the Internet 10 are accessed via the corresponding communication unit, and the related information of the candidate object is acquired based on the identification information recognized from the candidate object. .
  • the information display terminal 100 measures the time when the user 1 is facing the candidate object, and when the measurement time reaches a certain time or longer, the information display terminal 100 relates to the candidate object already acquired as described above.
  • the display unit 106 has a function of displaying a virtual image in the visual field direction of the user 1.
  • FIG. 11 is a flowchart showing a processing procedure example of the information display method in the second embodiment. Again, the differences from the flow in the first embodiment will be mainly described.
  • the information display terminal 100 acquires the value of the current position coordinate of the information display terminal 100 from the GPS unit 110 at regular intervals, and the orientation of the information display terminal 100 from the posture sensor 109, that is, the user 1
  • the value of the direction in which the line of sight is directed is acquired (s200).
  • the information display terminal 100 collates the value of the current position coordinates obtained in step s200 described above with the map information 127 in the storage unit 101, and specifies the location of the user 1 on the map (s201). Further, the information display terminal 100 applies the value of the user 1's line-of-sight direction obtained in step s200 described above (such as the east, west, south, and north angles) to the location of the user 1 on the map. It is specified in which position and in which direction it is directed (s202).
  • the information display terminal 100 collates the values (e, f) of the current position coordinates obtained from the GPS unit 110, for example, based on the correspondence between the GPS coordinate values indicated by the map information 127 and the address information.
  • the address corresponding to the coordinate value (e, f) is specified as the location of the user 1 above.
  • the information display terminal 100 also obtains the value of the user 1's line-of-sight direction obtained from the posture sensor 109 (for example, true north is 0 degree, true east is 90 degrees, true south is 180 degrees, and true west is 270 degrees). Of 45 degrees) is applied to the location address of the user 1 identified as described above, and it is identified that the user 1 is facing northeast from the address where the user 1 is located on the map.
  • the information display terminal 100 extends the above-described line-of-sight direction (eg, northeast) from the location address of the user 1 on the map specified as described above (eg, XX city, XX town, ⁇ address).
  • the map object 127 identifies the object at the closest position among the existing objects, and recognizes the corresponding object as a candidate object that the user 1 is interested in (s203).
  • the information display terminal 100 identifies the facility on the map that is first reached when the line segment is drawn in the northeast direction from the location address of the user 1 on the above-described map, for example, as a candidate object. .
  • the information display terminal 100 continuously monitors the value of the current position coordinate obtained from the GPS unit 110 and the value of the user 1's line-of-sight direction obtained from the attitude sensor 109 after executing the above-described step s203. It is continuously determined whether or not the change exceeds a predetermined limit (s204).
  • the information display terminal 100 can select a specific communication unit among a plurality of types of communication units 111 to 113 according to at least one of information stored in advance with respect to the candidate object and predetermined detection information obtained from a predetermined element.
  • the server 300, the facility terminal 400, etc. on the Internet 10 are accessed via the communication unit, and related information of the candidate object is acquired based on the identification information recognized from the candidate object (s205).
  • the communication unit selection operation associated with the acquisition of the related information and the subsequent related information acquisition processing are the same as in the first embodiment.
  • the information display terminal 100 After acquiring the related information described above, the information display terminal 100 confirms the determination result being executed in step s204 described above, and the situation in which the value of the current position coordinate and the value of the line-of-sight direction do not change more than a predetermined limit continues for a certain period of time. Is determined (s206). As a result of this determination, when it is found that the time during which the user 1 is facing the candidate object described above has continued for a certain time (for example, several seconds) (s206: y), the information display terminal 100 has already acquired as described above. The related information of the corresponding candidate object is displayed as a virtual image in the visual field direction of the user 1 by the display unit 106 (s207). Thereafter, the process is returned to step s200 described above, or the process is terminated upon receiving a predetermined instruction from the user 1.
  • the information display terminal 100 regards the user 1 regarding the corresponding candidate object. Recognizes that he was not so interested, avoids display processing of related information obtained for the candidate object, and returns the processing to step s200.
  • the information display terminal 100 does not include the imaging unit 105, acquisition of related information is constantly performed by the information display terminal 100, while the user is interested in or is actively interested in information.
  • a natural action that humans can take such as gazing for a certain period of time, is performed on an object that the user wants to desire
  • the related information can be displayed as appropriate.
  • the user wearing the information display terminal 100 can be prevented from being placed in a situation where unnecessary information regarding an object that is not particularly interesting is frequently displayed, and can be bothered by information display. While it can be avoided as much as possible, information can be viewed at a timing and frequency that matches the natural user intention, so that the comfort and convenience of the user can be improved.
  • the timing and frequency of information display are matched with the user's intention, and further, the terminal operating time and the communication fee are improved, so that the user when using the terminal Comfort and convenience can be improved.
  • the information display terminal has a predetermined positional relationship between the first object and the second object in the image captured by the imaging unit is constant in the information display process.
  • the information display terminal selects a communication unit in the information acquisition process
  • the information of the communication environment in the corresponding first object is preliminarily stored as information related to the first object.
  • a corresponding type of communication unit may be selected from the plurality of types.
  • the information display terminal reliably and easily recognizes the presence of a public wireless LAN that can be used around the corresponding first object or a communication resource (such as a wireless LAN) provided by the corresponding first object itself. As a result, a series of processing from acquisition of the relevant information to its display can be executed smoothly and at low cost.
  • the information display terminal selects a communication unit in the information acquisition process, the current detection is detected by each communication unit as predetermined detection information obtained from a predetermined element. It is also possible to select a communication unit whose radio field intensity is a predetermined level or higher.
  • the power management unit of the information display terminal when the information display terminal selects a communication unit in the information acquisition process, as the predetermined detection information obtained from the predetermined element, the power management unit of the information display terminal When the value of the remaining battery level obtained from the above is below a predetermined level, the communication unit with the minimum power consumption may be selected.
  • the communication unit can be suppressed to a minimum. For example, even when the information display terminal is used in places where charging or power feeding is difficult, the related information is identified from the identification of the first object. It is possible to continue a series of processes leading to acquisition and further display. This improves the comfort and convenience of the user (wearer) when using the terminal.
  • the information display terminal further includes a positioning unit that measures the current position of the information display terminal and a storage unit that stores map information, and communicates in the information acquisition process.
  • a positioning unit that measures the current position of the information display terminal
  • a storage unit that stores map information, and communicates in the information acquisition process.
  • the communication unit corresponding to the distance is accurately selected, and there is no difference between the communication performance and the actual communication environment, and the most efficient communication is possible. This makes it possible to avoid unnecessary communication time and battery consumption, improving the comfort and convenience of the user (wearer) when using the terminal.
  • the information display terminal selects a communication unit in the information acquisition process, information stored in advance regarding the first object or a predetermined element obtained from a predetermined element
  • the communication unit may be selected in the order of priority of each type according to at least one of the detection information.
  • the information display terminal has two types of communication units, a default communication unit corresponding to the first priority and an auxiliary communication unit corresponding to the second priority, the corresponding customer object It is possible to control such that the default communication unit is selected when the information or the detection information regarding the information satisfies the predetermined standard, and the auxiliary communication unit is selected only in other cases. Therefore, when a generally available and inexpensive communication method can be used, the default communication unit can be used regularly, and other communication units can be used only under other special circumstances. It is possible to suppress communication charges and battery consumption associated with the operation of the unit, and to improve the comfort and convenience of the user (wearer) when using the terminal.
  • the information display terminal selects a communication unit in the information acquisition process, information stored in advance regarding the first object is used as a communication environment of the first object.
  • a corresponding type of communication unit may be selected from the plurality of types.
  • the information display terminal reliably and easily recognizes the presence of a public wireless LAN that can be used around the corresponding first object or a communication resource (such as a wireless LAN) provided by the corresponding first object itself. As a result, a series of processing from acquisition of the relevant information to its display can be executed smoothly and at low cost.
  • the information display terminal selects a communication unit in the information acquisition process
  • the current detection is detected by each communication unit as predetermined detection information obtained from a predetermined element. It is also possible to select a communication unit whose radio field intensity is a predetermined level or higher.
  • the power management unit of the information display terminal is used as predetermined detection information obtained from a predetermined element.
  • the communication unit with the minimum power consumption may be selected.
  • the communication unit can be suppressed to a minimum. For example, even when the information display terminal is used in places where charging or power feeding is difficult, the related information is identified from the identification of the first object. It is possible to continue a series of processes leading to acquisition and further display. This improves the comfort and convenience of the user (wearer) when using the terminal.
  • the information display terminal selects a communication unit in the information acquisition process, the information obtained from the positioning unit as predetermined detection information obtained from a predetermined element.
  • a distance between the current position of the display terminal and the position of the first object on the map may be calculated, and a communication unit including the calculated distance as a communicable distance may be selected.
  • the communication unit corresponding to the distance is accurately selected, and there is no difference between the communication performance and the actual communication environment, and the most efficient communication is possible. This makes it possible to avoid unnecessary communication time and battery consumption, improving the comfort and convenience of the user (wearer) when using the terminal.
  • the information display terminal selects a communication unit in the information acquisition process, information stored in advance regarding the first object and a predetermined element obtained from a predetermined element
  • the communication unit may be selected in the order of priority of each type according to at least one of the detection information.
  • the information display terminal has two types of communication units, a default communication unit corresponding to the first priority and an auxiliary communication unit corresponding to the second priority, the corresponding customer object It is possible to control such that the default communication unit is selected when the information or the detection information regarding the information satisfies the predetermined standard, and the auxiliary communication unit is selected only in other cases. Therefore, when a generally available and inexpensive communication method can be used, the default communication unit can be used regularly, and other communication units can be used only under other special circumstances. It is possible to suppress communication charges and battery consumption associated with the operation of the unit, and to improve the comfort and convenience of the user (wearer) when using the terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Signal Processing (AREA)

Abstract

【課題】ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上させる。 【解決手段】情報表示端末１００において、撮影画像中で認識した第１オブジェクト４２～４５に関して予め保持された情報等に応じて複数種類のうち所定種類の通信部１０８を選択し、該当通信部１０８を介してネットワーク１０上の所定装置３００から関連情報を取得する処理と、撮影画像中での第２オブジェクト４６の存在、又は第１オブジェクト４２～４５と第２オブジェクト４６との所定の位置関係、を特定した場合に、該当第１オブジェクトの関連情報を表示部１０６により視野方向に表示する演算部１０４を備える構成とする。

Description

情報表示方法および情報表示端末
　本発明は情報表示方法および情報表示端末に関する。
　近年、ゴーグル型や眼鏡型などのヘッドマウントディスプレイを用いて所定の情報を表示する、いわゆるウェアラブルな情報表示端末が存在感を増しつつある。これに伴い、こうしたウェアラブルな情報表示端末の制御や各種活用に関する手法も種々提案されている。すなわち、使用者の行動状態に適した情報表示を行なうとの課題の下、表示素子を備える頭部装着型の情報表示装置において、センサ等で検出した使用者の行動状態に応じて表示素子に表示される情報の表示モード（要約モードと詳細モード）を自動切替えする技術（特許文献１参照）などが提案されている。
　また、現在位置又はオブジェクトに関連付けてユーザが付与した付与情報を、撮像手段により撮像された映像と合成して表示することを課題として、位置情報により特定された実世界の状況、又は識別されたオブジェクト情報により特定された実世界の状況に対し、利用者により付与される付与情報を映像と合成して表示する手段と、利用者により付与された付与情報を情報処理装置に送信してそのデータベースに格納させる手段とを有する情報処理端末（特許文献２参照）なども提案されている。
特開２００７－１６３６３４号公報 特開２０１１－２８７６３号公報
　ウェアラブルな情報表示端末は、スマートフォンやタブレット端末などと比べ、ウェアラブルという点で当然ながらユーザとの一体性が高く、そのユーザは移動や動作に関わらず安定的かつ容易に表示画面を見続けることが可能である。
　こうした情報表示端末に対して情報配信を行って情報表示をさせる場合、或いは、情報表示端末自身で撮影している画像等を表示させる場合、ユーザが積極的に表示制御操作を行わないと、表示の可否や頻度、或いはタイミング等がユーザの意思と無関係なものとなりやすい。
　そのような状況下のユーザは、ウェアラブルな情報表示端末の利点よりも、有為と言えない勝手な情報表示が継続される煩わしさの方を強く感じる恐れがある。また、表示用情報の取得に伴う外部との通信が高頻度かつ恒常的に行われる恐れもあり、バッテリー容量が端末サイズに制限されがちな情報表示端末において、利用可能時間が過度に低下する恐れもある。更に、そうした通信に伴う通信料金の増大も懸念される。
　そこで本発明の目的は、端末使用時におけるユーザの快適性及び／又は利便性を向上させる技術を提供することにある。
　上記課題を解決する本発明の情報表示方法は、装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部とを備える情報表示端末が、前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワークまたは前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、を実行することを特徴とする。
　また、本発明の情報表示方法は、装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、を備える情報表示端末が、前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、を実行することを特徴とする。
　また、本発明の情報表示端末は、装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部とを備えることを特徴とする。
　また、本発明の情報表示端末は、装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、を備えることを特徴とする。
　本発明によれば、ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとすることができ、端末稼働時間及び／又は通信料金の改善を図ることができる。その結果、端末使用時におけるユーザの快適性及び／又は利便性を向上させることが可能となる。
第１実施形態の情報表示端末を含むネットワーク構成例を示す図である。 第１実施形態の情報表示端末のハードウェア構成例を示す図である。 第１実施形態における情報表示端末の装着状況例を示す図である。 第１実施形態におけるオブジェクト情報テーブルの例を示す図である。 第１実施形態における通信ユニット情報テーブルの例を示す図である。 第１実施形態における基準情報テーブルの例を示す図である。 第１実施形態における情報表示方法の処理手順例を示すフロー図である。 第１実施形態における表示部での表示形態例１を示す図である。 第１実施形態における表示部での表示形態例２を示す図である。 第２実施形態の情報表示端末のハードウェア構成例を示す図である。 第２実施形態における情報表示方法の処理手順例を示すフロー図である。
　以下に本発明の実施形態について図面を用いて詳細に説明する。図１は第１実施形態における情報表示端末１００を含むネットワーク構成例を示す図である。図１に示す情報表示端末１００は、ウェアラブルな情報表示端末であって、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上させるものである。
　こうした情報表示端末１００は、例えばユーザ１の頭部にヘッドマウントディスプレイ同様に装着されて当該ユーザ１の向く方向に直接的に追随し、その視線方向の各種物体すなわちオブジェクトを撮影可能な小型端末である。また情報表示端末１００は、上述のオブジェクトのうち所定基準で特定された候補オブジェクト（第１オブジェクト）の関連情報を、ユーザ１の視線前方にて透明材で構成されたディスプレイ上に、適宜なトリガーを契機に表示する。
　なお、情報表示端末１００は複数種類の通信部を備えており、情報表示端末１００が置かれた状況等に応じて選択的に通信部を使用し、情報配信元であるサーバ３００や、オブジェクトである施設５の施設端末４００等と通信して、上述の関連情報を取得可能である。
　図１にて例示するネットワーク構成において、上述のサーバ３００は各オブジェクトに関してストレージ３１０にて保持された情報、すなわち候補オブジェクトの関連情報を、インターネット１０を介して情報表示端末１００に提供する装置である。また、このサーバ３００に対して関連情報を提供する装置として、オブジェクトについて知見を有する者が操作するパーソナルコンピュータ５００、或いは店舗や公共施設等の各オブジェクトの担当者が操作する施設端末４００などが想定できる。勿論、上述のようにサーバ３００が関連情報を集約し保持しておく運用形態ではなく、インターネット１０に接続された不特定多数の装置が公開している情報が関連情報であるとしてもよい。
　サーバ３００に予め提供される関連情報とは、例えば、店舗でのセール情報、割引クーポン、公共施設での展示内容、入館優待券、など各オブジェクトに関して興味を持っているユーザ１にとって有為な情報、である。
　上述したように、情報表示端末１００は複数種類の通信部を備えているが、ユーザ１が置かれた通信環境に常に対応できるとは限らない。例えば近距離通信ユニットを備えているが携帯電話ユニットを備えていない情報表示端末１００の場合、そのままではインターネット１０など広域通信網に接続してサーバ３００から関連情報を取得することは出来ない。一方、該当ユーザ１が近距離通信ユニットを有した携帯電話機２００を所持していたとする。この場合、情報表示端末１００は、近距離通信１３により携帯電話機２００と接続し、この携帯電話機２００をルーターとして携帯電話網１１経由でインターネット１０に接続できる。
　或いは、該当ユーザ１が近距離通信ユニットと無線ＬＡＮユニットを有した携帯電話機２００を所持していたとする。また、関連情報を提供する装置が、インターネット１０など広域通信網に未接続の施設端末４００であったとする。この場合、情報表示端末１００は、近距離通信１３により携帯電話機２００と接続し、この携帯電話機２００を無線ＬＡＮユニットとして無線ＬＡＮ１１経由で施設端末５と接続できる。
　続いて、上述の情報表示端末１００のハードウェア構成について、図１および図２を用いて具体的に説明する。図２は、本実施形態における情報表示端末１００のハードウェア構成例を示す図である。情報表示端末１００は、記憶部１０１、メモリ１０３、演算部１０４、通信部１０８、撮像部１０５、表示部１０６、音声入出力部１０７、通信部１０８、姿勢センサ１０９（姿勢検出部）、ＧＰＳユニット１１０（測位部）、および電源管理ユニット１２０を少なくとも備える。なお、姿勢センサ１０９は第１実施形態の情報表示端末１００において必須構成ではない。
　このうち記憶部１０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）など適宜な不揮発性記憶素子で構成される記憶部であり、情報表示端末１００が必要な機能を実装するためのプログラム１０２や、各種処理に必要なテーブル類を少なくとも格納している。また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成されており、例えば記憶部１０１のプログラム１０２の読み出し先となる。
　また、演算部１０４は、記憶部１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し、端末自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
　また、撮像部１０５は、ウェアラブルな情報表示端末１００に備わるものとして許容出来るサイズおよび重量の撮像部であり、メガネ等に付帯可能な程度のごく小型のデジタルカメラユニットを想定できる。この撮像部１０５は、ユーザ１が情報表示端末１００を装着中の視線方向を撮影するよう光学系が配置されている。また撮像部１０５で撮影された撮影画像のデータは、メモリ１０３及び／又は記憶部１０１の適宜な格納領域に送られ一旦格納された上で、候補オブジェクトの特定処理の対象となる。
　また、表示部１０６は、従来から存在するウェアラブル端末に備わる構成と同様の構成を備えた要素であって、メガネ同様の透明材で構成されたディスプレイと、演算部１０４から受け取った表示用データ（例：撮像部１０５で撮影された画像や候補オブジェクトに関する関連情報など）を上述のディスプレイ上に出力させる表示制御ユニット等を含んでいる。
　こうした表示部１０６による情報表示の形態について図３に例示する。図３にて例示するように、表示部１０６は、撮像部１０５によるユーザ１前方の撮像領域２０に対し、関連情報の表示領域として虚像面２１を投影可能である。
　この虚像面２１は、関連情報のイメージデータを虚像や実像もしくは網膜書き込みとして表示する領域である。なお図３で示す虚像面２１は撮像領域２０の一部のみ占める程度のサイズとなっているが、これに限定されるものではなく、撮像領域２０を広くカバーするサイズであってもよい。
　いずれにしても、こうしたウェアラブルな端末におけるヘッドマウントディスプレイの様な情報表示形態は、必要な構成も含めて既存技術を採用できる。また、図３で例示した情報表示端末１００の形態は、ユーザ１の頭部に装着され、該当ユーザ１の視野内に情報表示可能な表示部１０６と、ユーザ１の視野方向を撮像可能な撮像部１０５とが一体に備わるものであれば、眼鏡型、ゴーグル型、片目にかかるもの、両目にかかるもの等、その形態を限定しない。また、ディスプレイでの情報表示方式としては、ハーフミラーを用いた方式やユーザ１の網膜上に直接虚像を投影する方式等が採用できるが、少なくともヘッドマウントディスプレイとして透過型であり、虚像を表示しない場合にユーザ１の視野を隠蔽しない方式のものとする。
　また、情報表示端末１００が備える音声入出力部１０７は、ユーザ１の音声を感知するマイクと、演算部１０４から送られてきた音データを出力するイヤホンとを含む構成となっている。
　また、通信部１０８は、携帯電話網１１、無線ＬＡＮ１２、近距離通信１３など各種通信環境を利用してサーバ３００や施設端末４００、或いは携帯電話機２００などとの通信処理を担う装置である。この実施形態における通信部１０８は、複数種類の通信部の例として、無線ＬＡＮユニット１１１、携帯電話ユニット１１２、および近距離通信ユニット１１３を備えた構成となっている。近距離通信ユニット１１３としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）を採用できる。上述のユニットの他にも、ＵＨＦ、ＶＨＦなどの各波長の電波を搬送波とした無線通信ユニットを採用できる。
　また、姿勢センサ１０９は、情報表示端末１００又はこれを装着したユーザ１の姿勢を感知するセンサであり、所定軸からの傾きやその方向などを検知するジャイロ等の既存センサを採用できる。
　また、ＧＰＳユニット１１０は、地球周囲を周回する複数の測位衛星１５（図１参照）からの電波を受け、地球上での自身すなわち情報表示端末１００又はこれを装着したユーザ１の現在位置座標を特定する装置である。
　また、電源管理ユニット１２０は、情報表示端末１００を駆動するバッテリー１１５の管理を行う装置であり、バッテリー１１５の状態をモニタリングしてその残量を常に検知可能である。
　なお、記憶部１０１内には、本実施形態の情報表示端末１００として必要な機能を実装する為のプログラム１０２の他、オブジェクト情報テーブル１２５、通信ユニット情報テーブル１２６、地図情報１２７、および基準情報テーブル１２８が記憶されている。このテーブル類の詳細については後述する。こうしたコンピュータとして一般的な構成については、サーバ３００や施設端末４００に関しても同様とする。
　続いて、本実施形態の情報表示端末１００が備える機能について説明する。上述したように、以下に説明する機能は、例えば情報表示端末１００が備えるプログラム１０２を実行することで実装される機能と言える。
　情報表示端末１００は、撮像部１０５による撮影画像において、予め定めた所定基準（例：後述する基準情報テーブル１２８で予め保持された画像認識用のテンプレートなど）に応じて候補オブジェクトを認識し、当該候補オブジェクトに関して予め保持される情報（例：オブジェクト情報テーブル１２５で保持された情報）、及び所定要素から得られた所定の検知情報（例：姿勢センサ１０９やＧＰＳユニット１１０、通信部１０８の各ユニット１１１～１１３）の少なくともいずれかに応じて、複数種類のユニット１１１～１１３うち所定種類の通信ユニットを選択し、該当通信ユニットを介してサーバ３００などネットワーク上の所定装置にアクセスし、候補オブジェクトから認識される識別情報（例：画像認識で得られる施設名、商品名など）に基づいて該当候補オブジェクトの関連情報を取得する情報取得機能を有する。
　また、情報表示端末１００は、撮像部１０５による撮影画像中での所定オブジェクト（第２オブジェクト、例：候補オブジェクトを触るユーザ１の手指等）の存在、又は候補オブジェクトと所定オブジェクトとの所定の位置関係、を特定した場合に、上述のネットワーク上の所定装置から取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に表示する情報表示機能を有する。
　なお、情報表示端末１００における上述の情報表示機能は、撮像部１０５による撮影画像中での候補オブジェクトと所定オブジェクトとの所定の位置関係が例えば一定時間（例：基準情報テーブル１２８で保持されている値）以上継続された場合に、上述のネットワーク上の所定装置から取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に表示するものとしてもよい。
　また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１～１１３のいずれかを選択するに際し、候補オブジェクトに関して予め保持された情報として、該当候補オブジェクトにおける通信環境の情報が示す、通信可能な通信種類を、詳細は後述する通信ユニット情報表示端末テーブル１２６に照合し、該当種類の通信ユニットを選択するものとしてもよい。
　また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１～１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、各通信ユニット１１１～１１３で感知される現在の電波強度が所定レベル以上の通信ユニットを選択するものとしてもよい。
　また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１～１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、当該情報表示端末１００の電源管理ユニット１２０から得たバッテリ残量の値が所定レベル以下である時、通信ユニット情報テーブル１２６における各通信ユニットの電力消費レベルの情報を参照し、電力消費量最小の通信ユニットを選択するものとしてもよい。
　また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１～１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置と、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７に照合して特定した候補オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を、通信ユニット情報テーブル１２６における各通信ユニットの通信距離の値と照合し、上述の算定した距離を通信可能距離に含む通信ユニットを選択するものとしてもよい。
　また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１～１１３のいずれかを選択するに際し、候補オブジェクトに関して予め保持された情報、または所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報の少なくともいずれかに応じて、通信ユニット情報テーブル１２６における各通信ユニットの優先順位の値順に通信ユニットを選択するものとしてもよい。
　次に、情報表示端末１００が記憶部１０１で保持するテーブル類の具体的な構成について説明する。図４は第１実施形態におけるオブジェクト情報テーブル１２５の例を示す図である。このオブジェクト情報テーブル１２５は、情報表示端末１００が、店舗や施設、商品等々の各オブジェクトに関して取得した情報を格納するテーブルである。そのデータ構造は、オブジェクトＩＤをキーに、該当オブジェクトの種類、名称、通信環境、および該当オブジェクトの画像認識用テンプレートといったデータを対応付けたレコードの集合体となっている。なお、オブジェクトの画像認識用のテンプレートとは、情報表示端末１００の撮像部１０５による撮影画像中から、候補オブジェクトを特定するためのテンプレートであり、該当オブジェクトの形状や色彩の組み合わせ等に関する特徴量等のデータが集約されたデータとなる。
　また、図５は第１実施形態における通信ユニット情報テーブル１２６の例を示す図である。この通信ユニット情報テーブル１２６は、通信部１０８を構成する各通信ユニット１１１～１１３の仕様や使用すべき優先順位の各情報を格納するテーブルである。そのデータ構造は、ユニットＩＤをキーに、該当通信ユニットにおける通信種類、通信可能距離、電力消費量、および使用の優先順位といったデータを対応付けたレコードの集合体となっている。
　また、図６は第１実施形態における基準情報テーブル１２８の例を示す図である。この基準情報テーブル１２８は、情報表示端末１００が処理に伴う判断時に基準とする情報を格納したテーブルである。そのデータ構造は、基準ＩＤをキーに、基準種類、およびその基準値の各データを対応付けたレコードの集合体となっている。情報表示端末１００は、判断を伴う処理に関して識別情報を予め保持しており、この識別情報が基準情報テーブル１２８の基準ＩＤと紐付いている。従って情報表示端末１００は、判断を行う際に参照する基準値を該当判断の紐付いている基準ＩＤのレコードから読み取り、利用することになる。
　なお、情報表示端末１００における記憶部１０１は、他に地図情報１２７も格納する例を図２にて示したが、この地図情報１２７は、現在既に汎用されている一般的な電子地図のデータであるため、その具体的内容についての説明は省略する。
　続いて、第１実施形態における情報表示方法の実際手順について図に基づき説明する。以下で説明する情報表示方法に対応する各種動作は、情報表示端末１００がメモリ１０３に読み出して実行するプログラム１０２によって実現される。そして、このプログラム１０２は、以下に説明される各種の動作を行うためのコードから構成されている。
　図７は、第１実施形態における情報表示方法の処理手順例１を示すフロー図である。ここでは、想定される情報表示端末１００の使用状況として、情報表示端末１００を装着中のユーザ１が、ショッピングモールや商店街を歩き回っており、各店舗を眺めている状況を想定する。本フローは情報表示端末１００が稼働中は恒常的に実行されるものとして説明を行うが、所定の開始トリガーでのみ実行される運用形態も想定できる。例えば、フロー開始のトリガーとして、情報表示端末１００が音声入出力部１０７で感知した所定音声の入力事象や、感圧センサ等（不図示）におけるタッチ動作など、各種のユーザ指示を採用するとしてもよい。或いは、ＧＰＳユニット１１０で検出された位置情報、あるいは撮像部１０５により撮像された画像を基に、ユーザ１が特定の店舗に近接、もしくは所在することを確定した事象を採用するとしてもよい。
　ここで情報表示端末１００は、ユーザ１と一体になって上述のショッピングモール中を移動し、撮像部１０５によるモール内風景等の撮影画像に対し、オブジェクト情報テーブル１２５（または基準情報テーブル１２８）で予め保持する、店舗や商品等の各認識テンプレートを照合し、撮影画像に含まれる候補オブジェクトを認識し、当該候補オブジェクトに関して予め保持された情報をオブジェクト情報テーブル１２５から検索する（ｓ１００）。
　情報表示端末１００は上述の候補オブジェクトの認識に際し、具体的には、上述の撮影画像について、プログラム１０２が備える所定の画像処理機能による画像認識処理を行い、この画像認識処理で切り出された各オブジェクトと上述の認識テンプレートとのパターンマッチング処理を実行することで候補オブジェクトを認識する。
　情報表示端末１００は、上述のステップｓ１００での検索で、例えば店舗「○○ウェア」なる候補オブジェクトについて「店舗無線ＬＡＮ」といった通信環境の情報が取得できた場合（ｓ１０１：ｙ）、該当通信環境に対応した通信ユニット、すなわち無線ＬＡＮユニット１１１を、通信ユニット情報表示端末テーブル１２６で特定する（ｓ１０２）。
　他方、撮影画像中から何らかの候補オブジェクトを特定できたものの、オブジェクト情報テーブル１２５等で該当テンプレートに対して通信環境の情報が登録されていない場合もありうる。これは、該当テンプレートが個別特定のオブジェクトのみに紐付いたものでなく、例えば一般的概念としての「ファストフード店」を特定するためのテンプレートであった場合、どのファストフード店でも共通の通信環境が備わっていない限り、オブジェクト情報テーブル１２５にて通信環境の情報を設定しておくことは出来ない故である。
　こうした場合、情報表示端末１００は、上述のステップｓ１００の検索で、通信環境の情報を該当候補オブジェクトに関して取得できない（ｓ１０１：ｎ）。この時、情報表示端末１００は、自身の備える各要素の少なくとも一つから得られた所定の検知情報に応じて、通信ユニットの選択動作を行う（ｓ１０３）。この場合、情報表示端末１００は、予め定めた特定の要素か、或いは検知情報の取得可否又は取得順に応じて決定された要素から検知情報を取得し、これを通信ユニット情報テーブル１２６に照合して、対応する通信ユニットを特定することとなる。以下に、この場合の通信ユニット選択処理の例について各パターンを説明する。なお、情報表示端末１００は、以下に示す各パターン１～３の処理を、通信ユニット選択が出来るまで順次行うか、または予め定めたいずれかのパターンのみ実行するとしてもよい。
　パターン１は、情報表示端末１００が各通信ユニット１１１～１１３で感知される現在の電波強度に基づいて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、各通信ユニット１１１～１１３より、感知中の電波強度の値を呼び出し、この電波強度の値が所定レベル以上の通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。例えば無線ＬＡＮユニット１１１、携帯電話ユニット１１２、近距離通信ユニット１１３のうち、携帯電話ユニット１１２で感知中の電波強度の値のみが通信可能な実用値（予め情報表示端末１００は認識済み）である時、情報表示端末１００は、この携帯電話ユニット１１２を選択する。
　いずれの通信ユニット１１１～１１３とも電波強度の値が通信可能なレベルになかった場合（ｓ１０４：ｎ）、情報表示端末１００は、現状では通信自体が出来ない環境にあると認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて、関連情報未取得のステータス値をメモリ１０３及び／又は記憶部１０１に記録し（ｓ１０）、別の候補オブジェクトに関して実行する関連情報取得の処理開始、或いは一定時間の経過のいずれかの事象を検知するまで待機し（ｓ１１：ｎ）、上述のいずれかの事象を検知した場合（ｓ１１：ｙ）、上述した関連情報取得の為の一連の処理を再実行（ｓ１２）するとすれば好適である。
　次にパターン２は、情報表示端末１００が電源管理ユニット１２０から得たバッテリ残量の値に基づいて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、電源管理ユニット１２０より、バッテリ１１５におけるバッテリ残量の値を呼び出し、このバッテリ残量が所定レベル以下である時、通信ユニット情報テーブル１２６における各通信ユニット１１１～１１３の電力消費レベルの情報を参照し、電力消費量最小の通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。図５で示した通信ユニット情報テーブル１２６の例であれば、電力消費量最少の通信ユニットとして、ユニットＩＤ「Ｔ００３」の近距離通信ユニット１１３が選択されることになる。
　次にパターン３は、情報表示端末１００と候補オブジェクトとの距離に応じて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置（座標値）と、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７と照合して特定した候補オブジェクトの地図上位置（座標値）と、の間の距離を算定し、当該算定した距離を、通信ユニット情報テーブル１２６における各通信ユニットの通信可能距離の値と照合し、上述の算定した距離を通信可能距離に含まれる通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。
　例えば、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置座標が、（ａ、ｂ）であり、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７に照合して特定した候補オブジェクトの地図上位置座標が（ｃ、ｄ）であったとすれば、その間の距離ｘは、（（ａ－ｃ）２＋（ｂ－ｄ）２）１／２、と算定できる。この距離ｘが例えば「５ｍ」であったとすれば、図５で示した通信ユニット情報テーブル１２６からは、通信可能距離が「５ｍ」以上である、ユニットＩＤ「Ｔ００１」の無線ＬＡＮユニット１１１、およびユニットＩＤ「Ｔ００２」の携帯電話ユニット１１２が選択されることになる。このように複数の通信ユニットが選択された場合、情報表示端末１００は、例えば優先順位の高い方、または電力消費量が少ない方を選択すればよい。なお、いずれの通信ユニット１１１～１１３とも、上述で算定した距離ｘが通信可能距離を越えていた場合（ｓ１０４：ｎ）、情報表示端末１００は、現状では通信自体が出来ない環境にあると認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお既に述べたように、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて適宜なタイミングで関連情報取得の為の一連の処理を再実行する（ｓ１０～ｓ１２）とすれば好適である。
　以上のステップｓ１０３～ｓ１０５で通信ユニットを選択した情報表示端末１００は、選択した該当通信ユニットが、インターネット１０に直接アクセスできるプロトコルか判定する（ｓ１０６）。該当通信ユニットが携帯電話ユニット１１２又は無線ＬＡＮユニット１１１であれば、情報表示端末１００は、そのままインターネット１０にアクセス可能と判定する（ｓ１０６：ｙ）。一方、該当通信ユニットが近距離通信ユニット１１３である場合、情報表示端末１００は、インターネット１０に直接アクセス出来ないと判定する（ｓ１０６：ｎ）。
　上述のステップｓ１０６において、該当通信ユニットがインターネット１０に直接アクセス出来るプロトコルであると判定した場合（ｓ１０６：ｙ）、情報表示端末１００は、該当通信ユニットを利用してインターネット１０上のサーバ３００又は施設端末４００にアクセスし、候補オブジェクトから認識される識別情報（例：画像認識で得られる施設名、商品名など）をキーとして、該当候補オブジェクトの関連情報の検索を実行し、クーポン券や特売情報、優待チケットといった各種の関連情報を取得する（ｓ１０７）。
　一方、上述のステップｓ１０６において、該当通信ユニットがインターネット１０に直接アクセス出来ないプロトコルであると判定した場合（ｓ１０６：ｎ）、情報表示端末１００は、ユーザ１が所持する携帯電話機２００に対し、近距離通信ユニット１１３による近距離通信１３のリンク確立処理を試行する（ｓ１０８）。当然、該当ユーザ１が近距離通信機能を保持した携帯電話機２００を所持していなかった場合、当然近距離通信１３のリンクを確立出来ないため当該処理を終了し、ｓ１００に戻る。
　こうした試行の結果、携帯電話機２００との間で近距離通信１３のリンク確立に成功した場合（ｓ１０９：ｙ）、情報表示端末１００は、携帯電話機２００をルーターとした所謂テザリングの処理を行い、インターネット１０上のサーバ３００及び／又は施設端末４００にアクセスし、上述同様に該当候補オブジェクトの関連情報の検索を実行し、関連情報を取得する（ｓ１０７）。なお、近距離通信１３のリンク確立処理は、リンク確立の対象となる携帯電話機２００が、予め情報表示端末１００とペアリング（対応付け）された特定の携帯電話機２００であるかどうかの確認或いは認証を最初に行うようにしている。
　他方、上述の試行の結果、携帯電話機２００との間で近距離通信１３のリンク確立に失敗した場合（ｓ１０９：ｎ）、情報表示端末１００は、関連情報を取得するための通信を確立することは出来ないと認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお既に述べたように、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて適宜なタイミングで関連情報取得の為の一連の処理を再実行する（ｓ１０～ｓ１２）とすれば好適である。
　情報表示端末１００は、以上の各ステップを、予め定めた所定オブジェクト（以下では「表示トリガー」と呼ぶ）が撮影画像中で特定されるまで繰り返し実行することとなる（ｓ１０９：ｎ～ｓ１００）。本実施形態では、上述のステップｓ１００で候補オブジェクトが検出され、なおかつステップｓ１０１で当該候補オブジェクトの関連情報が既に取得されているとしても、この表示トリガーが撮像部１０５で撮像され、該当候補オブジェクトが含まれる撮影画像中にて認識されない限り、表示部１０６での関連情報の虚像表示は行わない、とするものである。ここで、表示トリガーは、当該実施形態での具体例としてはユーザ１の身体の一部を想定している。以下では、この表示トリガーであるユーザ１の身体部位として、「指」を想定して説明を行う。
　例えば図８のように、ある衣料品店内での撮像領域２０に対応する撮影画像中で、服などの商品や広告板といった候補オブジェクト４２～４５が検出されていたとする。またこの場合の情報表示端末１００は、既に述べた関連情報の取得処理を実行し、各候補オブジェクト４２～４５に関して関連情報を得ていたとする。そこで情報表示端末１００は、候補オブジェクト４２～４５を含む撮影画像中に表示トリガーであるユーザ１の指画像が含まれているか画像認識処理によって判定する（ｓ１１０）。この判定に伴う画像認識処理のため、情報表示端末１００は例えば上述の基準情報テーブル１２８にて、ユーザ１の指画像に関する特徴量等を示すテンプレートを予め保持し、適宜利用可能である。
　ところが図８にて示すように、撮像領域２０の撮影画像中には、表示トリガーであるユーザ１の指の画像が存在しない。そのため情報表示端末１００は、候補オブジェクト４２～４５を含む撮影画像中に表示トリガーであるユーザ１の指画像が含まれていないと判定し（ｓ１１０：ｎ）、候補オブジェクト４２～４５のいずれの関連情報の表示も実行せず、上述の各ステップｓ１００に処理を戻す。
　一方、ユーザ１が上述の候補オブジェクト４２～４５のいずれかに興味を示し、自身の指を該当候補オブジェクトの実体に接近させたとする。すると、撮像部１０５による撮像領域２０の撮影画像中に、その指が該当候補オブジェクトに近接又は重複した画像が含まれるようになる。図９にて、表示トリガー４６であるユーザ１の指の画像が候補オブジェクト４２の画像に重ねられている状況を例示している。
　こうした状況において情報表示端末１００は、撮像領域２０の撮影画像中にて、表示トリガー４６が候補オブジェクト４２と少なくとも一部重複、或いは一定距離以内の位置関係にあることを判定又は特定し（ｓ１１０：ｙ）、上述までのステップで既に取得している該当候補オブジェクト４２の関連情報を、表示部１０６によりユーザ１の視野方向に虚像４７として表示する（ｓ１１１）。その後は、上述のステップｓ１００に戻るか、ユーザ１からの指示を受けて処理を終了する。なお、上述のステップｓ１１０において、撮像部１０５による撮影画像中での候補オブジェクトと表示トリガー４６との所定の位置関係が保たれている時間を計測し、その計測時間が一定時間（例：基準情報テーブル１２８で保持されている値）を越えた場合に、該当候補オブジェクトの関連情報を、表示部１０６で表示するようにしてもよい。
　以上のように情報表示端末１００にて関連情報の取得は恒常的に実行される一方、ユーザにとって興味がある、或いは主体的に情報が欲しいと感じるオブジェクトに関して、手を伸ばすなどの人間が取り得る自然な動作が行われる場合に、その関連情報を適宜表示することが可能となる。これにより、情報表示端末１００を装着中のユーザは、特段興味の無いオブジェクトに関して不必要な情報を高頻度に表示されてしまう状況に置かれることがなく、情報表示に伴う煩わしさを可能な限り回避できる一方、自然なユーザ意思とマッチしたタイミングや頻度で情報を閲覧出来るため、ユーザの快適性や利便性を向上可能となる。
　続いて第２実施形態について説明する。図１０は第２実施形態の情報表示端末のハードウェア構成例を示す図である。この第２実施形態における情報表示端末１００は、撮像部１０５は必須構成ではなく（勿論、備わっているとしてもよい）、姿勢センサ１０９、ＧＰＳユニット１１０、および地図情報１２７は必須の構成となる。なお、第１実施形態の情報表示端末１００と同様の構成や機能等についての説明は省略する。
　こうした第２実施形態における情報表示端末１００は、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置座標と、姿勢センサ１０９から得た当該情報表示端末１００の向き、すなわちユーザ１が視線を向けている方向と、記憶部１０１に格納された地図情報１２７とから、上述の現在位置座標が示す地図上での位置と、その位置における地図上でのユーザ１の視線方向を特定する機能を備えている。
　また情報表示端末１００は、地図上における上述のユーザ１の位置から、上述の視線方向に存在するオブジェクトを地図情報１２７にて特定し、該当オブジェクトをユーザ１が興味を示している候補オブジェクトとして認識する機能を備えている。
　また情報表示端末１００は、上述の候補オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、複数種類の通信ユニット１１１～１１３うち特定の通信ユニットを選択し、該当通信ユニットを介してインターネット１０上のサーバ３００や施設端末４００らにアクセスし、候補オブジェクトから認識される識別情報に基づいて該当候補オブジェクトの関連情報を取得する機能を備えている。
　また情報表示端末１００は、ユーザ１が上述の候補オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、上述のように既に取得している該当候補オブジェクトの関連情報を表示部１０６によりユーザ１の視野方向に虚像表示する機能を備えている。
　続いて上述の第２実施形態における情報表示端末１００による処理について説明する。図１１は第２実施形態における情報表示方法の処理手順例を示すフロー図である。ここでも、第１実施形態におけるフローと異なる点について主に説明することとする。
　ここでは、情報表示端末１００を装着したユーザ１が街頭を歩きながら、途中にある店舗を興味に応じて眺める状況を想定する。この場合、情報表示端末１００は、一定時間毎にＧＰＳユニット１１０から当該情報表示端末１００の現在位置座標の値を取得し、また、姿勢センサ１０９から当該情報表示端末１００の向き、すなわちユーザ１が視線を向けている方向の値を取得する（ｓ２００）。
　次に情報表示端末１００は、上述のステップｓ２００で得た現在位置座標の値を、記憶部１０１の地図情報１２７に照合し、地図上でのユーザ１の所在位置を特定する（ｓ２０１）。また、情報表示端末１００は、上述のステップｓ２００で得たユーザ１の視線方向の値（東西南北の角度等）を、地図上でのユーザ１の所在位置に当てはめて、地図上でユーザ１がどの位置においてどの方向を向いているか特定する（ｓ２０２）。
　この場合の情報表示端末１００は、例えばＧＰＳユニット１１０から得ている現在位置座標の値（ｅ，ｆ）を、地図情報１２７が示すＧＰＳ座標値と住所情報との対応関係に基づき照合し、地図上で座標値（ｅ、ｆ）に対応する住所をユーザ１の所在位置として特定する。また情報表示端末１００は、姿勢センサ１０９から得ているユーザ１の視線方向の値（例えば、真北を０度、真東を９０度、真南を１８０度、真西を２７０度とした場合の、４５度であったとする）を、上述のように特定したユーザ１の所在住所に当てはめて、地図上でユーザ１が所在する住所から北東方向を向いている、などと特定する。
　続いて情報表示端末１００は、上述のように特定した地図上におけるユーザ１の所在住所（例：○○市○○町○丁目○番地）から、上述の視線方向（例：北東）の延長上に存在するオブジェクトのうち最も近い位置のものを地図情報１２７にて特定し、該当オブジェクトをユーザ１が興味を示している候補オブジェクトとして認識する（ｓ２０３）。
　この場合の情報表示端末１００は、例えば上述の地図上でのユーザ１の所在住所から、東北方向に線分を描画した場合に最初に到達する地図上の施設を候補オブジェクトであるなどと特定する。なお、情報表示端末１００は、上述のステップｓ２０３の実行後に、引き続きＧＰＳユニット１１０から得られる現在位置座標の値と、姿勢センサ１０９から得られるユーザ１の視線方向の値とをモニタリングし、それらが所定限度以上変化しないか継続判定している（ｓ２０４）。
　また情報表示端末１００は、上述の候補オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、複数種類の通信ユニット１１１～１１３うち特定の通信ユニットを選択し、該当通信ユニットを介してインターネット１０上のサーバ３００や施設端末４００等にアクセスし、候補オブジェクトから認識される識別情報に基づいて該当候補オブジェクトの関連情報を取得する（ｓ２０５）。この関連情報の取得に伴う通信ユニットの選択動作と、それに続く関連情報の取得処理については第１実施形態と同様である。
　上述した関連情報の取得後、情報表示端末１００は、上述のステップｓ２０４で実行中の判定結果を確認し、現在位置座標の値と視線方向の値が所定限度以上変化しない状況が一定時間継続しているか判定する（ｓ２０６）。この判定の結果、ユーザ１が上述の候補オブジェクトを向いている時間が一定時間（例えば数秒）継続したことが判明した場合（ｓ２０６：ｙ）、情報表示端末１００は、上述のように既に取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に虚像表示する（ｓ２０７）。その後、処理を上述のステップｓ２００に戻すか、或いはユーザ１から所定指示を受けて処理を終了する。
　他方、上述の判定の結果、ユーザ１が上述の候補オブジェクトを向いている時間が一定時間継続しなかったことが判明した場合（ｓ２０６：ｎ）、情報表示端末１００は、該当候補オブジェクトに関してユーザ１はそれほどの興味を持たなかったと認識し、該当候補オブジェクトに関して得ている関連情報の表示処理を回避し、処理をステップｓ２００に戻す。
　このように情報表示端末１００が撮像部１０５を持たない構成であっても、情報表示端末１００にて関連情報の取得は恒常的に実行される一方、ユーザにとって興味がある、或いは主体的に情報が欲しいと感じるオブジェクトに関して、一定時間注視するなどの人間が取り得る自然な動作が行われる場合に、その関連情報を適宜表示することが可能となる。これにより、情報表示端末１００を装着中のユーザは、特段興味の無いオブジェクトに関して不必要な情報を高頻度に表示されてしまう状況に置かれることが抑制され、情報表示に伴う煩わしさを可能な限り回避できる一方、自然なユーザ意思とマッチしたタイミングや頻度で情報を閲覧出来るため、ユーザの快適性や利便性を向上可能となる。
　以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
　こうした本実施形態によれば、ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上可能となる。
　本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報表示処理において、前記撮像部による撮影画像中での前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係が一定時間以上継続された場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示するとしてもよい。
　これによれば、ウェアラブルな情報表示端末の装着者が、確かな興味を持って注視している或いは何らかの動作を行って該当第１オブジェクトに身体を接近させている、といった状況を的確に踏まえて、ユーザ意思と高精度にマッチした無駄の無い情報表示を行えることとなる。
　また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択するとしてもよい。
　これによれば、該当第１オブジェクトの周囲で利用できる公共無線ＬＡＮや、或いは該当第１オブジェクト自身が提供している通信リソース（無線ＬＡＮ等）、の存在を情報表示端末が確実かつ容易に認識し、該当関連情報の取得からその表示に至る一連の処理を円滑かつ低コストで実行できることにつながる。
　また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択するとしてもよい。
　これによれば、電波強度良好な状況下で該当通信部による効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択するとしてもよい。
　これによれば、通信部による電源消費を最低限に抑制できることになり、例えば、充電又は給電が難しい外出先等で情報表示端末が使用される状況下においても、第１オブジェクトの特定から関連情報の取得、更にはその表示に至る一連の処理を継続可能となる。そのため、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第１実施形態の情報表示方法において、前記情報表示端末が、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部を更に備えて、前記情報取得処理において通信部を選択するに際し、前記測位部から得た当該情報表示端末の現在位置と、前記第１オブジェクトから認識されるオブジェクトの識別情報を前記地図情報に照合して特定した前記第１オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択するとしてもよい。
　これによれば、通信相手がオブジェクト又はそこに所在するものである場合、その距離に応じた通信部を的確に選択し、通信性能と実際の通信環境とに齟齬が無く、最も効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択するとしてもよい。
　これによれば、例えば、優先度１位に該当するデフォルトの通信部と、優先度２位に該当する補助の通信部の２種の通信部が情報表示端末に備わっている場合、該当顧客オブジェクトに関する情報又は検知情報が所定の基準を満たす時にはデフォルトの通信部を選択し、それ以外の場合にのみ補助の通信部を選択する、といった制御が可能となる。従って、一般的に利用可能で低廉な通信方法が利用できる際にはデフォルトの通信部を常用し、それ以外の特別な状況下でのみ他の通信部を利用するといった運用が可能であり、通信部の稼働に伴う通信料金やバッテリ消費を抑制し、ひいては端末使用時におけるユーザ（装着者）の快適性や利便性を向上することができる。
　また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択するとしてもよい。
　これによれば、該当第１オブジェクトの周囲で利用できる公共無線ＬＡＮや、或いは該当第１オブジェクト自身が提供している通信リソース（無線ＬＡＮ等）、の存在を情報表示端末が確実かつ容易に認識し、該当関連情報の取得からその表示に至る一連の処理を円滑かつ低コストで実行できることにつながる。
　また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択するとしてもよい。
　これによれば、電波強度良好な状況下で該当通信部による効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択するとしてもよい。
　これによれば、通信部による電源消費を最低限に抑制できることになり、例えば、充電又は給電が難しい外出先等で情報表示端末が使用される状況下においても、第１オブジェクトの特定から関連情報の取得、更にはその表示に至る一連の処理を継続可能となる。そのため、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と前記第１オブジェクトの地図上位置との間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択するとしてもよい。
　これによれば、通信相手がオブジェクト又はそこに所在するものである場合、その距離に応じた通信部を的確に選択し、通信性能と実際の通信環境とに齟齬が無く、最も効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。
　また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択するとしてもよい。
　これによれば、例えば、優先度１位に該当するデフォルトの通信部と、優先度２位に該当する補助の通信部の２種の通信部が情報表示端末に備わっている場合、該当顧客オブジェクトに関する情報又は検知情報が所定の基準を満たす時にはデフォルトの通信部を選択し、それ以外の場合にのみ補助の通信部を選択する、といった制御が可能となる。従って、一般的に利用可能で低廉な通信方法が利用できる際にはデフォルトの通信部を常用し、それ以外の特別な状況下でのみ他の通信部を利用するといった運用が可能であり、通信部の稼働に伴う通信料金やバッテリ消費を抑制し、ひいては端末使用時におけるユーザ（装着者）の快適性や利便性を向上することができる。
１　ユーザ（情報表示端末の装着者）
５　施設（オブジェクト）
１０　インターネット
１１　携帯電話網
１２　無線ＬＡＮ
１３　近距離通信
１５　測位衛星
２０　撮像領域
２１　虚像面
４２～４５　候補オブジェクト（第１オブジェクト）
４６　表示トリガー（第２オブジェクト）
４７　関連情報の虚像
１００　情報表示端末
１０１　記憶部
１０２　プログラム
１０３　メモリ
１０４　演算部
１０５　撮像部
１０６　表示部
１０７　音声入出力部
１０８　通信部
１０９　姿勢センサ（姿勢検出部）
１１０　ＧＰＳユニット（測位部）
１１１　無線ＬＡＮユニット
１１２　携帯電話ユニット
１１３　近距離通信ユニット
１１５　バッテリー
１２０　電源管理ユニット
１２５　オブジェクト情報テーブル
１２６　通信ユニット情報テーブル
１２７　地図情報
１２８　基準情報テーブル
２００　携帯電話機
３００　サーバ
３１０　ストレージ
４００　施設端末
５００　パーソナルコンピュータ

Claims (15)

  1. 　装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部とを備える情報表示端末が、
    　前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワークまたは前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、
    　前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、
    　を実行することを特徴とする情報表示方法。
  2. 　前記情報表示端末が、
    　前記情報表示処理において、前記撮像部による撮影画像中での前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係が一定時間以上継続された場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示することを特徴とする請求項１に記載の情報表示方法。
  3. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
  4. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
  5. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
  6. 　前記情報表示端末が、
    　当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部を更に備えて、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と、前記第１オブジェクトから認識されるオブジェクトの識別情報を前記地図情報に照合して特定した前記第１オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択することを特徴とする請求項１に記載の情報表示方法。
  7. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択することを特徴とする請求項１に記載の情報表示方法。
  8. 　装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、を備える情報表示端末が、
    　前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、
    　前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、
    　を実行することを特徴とする情報表示方法。
  9. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
  10. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
  11. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
  12. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と前記第１オブジェクトの地図上位置との間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択することを特徴とする請求項８に記載の情報表示方法。
  13. 　前記情報表示端末が、
    　前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択することを特徴とする請求項８に記載の情報表示方法。
  14. 　装着者の視野方向を撮影する撮像部と、
    　前記視野方向に情報表示を行う表示部と、
    　ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、
    　前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、
    　前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、
    　を備えることを特徴とする情報表示端末。
  15. 　装着者の視野方向に情報表示を行う表示部と、
    　ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、
    　当該情報表示端末の姿勢検出部と、
    　当該情報表示端末の現在位置を測定する測位部と、
    　地図情報を格納した記憶部と、
    　前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、
    　前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、
    　を備えることを特徴とする情報表示端末。
PCT/JP2014/060217 2014-04-08 2014-04-08 情報表示方法および情報表示端末 WO2015155841A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/302,005 US10445577B2 (en) 2014-04-08 2014-04-08 Information display method and information display terminal
JP2016512518A JP6177998B2 (ja) 2014-04-08 2014-04-08 情報表示方法および情報表示端末
PCT/JP2014/060217 WO2015155841A1 (ja) 2014-04-08 2014-04-08 情報表示方法および情報表示端末
CN201480077827.0A CN106164838B (zh) 2014-04-08 2014-04-08 信息显示方法和信息显示终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/060217 WO2015155841A1 (ja) 2014-04-08 2014-04-08 情報表示方法および情報表示端末

Publications (1)

Publication Number Publication Date
WO2015155841A1 true WO2015155841A1 (ja) 2015-10-15

Family

ID=54287444

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060217 WO2015155841A1 (ja) 2014-04-08 2014-04-08 情報表示方法および情報表示端末

Country Status (4)

Country Link
US (1) US10445577B2 (ja)
JP (1) JP6177998B2 (ja)
CN (1) CN106164838B (ja)
WO (1) WO2015155841A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2018216220A1 (ja) * 2017-05-26 2018-11-29 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019502276A (ja) * 2015-12-03 2019-01-24 グーグル エルエルシー 消費電力を重視したワイヤレス通信無線管理
JP2019061455A (ja) * 2017-09-26 2019-04-18 株式会社Ｎｔｔドコモ 情報処理装置、端末装置および情報処理システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
WO2016117116A1 (ja) 2015-01-23 2016-07-28 日立マクセル株式会社 表示装置および表示方法
TWI633465B (zh) * 2017-11-21 2018-08-21 瑞軒科技股份有限公司 虛擬實境裝置及虛擬實境裝置的操作方法
JP6968689B2 (ja) * 2017-12-27 2021-11-17 Ｄｙｎａｂｏｏｋ株式会社 電子機器、ウェアラブル機器及び表示制御方法
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290720A (ja) * 2000-01-31 2001-10-19 Fujitsu Ltd 通信制御装置および通信制御プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに通信制御プログラム
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法
JP2010021878A (ja) * 2008-07-11 2010-01-28 Ntt Broadband Platform Inc 無線中継装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000194726A (ja) * 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
JP4631987B2 (ja) 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
KR100670887B1 (ko) * 2000-01-31 2007-01-18 후지쯔 가부시끼가이샤 통신 제어 장치 및 통신 제어 프로그램을 기록한 컴퓨터판독 가능한 기록 매체
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN101547506B (zh) * 2009-02-17 2011-01-05 华中科技大学 基于信号接收强度信息指纹的gsm网络定位用户方法
US20120191542A1 (en) * 2009-06-24 2012-07-26 Nokia Corporation Method, Apparatuses and Service for Searching
EP2757517A1 (en) * 2010-03-30 2014-07-23 NS Solutions Corporation Information processing apparatus, information processing method and program
US8863183B2 (en) * 2010-04-09 2014-10-14 Cyber Ai Entertainment Inc. Server system for real-time moving image collection, recognition, classification, processing, and delivery
JP5418386B2 (ja) * 2010-04-19 2014-02-19 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9330196B2 (en) * 2010-11-01 2016-05-03 Seven Networks, Llc Wireless traffic management system cache optimization using http headers
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
CN103377405A (zh) * 2012-04-24 2013-10-30 国际商业机器公司 部署和修改面向服务架构部署环境模型的方法和系统
WO2014045683A1 (ja) * 2012-09-21 2014-03-27 ソニー株式会社 制御装置および記憶媒体
CN102946591A (zh) 2012-11-15 2013-02-27 天津黑米网络科技有限公司 一种利用WiFi实现即时发布信息的方法
US20150023161A1 (en) * 2013-07-22 2015-01-22 Seven Networks, Inc. Modifying system timers for optimizing mobile traffic management
US9563262B2 (en) * 2013-09-05 2017-02-07 Lenovo (Beijing) Co., Ltd. Electronic apparatus and information processing method
WO2015044995A1 (ja) * 2013-09-24 2015-04-02 日立マクセル株式会社 表示装置
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
JP2015135447A (ja) * 2014-01-20 2015-07-27 株式会社日立エルジーデータストレージ 映像投射装置、ヘッドマウントディスプレイ
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP2015210348A (ja) * 2014-04-25 2015-11-24 株式会社日立エルジーデータストレージ 光源モジュールおよび映像投射装置
US11228653B2 (en) * 2014-05-15 2022-01-18 Samsung Electronics Co., Ltd. Terminal, cloud apparatus, driving method of terminal, method for processing cooperative data, computer readable recording medium
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
US9857863B2 (en) * 2014-10-20 2018-01-02 Seiko Epson Corporation Display apparatus, control method for display apparatus, and program that can switch an operation mode of a display apparatus from a normal operation mode to a battery replacement mode
JP6535456B2 (ja) * 2014-11-10 2019-06-26 株式会社日立エルジーデータストレージ 映像投射装置及びヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290720A (ja) * 2000-01-31 2001-10-19 Fujitsu Ltd 通信制御装置および通信制御プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに通信制御プログラム
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法
JP2010021878A (ja) * 2008-07-11 2010-01-28 Ntt Broadband Platform Inc 無線中継装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2019502276A (ja) * 2015-12-03 2019-01-24 グーグル エルエルシー 消費電力を重視したワイヤレス通信無線管理
US10674451B2 (en) 2015-12-03 2020-06-02 Google Llc Power sensitive wireless communication radio management
WO2018216220A1 (ja) * 2017-05-26 2018-11-29 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN110999279A (zh) * 2017-05-26 2020-04-10 株式会社OPTiM 可穿戴终端显示系统、可穿戴终端显示方法以及程序
JP2019061455A (ja) * 2017-09-26 2019-04-18 株式会社Ｎｔｔドコモ 情報処理装置、端末装置および情報処理システム

Also Published As

Publication number Publication date
JPWO2015155841A1 (ja) 2017-04-13
US10445577B2 (en) 2019-10-15
US20170116479A1 (en) 2017-04-27
CN106164838B (zh) 2020-03-03
JP6177998B2 (ja) 2017-08-09
CN106164838A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
JP6177998B2 (ja) 情報表示方法および情報表示端末
CN111652678B (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质
CN105892051B (zh) 眼镜式终端及其控制方法
EP3149598B1 (en) Data processing method and electronic device thereof
US9798143B2 (en) Head mounted display, information system, control method for head mounted display, and computer program
US20180136465A1 (en) Mobile terminal and controlling method thereof
US10104208B2 (en) Mobile terminal and controlling method thereof
US11145047B2 (en) Method for synthesizing image and an electronic device using the same
CN106462247A (zh) 用于提供增强现实信息的可穿戴设备和方法
CN111970523A (zh) 信息显示方法、装置、终端、服务器及存储介质
CN111028071B (zh) 账单处理方法、装置、电子设备及存储介质
CN111415185A (zh) 业务处理方法、装置、终端及存储介质
CN111352687A (zh) 发票填写方法、装置、终端及存储介质
CN110213307B (zh) 多媒体数据推送方法、装置、存储介质及设备
CN113051485A (zh) 群组搜索方法、装置、终端及存储介质
CN111754272A (zh) 广告推荐方法、推荐广告显示方法、装置及设备
JP6077930B2 (ja) 情報管理装置、情報管理システム、通信端末および情報管理方法
EP3107057A1 (en) Mobile terminal and user profile using method thereof
KR20170024438A (ko) 이동 단말기 및 그 제어방법
KR20160139471A (ko) 이동 단말기 및 그 제어 방법
JP7459038B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN114173163B (zh) 数据处理方法、装置、计算机设备及介质
CN110619558B (zh) 在线住宿产品的搜索排序方法、系统及设备
JP7458363B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7458362B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14888869

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15302005

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016512518

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14888869

Country of ref document: EP

Kind code of ref document: A1