[go: up one dir, main page]

JP5521621B2 - Mobile terminal, augmented reality system, and augmented reality information display method - Google Patents

Mobile terminal, augmented reality system, and augmented reality information display method Download PDF

Info

Publication number
JP5521621B2
JP5521621B2 JP2010034839A JP2010034839A JP5521621B2 JP 5521621 B2 JP5521621 B2 JP 5521621B2 JP 2010034839 A JP2010034839 A JP 2010034839A JP 2010034839 A JP2010034839 A JP 2010034839A JP 5521621 B2 JP5521621 B2 JP 5521621B2
Authority
JP
Japan
Prior art keywords
augmented reality
information
mobile terminal
processing unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010034839A
Other languages
Japanese (ja)
Other versions
JP2011170682A (en
Inventor
梓 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010034839A priority Critical patent/JP5521621B2/en
Publication of JP2011170682A publication Critical patent/JP2011170682A/en
Application granted granted Critical
Publication of JP5521621B2 publication Critical patent/JP5521621B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Indicating Measured Values (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は携帯端末、拡張現実システム、及び拡張現実情報表示方法に関する。   The present invention relates to a mobile terminal, an augmented reality system, and an augmented reality information display method.

近年、カメラ等により撮像した実空間画像に仮想物体、情報を重畳して表示する技術である拡張現実(Augmented Reality)技術が広まっている。たとえば、ユーザは携帯電話のカメラ機能により周囲を撮像する。そして、携帯電話内の拡張現実機能によりタグ等の様々な付加情報(以下の記載では、拡張現実情報と記載する。)をカメラ画像に付与して表示することが行われている。   In recent years, augmented reality technology, which is a technology for superimposing and displaying a virtual object and information on a real space image captured by a camera or the like, has become widespread. For example, the user images the surroundings with the camera function of a mobile phone. Then, various additional information such as tags (hereinafter referred to as augmented reality information) is added to the camera image and displayed by the augmented reality function in the mobile phone.

特許文献1に記載の携帯電話は、当該携帯電話に取り付けられたセンサにより取得した情報を用いて電話番号表示の順序を変更するものである。当該携帯電話には、体温センサ、心拍センサ、血圧センサが取り付けられている。当該携帯電話は、ユーザの電話番号表示命令時にこれらのセンサが取得した情報を用いて電話番号の表示順序を決定する。   The mobile phone described in Patent Document 1 changes the order of telephone number display using information acquired by a sensor attached to the mobile phone. A body temperature sensor, a heart rate sensor, and a blood pressure sensor are attached to the mobile phone. The mobile phone determines the display order of telephone numbers using information acquired by these sensors at the time of a user's telephone number display command.

特許文献2には、ユーザの現在の状況に合致した音楽コンテンツを自動的に提供することが出来る携帯端末装置に関する技術が開示されている。当該携帯端末装置は、現在の日時情報、天候情報、周囲の音声情報を取得する。そして、当該携帯端末装置は取得した情報に合致した音楽コンテンツを自動的に選択して再生する。   Patent Document 2 discloses a technology related to a portable terminal device that can automatically provide music content that matches the current situation of a user. The portable terminal device acquires current date / time information, weather information, and surrounding audio information. Then, the mobile terminal device automatically selects and reproduces music content that matches the acquired information.

特開2007−034495号公報JP 2007-034495 A 特開2009−145785号公報JP 2009-145785 A

しかしながら、従来の拡張現実技術では、ユーザは画面上に表示する拡張現実情報の選択、または選択用フィルタの設定を行わなければならなかった。そのため、ユーザの設定の手間がかかり、操作性が悪いという問題があった。また、上述の特許文献には、拡張現実機能に関する示唆が無い。   However, in the conventional augmented reality technology, the user has to select augmented reality information to be displayed on the screen or set a filter for selection. For this reason, there is a problem that user's setting is troublesome and operability is poor. Moreover, the above-mentioned patent document has no suggestion regarding the augmented reality function.

本発明はこのような問題を解決するためになされたものであり、操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することを目的とする。   The present invention has been made to solve such a problem, and a mobile terminal, an augmented reality information system, and an augmented reality information system that can display augmented reality information according to a user's state without impairing operability. The object is to provide a method for providing real information.

本発明にかかるフィルタリング装置の一態様は、端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるものである。   One aspect of the filtering device according to the present invention is based on augmented reality information corresponding to terminal position information, and uses information on at least one of the surrounding situation and biological information to display information displayed on a camera image obtained by capturing the surrounding image. An augmented reality processing unit for filtering is provided.

本発明にかかる携帯端末の一態様は、前記フィルタリング装置と、周辺画像を撮像したカメラ画像を生成するための撮像部と、周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備えるものである。   One aspect of the portable terminal according to the present invention includes the filtering device, an imaging unit for generating a camera image obtained by imaging a peripheral image, a sensor processing unit that acquires at least one of a peripheral situation and biological information, and the imaging A display unit that displays a display image in which the augmented reality information determined to be displayed by the filtering is superimposed on the camera image captured by the unit.

本発明にかかる拡張現実情報表示方法の一態様は、周辺画像を撮像したカメラ画像を生成する撮像ステップと、周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備えるものである。   An aspect of the augmented reality information display method according to the present invention includes an imaging step of generating a camera image obtained by capturing a peripheral image, a sensor information acquisition step of acquiring at least one of a peripheral situation and biological information, and terminal position information The augmented reality processing step of filtering the augmented reality information corresponding to the information using the information acquired in the sensor information acquiring step, and the augmented reality information determined to be displayed by the filtering on the camera image acquired in the imaging step And a display step for displaying a display image in which the images are superimposed.

本発明によれば、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the portable terminal which can display the augmented reality information according to a user's state, an augmented reality information system, and the augmented reality information provision method can be provided.

実施の形態1にかかる携帯端末の構成図である。1 is a configuration diagram of a mobile terminal according to a first exemplary embodiment; 実施の形態1にかかる拡張現実情報の図である。It is a figure of the augmented reality information according to the first exemplary embodiment. 実施の形態1にかかる拡張現実システムの構成図である。1 is a configuration diagram of an augmented reality system according to a first exemplary embodiment; 実施の形態1にかかる携帯端末の処理を示すフローチャートである。3 is a flowchart showing processing of the mobile terminal according to the first exemplary embodiment; 実施の形態1にかかる携帯端末の処理を示すフローチャートである。3 is a flowchart showing processing of the mobile terminal according to the first exemplary embodiment; 実施の形態2にかかる拡張現実システムの構成図である。It is a block diagram of the augmented reality system concerning Embodiment 2. FIG. 実施の形態2にかかる携帯端末の処理を示すフローチャートである。10 is a flowchart showing processing of the mobile terminal according to the second exemplary embodiment. 実施の形態2にかかる携帯端末の処理を示すフローチャートである。10 is a flowchart showing processing of the mobile terminal according to the second exemplary embodiment. 実施の形態1にかかる携帯端末の構成図である。1 is a configuration diagram of a mobile terminal according to a first exemplary embodiment;

実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施の形態にかかる携帯端末1の構成を示すブロック図である。携帯端末10は、中央演算処理装置110と、メモリ120と、キー入力部130と、センサ140と、撮像部150と、通信部160と、位置情報取得部170と、拡張現実処理部180と、ディスプレイ190と、を備える。
Embodiment 1
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the mobile terminal 1 according to the present embodiment. The mobile terminal 10 includes a central processing unit 110, a memory 120, a key input unit 130, a sensor 140, an imaging unit 150, a communication unit 160, a position information acquisition unit 170, an augmented reality processing unit 180, Display 190.

中央演算処理装置110は、いわゆるCPU(Central Processing Unit)であり、制御プログラムに基づいてこの携帯端末10内の各種処理を実行する処理装置である。   The central processing unit 110 is a so-called CPU (Central Processing Unit), and is a processing device that executes various processes in the mobile terminal 10 based on a control program.

メモリ120は、携帯電話10内でデータ、プログラム等を記憶する記憶装置である。メモリ120の一例としてRAM(Random Access Memory)、ROM(Read Only Memory)が挙げられる。   The memory 120 is a storage device that stores data, programs, and the like in the mobile phone 10. Examples of the memory 120 include a RAM (Random Access Memory) and a ROM (Read Only Memory).

キー入力部130は、文字、数字等を入力するために用いられる操作部である。キー入力部130は、例えばテンキー、機能キーなどの各種キーによって構成される。   The key input unit 130 is an operation unit used for inputting characters, numbers, and the like. The key input unit 130 includes various keys such as a numeric keypad and function keys.

センサ140は、携帯端末10を使用するユーザの周囲の情報を取得するためのセンサである。ここで、周囲の情報とは、ユーザの生体情報と、周辺情報とを含む。ユーザの生体情報として、ユーザの脈拍、体温、発汗状態等が挙げられる。また周辺情報として、気温、湿度、高度等が挙げられる。なお、センサ140は当該情報を常時取得してもよく、一定間隔をあけて情報取得をしてもよい。   The sensor 140 is a sensor for acquiring information around the user who uses the mobile terminal 10. Here, the surrounding information includes user's biological information and surrounding information. Examples of the user's biological information include the user's pulse, body temperature, and sweating state. The peripheral information includes temperature, humidity, altitude, and the like. In addition, the sensor 140 may acquire the said information constantly, and may acquire information at a fixed interval.

撮像部150は、動画像及び静止画像を撮像するためのカメラ機能を含み、任意の3次元空間を画像化したカメラ画像を生成する処理部である。   The imaging unit 150 includes a camera function for capturing a moving image and a still image, and is a processing unit that generates a camera image obtained by imaging an arbitrary three-dimensional space.

通信部160は、サーバ等と情報の送受信を行うための処理部である。具体的には、通信部160は、WLAN(Wireless Local Area Network)、UTRAN(UMTS Terrestrial Radio Access Network)、E−UTRAN(Evolved UTRAN)等による無線通信が可能な処理部である。なお、本実施の形態にかかる携帯端末10に備えられた通信部160は、赤外線通信、Bluetooth等の無線通信が可能な処理部であってもよい。通信部160は、後述の位置情報取得部170が取得した位置情報に対応する拡張現実情報をサーバから取得する。   The communication unit 160 is a processing unit for transmitting / receiving information to / from a server or the like. Specifically, the communication unit 160 is a processing unit capable of wireless communication by WLAN (Wireless Local Area Network), UTRAN (UMTS Terrestrial Radio Access Network), E-UTRAN (Evolved UTRAN), or the like. Note that the communication unit 160 provided in the mobile terminal 10 according to the present embodiment may be a processing unit capable of wireless communication such as infrared communication or Bluetooth. The communication unit 160 acquires augmented reality information corresponding to the position information acquired by the position information acquisition unit 170 described later from the server.

位置情報取得部170は、携帯端末10の存在する位置情報を取得するための処理部である。位置情報取得部170は、たとえばGPS(Global Positioning System)機能またはWLANによる位置測位機能を有する処理部である。   The position information acquisition unit 170 is a processing unit for acquiring position information where the mobile terminal 10 exists. The position information acquisition unit 170 is a processing unit having a GPS (Global Positioning System) function or a position positioning function by WLAN, for example.

なお図示していないが、携帯端末10は、地磁気センサ及び加速度センサを備える構成である。地磁気センサにより取得した情報を用いることにより、カメラ機能を動作している間の携帯端末10の端末方位を算出できる。また、加速度センサにより取得した情報を用いることにより、カメラ機能が動作している間の携帯端末10の端末姿勢を算出できる。ここで、携帯端末10のカメラ機能が撮像している範囲は、位置情報取得部170が取得した携帯端末10の位置情報と、携帯端末10の端末方位と、携帯端末10の端末姿勢と、カメラ機能の焦点距離と、を用いることにより算出できる。携帯端末10のカメラ機能が撮像している範囲に対応する拡張現実情報が、後述のフィルタ処理により表示されると判断された場合にディスプレイ190上に表示される。   Although not shown, the mobile terminal 10 is configured to include a geomagnetic sensor and an acceleration sensor. By using the information acquired by the geomagnetic sensor, it is possible to calculate the terminal orientation of the mobile terminal 10 while operating the camera function. Further, by using the information acquired by the acceleration sensor, the terminal posture of the mobile terminal 10 while the camera function is operating can be calculated. Here, the range captured by the camera function of the mobile terminal 10 includes the position information of the mobile terminal 10 acquired by the position information acquisition unit 170, the terminal orientation of the mobile terminal 10, the terminal posture of the mobile terminal 10, and the camera. It can be calculated by using the focal length of the function. The augmented reality information corresponding to the range captured by the camera function of the mobile terminal 10 is displayed on the display 190 when it is determined that the information will be displayed by the filtering process described later.

拡張現実処理部180は、センサ140が取得した情報に基づいて、通信部170が取得した拡張現実情報から表示すべき情報を抽出する(フィルタリングする)処理部である。   The augmented reality processing unit 180 is a processing unit that extracts (filters) information to be displayed from the augmented reality information acquired by the communication unit 170 based on the information acquired by the sensor 140.

拡張現実情報はオブジェクト毎に1つのテーブル形式のデータとなる。オブジェクトとは、拡張現実アプリケーションが起動している際に、携帯端末10のディスプレイ190に表示されるタグ等を含むデータセットを指す。図2に本実施の形態にかかる拡張現実情報のデータセットの例を示す。   The augmented reality information is data in one table format for each object. The object refers to a data set including tags and the like displayed on the display 190 of the mobile terminal 10 when the augmented reality application is activated. FIG. 2 shows an example of the augmented reality information data set according to the present embodiment.

拡張現実情報のデータセットには、タイトルと、フォーマットと、説明と、位置情報と、フィルタ情報と、が含まれる。タイトル及び説明は、拡張現実アプリケーションの起動中にカメラ画像に重ね合わせて表示される情報である。フォーマットは、当該表示の際のフォント等を指定する情報である。位置情報は、当該拡張現実情報がどの位置に関するものなのかを示す。フィルタ情報は、拡張現実アプリケーションの起動中に当該拡張現実情報が表示対象となるか否かの判定に用いる情報である。フィルタ情報には、複数の条件情報を設定することが可能である。また、フィルタ情報内には、キーワードを設定することも可能である。   The augmented reality information data set includes a title, a format, a description, position information, and filter information. The title and description are information that is displayed superimposed on the camera image while the augmented reality application is activated. The format is information for designating a font or the like for the display. The position information indicates which position the augmented reality information relates to. The filter information is information used for determining whether or not the augmented reality information is to be displayed while the augmented reality application is activated. A plurality of condition information can be set in the filter information. A keyword can be set in the filter information.

なお、フィルタ情報の条件を複数設定する場合、各条件に優先度を設定してもよい。たとえば、条件1が「気温25度以上の時に情報を表示する」であり、条件2が「体温が37度以上の時に情報を表示する」であったとする。そして、気温が25度以上であり、体温が37度未満であったとする。この場合、条件1を優先する優先順位が付けられていれば、当該拡張現実情報が表示対象となる。   When a plurality of filter information conditions are set, priority may be set for each condition. For example, it is assumed that the condition 1 is “display information when the temperature is 25 ° C. or higher” and the condition 2 is “display information when the body temperature is 37 ° C.”. It is assumed that the air temperature is 25 degrees or higher and the body temperature is lower than 37 degrees. In this case, if a priority order that prioritizes condition 1 is given, the augmented reality information is a display target.

位置情報判定部181は、位置情報取得部170が取得した情報に基づいて携帯端末10が位置する位置情報をコンピュータ処理できる形式のデータに変換する。センサ情報処理部182は、センサ140が取得した各種データ(脈拍、体温、発汗状態、気温、湿度等)をメモリ120に格納する処理部である。表示フィルタ部183は、拡張現実情報を表示するか否かを判定する処理部である。   Based on the information acquired by the position information acquisition unit 170, the position information determination unit 181 converts the position information where the mobile terminal 10 is located into data in a format that can be processed by a computer. The sensor information processing unit 182 is a processing unit that stores various data (pulse, body temperature, sweating state, temperature, humidity, etc.) acquired by the sensor 140 in the memory 120. The display filter unit 183 is a processing unit that determines whether or not to display augmented reality information.

図2の例では、気温が25度以上の場合に、冷菓店の情報を画面上に表示するための拡張現実情報のデータセットが示されている。   In the example of FIG. 2, a data set of augmented reality information for displaying information on a frozen dessert shop on the screen when the temperature is 25 degrees C. or more is shown.

なお、拡張現実処理部180は、センサ140が取得した情報(センシングデータ)に加えて、携帯端末10のユーザの行動履歴、テレビジョン視聴履歴、携帯端末10の備えられた非接触型ICカードによる購買情報、スケジューラソフトウェアに格納されたデータ等の嗜好情報をさらに考慮してフィルタリングを行ってもよい。たとえば、ユーザが視聴したテレビ番組情報から番組に関するキーワードを抽出し、当該キーワードをメモリ120内に格納する。そして拡張現実処理部180は、メモリ120内に格納したキーワードがフィルタリング情報内に設定されている拡張現実情報を表示対象とする。また、スケジューラソフトウェアに海外旅行に関するスケジュールが格納されていた場合、拡張現実処理部180は海外旅行に関する情報を表示するようにフィルタリングをしてもよい。   In addition to the information (sensing data) acquired by the sensor 140, the augmented reality processing unit 180 uses a user's behavior history, a television viewing history, and a non-contact IC card equipped with the portable terminal 10 in addition to the information acquired by the sensor 140. Filtering may be performed in consideration of preference information such as purchase information and data stored in scheduler software. For example, a keyword related to a program is extracted from TV program information viewed by the user, and the keyword is stored in the memory 120. The augmented reality processing unit 180 displays the augmented reality information in which the keyword stored in the memory 120 is set in the filtering information. Further, when a schedule related to overseas travel is stored in the scheduler software, the augmented reality processing unit 180 may perform filtering so as to display information related to overseas travel.

ディスプレイ190は、携帯端末10にかかる各種情報を表示するための表示部であり、たとえば液晶表示装置や有機EL(electroluminescence)表示装置が挙げられる。ディスプレイ190には、拡張現実処理部180がフィルタを行い、表示すべきと判断された拡張現実情報をカメラ画像に重ね合わせた画像が表示される。   The display 190 is a display unit for displaying various types of information on the mobile terminal 10, and examples thereof include a liquid crystal display device and an organic EL (electroluminescence) display device. The display 190 displays an image obtained by superimposing the augmented reality information that is determined to be displayed by the augmented reality processing unit 180 on the camera image.

続いて、図3を用いて本実施の形態にかかる携帯端末10を含む拡張現実システム1の構成について説明する。拡張現実システム1は、携帯端末10と、拡張現実サーバ20と、基地局30と、交換局40と、を備える。携帯端末10、基地局30、及び交換局40は任意の数だけ存在する構成である。   Next, the configuration of the augmented reality system 1 including the mobile terminal 10 according to the present embodiment will be described with reference to FIG. The augmented reality system 1 includes a mobile terminal 10, an augmented reality server 20, a base station 30, and an exchange 40. The mobile terminal 10, the base station 30, and the exchange 40 are configured to exist in an arbitrary number.

携帯端末10は、現在の位置情報を拡張現実サーバ20に送信する。また、携帯端末10は、当該位置に関連する拡張現実情報(図2)を拡張現実サーバ20から受信する。携帯端末10は、受信した拡張現実情報のフィルタリングを行い、表示する情報を決定する。   The mobile terminal 10 transmits the current position information to the augmented reality server 20. Further, the mobile terminal 10 receives the augmented reality information (FIG. 2) related to the position from the augmented reality server 20. The mobile terminal 10 filters the received augmented reality information and determines information to be displayed.

拡張現実サーバ20は、前述の拡張現実情報(図2)を複数保持するサーバである。拡張現実サーバ20は、携帯端末10からの位置情報を受信する。拡張現実サーバ20は、受信した当該位置情報に対応する拡張現実情報を携帯端末10に送信する。   The augmented reality server 20 is a server that holds a plurality of the aforementioned augmented reality information (FIG. 2). The augmented reality server 20 receives position information from the mobile terminal 10. The augmented reality server 20 transmits augmented reality information corresponding to the received position information to the mobile terminal 10.

基地局30及び交換局40は、携帯端末10と拡張現実サーバ20との通信を中継する装置である。   The base station 30 and the switching center 40 are devices that relay communication between the mobile terminal 10 and the augmented reality server 20.

なお、携帯端末10は、位置情報に加えてセンサ140により取得したセンシング情報等を拡張現実サーバ20に送信してもよい。この場合、拡張現実サーバ20は、送信されたセンシング情報を用いて携帯端末10上に表示する拡張現実情報を算出する(フィルタリングを行う)。拡張現実サーバ20は、フィルタリング結果を携帯端末10に送信する。これにより、拡張現実サーバ20が送信するデータ量を削減することが出来る。   Note that the mobile terminal 10 may transmit sensing information acquired by the sensor 140 in addition to the position information to the augmented reality server 20. In this case, the augmented reality server 20 calculates augmented reality information to be displayed on the mobile terminal 10 using the transmitted sensing information (performs filtering). The augmented reality server 20 transmits the filtering result to the mobile terminal 10. Thereby, the amount of data transmitted by the augmented reality server 20 can be reduced.

続いて、図4のフローチャートを用いて、本実施の形態にかかる携帯端末10のセンシングデータ(センサ140により取得したデータ)の処理手順を説明する。以下の例では、センサ140が気温データを取得する例について説明する。   Next, a processing procedure of sensing data (data acquired by the sensor 140) of the mobile terminal 10 according to the present embodiment will be described using the flowchart of FIG. In the following example, an example in which the sensor 140 acquires temperature data will be described.

センサ140は、気温情報を取得し(S101)、取得した気温情報をメモリ120に格納する(S102)。次に、センサ情報処理部182を起動し(S103)、取得した気温情報が所定の条件を満たしているか否かを判定する。センサ情報処理部182は、処理結果をメモリ120に格納する。図4の例では、センサ情報処理部182は気温が25度以上であるか否かを判定し(S104)、当該判定結果をメモリ120に格納している(S105、S106)。   The sensor 140 acquires temperature information (S101), and stores the acquired temperature information in the memory 120 (S102). Next, the sensor information processing unit 182 is activated (S103), and it is determined whether or not the acquired temperature information satisfies a predetermined condition. The sensor information processing unit 182 stores the processing result in the memory 120. In the example of FIG. 4, the sensor information processing unit 182 determines whether or not the air temperature is 25 ° C. or more (S104), and stores the determination result in the memory 120 (S105, S106).

次に、図5のフローチャートを用いて、拡張現実情報をフィルタリングする処理について説明する。以下の説明では、図2に示した拡張現実情報を処理する手順について説明する。   Next, processing for filtering augmented reality information will be described using the flowchart of FIG. In the following description, a procedure for processing the augmented reality information shown in FIG. 2 will be described.

携帯端末10は、通信部160を介して自己の位置情報を拡張現実サーバ20に送信し、当該位置情報に対応する拡張現実情報を受信する(S201)。ここでは、図2に記載の拡張現実情報を受信したものとする。携帯端末10は受信した拡張現実情報をメモリ120に格納する(S202)。続いて、表示フィルタ部183を起動する(S203)。   The mobile terminal 10 transmits its location information to the augmented reality server 20 via the communication unit 160, and receives augmented reality information corresponding to the location information (S201). Here, it is assumed that the augmented reality information illustrated in FIG. 2 is received. The portable terminal 10 stores the received augmented reality information in the memory 120 (S202). Subsequently, the display filter unit 183 is activated (S203).

表示フィルタ部183は、メモリ120内の拡張現実情報を取得し、当該情報内のフィルタ情報を抽出する(S204)。表示フィルタ部183は、抽出したフィルタ情報と、メモリ120内に格納された気温が25度以上であるか否かの判定結果と、を用いて当該拡張現実情報を表示するか否かを決定する(S205)。このように気温情報をフィルタリングに用いることにより、例えば冷たい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させることが出来る。また、温かい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させないことが可能になる。   The display filter unit 183 acquires the augmented reality information in the memory 120 and extracts the filter information in the information (S204). The display filter unit 183 determines whether or not to display the augmented reality information using the extracted filter information and the determination result of whether or not the temperature stored in the memory 120 is 25 degrees or higher. (S205). Thus, by using temperature information for filtering, for example, information on restaurants that handle cold food can be displayed in an augmented reality application. In addition, it is possible to prevent information on restaurants that handle hot food from being displayed in the augmented reality application.

気温が25度以上という判定結果がメモリ120内にある場合(S205:Yes)、表示フィルタ部183は当該拡張現実情報から表示すべき情報(タイトル、説明等)を抽出する(S206)。そして、表示フィルタ部183は、撮像部150が撮像した画像上に当該情報を重ね合わせた表示画像を生成する(S207)。当該表示画像は、ディスプレイ190上に表示される。   When the determination result that the temperature is 25 degrees or higher is in the memory 120 (S205: Yes), the display filter unit 183 extracts information (title, description, etc.) to be displayed from the augmented reality information (S206). Then, the display filter unit 183 generates a display image in which the information is superimposed on the image captured by the imaging unit 150 (S207). The display image is displayed on the display 190.

気温が25度以上という判定結果がメモリ120内にない場合(S205:No)、表示フィルタ部183は当該拡張現実情報を表示しないことを決定する(S208)。そして、撮像部150が撮像した画像上に当該情報を表示していない表示画像を生成する(S209)。当該表示画像は、ディスプレイ190上に表示される。   When the determination result that the temperature is 25 degrees or higher is not in the memory 120 (S205: No), the display filter unit 183 determines not to display the augmented reality information (S208). And the display image which does not display the said information on the image which the imaging part 150 imaged is produced | generated (S209). The display image is displayed on the display 190.

続いて、本実施の形態にかかる拡張現実システム1の効果について説明する。本実施の形態1にかかる携帯端末10は、撮像部150が生成したカメラ画像上に拡張現実情報を重ね合わせた表示画像をディスプレイ190(表示部)に表示する機能を有する。携帯端末10は、周辺状況(気温、湿度、高度等)、生体情報(体温、脈拍、発汗状態等)を検出するセンサ140を備える。携帯端末10は、センサ140が取得した各種情報を用いて携帯端末10の位置する場所に関連する拡張現実情報の中から表示すべき情報をフィルタリングする。これにより、ユーザがフィルタリングの設定等を行うことなく、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る。   Then, the effect of the augmented reality system 1 concerning this Embodiment is demonstrated. The mobile terminal 10 according to the first embodiment has a function of displaying a display image in which augmented reality information is superimposed on the camera image generated by the imaging unit 150 on the display 190 (display unit). The mobile terminal 10 includes a sensor 140 that detects a surrounding situation (temperature, humidity, altitude, etc.) and biological information (body temperature, pulse, sweat state, etc.). The mobile terminal 10 filters information to be displayed from the augmented reality information related to the location where the mobile terminal 10 is located, using various information acquired by the sensor 140. Thereby, it is possible to display augmented reality information according to the user's state without the user setting filtering or the like.

また、フィルタリングにユーザの嗜好情報(テレビジョンの視聴情報、スケジュール情報等)をさらに用いることにより、ユーザの状態により適した情報の表示をすることが可能になる。   Further, by further using user preference information (television viewing information, schedule information, etc.) for filtering, it becomes possible to display information more suitable for the user's condition.

実施の形態2
本発明の実施の形態2は、携帯端末10〜12が相互に通信を行うことを特徴とする。本実施の形態にかかる拡張現実システムについて、実施の形態1と異なる部分を中心に説明する。なお、携帯端末10〜12は、同一の機能を備える端末装置である。
Embodiment 2
The second embodiment of the present invention is characterized in that the mobile terminals 10 to 12 communicate with each other. The augmented reality system according to the present embodiment will be described with a focus on differences from the first embodiment. The mobile terminals 10 to 12 are terminal devices having the same function.

図6は本実施の形態にかかる拡張現実システムの構成を示すブロック図である。携帯端末10〜12は、実施の形態1と同様に拡張現実サーバ20から拡張現実情報を取得できる。また、携帯端末10は当該携帯端末10の通信範囲に存在する他の携帯端末とW−Fi(登録商標)形式により認証された通信が可能である。
FIG. 6 is a block diagram showing the configuration of the augmented reality system according to the present embodiment. The mobile terminals 10 to 12 can acquire the augmented reality information from the augmented reality server 20 as in the first embodiment. The portable terminal 10 can the other portable terminal and W i -F i (R) existing in communication range of the mobile terminal 10 communication authenticated by format.

携帯端末10は、センサ140により取得したセンシングデータを他の携帯端末11に対して送信する。ここでは、携帯端末11がサーバとして機能するものとする。センシングデータを受信した携帯端末11は、自己のメモリ120内に格納されている拡張現実情報(図2)を受信したセンシングデータを用いてフィルタリングする。携帯端末11は、当該フィルタリングにより必要と判断された拡張現実情報(図2)のみを携帯端末10に送信する。   The mobile terminal 10 transmits the sensing data acquired by the sensor 140 to the other mobile terminal 11. Here, it is assumed that the mobile terminal 11 functions as a server. The mobile terminal 11 that has received the sensing data filters the augmented reality information (FIG. 2) stored in its own memory 120 using the received sensing data. The mobile terminal 11 transmits only the augmented reality information (FIG. 2) determined to be necessary by the filtering to the mobile terminal 10.

携帯端末10は、受信した拡張現実情報を用いて表示画面を生成する。また、携帯端末10のユーザは携帯端末11から提供された拡張現実情報が有効であったか否かを指定することが出来る。有効であった場合には、携帯端末10は当該携帯端末11から受信した拡張現実情報をメモリ120内に格納し続ける。一方、有効ではなかった場合には、携帯端末10内の拡張現実処理部180は当該携帯端末11から受信した拡張現実情報をメモリ120内から削除する。   The portable terminal 10 generates a display screen using the received augmented reality information. Further, the user of the mobile terminal 10 can specify whether or not the augmented reality information provided from the mobile terminal 11 is valid. If it is valid, the mobile terminal 10 continues to store the augmented reality information received from the mobile terminal 11 in the memory 120. On the other hand, if not valid, the augmented reality processing unit 180 in the mobile terminal 10 deletes the augmented reality information received from the mobile terminal 11 from the memory 120.

続いて図7のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の表示動作を説明する。なお、以下の図7及び後述の図8の説明ではサーバとして動作する携帯端末を携帯端末11、クライアントとして動作する携帯端末を携帯端末10とする。   Next, the display operation of the augmented reality information of the mobile terminal according to the present embodiment will be described using the flowchart of FIG. In the following description of FIG. 7 and FIG. 8 to be described later, a mobile terminal that operates as a server is a mobile terminal 11 and a mobile terminal that operates as a client is a mobile terminal 10.

最初に通信可能な携帯端末の1つがサーバとして機能する状態となる(S301)。そして、携帯端末同士が接続を行う(S302)。クライアントとして動作する携帯端末10は、センサ140を用いてセンシングデータを取得する。携帯端末10は取得したセンシングデータを携帯端末11に送信する。   One of the mobile terminals that can communicate first is in a state of functioning as a server (S301). Then, the portable terminals make a connection (S302). The mobile terminal 10 that operates as a client acquires sensing data using the sensor 140. The mobile terminal 10 transmits the acquired sensing data to the mobile terminal 11.

携帯端末11は、自己のメモリ120内に格納されている拡張現実情報(図2)を受信したセンシングデータを用いてフィルタリングする。そして、携帯端末11はフィルタリングに合致した拡張現実情報を携帯端末10に送信する(S305)。携帯端末10は受信した拡張現実情報を用いて表示画面を生成する(S306)。   The portable terminal 11 filters the augmented reality information (FIG. 2) stored in its own memory 120 using the received sensing data. And the portable terminal 11 transmits the augmented reality information which matched filtering to the portable terminal 10 (S305). The portable terminal 10 generates a display screen using the received augmented reality information (S306).

次に図8のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の保存、及び拡張現実情報の表示動作を説明する。携帯端末10を使用するユーザは、拡張現実アプリケーション起動中の表示画面を参照し、携帯端末11から提供された拡張現実情報を参照する(S401)。そして、ユーザは当該拡張現実情報が有効か否かをキー入力部130の操作等により入力する。   Next, the storage operation of augmented reality information and the display operation of augmented reality information of the mobile terminal according to the present embodiment will be described using the flowchart of FIG. The user using the mobile terminal 10 refers to the augmented reality information provided from the mobile terminal 11 with reference to the display screen during the augmented reality application activation (S401). Then, the user inputs whether or not the augmented reality information is valid by operating the key input unit 130 or the like.

携帯端末11から提供された拡張現実情報が有効である場合(S402:Yes)、携帯端末10は当該拡張現実情報をメモリ120内に格納し続ける(S404)。一方、携帯端末11から提供された拡張現実情報が有効ではない場合(S402:No)、拡張現実処理部180は当該拡張現実情報をメモリ120内から削除する(S403)。   When the augmented reality information provided from the portable terminal 11 is valid (S402: Yes), the portable terminal 10 continues to store the augmented reality information in the memory 120 (S404). On the other hand, when the augmented reality information provided from the mobile terminal 11 is not valid (S402: No), the augmented reality processing unit 180 deletes the augmented reality information from the memory 120 (S403).

携帯端末10を保持するユーザは、任意の場所に移動することが可能である(S405)。携帯端末10のユーザは、移動した場所で拡張現実アプリケーションを起動したとする。携帯端末10が位置情報取得部170の取得した位置情報と対応する拡張現実情報がメモリ120内に存在するか否か及びフィルタリング条件に合致するか否かを判定する(S406)。メモリ120内に存在し、フィルタリング条件に合致するする場合(S406:Yes)、ディスプレイ190上に当該拡張現実情報を表示する(S407)。一方条件を満たさない場合(S406:No)、ディスプレイ190上に当該拡張現実情報を表示しない(S408)。   The user holding the portable terminal 10 can move to an arbitrary place (S405). It is assumed that the user of the mobile terminal 10 starts the augmented reality application at the place where the mobile terminal 10 has moved. The mobile terminal 10 determines whether augmented reality information corresponding to the location information acquired by the location information acquisition unit 170 exists in the memory 120 and whether the filtering condition is met (S406). If it exists in the memory 120 and matches the filtering condition (S406: Yes), the augmented reality information is displayed on the display 190 (S407). On the other hand, when the condition is not satisfied (S406: No), the augmented reality information is not displayed on the display 190 (S408).

続いて、本実施の形態にかかる拡張現実システムの効果について言及する。携帯端末10は、センシングデータを他の携帯端末11に送信し、フィルタリングに合致した拡張現実情報のみを受信する。これにより、携帯端末はフィルタリングに応じた拡張現実情報のみをW−Fi(登録商標)により認証された無線通信により送受信できる。W−Fi(登録商標)により認証された無線通信を用いた拡張現実情報の送受信により交換局等を介することなく拡張現実情報の送受信が可能となる。これにより、通信量の削減が可能となる。


Subsequently, effects of the augmented reality system according to the present embodiment will be described. The mobile terminal 10 transmits sensing data to the other mobile terminal 11 and receives only augmented reality information that matches the filtering. Thus, the mobile terminal can send and receive by wireless communication is authenticated only augmented reality information corresponding to the filtering by W i -F i (registered trademark). Receiving augmented reality information is made possible without the transceiver of augmented reality information using a wireless communication authenticated by W i -F i (R) via a switching center or the like. As a result, the amount of communication can be reduced.


また、携帯端末10はユーザに有効と判断された他の携帯端末から受信した拡張現実情報のみをメモリ120に格納し続ける。そのため、携帯端末10は有効な拡張現実情報を保持し続けることが出来、精度の高いフィルタリングが可能となる。   In addition, the mobile terminal 10 continues to store only the augmented reality information received from other mobile terminals determined to be valid by the user in the memory 120. Therefore, the mobile terminal 10 can continue to hold effective augmented reality information, and high-accuracy filtering is possible.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、各携帯端末上で図2に示した拡張現実情報を適宜生成できるようにしてもよい。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, the augmented reality information shown in FIG. 2 may be appropriately generated on each portable terminal.

なお、図9に本実施の形態1にかかる携帯端末10に搭載されたフィルタリング装置を示す。当該フィルタリング装置は、携帯端末10に搭載されてもよく、サーバ上に配置されてもよい。   FIG. 9 shows a filtering device mounted on the mobile terminal 10 according to the first embodiment. The said filtering apparatus may be mounted in the portable terminal 10 and may be arrange | positioned on a server.

フィルタリング装置は、内部に拡張現実処理部180を備える。拡張現実処理部180は入力された端末位置情報に対応する拡張現実情報を取得する。拡張現実処理部180はこの拡張現実情報を、周辺状況及び生体情報の少なくとも一方の情報を用いてフィルタリングする。フィルタリングに合致した情報は、カメラ画像上に表示される。   The filtering device includes an augmented reality processing unit 180 inside. The augmented reality processing unit 180 acquires augmented reality information corresponding to the input terminal position information. The augmented reality processing unit 180 filters the augmented reality information using at least one of the surrounding situation and the biological information. Information that matches the filtering is displayed on the camera image.

上述のフィルタリング装置の構成によっても、センシングデータに基づいてユーザの状態に応じた拡張現実情報の表示を行うことが出来る。   Also with the configuration of the filtering device described above, it is possible to display augmented reality information according to the user's state based on the sensing data.

上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。   A part or all of the above embodiment can be described as in the following supplementary notes, but is not limited thereto.

(付記1)
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
(Appendix 1)
A filtering apparatus comprising an augmented reality processing unit that filters information displayed on a camera image obtained by capturing a peripheral image using at least one of peripheral status and biological information from augmented reality information corresponding to terminal position information.

(付記2)
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
(Appendix 2)
The filtering device;
An imaging unit for generating a camera image capturing a peripheral image;
A sensor processing unit for acquiring at least one of a peripheral situation and biological information;
And a display unit configured to display a display image in which the augmented reality information determined to be displayed by the filtering is displayed on the camera image captured by the imaging unit.

(付記3)
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記2に記載の携帯端末。
(Appendix 3)
The mobile terminal according to appendix 2, wherein the augmented reality information includes filtering information indicating the filtering condition.

(付記4)
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記2または付記3に記載の携帯端末。
(Appendix 4)
The mobile terminal according to appendix 2 or appendix 3, wherein the augmented reality processing unit performs the filtering using information acquired by the sensor processing unit and preference information of a user of the mobile terminal.

(付記5)
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする付記2乃至付記4のいずれか1項に記載の携帯端末。
(Appendix 5)
A communication unit that transmits terminal location information to an augmented reality server that holds the augmented reality information, and receives the augmented reality information corresponding to the location information from the augmented reality server; The portable terminal according to any one of 2 to appendix 4.

(付記6)
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする付記5に記載の携帯端末。
(Appendix 6)
A storage unit for storing the augmented reality information received from the augmented reality server or another mobile terminal;
The communication unit is configured to be able to communicate with another portable terminal by wireless communication, and transmits the augmented reality information in the storage unit to the other portable terminal in response to a request from the other portable terminal. The mobile terminal according to appendix 5, which is characterized.

(付記7)
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする付記6に記載の携帯端末。
(Appendix 7)
The mobile terminal according to appendix 6, wherein the augmented reality processing unit deletes the augmented reality information from the other mobile terminal that is determined to be invalid by the user from the storage unit.

(付記8)
付記5乃至付記7のいずれか1項に記載の携帯端末と、付記5に記載の拡張現実サーバを備えた拡張現実システム。
(Appendix 8)
8. An augmented reality system comprising the mobile terminal according to any one of appendix 5 to appendix 7, and the augmented reality server according to appendix 5.

(付記9)
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
(Appendix 9)
An imaging step for generating a camera image capturing a peripheral image;
A sensor information acquisition step for acquiring at least one of the surrounding situation and biological information;
Augmented reality processing step of filtering the augmented reality information corresponding to the terminal position information using the information acquired in the sensor information acquiring step;
An augmented reality information display method comprising: a display step of displaying a display image obtained by superimposing the augmented reality information determined to be displayed by the filtering on the camera image acquired in the imaging step.

(付記10)
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記9に記載の拡張現実情報表示方法。
(Appendix 10)
The augmented reality information display method according to appendix 9, wherein the augmented reality information includes filtering information indicating the filtering condition.

(付記11)
前記拡張現実処理ステップでは、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記8または付記10に記載の拡張現実情報表示方法。
(Appendix 11)
The augmented reality information display according to appendix 8 or appendix 10, wherein in the augmented reality processing step, the filtering is performed using information acquired by the sensor processing unit and preference information of a user of the mobile terminal. Method.

(付記12)
前記位置情報算出ステップにおいて算出した位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信する送信ステップと、
当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する受信ステップと、を備えることを特徴とする付記9乃至付記111のいずれか1項に記載の拡張現実情報表示方法。
(Appendix 12)
Transmitting the positional information calculated in the positional information calculating step to an augmented reality server that holds the augmented reality information;
The augmented reality information display method according to any one of supplementary notes 9 to 111, comprising: a reception step of receiving the augmented reality information corresponding to the position information from the augmented reality server.

(付記13)
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納する格納ステップと、
他の携帯端末に前記拡張現実情報の送信を要求する端末送信要求ステップと、
他の携帯端末からの送信要求に応じて、前記格納ステップにおいて格納した前記拡張現実情報を当該端末に送信する端末送信ステップと、を備えることを特徴とする付記12に記載の拡張現実情報表示方法。
(Appendix 13)
A storage step of storing the augmented reality information received from the augmented reality server or another mobile terminal;
A terminal transmission requesting step for requesting transmission of the augmented reality information to another portable terminal;
The augmented reality information display method according to appendix 12, further comprising: a terminal transmission step of transmitting the augmented reality information stored in the storing step to the terminal in response to a transmission request from another portable terminal. .

(付記14)
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を削除する情報削除ステップをさらに有することを特徴とする付記13に記載の拡張現実情報表示方法。
(Appendix 14)
The augmented reality information display method according to appendix 13, wherein the augmented reality processing unit further includes an information deleting step of deleting the augmented reality information from the other mobile terminal that is determined to be invalid by the user.

1 拡張現実システム
10 携帯端末
110 中央演算装置
120 メモリ
130 キー入力部
140 センサ
150 撮像部
160 通信部
170 位置情報取得部
180 拡張現実処理部
181 位置特定部
182 センサ情報処理部
183 表示フィルタ部
190 ディスプレイ
20 拡張現実サーバ
30 基地局
40 交換局
DESCRIPTION OF SYMBOLS 1 Augmented reality system 10 Portable terminal 110 Central processing unit 120 Memory 130 Key input part 140 Sensor 150 Imaging part 160 Communication part 170 Position information acquisition part 180 Augmented reality processing part 181 Position specific part 182 Sensor information processing part 183 Display filter part 190 Display 20 Augmented reality server 30 Base station 40 Switching office

Claims (9)

拡張現実情報を保持する拡張現実サーバに端末位置情報を送信し、当該拡張現実サーバから前記端末位置情報に対応する前記拡張現実情報を受信するとともに、他の端末から周辺状況及び生体情報の少なくとも一方を含むセンシングデータを受信する通信部と、
前記拡張現実サーバから受信した前記拡張現実情報から、前記他の端末から受信したセンシングデータを用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部と、を備え、
前記通信部は、前記他の端末との通信においてW−Fi(登録商標)通信を行い、前記拡張現実処理部のフィルタリングにより抽出した前記拡張現実情報を前記他の端末に送信する、携帯端末。
The terminal location information is transmitted to the augmented reality server that holds the augmented reality information, the augmented reality information corresponding to the terminal location information is received from the augmented reality server, and at least one of the surrounding situation and the biological information from other terminals A communication unit that receives sensing data including:
An augmented reality processing unit configured to filter information displayed on a camera image obtained by capturing a peripheral image using sensing data received from the other terminal from the augmented reality information received from the augmented reality server. ,
The communication unit transmits the in communications with another terminal performs W i -F i (registered trademark) communication, the augmented reality information extracted by the filtering of the augmented reality processing unit to the other terminals, mobile Terminal.
自装置の周辺状況及び生体情報の少なくとも一方を用いてフィルタリングされた前記拡張現実情報を格納する格納部を備え、
前記拡張現実処理部は、ユーザにより不要と判断された前記拡張現実情報を前記格納部から削除する、
請求項1に記載の携帯端末。
A storage unit for storing the augmented reality information filtered using at least one of the surrounding state of the device and biological information;
The augmented reality processing unit deletes the augmented reality information determined to be unnecessary by the user from the storage unit;
The mobile terminal according to claim 1.
前記カメラ画像を撮像する撮像部と、
前記センシングデータを取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、フィルタリング済みの前記拡張現実情報を重ね合わせた表示画像を表示する表示部と、
を備える請求項1または請求項2に記載の携帯端末。
An imaging unit that captures the camera image;
A sensor processing unit for obtaining the sensing data;
A display unit that displays a display image in which the filtered augmented reality information is superimposed on the camera image captured by the imaging unit;
The portable terminal of Claim 1 or Claim 2 provided with.
前記拡張現実情報には、フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項1〜3のいずれかに記載の携帯端末。   The mobile terminal according to claim 1, wherein the augmented reality information includes filtering information indicating a filtering condition. 前記拡張現実処理部は、前記センシングデータ、及び前記携帯端末の利用ユーザの嗜好情報を用いてフィルタリングを行う、ことを特徴とする請求項1〜4のいずれかに記載の携帯端末。   The mobile terminal according to claim 1, wherein the augmented reality processing unit performs filtering using the sensing data and preference information of a user of the mobile terminal. 請求項1乃至請求項5のいずれか1項に記載の携帯端末と、請求項1に記載の拡張現実サーバを備えた拡張現実システム。   An augmented reality system comprising the mobile terminal according to any one of claims 1 to 5 and the augmented reality server according to claim 1. 通信部と拡張現実処理部を備える携帯端末における拡張現実情報表示方法であって、
前記通信部は、拡張現実情報を保持する拡張現実サーバに端末位置情報を送信し、当該拡張現実サーバから前記端末位置情報に対応する前記拡張現実情報を受信するとともに、他の端末から周辺状況及び生体情報の少なくとも一方を含むセンシングデータを受信し、
前記拡張現実処理部は、前記拡張現実サーバから受信した前記拡張現実情報から、前記他の端末から受信したセンシングデータを用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングし、
前記通信部は、前記他の端末との通信においてW−Fi(登録商標)通信を行い、前記拡張現実処理部のフィルタリングにより抽出した前記拡張現実情報を前記他の端末に送信する、携帯端末の拡張現実情報表示方法。
An augmented reality information display method in a mobile terminal including a communication unit and an augmented reality processing unit,
The communication unit transmits terminal location information to an augmented reality server that holds augmented reality information, receives the augmented reality information corresponding to the terminal location information from the augmented reality server, and from other terminals, the surrounding situation and Receiving sensing data including at least one of biological information;
The augmented reality processing unit uses the sensing data received from the other terminal from the augmented reality information received from the augmented reality server to filter information displayed on a camera image obtained by capturing a peripheral image,
The communication unit transmits the in communications with another terminal performs W i -F i (registered trademark) communication, the augmented reality information extracted by the filtering of the augmented reality processing unit to the other terminals, mobile A method of displaying augmented reality information on a terminal.
前記携帯端末は自装置の周辺状況及び生体情報の少なくとも一方を用いてフィルタリングされた前記拡張現実情報を格納する格納部を備え、
前記拡張現実処理部は、ユーザにより不要と判断された前記拡張現実情報を前記格納部から削除する、請求項7に記載の拡張現実情報表示方法。
The portable terminal includes a storage unit that stores the augmented reality information filtered using at least one of the surrounding state of the device and biological information,
The augmented reality information display method according to claim 7, wherein the augmented reality processing unit deletes the augmented reality information determined to be unnecessary by the user from the storage unit.
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項7または8に記載の拡張現実情報表示方法。   The augmented reality information display method according to claim 7 or 8, wherein the augmented reality information includes filtering information indicating the filtering condition.
JP2010034839A 2010-02-19 2010-02-19 Mobile terminal, augmented reality system, and augmented reality information display method Expired - Fee Related JP5521621B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010034839A JP5521621B2 (en) 2010-02-19 2010-02-19 Mobile terminal, augmented reality system, and augmented reality information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010034839A JP5521621B2 (en) 2010-02-19 2010-02-19 Mobile terminal, augmented reality system, and augmented reality information display method

Publications (2)

Publication Number Publication Date
JP2011170682A JP2011170682A (en) 2011-09-01
JP5521621B2 true JP5521621B2 (en) 2014-06-18

Family

ID=44684731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010034839A Expired - Fee Related JP5521621B2 (en) 2010-02-19 2010-02-19 Mobile terminal, augmented reality system, and augmented reality information display method

Country Status (1)

Country Link
JP (1) JP5521621B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2656868T3 (en) * 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portable device, virtual reality system and method
WO2013108549A1 (en) * 2012-01-16 2013-07-25 シャープ株式会社 Ar information management device and method for managing ar information
JP5987492B2 (en) * 2012-06-21 2016-09-07 富士通株式会社 Content distribution apparatus, terminal, and content distribution method
WO2014017392A1 (en) 2012-07-24 2014-01-30 日本電気株式会社 Information processing device, data processing method thereof, and program
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
JP2014182719A (en) * 2013-03-21 2014-09-29 Yasuaki Iwai Virtual reality presentation system, and virtual reality presentation method
JP6155889B2 (en) 2013-06-19 2017-07-05 富士通株式会社 System control method, portable information terminal control method, portable information terminal
JP6038749B2 (en) * 2013-08-30 2016-12-07 京セラドキュメントソリューションズ株式会社 Document browsing system and document browsing program
JP2017508200A (en) * 2014-01-24 2017-03-23 ピーシーエムエス ホールディングス インコーポレイテッド Methods, apparatus, systems, devices, and computer program products for extending reality associated with real-world locations
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5162928B2 (en) * 2007-03-12 2013-03-13 ソニー株式会社 Image processing apparatus, image processing method, and image processing system
KR20100016169A (en) * 2007-04-03 2010-02-12 휴먼 네트워크 랩스, 아이엔씨. Method and apparatus for acquiring local position and overlaying information

Also Published As

Publication number Publication date
JP2011170682A (en) 2011-09-01

Similar Documents

Publication Publication Date Title
JP5521621B2 (en) Mobile terminal, augmented reality system, and augmented reality information display method
US11509825B2 (en) Image management system, image management method, and computer program product
US10530998B2 (en) Image processing device, imaging device, image processing method, and program
US9582937B2 (en) Method, apparatus and computer program product for displaying an indication of an object within a current field of view
JP5320133B2 (en) Information presentation system, information presentation server, communication terminal, and information presentation method
US9652144B2 (en) Method and apparatus for providing POI information in portable terminal
JP6496671B2 (en) Information processing apparatus, terminal apparatus, information processing method, and program
US8923805B2 (en) Emergency rescue system and help-seeking device and emergency rescue method
KR20120092496A (en) Information processing device, information processing method, program, and information processing system
JP5528057B2 (en) Device discovery method
CN109639569B (en) Social communication method and terminal
JP2014035642A (en) Display device, control method therefor, display system, and program
CN108459788B (en) Picture display method and terminal
JP2011233005A (en) Object displaying device, system, and method
CN109104564B (en) Shooting prompting method and terminal equipment
JP6617547B2 (en) Image management system, image management method, and program
JP5497203B2 (en) Memory card
CN109781091A (en) A kind of map-indication method of mobile terminal, mobile terminal and storage medium
US8847987B2 (en) System and method for controlling device
CN110677537B (en) Note information display method, note information sending method and electronic equipment
JP6208977B2 (en) Information processing apparatus, communication terminal, and data acquisition method
JP2012038248A (en) Object display device and object display method
KR101706371B1 (en) A mobile terminal for performing a lifelog service and a server therefor
CN110121027B (en) Image processing method and terminal
JP2016038682A (en) Information processing apparatus and control method of the same, server device and control method of the same, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R150 Certificate of patent or registration of utility model

Ref document number: 5521621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees