[go: up one dir, main page]

JP2018036869A - オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム - Google Patents

オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム Download PDF

Info

Publication number
JP2018036869A
JP2018036869A JP2016169672A JP2016169672A JP2018036869A JP 2018036869 A JP2018036869 A JP 2018036869A JP 2016169672 A JP2016169672 A JP 2016169672A JP 2016169672 A JP2016169672 A JP 2016169672A JP 2018036869 A JP2018036869 A JP 2018036869A
Authority
JP
Japan
Prior art keywords
terminal device
beacon
image
display system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016169672A
Other languages
English (en)
Other versions
JP6916460B2 (ja
JP2018036869A5 (ja
Inventor
司 末木
Tsukasa Sueki
司 末木
庄作 鈴木
Shosaku Suzuki
庄作 鈴木
山本 幸司
Koji Yamamoto
山本  幸司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016169672A priority Critical patent/JP6916460B2/ja
Priority to CN201780053264.5A priority patent/CN109661686B/zh
Priority to PCT/JP2017/031684 priority patent/WO2018043732A1/ja
Priority to US16/329,140 priority patent/US10831436B2/en
Publication of JP2018036869A publication Critical patent/JP2018036869A/ja
Publication of JP2018036869A5 publication Critical patent/JP2018036869A5/ja
Application granted granted Critical
Publication of JP6916460B2 publication Critical patent/JP6916460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/56Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/58Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 ユーザの好みや都合に合った状態でオブジェクトを表示できるようにする。【解決手段】 ビーコン端末装置2は、実空間内で自端末装置の存在位置を示すARマーカを当該装置の表面に表された移動体で、ビーコンIDを含むビーコン信号を発信する。ユーザ端末装置1は、撮影機能を備えた移動体で、撮影機能で撮像されたライブビュー画像内のARマーカを認識してビーコン端末装置2の位置を特定し、ビーコン端末装置2から発信されたビーコン信号を受信してそのビーコンIDをサーバ装置3に送信し、サーバ装置3から送信されてくる当該ビーコンID対応のオブジェクトを、特定したビーコン端末装置2の位置に合わせてライブビュー画像内に表示させる制御を行う。サーバ装置3は、ユーザ端末装置1から送信されてくるビーコンIDに対応するオブジェクトをキャラクタデータファイル群から読み出してそのユーザ端末装置1に送信する。【選択図】 図1

Description

本発明は、ユーザ端末装置にオブジェクトを表示するオブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラムに関する。
一般に、スマートフォンなどのユーザ端末装置にあっては、その多機能化が進み、カメラ機能(撮像機能)のほかに、AR(Augmented Reality:拡張現実)という画像処理機能(AR表示機能)が搭載されており、撮影されたライブビュー画像内の所定の位置にオブジェクト画像を合成して表示するようにしている。すなわち、所望する被写体の位置又はその付近に印刷物としての拡張現実マーカ(ARマーカ:黒枠内に白パターンを描いたマーカ)が配置されている状態において、その被写体が撮像機能によって撮影されると、ユーザ端末装置は、その撮影画像を解析することによりその中に含まれているARマーカを認識し、このARマーカの位置にオブジェクト画像を合成してAR表示することにより、実空間上にそのオブジェクトがあたかも存在しているかのような現実感をユーザ端末画面上で得るようにしている。
従来、上述の画像処理機能(AR表示機能)を備えたユーザ端末装置として、サーバ装置からゲームに関するアプリケーションソフトウェアや各種のデータをダウンロードしている状態において、ARマーカが記録されているカードが配置されているエリアをその撮影機能によって撮影すると、この撮影画像内のARマーカを認識し、このカードのオブジェクト(キャラクタ)を撮影画像内に重ね合せて表示するようにした技術が知られている(特許文献1参照)。
特開2014−71838号公報
上述した特許文献の技術においては、サーバ装置からダウンロードしたオブジェクト(キャラクタ)のうち、ARマーカが記録されているカードの種類を変えるだけで所望するキャラクタを選ぶことができるが、同じARマーカが記録されたカードであれば、例え異なるカードであっても表示されるキャラクタは同じものとなる。
ところで、一般にユーザは、例えば、人物キャラクタや動物キャラクタの使用によって、次第に興味や愛着が増し、癒し効果が期待できたり、エージェントやアシスタントに見立てたキャラクタの使用によって、ユーザの所望する情報を調べたり記憶させる情報操作が容易になるという効果も期待できるため、自分の好みや都合に合った状態(例えば、容姿、動作、場所、時間など)でキャラクタを表示させたいという要望があった。
本発明の課題は、ユーザの好みや都合に合った状態でオブジェクトを表示できるようにすることである。
上述した課題を解決するために本発明は、
複数のユーザ端末装置、複数のビーコン端末装置、サーバ装置を備え、前記ユーザ端末装置とビーコン端末装置とサーバ装置との通信により前記ユーザ端末装置にオブジェクトを表示するオブジェクト表示システムであって、
前記各ビーコン端末装置は、実空間内で自端末装置の存在位置を示す画像情報を当該装置の表面に表した移動体としてのユーザ側の通信装置であり、所定の識別情報を含むビーコン信号を発信する発信手段と、を備え、
前記各ユーザ端末装置は、撮影機能を備えた移動体としてのユーザ側の通信装置であり、前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示す画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、前記ビーコン端末装置から発信されたビーコン信号を受信してその前記所定の識別情報を前記サーバ装置に送信するビーコン通信手段と、前記所定の識別情報の送信に応答して前記サーバ装置から送信されてくる当該識別情報に対応するオブジェクトの管理情報に基づいて、そのオブジェクトを、前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、を備え、
前記サーバ装置は、各種のオブジェクトの管理情報を前記所定の識別情報の個々に対応付けて記憶するオブジェクト記憶手段と、前記ユーザ端末装置から送信されてくる所定の識別情報に対応するオブジェクトの管理情報を前記オブジェクト記憶手段から読み出して当該ユーザ端末装置に送信する送信手段と、を備え、
ことを特徴とするオブジェクト表示システム。
本発明によれば、ユーザの好みや都合に合った状態でオブジェクトを表示することが可能となる。
複数のユーザ端末装置1、複数のビーコン端末装置2、サーバ装置3を備え、ユーザ端末装置1とビーコン端末装置2とサーバ装置3との通信によりユーザ端末装置1にオブジェクト(キャラクタ)を表示するオブジェクト表示システムの概要を示したブロック構成図。 実空間上にオブジェクト(キャラクタ)があたかも存在しているかのような現実感をユーザに付与することが可能なユーザ端末装置1側の表示例を示した図。 ユーザ端末装置1の基本的な構成要素を示したブロック図。 ビーコン端末装置2の基本的な構成要素を示したブロック図。 サーバ装置3の基本的な構成要素を示したブロック図。 (1)は、ユーザテーブルTB1を説明するための図、(2)は、ビーコン別キャラクタテーブルTB2を説明するための図。 キャラクタ動作制御テーブルTB3を説明するための図。 (1)は、ユーザ別キャラクタ使用状況テーブルTB4を説明するための図、(2)は、キャラクタデータファイル群CFを説明するための図。 ビーコン端末装置2の全体動作の概要を示したフローチャート。 ユーザ端末装置1の動作(本実施形態の特徴的な動作)を示したフローチャート。 図10の動作に続くフローチャート。 サーバ装置3の全体動作の概要を示したフローチャート。 ユーザ端末装置1、ビーコン端末装置2の間で行われるペアリング処理(図9のステップA3、図10のステップB3)を詳述するフローチャート。 (1)、(2)、(3)は、実施形態の変形例を説明するための図で、ペアリング相手として対応付けたユーザ端末装置1とビーコン端末装置2との関係を例示した図。
以下、図1〜図13を参照して本発明の実施形態を説明する。
図1は、複数のユーザ端末装置1、複数のビーコン端末装置2、サーバ装置3を備え、ユーザ端末装置1とビーコン端末装置2とサーバ装置3との通信によりユーザ端末装置1に所定のオブジェクトを表示するオブジェクト表示システムの概要構成を示したブロック構成図である。
ユーザ端末装置1は、撮影機能及び拡張現実(AR)表示機能を備えた移動体として持ち運び可能なユーザ側の通信装置であり、本実施形態においては、多機能型携帯電話であるスマートフォンに適用した場合を示している。
ビーコン端末装置2は、移動体として持ち運び可能な薄型円形のボタン型通信装置であり、ユーザ端末装置1の付属品として販売されたり、ユーザ端末装置1とは別個に単独品として販売されたりするもので、ユーザは、多くの種類のビーコン端末装置2の中から所望するビーコン端末装置2を購入して所有するようにしている。ここで、ビーコン端末装置の種類とは、その表面に印刷された模様(絵柄)の異なるビーコン端末装置を示し、後述するように、その模様(絵柄)がオブジェクト(キャラクタ)の種類に対応している。ユーザは、この模様(絵柄)を見て自分の好きな種類のオブジェクト(キャラクタ)に対応するビーコン端末装置2を購入することが可能である。このビーコン端末装置2は、所定の識別情報として自己のビーコン端末を識別するビーコンIDを含むビーコン信号を発信することによってユーザ端末装置1にその識別情報(ビーコンID)を提供する構成となっている。
すなわち、ビーコン端末装置2は、Bluetooth(登録商標)という通信規格による無線信号を数秒に一回、最大半径数10メートル程度の範囲(通信可能エリア)内に発信可能な構成となっている。この場合、Bluetooth(登録商標)の通信規格だとすぐに電力を使い果たしてしまうので、Bluetooth(登録商標) Low Energy(BLE)という極力電力を使わない通信規格を使用し、狭い通信可能エリア(例えば、半径5メートル)内においてユーザ端末装置1との間で双方向通信を行うようにしている。なお、ビーコン端末装置2は、通信可能エリアに応じて所定の発信強度(出力強度)でビーコン信号を発信するが、ユーザ操作によってその出力強度(通信可能エリア)を任意に調整可能としてもよい。例えば、予め設定されている通信可能エリア(半径5メートル)を半径2メートルに変更可能としてもよい。ここで、ビーコン信号とは、自端末装置が所定の距離範囲内に存在することを他の装置に知らせるために発する無線信号のことである。また、ビーコン端末装置とは、自端末装置が所定の距離範囲内に存在することを他の装置に知らせるための無線通信が可能な装置のことである。
また、ユーザ端末装置1とビーコン端末装置2との初めての接続時(例えば、ビーコン端末装置2の新規導入時:新規購入直後)には、相互通信によるペアリング処理(ペアリング初期設定処理)を行ってユーザ端末装置1とビーコン端末装置2とを対応付けるようにしている。なお、図示の例は、ユーザA所持のユーザ端末装置1とビーコン端末装置2とを1対1に対応付けた場合を示し、同様に、ユーザB所持のユーザ端末装置1とビーコン端末装置2とを1対1に対応付けた場合を示している。このように本実施形態においては、ユーザ毎にユーザ端末装置1とビーコン端末装置2とを1対1に対応付けた場合を示している。
サーバ装置3は、各種のオブジェクト(例えば、50種類のオブジェクト)の基本情報(ユーザ毎に特化される前の基本的な容姿や動作を規定する情報)をデータライブラリとして記憶管理したり、個々のオブジェクトの個別情報(基本情報で示される基本的な容姿や動作をユーザ毎にカスタマイズする情報であって、基本的な容姿や動作に影響を与える状態情報などを含む情報)を記憶管理したりする(同じ種類のオブジェクトであっても、個々のオブジェクトが異なる容姿や動作をもつことが可能になる)。
そして、このサーバ装置3は、この各種のオブジェクトの基本情報や個別情報であるオブジェクトの管理情報を各ユーザ端末装置1に配信するサービス(オブジェクト配信サービス)を全国規模で展開したりする事業者側の管理装置であり、図示省略したインターネット、移動体通信網(無線通信網)から成る広域通信網4を介して各ユーザ端末装置1に接続されている。この各種のオブジェクト(基本情報の異なる複数のオブジェクト)に1対1に対応して異なる模様(絵柄)が印刷された各種のビーコン端末装置2が販売される。そして、本実施形態においては、オブジェクトの管理情報として、オブジェクトの基本姿勢(基本骨格)に対応した3Dモデリングデータ(3次元座標データ)と、複数のオブジェクト動作に対応付けられたオブジェクトの姿勢(または姿勢の連続的な変化)を示すデータと、複数の服装の種類に対応付けられた服の色や形状のデータを記憶しておき、その時々のオブジェクト動作や服装に応じたデータを読み出して、基本となる3Dモデリングデータに基づいて2次元の画像データを生成し、この生成された画像データをAR表示させるようにしている。
そして、サーバ装置3は、ユーザが所有しているビーコン端末装置2の種類(オブジェクトの種類)に対する基本情報およびビーコン端末装置2のビーコンID(個々のオブジェクト)に対応する個別情報をそのユーザ端末装置1に配信するようにしている。ここで、本実施形態において、ビーコンIDとは、自己(ビーコン端末装置2)を識別する情報のほかに、ビーコン端末装置2の種類(オブジェクトの種類)を示す情報を含むことを意味している。例えば、ビーコンIDの上位桁は、ビーコン端末装置2の種類(オブジェクトの種類)を示す情報、下位桁は、端末識別情報(個体情報)となっている。
本実施形態において各種のオブジェクトは、例えば、人間、動物、キャラクタなどに似せて造られた観賞用の造形物である3次元コンピュータグラフィックス(3DCG)で生成されたフィギュア画像のうち、小説、漫画、映画、コンピュータゲームなどのフィクションに登場する人物や動物の造形物(3DCGのキャラクタ)を示している。なお、オブジェクト、フィギュア、キャラクタは、上位概念の順にオブジェクト>フィギュア>キャラクタの関係にあるが、本実施形態ではオブジェクトとして人物や動物として人気のあるキャラクタを例示した場合を示している。
この人気キャラクタ(3DCGのキャラクタ)は、予め決められている各種の基本モーションやそのバリエーション動作を組み合わせることによって一連の動作を行う画像データとして表現され、例えば、日常生活を送っている人物キャラクタ、つまり、食事したり、眠ったり、学校に行ったりするなど、現在の場所や時間などによって動作が逐次変化する人物キャラクタ、又はダンスを演じている人物キャラクタ、又は犬、猫などのペットキャラクタなどである。この3DCGキャラクタの個々は、キャラクタの種類に応じた基本的な性質に加えて、ユーザとキャラクタとのインタラクション(やり取り、交流)によりその個性が次第に変化するようになっている。これによってユーザは、キャラクタとの日頃のインタラクションにより、ユーザ毎に異なる個性を持ったキャラクタに成長させることができるようになる。
図2は、実空間上にキャラクタがあたかも存在しているかのような現実感をユーザに付与することが可能なユーザ端末装置1側の表示例を示した図である。
図示の例は、自宅の机の上に鉛筆と共にビーコン端末装置2を載置した状態を示している。このビーコン端末装置2の表面(上面)には、拡張現実(AR)マーカ2a、つまり、実空間内で自己の存在位置を示す画像情報(ARマーカ)2aが印刷形成されている。図示の例のARマーカ2aは、映画、コンピュータゲームなどのフィクションに登場する人物キャラクタの特徴部分(人の顔部分)や識別補助用の模様(例えば、周縁部に配置した小円)を含む画像情報を示しているが、これに限らないことは勿論である。
このビーコン端末装置2が机上に載置されている状態でユーザ端末装置1の撮影機能によってその机上を撮像すると、そのモニタ画面(ライブビュー画面)にはライブビュー画像が表示される。ユーザ端末装置1は、このライブビュー画像を解析し、その中に含まれているビーコン端末装置2のARマーカ2aを認識すると、ライブビュー画像内におけるARマーカ2aの位置及び向きを特定し、ビーコン端末装置2対応の3DCGキャラクタを、ARマーカ2aの位置に重ね合わせてAR表示するようにしている。この場合、ARマーカ2aの向きにキャラクタを回転させることによってその姿勢(3次元の姿勢)をARマーカ2aの向きに合わせるようにしている。このようなAR機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
AR表示されるキャラクタは、各種の基本動作を組み合わせることによって一連の動作として、例えば、日常生活をしている人物キャラクタ、ダンスを演じている人物キャラクタなどであり、図示の例は、ダンスを演じている美少女キャラクタが飛び上がっている瞬間を示している。このキャラクタのAR表示によって、実空間上(机上)に、図中破線で示したダンスを演じている美少女キャラクタがあたかも存在しているかのような現実感(仮想キャラクタの存在感)をユーザに付与することが可能となる。なお、キャラクタは、その動作途中で音声を発してユーザに話しかけることも可能なもので、3DCGキャラクタの動作と音声によって更に現実感の高いものとなっている。
なお、ARマーカ2aとして、人物キャラクタの特徴部分(人の顔部分)や識別補助用の模様を施す場合を例示したが、これらは必ずしも必要ではなく、いずれか一方を省略したり、物体の形状そのもので代用したりするようにしてもよい。また、人の顔部分もユーザがキャラクタをイメージすることができれば、簡単な顔のイラストなどであってもよい。つまり、ARマーカ2aの位置と向きを特定することができ、キャラクタの種類を識別することができれば、その構成は問わない。また、ユーザがキャラクタをイメージできるようにすれば、ユーザが複数のビーコン端末装置2を所有する場合や、ビーコン端末装置2の購入時の利便性が増す。また、ARマーカ2aをビーコン端末装置2の表面に印刷形成する場合に限らず、例えば、ARマーカ2aを印刷した接着シールを貼り付けるようにしてもよく、更にはビーコン端末装置2に液晶表示部などの表示手段を設け、この表示手段にARマーカ2aを表示させるようにしてもよい。
ユーザ端末装置1は、ライブビュー画像内にキャラクタを表示させる場合に、そのライブビュー画像内に写っているビーコン端末装置2の画像部分を消去してその部分を補正する処理を行うようにしている。この場合、ビーコン端末装置2の画像部分を不要部分として認識してその画像部分を削除すると共に、この削除部分を背景と同化させる補正処理を行うようにしている。また、ユーザ端末装置1は、ライブビュー画像内にキャラクタを表示させる場合に、そのライブビュー画像の明るさ分布から光源方向を特定し、その光源方向の反対側にキャラクタの影(人影)を挿入してその部分を補正する処理を行うようにしている。
図3は、ユーザ端末装置1の基本的な構成要素を示したブロック図である。
ユーザ端末装置(スマートフォン)1は、通話機能、電子メール機能、インターネット接続機能、計時機能(時計機能、タイマ機能)などの基本的な機能の他、ビーコン通信機能、タッチ表示機能(表示画面上にタッチパネルが積層されたタッチスクリーン)を備えている。制御部10は、二次電池(図示省略)を備えた電源部11からの電力供給によって動作し、記憶部12内の各種のプログラムに応じてこのスマートフォンの全体動作を制御する中央演算処理装置などである。
記憶部12は、プログラムメモリ12a、ワークメモリ12bなどを有し、プログラムメモリ12aは、図10、図11及び図13に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている他、それに必要とする情報などが記憶されている。ワークメモリ12bは、このスマートフォンが動作するために必要となる各種の情報(例えば、フラグ、タイマ時間など)を一時的に記憶するワーク領域である。なお、記憶部12は、例えば、SDカード、USBメモリなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。
無線通信部13は、音声通話機能、電子メール機能、インターネット接続機能時の広域通信に使用される広域通信部13aの他、近距離通信部13bを有している。近距離通信部13bは、ビーコン端末装置2との間でビーコン信号(電波ビーコン又は光ビーコン)を通信可能エリア内で送受信するもので、自己を識別する情報(ユーザID)を含むビーコン信号を発信したり、ビーコン端末装置2からビーコン信号を受信したりする。音声信号処理部14は、マイク、スピーカなどを備え、通話機能、着信音発生機能の他に、本実施形態においてはキャラクタが発声する音声の出力機能としても使用される。バイブレーション報知部15は、振動モータ(図示省略)を有し、電話やメール着信時の着信音に代わって振動による報知を行う場合に使用される他に、本実施形態においてはビーコン端末装置2との接続が検出されたことをユーザに報知する機能としても使用される。操作部16は、電源ボタンなどの押しボタン式の各種のキーを備えている。
撮像部17は、光学レンズからの被写体像が撮像素子(CCDやCMOSなど)に結像されることによって被写体を高精細に撮影可能なカメラ部であり、図示しないが、撮影レンズ、撮像素子(CCDやCMOSなど)、各種のセンサ、アナログ処理部、デジタル処理部を有し、更に、ズーム調整、自動露出調整、フォーカス位置を自動調整するオートフォーカス機能などを備えている。この撮像部17によって撮影された画像は、制御部10によりその画像を圧縮してファイル化する画像圧縮処理が施された後、記憶部12の記録メディアに記録保存される。
タッチ表示部18は、タッチ表示機能を構成するもので、表示画面上にタッチパネルを積層配設した構成で、各種のソフトウェアキー(タッチキー)を割り当て配置してその機能名を表示したり、アイコンを表示したりする他、各種の動作モード(撮影が可能な撮影モード、AR表示が可能なAR表示モード、保存画像の再生が可能な再生モードなどを含む)の中からユーザの所望する動作モードを選択してモードの切り替えを行ったり、指などによるタッチ操作(タップ、フリックなど)を感知してそのタッチ操作に応じた操作信号を入力したりする入力表示デバイスである。GPS(Global Positioning System)測位部19は、地上系/衛星系の制御局を利用して現在の位置を測定する位置測定システムで、制御部10は、上述したAR表示モードにおいて現在の位置情報(場所情報)をGPS測位部19から取得し、予め登録されている位置情報(例えば、自宅の位置情報)と比較して、自宅に居るか外出中かを判別し、外出中であれば、その場所を判別するようにしている。
図4は、ビーコン端末装置2の基本的な構成要素を示したブロック図である。
制御部20は、図示省略の二次電池又はソーラ電池や電源スイッチ21aを備えた電源部21からの電力供給によって動作し、記憶部22内の各種のプログラムに応じてこのビーコン端末装置の全体動作を制御する中央演算処理装置などである。記憶部22は、プログラムメモリ22a、自己を識別するためのビーコンIDを記憶するメモリ22b、予め設定されたペアリング相手であることを示すユーザIDを記憶するメモリ22cなどを有し、プログラムメモリ22aは、図9、図14に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている他、それに必要とする情報などが記憶されている。
ビーコン通信部23は、ユーザ端末装置1との間でビーコン信号(電波ビーコン、又は光ビーコン)を送受信する近距離通信部であり、記憶部22から読み出したビーコンIDを含むビーコン信号を、数秒に一回、定期的に発信したり、ユーザ端末装置1から送信されるビーコン信号を受信したりする。演出用LED(Light Emitting Diode)表示部24は、ユーザ端末装置1から発信されたビーコン信号がLED制御信号の受信に応答して多彩な光の点灯や点滅などによる演出光を発するもので、ユーザ端末装置1側でAR表示が行われることを報知する。
図5は、サーバ装置3の基本的な構成要素を示したブロック図である。
制御部30は、電源部31からの電力供給によって動作し、記憶部32内の各種のプログラムに応じてこのサーバ装置3の全体動作を制御する中央演算処理装置などである。記憶部32は、プログラムメモリ32aなどを有し、このプログラムメモリ32aは、図12、図13に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている他、それに必要とする情報などが記憶されている。
広域通信部33は、インターネットや移動体通信網(無線通信網)から成る広域通信網4を介してユーザ端末装置1に接続することによって双方向通信を行う。このサーバ装置3に外付けされている外部記憶装置(図示省略)には、オブジェクト配信サービスを実施するためのデータベースを構成する各種のテーブル、つまり、ユーザテーブルTB1、ビーコン別キャラクタテーブルTB2、キャラクタ動作制御テーブルTB3、ユーザ別キャラクタ使用状況テーブルTB4が設けられている他に、キャラクタデータ(3DCGフィギュア画像・音声)ファイル群CFが設けられている。
図6(1)は、ユーザテーブルTB1を説明するための図である。
ユーザテーブルTB1は、オブジェクト配信サービスを利用する会員ユーザに関する情報を記憶管理するもので、「ユーザID」、「ユーザ名」、「その他のユーザ情報」の他に、「ビーコンID」の項目を有している。「ユーザID」、「ユーザ名」、「その他のユーザ情報」は、ユーザ登録時にユーザ端末装置1から送信されたユーザ固有の情報(ユーザ端末装置1を識別する情報、ユーザ名、メールアドレスなどの情報)であり、例えば、各種の案内時やサービス実施時に利用される。このユーザIDは、サーバ装置3へのアクセス時にユーザ端末装置1から送信される端末装置識別情報であり、同一のユーザ端末装置1であれば、異なるユーザであってもそのユーザIDを利用することが可能となる。
「ビーコンID」は、そのユーザ所持のビーコン端末装置2を識別する情報であり、ユーザ端末装置1は、例えば、ビーコン端末装置2とのペアリング時にビーコン端末装置2から取得したビーコンIDと自己のユーザIDをサーバ装置3に送信する。サーバ装置3は、受信したビーコンIDと自己のユーザIDを、ユーザ端末装置1とビーコン端末装置2との対応関係(ペアリング相手の組み合わせ関係)としてユーザテーブルTB1に登録する。すなわち、受信したユーザID対応の「ビーコンID」の項目に、受信したビーコンIDをペアリング相手として登録する。
図6(2)は、ビーコン別キャラクタテーブルTB2を説明するための図である。
ビーコン別キャラクタテーブルTB2は、ビーコン端末装置2とキャラクタとの対応、例えば、50種類のキャラクタと50種類のビーコン端末装置2とを対応付けたり、個々のキャラクタと個々のビーコン端末装置2とを1対1に対応付けたりするもので、「ビーコンID」、「ARマーカ」、「キャラクタID」、「キャラクタ名」の各項目を有している。「ビーコンID」は、個々のビーコン端末装置2を識別する端末装置識別情報であり、「ARマーカ」は、そのビーコン端末装置2の表面に設けられているARマーカ2aを示す画像情報(顔画像や模様)であり、キャラクタの種類を識別する情報でもある。「キャラクタID」は、個々のキャラクタを識別する情報であり、「キャラクタ名」はその名称である。このキャラクタ名は、初期状態では、キャラクタの種類を示す共通名称とし、ユーザ登録時にユーザが好きな名前に変更するようにしてもよい。なお、サーバ装置3は、個別のキャラクタが増える毎にビーコン端末装置2とキャラクタとの対応関係をビーコン別キャラクタテーブルTB2に追加登録(新規登録)するようにしている。
図7は、キャラクタ動作制御テーブルTB3を説明するための図である。
キャラクタ動作制御テーブルTB3は、キャラクタ別にその動作を制御する情報を記憶管理するもので、「キャラクタ種類ID(ARマーカ)」、「キャラクタ動作制御情報」の各項目を有し、更に、「キャラクタ動作制御情報」は、「基本モーション名」、「バリエーション名」、「出現条件」の各項目を有している。「基本モーション名」は、例えば、“食事”、“入浴”、“読書”、“ダンス”などに対応してその基本的な動作を行うキャラクタデータ(基本モーションを構成する画像データ及び音声データ)を指定する情報である。つまり、キャラクタの種類毎に基本的な容姿や動作を管理する基本情報である(同じ種類のキャラクタであれば、基本的な容姿や動作は共通している)。
「バリエーション名」は、基本モーションを変化させた動作を行うキャラクタデータ(バリエーションデータを構成する画像データ及び音声データ)を指定する情報で、基本モーションに代わってバリエーション動作が行われる条件(代行条件)として、本実施形態においては3つの条件項目、つまり、「親密度」、「タップ時反応」、「使用環境」を有している。「親密度」は、上述したユーザとキャラクタとの親密度に応じて基本モーションを変化させたバリエーション動作を指定する項目である。例えば、基本モーションが“食事”の場合には「親密度」に応じて“食事内容が変わる”のバリエーションを指定し、“ダンス”の場合には「親密度」に応じて“難易度が変わる”のバリエーションを指定するようにしている。
「タップ時反応」は、AR表示時にそのタッチ画面がタップされた際に、基本モーションを変化させたバリエーション動作を指定する情報を記憶するもので、例えば、基本モーションが“食事”の場合には「タップ時反応」として“食事を止めて感想を話す”のバリエーションを指定し、「入浴」の場合には“鼻歌を歌う”のバリエーションを指定する。なお、本実施形態においては、「タップ時反応」として、任意の位置を接触してすぐに離すタップ操作時を示したが、これに限らず、接触移動するスワイプ操作時、複数の指を接触しながらその間隔を狭めるピンチイン操作時、複数の指を接触しながらその間隔を広げるピンチアウト操作時などのタッチジェスチャ時に反応するようにしてもよい。また、キャラクタが話す音声による反応に限らず、特殊動作の反応であってもよい。
「使用環境」は、ユーザ端末装置1を使用している現在の環境(季節及び場所)を示し、計時機能で得られた計時情報から現在の季節を判定し、GPS測位部19で得られた現在の位置情報から現在の場所を判定する。なお、GPS測位部19を介して現在の場所を取得するようにしてもよい。このように現在の環境(季節及び場所)に応じて、例えば、夏か冬か、自宅か外出中かを判別し、外出中であれば、海か都会か、特定の施設内かを判別し、その判別結果に基づいてキャラクタの服装(例えば、夏の海であれば水着など)を変化させたバリエーションを指定するようにしてもよい。なお、「使用環境」としては、季節、場所に限らず、例えば、使用環境を気温や天候として、気温や天候に応じてキャラクタの服装を変化させるようにしてもよい。更に、服装変化に限らず、キャラクタの装飾品などを変化させるようにしてもよい。
「出現条件」は、キャラクタデータ(基本モーション又はそのバリエーション)を出現(表示)させるための条件を記憶する項目で、「出現条件」として、本実施形態においては3つの条件項目、つまり、「時間帯」、「場所」、「出現率」を有している。この3つの条件が全て揃ったときに、基本モーション又はそのバリエーションを出現(表示)させるようにしている。例えば、「基本モーション名」が“食事”の場合、「時間帯」には“夜の時間帯”(18〜20時)“が記憶され、「場所」には”指定なし“、「出現率」には”1日1回“が記憶されているので、1日1回、夜の時間帯には、食事中のキャラクタが出現されることを示している。
また、「基本モーション名」が“入浴”の場合、「時間帯」には“20〜24時“が記憶され、「場所」には”自宅“、「出現率」には”1日1回“が記憶されているので、1日1回、自宅に居る20〜24時には、入浴中のキャラクタが出現されることを示している。更に、「基本モーション名」が“読書”の場合、「時間帯」及「場所」には“指定なし”が記憶され、「出現率」には“1日3回”が記憶されているので、1日3回まで時間帯及び場所を問わず、読書中のキャラクタが出現されることを示している。
図8(1)は、ユーザ別キャラクタ使用状況テーブルTB4を説明するための図である。
ユーザ別キャラクタ使用状況テーブルTB4は、ユーザ別に個々のキャラクタの使用状況を記憶管理するもので、「ユーザID」、「キャラクタID」、「キャラクタ使用状況」、「その他の状態情報」の各項目を有している。なお、「キャラクタ使用状況」は、上述した基本モーション別のキャラクタ使用状況を記憶する項目で、「ユーザとキャラクタとの親密度」と「1日当たりのアクセス回数」の項目を有している。この「親密度」は、更に2つの項目として「アクセス時間累計値」と「アクセス頻度」を有している。「アクセス時間累計値」は、ビーコン端末装置2を新規購入してから現時点までにそのビーコン端末対応のキャラクタをアクセスしてAR表示させた累計時間を示し、「アクセス頻度」は、所定期間(1ヶ月以内)にそのビーコン端末対応のキャラクタをアクセスしてAR表示させた回数を示している。「その他の状態情報」は、「キャラクタ使用状況」以外に個々のキャラクタ毎に変化する状態を管理する情報である(キャラクタの現在の服装や、その時点で着替えることが可能な服装リストなど)。
この「アクセス時間累計値」から親密度を決定する場合に、その累計値がその第1閾値未満であれば、親密度は低いと判定し、第1閾値X1以上で第2閾値X2未満であれば、親密度は普通と判定し、第2閾値X2以上であれば、親密度は高いと判定する。同様に、「アクセス頻度」から親密度を決定する場合に、その頻度がその第1閾値Y1未満であれば、親密度は低いと判定し、第1閾値Y1以上で第2閾値Y2未満であれば、親密度は普通と判定し、第2閾値Y2以上であれば、親密度は高いと判定する。ここで、「アクセス時間累計値」、「アクセス頻度」の親密度を比較し、親密度の高い方をキャラクタ使用状況とするようにしている。例えば、一方の親密度が“高い”、他方の親密度が“普通”であれば、キャラクタ使用状況として親密度は“高い”と判定し、一方の親密度が“普通”、他方の親密度が“低い”であれば、キャラクタ使用状況として親密度は“普通”と判定するようにしている。「1日当たりのアクセス回数」は、ビーコン端末対応のキャラクタをアクセスした1日当たりの合計回数を示している。
図8(2)は、キャラクタデータファイル群CFを説明するための図である。
キャラクタデータファイル群CFは、各種のキャラクタデータを記憶管理するデータライブラリを構成するもので、キャラクタの種類毎に、「キャラクタ種類ID(ARマーカ)」に対応して「各種の基本モーション(3DCGフィギュア画像及び音声データ)」を記憶管理すると共に、「各種のバリエーション(3DCGフィギュア画像及び音声データ)」を記憶管理するもので、サーバ装置3は、ユーザ端末装置1からキャラクタデータのダウンロード要求を受けた際に、キャラクタデータファイル群CFを参照して、その要求されたキャラクタデータ(各種の基本モーションとバリエーションデータ)を要求元のユーザ端末装置1に配信する。
次に、本実施形態におけるオブジェクト表示システムの動作概念を図9〜図13に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
図9は、ビーコン端末装置2の全体動作の概要を示したフローチャート、図10及び図11は、ユーザ端末装置1の動作(本実施形態の特徴的な動作)を示したフローチャート、図12は、サーバ装置3の全体動作の概要を示したフローチャートである。
まず、図9は、電源オンに応じて実行開始されるビーコン端末装置2の動作を示し、ビーコン端末装置2は、電源オンに応じてビーコンIDを含むビーコン信号を定期的(例えば、数秒に1回)に発信する動作を開始(図9のステップA1)した後、図示省略のペアリング設定済みフラグの値は“1”(フラグ=オン)されているかを調べる(ステップA2)。
このペアリング設定済みフラグは、ビーコン端末装置2とユーザ端末装置1との間でペアリング初期設定処理(後述する)が行われた際に“1”(フラグ=オン)されるもので、その値は電源がオフされた後においても記憶保持される(以下、同様)。いま、ビーコン端末装置2の新規導入時(新規購入後)には、上述のペアリング設定済みフラグの値は“0”(フラグ=オフ)されているので(ステップA2でNO)、ペアリング初期設定処理(ステップA3)に移る。
図10及び図11は、電源オンに応じて実行開始されるユーザ端末装置1の動作を示し、まず、ユーザ端末装置1は、電源オンに応じて、現在の動作モードはAR表示モードであるかを調べ(図10のステップB1)、AR表示モードでなければ(ステップB1でNO)、その他の動作モードに応じた処理に移るが、AR表示モードであれば(ステップB1でYES)、上述したビーコン端末装置2側と同様に、図示省略のペアリング設定済みフラグの値は“1”(フラグ=オン)されているかを調べるが(ステップB2)、ビーコン端末装置2の新規導入時(新規購入後)には、上述のペアリング設定済みフラグの値は“0”(フラグ=オフ)されているので(ステップB2でNO)、後述するペアリング初期設定処理(ステップB3)に移る。
ビーコン端末装置2とユーザ端末装置1とが通信可能エリア内となるように接近されている状態において、ビーコン端末装置2とユーザ端末装置1との間ではビーコン信号の相互通信によるペアリング初期設定処理(ステップA3、B3)が行われる。図13は、ペアリング初期設定処理(ステップA3、B3)を詳述するフローチャートである。
まず、ユーザ端末装置1は、ビーコン端末装置2から発信されたビーコン信号を受信すると(ステップA31)、自己のユーザIDを含むビーコン信号を送信する(ステップB32)。
そして、ユーザ端末装置1は、受信したビーコンIDをペアリング相手として記憶するとともに、受信したビーコンIDと自己のユーザIDとをサーバ装置3に送信してペアリング設定の要求(ステップB33)を行った後、ユーザ端末装置1側のペアリング設定済みフラグの値を“1”としてそのフラグをオンする処理(ステップB34)を行う。なお、本実施形態においては、ペアリング相手として、ユーザ端末装置1とビーコン端末装置2とを1対1に対応付けるようにしたので、この1対1の対応付け(ペアリング処理)を行った後に、ペアリング設定済みフラグの値を“1”とするようにしている。
ビーコン端末装置2は、ユーザ端末装置1から送られてくるビーコン信号を受信すると(ステップA31)、そのビーコン信号の中に含まれているユーザIDをペアリング相手として記憶部22に保存する処理(ステップA32)を行った後、ビーコン端末装置2側のペアリング設定済みフラグの値を“1”としてそのフラグをオンする処理(ステップA33)を行う。
サーバ装置3は、ユーザ端末装置1からペアリング設定要求を受信すると(図12のステップC1)、この設定要求と共に、ユーザ端末装置1から受信したビーコンIDとユーザIDとの対応関係(ペアリングの組合せ関係)をユーザテーブルTB1に追加登録(新規登録)するペアリング初期設定処理(ステップC2)を行う。なお、ここでのペアリングとは、ビーコン端末装置2とユーザ端末装置1とが互いの通信相手を限定するための通信レベルでのペアリングと、サーバ装置3が提供するサービスを受ける装置を登録するサービスレベルでのペアリングの両方を意味している。
次に、ビーコン端末装置2は、上述のようなペアリング初期設定処理(ステップA3)が終ると、上述のステップA2に戻る。この場合、ペアリング設定済みフラグは、“1”となっているので(ステップA2でYES)、次のステップA4に移り、ユーザ端末装置1からの応答待ち状態となる。
ユーザ端末装置1は、上述のようなペアリング初期設定処理(ステップB3)が終ると、このビーコンIDと自己のユーザIDをサーバ装置3に送信することによってそのビーコン端末装置2に対応付けられているキャラクタデータなどのダウンロードを要求する(ステップB4)。
サーバ装置3は、ユーザ端末装置1からダウンロード要求を受信すると(図12のステップC3でYES)、その要求時に受信したビーコンIDに基づいてビーコン別キャラクタテーブルTB2を参照して、そのビーコンID対応の「ARマーカ」と「キャラクタID」を読み出す(ステップC4)。次に、この「キャラクタID」に基づいて、キャラクタ動作制御テーブルTB3を参照して、該当するキャラクタ動作制御情報(基本モーション名、バリエーション名、出現条件)を読み出し(ステップC5)、更に、この「キャラクタID」に基づいて、キャラクタデータファイル群CFを参照して、該当するキャラクタデータ(各種の基本モーションとバリエーション)を読み出す(ステップC6)。これによって読み出した各種のデータ、つまり、ビーコンID対応のARマーカ、キャラクタID対応のキャラクタ動作制御情報及びキャラクタデータを、その要求元のユーザ端末装置1に対して配信する処理を行う(ステップC7)。
ユーザ端末装置1は、サーバ装置3から配信されてきたキャラクタデータなどの各種のデータを受信すると、そのビーコンID対応のARマーカ、キャラクタID対応のキャラクタ動作制御情報及びキャラクタデータを記憶部12に保存するダウンロード処理を行う(図10のステップB5)。このようにユーザ端末装置1はペアリングの初期設定時に、そのペアリング相手のビーコン端末対応のキャラクタデータなどをサーバ装置3から受信取得して自己の記憶部12に保存するダウンロード処理を初期化処理として行う。
次に、ユーザ端末装置1は、ユーザ操作によってAR表示モードの解除が指定されて他の動作モードに切り替えられたかを調べる(ステップB6)。ここで、AR表示モードが解除されると(ステップB6でYES)、その他の動作モードに応じた処理に移るが、AR表示モードのままであれば(ステップB6でNO)、上述のステップB2に戻る。この場合、ペアリング設定済みフラグは、“1”となっているので(ステップB2でYES)、次のステップB7に移り、ビーコン端末装置2からのビーコン信号を受信する待ち状態となる。
すなわち、ユーザ端末装置1は、ビーコン端末装置2から発信されたビーコン信号(ビーコンIDを含む)を受信したか、つまり、ビーコン端末装置2の通信可能エリア(例えば、半径5メートル)内にユーザ自身が接近したかを調べる。例えば、ユーザの部屋(自室)に自己所有のビーコン端末装置2が置いてある状態で、ユーザ端末装置1を所持しているユーザがその部屋を一旦離れた後、再び入室した場合には、ビーコン端末装置2からのビーコン信号を受信可能な状態となる。いま、ビーコン端末装置2からのビーコン信号を受信すると(ステップB7でYES)、この受信したビーコンIDと自己のユーザIDをサーバ装置3に送信して、ペアリング相手であるかの確認要求を行い(ステップB8)、これに応答してサーバ装置3から送られてきた確認結果に基づいて、ペアリング相手であるか否かを判別する(ステップB9)。なお、ここで、通信レベルでのペアリングを確認するだけでなく、サービスレベルでのペアリングも確認するようにしている。例えば、同じユーザが複数のユーザ端末(スマートフォンと腕時計タイプのリスト端末など)を所持するような場合に、どちらか一方のみを本サービス用に使用するか、両方を使用するかに応じて、どちらか一方のレベルでのみペアリングを確認するようにしてもよい。
サーバ装置3は、ユーザ端末装置1からペアリング相手であるか否かの確認要求を受信すると(図12のステップC8でYES)、その確認要求時に受信したビーコンID及びユーザIDに基づいてユーザテーブルTB1を参照し、受信したビーコンIDとユーザIDとの対応関係(組合せ関係)がユーザテーブルTB1に登録されているか否か判別し、登録されていれば、ペアリング相手であることを確認して、その確認結果を要求元のユーザ端末装置1に送信する(ステップC9)。
ユーザ端末装置1は、サーバ装置3からの確認結果がペアリング相手でないことを示す場合には(図10のステップB9でNO)、今回受信したビーコン信号を無視するために、上述のステップB7に戻るが、ペアリング相手であることを示す場合には(ステップB9でYES)、そのビーコン端末装置2との接続を確定すると共に、ビーコン信号を正常に受信したことを示すために自己のユーザIDを含む応答をそのビーコン端末装置2に送信する(ステップB10)。
ビーコン端末装置2は、ユーザ端末装置1からの応答を受信すると(図9のステップA4でYES)、その応答と共に受信したユーザIDとペアリング相手として設定したユーザIDとを比較して、ペアリング相手から応答であるかを調べる(ステップA5)。いま、ペアリング相手でなければ(ステップA5でNO)、今回受信したビーコン信号を無視するために、上述のステップA4に戻るが、ペアリング相手であれば(ステップB5でYES)、そのユーザ端末装置1との接続を確定する(ステップA6)。
このようにユーザ端末装置1とビーコン端末装置2との接続が確立すると、ユーザ端末装置1は、音声信号処理部14のスピーカを駆動して報知音を発生させたり、タッチ表示部18に所定のアイコンを点灯又は点滅表示させたりして、ビーコン端末装置2に接続されたこと(AR表示が開始されること)を報知(図10のステップB11)と共に、その状態を接続中のビーコン端末装置2に知らせる報知信号として、そのビーコン端末装置2にLED制御信号を送信する(ステップB12)。そして、撮像部17を動作させてそのライブビュー画像を逐次取得し、タッチ表示部18のモニタ画面にライブビュー画像を表示させる動作を開始する(ステップB13)。
ビーコン端末装置2は、ユーザ端末装置1からLED制御信号を受信すると(図9のステップA6でYES)、演出用LED表示部24を駆動して多彩な光の点灯や点滅などによる演出光を発生させることにより、ユーザ端末装置1側でAR表示が開始されることを報知する(ステップA8)。次に、電源がオフされたかを調べ(ステップA9)、電源オンのままであれば(ステップA9でNO)、ユーザ端末装置1との接続が継続中であるかを調べ(ステップA10)、接続継続中であれば(ステップA10でYES)、上述のステップA7に戻る。いま、ビーコン端末装置2からユーザ端末装置1が遠ざかってその通信可能エリア内からユーザ端末装置1が離れたときには、その接続が解除されたときには(ステップA10でNO)、上述のステップA4に移り、以下、電源がオフされるまで上述の動作を繰り返す。
ユーザ端末装置1は、上述のようにライブビュー画像の表示動作を開始すると、図11のフローに移り、ライブビュー画像を解析し、ライブビュー画像内にARマーカ2aが含まれているかを調べる(ステップB14)。すなわち、サーバ装置3からダウンロードしたARマーカ2aとライブビュー画像内に含まれているARマーカ2aとを比較し、ペアリング相手のARマーカ2aがライブビュー画像内に含まれているかを調べる。ここで、ライブビュー画像内にARマーカ2aが含まれていなければ(ステップB14でNO)、後述するステップB29に移行するが、ARマーカ2aが含まれていれば(ステップB14でYES)、そのARマーカ2aに基づいてビーコン別キャラクタテーブルTB2を参照し、それに該当する接続中のビーコンIDを読み出し、この接続中のビーコンIDと自己のユーザIDとをサーバ装置3に送信して、そのビーコンID対応のキャラクタ使用状況の配信を要求する(ステップB15)。
サーバ装置3は、ユーザ端末装置1からキャラクタ使用状況の配信要求を受信すると(図12のステップC10)、その要求と共にユーザ端末装置1から受信したビーコンIDと自己のユーザIDに基づいて、ユーザ別キャラクタ使用状況テーブルTB4を参照して、該当するキャラクタ使用状況として「親密度(アクセス時間の累計値及びアクセス頻度)」及び「アクセス回数」を読み出し、その配信要求元のユーザ端末装置1に対して配信する処理を行う(ステップC11)。
ユーザ端末装置1は、サーバ装置3からキャラクタ使用状況を受信すると(図11のステップB16)、次のステップB17に移り、サーバ装置3からダウンロードしたキャラクタ動作制御情報、現在の時間帯及び場所に基づいて、キャラクタ動作制御テーブルTB3を参照し、キャラクタデータファイル群CFから該当するキャラクタデータを読み出す。すなわち、まず、ユーザ端末装置1は、キャラクタ動作制御情報の「出現条件」を構成する条件項目の「時間帯」及び「場所」と、計時機能で得られた計時情報及びGPS測位部19で得られた位置情報(場所)を比較して、「出現条件」に該当するか否かを判別し、該当していれば、更にキャラクタ使用状況の「1日当たりのアクセス回数」に基づいて「出現率」に該当しているか否かを判別する。
ここで、この3つの条件の全てに該当していれば、それに該当するキャラクタデータを読み出す。すなわち、ユーザ端末装置1は、キャラクタ動作制御情報の「親密度」及び「使用環境」と、キャラクタ使用状況(親密度)、計時機能で得られた計時情報及びGPS測位部19で得られた位置情報(場所)とを参照し、キャラクタデータファイル群CFから親密度及び使用環境に該当するキャラクタデータ(3DCGフィギュア画像・音声)を読み出す。例えば、親密度が高くなければ(低い又は普通であれば)、基本モーションデータを読み出し、親密度が高ければ、バリエーションデータを読み出す。その際、海辺など特定の場所であれば、服装を変えたバリエーションデータを読み出す。
このように親密度及び使用環境に該当するキャラクタデータを読み出した後、ユーザ端末装置1は、ライブビュー画像内に含まれているARマーカに基づいて、その位置及び向きを特定する(ステップB18)。なお、このマーカ位置及び向きを特定する場合に行われる座標系の変換は一般的な技術であるため、その説明は省略するものとする。このようにして特定したマーカの向きに応じてキャラクタデータ(3DCGフィギュア画像)の姿勢を変える処理(ステップB19)を行った後、その姿勢のキャラクタデータをタッチ表示部18にAR表示させてその動作を開始させる(ステップB20)。その際、キャラクタ表示は、ライブビュー画面内のARマーカの位置又はその近傍に行われる。また、表示中のキャラクタに音声が含まれていれば、発声動作を開始させる。その後、キャラクタ表示時間タイマ(図示省略)の計測動作を開始させる(ステップB21)。
次に、ステップB22に移り、ユーザ端末装置1は、ライブビュー画像内のビーコン端末装置2の画像部分を検出し、その画像部分を不要部分として認識してその部分を削除すると共に、その削除した部分を背景と同化させる補正処理を行う。また、ライブビュー画像内にキャラクタを表示させる場合に、そのライブビュー画像の明るさ分布から光源方向(最も明るい方向)を特定し(ステップB23)、その光源方向の反対側にキャラクタの影(人影)を挿入してその部分を補正する処理を行う(ステップB24)。このようにキャラクタのAR表示中において、例えば、基本動作からバリエーション動作に変化させるときには、その間に繋ぎ動作を挿入し、また、バリエーション動作から基本動作に変化させるときにも繋ぎ動作を挿入するようにしている。このようにバリエーション動作時には、その前の繋ぎ動作と後の繋ぎ動作を挿入することで円滑な一連の動作を可能としている。
このようなキャラクタのAR表示中において、ライブビュー画像(タッチ画面)がユーザ操作によってタップされたかを調べたり(ステップB25)、撮影指示操作(シャッタ操作)が行われたかを調べたり(ステップB27)、AR表示モードを解除する操作(モード切換操作)が行われたかを調べたりする(ステップB29)。ここで、いずれの操作も行われなければ(ステップB29でNO)、上述のステップB22に戻り、以下、同様の動作を繰り返しながら操作待ち状態となる。
いま、ライブビュー画像(タッチ画面)がユーザ操作によってタップされた場合には(ステップB25でYES)、ユーザとキャラクタとの間におけるインタラクション処理を開始する(ステップB26)。すなわち、ユーザ端末装置1は、キャラクタ動作制御テーブルTB3を参照して、表示中のキャラクタに対応する動作制御情報「タップ時反応」に応じたバリエーションにキャラクタ動作を変化させる。例えば、食事中のキャラクタ表示時にタップが行われた場合には、食事を止めて感想を話すバリエーションに変化させる処理を行う。なお、インタラクション処理としては、キャラクタの発声に限らず、例えば、ユーザとキャラクタとが対話したり、スワイプ操作やピンチイン操作などのタッチジェスチャ操作に対応した処理を行うようにしたりしてもよい。
また、撮影指示操作(シャッタ操作)が行われた場合には(ステップB27でYES)、このシャッタ操作のタイミングでAR表示の動作を停止させて、この停止したときのキャラクタを含むライブビュー画像を取得し、この取得画像に対して現像などの撮影処理を施した後、撮影画像として記憶部22の記録メディアに記録保存させる処理を行う(ステップB28)。例えば、図2に示すようにライブビュー画像内にAR表示されているキャラクタがジャンプした際にシャッタ操作が行われた場合には、ジャンプした瞬間のタイミングで停止させたキャラクタを含む撮影画像が記録保存されることになる。
AR表示モードを解除する操作(モード切換操作)が行われた場合には(ステップB29でYES)、ライブビュー画像内のAR表示を消去すると共に、上述したキャラクタ表示時間タイマの計測動作を停止させた後、自己のユーザID、表示中のキャラクタID、キャラクタ表示時間(タイマ計測時間)、現在日時をサーバ装置3に送信してキャラクタ使用状況の更新をサーバ装置3に対して要求する(ステップB30)。その後、図11のフローに戻り、その他の動作モードに応じた処理に移る。
サーバ装置3は、ユーザ端末装置1からキャラクタ使用状況の更新要求に応じて(図12のステップC12)、その更新要求と共に、自己のユーザID、表示中のキャラクタID、キャラクタ表示時間、現在日時を受信する(ステップC13)。そして、この自己のユーザID、表示中のキャラクタIDに基づいてユーザ別キャラクタ使用状況テーブルTB4を参照し、該当するキャラクタ使用状況の「アクセス時間累計値」、「アクセス頻度」、「アクセス回数」を、ユーザ端末装置1から受信したキャラクタ表示時間(タイマ計測時間)、現在日時に基づいて更新する処理を行う(ステップC14)。この場合、「アクセス時間累計値」にキャラクタ表示時間(タイマ計測時間)を加算することによって「アクセス時間累計値」を更新し、現在日時に基づいて「アクセス頻度」、「アクセス回数」の値に“1”を加算することによってその値を更新する。その後、最初のステップC1に戻り、以下、上述の動作を繰り返す。
以上のように、本実施形態のオブジェクト(キャラクタ)表示システムにおいて、ビーコン端末装置2は、実空間内で自端末装置の存在位置を示す画像情報(ARマーカ)を当該装置の表面に表された移動体であり、所定の識別情報(ビーコンID)を含むビーコン信号を発信し、ユーザ端末装置1は、撮影機能を備えた移動体であり、この撮影機能で撮像されたライブビュー画像内のARマーカを認識してビーコン端末装置2の位置を特定すると共に、ビーコン端末装置2から発信されたビーコン信号を受信してそのビーコンIDをサーバ装置3に送信し、それに応答してサーバ装置3から送信されてくる当該ビーコンID対応のキャラクタを、特定したビーコン端末装置2の位置に合わせてライブビュー画像内に表示させる制御を行い、サーバ装置3は、キャラクタデータファイル群CFを参照し、ユーザ端末装置1から送信されてくるビーコンID対応のキャラクタをユーザ端末装置1に送信するようにしたので、ユーザ毎に選ばれたキャラクタが実空間上にあたかも存在しているかのような現実感を何時でも何処でも自由に得られるようにそのキャラクタの表示を制御することが可能となり、ユーザにとっては自分の好みに合ったキャラクタの使用によって次第に興味や愛着が増し、癒し効果も期待することができる。また、個人毎、または個人で所有したり持ち歩いたりすることが可能な物体であるビーコン端末装置2毎に、異なる容姿や動作を有するキャラクタを割り当てることが可能になり、個人の好みや都合に合った状態(容姿、動作、場所、時間)でキャラクタを表示させることが可能になる。
ユーザ端末装置1とビーコン端末装置2との接続時に相互通信によるペアリングを行うようにしたので、ビーコン端末装置2がペアリング相手の場合にキャラクタ表示を行うことができ、ビーコン端末装置2を所有しているユーザ以外の第三者がそのビーコン端末装置2を撮影したとしても、その第三者のユーザ端末装置1にキャラクタが表示さることを防ぐことが可能となる。
ユーザ端末装置1は、ユーザ端末装置1とビーコン端末装置2との対応関係をペアリング相手の組み合わせ関係としてユーザテーブルTB1に登録されている状態において、ビーコン端末装置2からビーコンIDを含むビーコン信号を受信した際に、ユーザテーブルTB1の登録内容からそのビーコン端末装置2がペアリング相手であることが確認されたことを条件に、キャラクタ表示を行うようにしたので、ペアリング相手の管理が確実となる。
ビーコン端末装置2の表面に表されている画像情報(ARマーカ)2aは、実空間内で自端末装置の存在位置とその向きを示す情報であり、キャラクタは、3DCGで生成されたフィギュア画像であるため、ユーザ端末装置1は、ライブビュー画像内に写し込まれているARマーカを認識することによってライブビュー画像内でのビーコン端末装置2の位置とその向きを特定し、この位置及び向きに合わせてライブビュー画像内にフィギュア画像を表示させるようにしたので、移動体としてのビーコン端末装置2の表面にARマーカ2aを設けておくだけで、AR表示時にその3DCGフィギュア画像の位置とその姿勢をユーザの意向に応じて変えることができる。
ビーコン端末装置2の表面に表されている画像情報(ARマーカ)2aは、フィギュア画像を構成する画像のうちその特徴部分(人物の顔部分)を表現した画像であるので、ユーザにあってはARマーカ2aを見るだけでフィギュア画像を想起することができ、ビーコン端末装置2とフィギュア画像との対応関係が明確となる。
キャラクタは、各種の基本モーションやそのバリエーション動作を組み合わせることによって一連の動作を行う3DCGのフィギュア画像であり、キャラクタデータファイル群CFに各種のフィギュア画像に対応してその基本動作毎に基本モーションデータと、その動作の出現条件を示す動作制御情報とが記憶されている状態において、ユーザ端末装置1は、ライブビュー画像内にフィギュア画像を表示させる場合に、そのフィギュア画像の動作制御情報を参照し、その出現条件に合致する基本モーションデータを選択してライブビュー画像内に逐次表示させる制御を行うようにしたので、フィギュア画像を構成する一連の基本モーションの中から出現条件に合致する基本モーションだけを組み合わせたフィギュア画像をAR表示することができる。
出現条件は、「時間帯」、「場所」、「出現率」であり、この3つの条件に合致する基本モーションが選択されるので、フィギュア画像を適切にAR表示させることができる。
キャラクタは、各種の基本モーションとその基本動作を変化させたバリエーション動作を組み合わせることによって一連の動作を行う3DCGのフィギュア画像であり、キャラクタデータファイル群CFに各種のフィギュア画像に対応してその基本動作毎に基本モーションデータとバリエーションデータと前記基本モーションに代わってそのバリエーション動作を代行させる代行条件を示す動作制御情報とが記憶されている状態において、ユーザ端末装置1は、ライブビュー画像内にフィギュア画像を構成する基本モーションデータを逐次選択して表示させる場合に、そのフィギュア画像の動作制御情報を参照し、その代行条件に該当する場合には、そのときの基本モーションデータに代わってバリエーションデータを選択するようにしたので、基本モーションとその基本動作を変化させたバリエーション動作を組み合わせてなるフィギュア画像をAR表示させることができる。これによってユーザとキャラクタとのインタラクションによりユーザ毎に異なる個性を持ったキャラクタに成長させることができる。
代行条件は、ユーザとフィギュア画像との関わりに応じて変化するその親密度を表す情報としてフィギュア画像をアクセスした累計時間又はそのアクセス頻度であり、ユーザ端末装置1は、親密度に応じて、基本モーションデータに代わってバリエーションデータを選択するようにしたので、親密度に応じてフィギュア画像の動作を変化させることができる。
代行条件は、ユーザ操作の種類を示す情報(タップ操作)であり、ユーザ端末装置1は、タップ操作に応じて、基本モーションデータに代わってバリエーションデータを選択するようにしたので、ユーザ操作でバリエーションデータを選択することができる。
代行条件は、ライブビュー画像内にフィギュア画像が表示される際の使用環境「季節」、「場所」であり、ユーザ端末装置1は、フィギュア画像をAR表示する際の環境が代行条件の「季節」、「場所」に該当する場合に、モーションデータに代わってバリエーションデータを選択するようにしたので、使用環境に応じてバリエーションデータを選択することができる。
ユーザ端末装置1は、所定の状態としてビーコン端末装置2との接続を検出した際に、そのビーコン端末装置2に対して演出用LED表示部24の駆動を指示するLED制御信号を送信するようにしたので、ユーザは、ビーコン端末装置2を介してAR表示が可能な状態であることを知ることができる。
ユーザ端末装置1は、ビーコン端末装置2との接続を検出した際に、音声信号処理部14のスピーカ又はバイブレーション報知部15を駆動してその接続を報知するようにしたので、ユーザは、その報知によってAR表示が可能な状態であることを知ることができる。この場合、ユーザ端末装置1を鞄に入れていたり、騒音環境下に居たりしてもバイブレーション報知によってその旨を知ることができる。
ユーザ端末装置1は、ライブビュー画像内にフィギュア画像が表示されている状態において、撮影指示操作が行われた際にその撮影指示時に応答してフィギュア画像の動作を停止し、その停止時のフィギュア画像をビーコン端末装置2の位置に挿入した撮影画像を記録保存するようにしたので、ユーザの好きな場所を背景とした撮影画像内に、動作中のフィギュアの瞬間のボーズを収めることができる。
ユーザ端末装置1は、ライブビュー画像内にキャラクタを表示させる制御を行う際に、そのライブビュー画像内に写っているビーコン端末装置2の画像部分を消去して、その消去部分を補正する処理を行うようにしたので、不要なビーコン端末装置2を除いた画像を得ることができ、キャラクタの現実感をより増大させることが可能となる。
ユーザ端末装置1は、ライブビュー画像内にキャラクタを表示させる制御を行う際に、そのライブビュー画像の明るさ分布から光源方向を特定し、その光源方向の反対側にそのキャラクタの影を挿入してその部分を補正する処理を行うようにしたので、キャラクタの現実感をより増大させることが可能となる。
(変形例1)
なお、上述した実施形態においては、ユーザ毎にペアリング相手として、ユーザ端末装置1とビーコン端末装置2とを1対1に対応付けた場合を例示したが、これに限らず、それらの組み合わせは任意である。
図14は、実施形態の変形例を説明するための図で、ペアリング相手として対応付けたユーザ端末装置1とビーコン端末装置2との関係を例示した図である。図14(1)は、ペアリング相手としてユーザ端末装置1とビーコン端末装置2とを1対n(整数個、以下同様)、図示の例では、1対3に対応付けた場合を示している。また、図14(2)は、ペアリング相手としてユーザ端末装置1とビーコン端末装置2とをn対1、図示の例では、2対1に対応付けた場合を示している。図14(3)は、ペアリング相手としてユーザ端末装置1とビーコン端末装置2とをn対n、図示の例では、2対3に対応付けた場合を示している。
このように1対n、n対1、n対nに対応付ける場合には、ユーザ端末装置1とビーコン端末装置2との対応関係をペアリング相手の組み合わせ関係としてユーザテーブルTB1に登録しておけばよい。この場合、nは、製品出荷時の固定値又はユーザ操作によって任意に設定された値としてもよい。また、1対n、n対1、n対nの対応付けが完了した際、つまり、nの値に達した際に、自動的又はユーザ操作に応じて、上述したペアリング設定済みフラグの値を“1”(フラグオン)とするようにしてもよい。
このように1対n、n対1、n対nに対応付けることによって例えば、姉妹同士や親友同士で同じキャラクタを共有したり、一人のユーザが複数のビーコン端末装置2を所持することによって複数のキャラクタを楽しんだりするなど、ユーザ端末装置1とビーコン端末装置2との組み合わせを任意に設定することができる。また、ユーザ端末装置1とビーコン端末装置2との関係が1対nの場合において、同じユーザが同じ種類のビーコン端末装置2を購入した場合に、購入初期の段階では、キャラクタの状態(動作、会話、服装などの初期状態)は変化しないが、ユーザとの親密度などによって個々のキャラクタ毎に個性を持ち、ビーコン端末装置2毎に異なるキャラクタに成長させることができる。
上述した実施形態においては、同じ種類のビーコン端末装置2が購入された場合、その購入初期の段階では、キャラクタの状態(動作、会話、服装などの初期状態)は変化しないが、ビーコン端末装置2(ビーコンID)毎に異なる個別のキャラクタ(初期状態も異なるキャラクタ)を割り当てるようにしてもよい。例えば、同じ種類のキャラクタでも、ビーコン端末装置2が異なれば、動作、会話、服装などの初期状態が異なるキャラクタを割り当てるようにしてもよいこの場合、同じ種類のキャラクタに対応するビーコン端末装置2を複数のユーザが購入することができるが、その場合、ビーコン端末装置2(ビーコンID)毎に異なる個別のキャラクタが割り当てる(異なる個別の管理情報を割り当てる)ようにすればよい。
上述した実施形態においては、ユーザ毎にユーザ端末1台分の「ユーザID」を記憶管理して送受信を行うようにしたが、同じユーザが異なるユーザ端末装置1を利用可能とするために、ユーザを識別するユーザ毎に複数の「ユーザID」を記憶管理して送受信を行うようにしてもよい。この「ユーザID」は、ユーザ端末装置1を操作するユーザが入力した情報であってもよい。
上述した実施形態において「ビーコンID」は、自己(ビーコン端末装置2)を識別する情報のほかに、ビーコン端末装置2の種類(オブジェクトの種類)を示す情報を含むようにしたが、端末識別情報と種類情報とを別個に記憶管理するようにしてもよい。
上述した実施形態において「ビーコンID」と「キャラクタID」とを1対1に対応付けた場合を示したが、ビーコン端末装置2と、ユーザ毎に特化されたキャラクタとを1対1に対応付けるようにしてもよい。ここで、ユーザ毎に特化されたキャラクタとは、購入初期の段階でユーザ毎にキャラクタの状態(動作、会話、服装などの初期状態)が予め異なるキャラクタを意味している。
上述した実施形態においては、ビーコン端末装置2とキャラクタとは1対1に固定されている場合を示し、新規導入時(購入時)にビーコン端末対応のキャラクタを割り当てるようにしたが、購入後にそのキャラクタを割り当てられるようにしてもよい。この場合、キャラクタの申込み方法としては、例えば、キャラクタのリスト画面からユーザの好みにあったキャラクタを選択して、サーバ装置3に送信することによって申し込むようにしてもよい。
(変形例2)
上述した実施形態においては、複数のユーザ端末装置1、複数のビーコン端末装置2、サーバ装置3を備え、ユーザ端末装置1とビーコン端末装置2とサーバ装置3との通信によりユーザ端末装置1にオブジェクトを表示するオブジェクト表示システムに適用した場合を示したが、サーバ装置3を省略してもよい。すなわち、ユーザ端末装置1とビーコン端末装置2との通信によりユーザ端末装置1にオブジェクトを表示するオブジェクト表示システムであってもよく、ユーザ端末装置1側に、ビーコン別キャラクタテーブルTB2、キャラクタ動作制御テーブルTB3、ユーザ別キャラクタ使用状況テーブルTB4、キャラクタデータファイル群CFを備え、図10及び図11のフローチャートにおいて、ユーザ端末装置1とサーバ装置3との間でのデータのやり取りに関する処理を削除又は修正するようにすれば、実現可能となる。
すなわち、ユーザ端末装置1とビーコン端末装置2との通信によりユーザ端末装置1にオブジェクトを表示するオブジェクト表示システムであって、ビーコン端末装置2は、実空間内で自端末装置の存在位置を示す画像情報(ARマーカ)を当該装置の表面に表した移動体としての通信装置であり、所定の識別情報(ビーコンID)を含むビーコン信号を発信し、ユーザ端末装置1は、撮影機能を備えた移動体としての通信装置であり、所定の識別情報の個々に対応付けられたオブジェクト(キャラクタ)の管理情報を取得し、撮影機能で撮像されたライブビュー画像内のARマーカを認識してビーコン端末装置2の位置を特定すると共に、ビーコン端装置2から発信されたビーコン信号を受信し、この管理情報に基づくキャラクタを、特定したビーコン端末装置2の位置に合わせてライブビュー画像内に表示させる制御を行いようにすればよい。
このようにユーザ端末装置1とビーコン端末装置2との通信によりユーザ端末装置1にオブジェクトを表示するオブジェクト表示システムであっても、上述した実施形態と同様、ユーザの好みや都合に合った状態でオブジェクトを表示することができる。
この場合、ビーコン端末装置2とユーザ端末装置1を、ユーザ毎に所有される通信装置とすれば、ユーザ毎に選ばれたキャラクタが実空間上にあたかも存在しているかのような現実感を何時でも何処でも自由に得られるようにそのキャラクタの表示を制御することが可能となり、ユーザにとっては自分の好みに合ったキャラクタの使用によって次第に興味や愛着が増し、癒し効果も期待することができる。
上述した実施形態においてビーコン端末装置2は、所定の識別情報として、自己を識別するビーコンIDを含むビーコン信号を発信するようにしたが、ビーコンIDと共に、AR表示の対象を指定する情報としてオブジェクトID(例えば、キャラクタID)を含めて送信するようにしてもよい。このようにAR表示の対象を指定する情報(オブジェクトID)を発信するようにすれば、上述したビーコン別キャラクタテーブルTB2が不要となる。
上述した実施形態においては、「出現条件」として、「時間帯」、「場所」、「出現率」を示したが、これに限らず、「ユーザID」を「出現条件」としてもよい。これによって例えば、基本モーション毎に、特定のユーザであれば、キャラクタを出現し、その他のユーザであれば、キャラクタの出現を禁止することもできる。
上述した実施形態においては、「親密度」として「アクセス時間累計値」と「アクセス頻度」を示したが、これに限らず、ライブビュー画面への「タッチ回数」や「タッチ頻度」などを「親密度」としてもよい。
上述した実施形態においてビーコン端末装置2は、演出用LED表示部24を駆動することによりユーザ端末装置1側でAR表示が開始されることを報知するようにしたが、AR表中が行われている間、演出光を発生したり、激しい動きなどの特殊動作の間だけ演出光を発生したりしてもよく、その演出の仕方やタイミングは任意である。
上述した実施形態においては、キャラクタを付加した静止画像を記録保存するようにしたが、動くキャラクタを付加した動画の撮影画像を記録保存するようにしてもよい。
上述した実施形態においてビーコン端末装置2の全体形状を、持ち運び可能な薄型円形のボタン型としたが、その形状は任意であり、例えば、人形や星形などであってもよい。
上述した実施形態においてビーコン信号は、自端末装置が所定の距離範囲内に存在することを他の装置に知らせるために発する無線信号としたが、自らが(定期的に)無線信号を発する他に、他の装置から(定期的に)発せられる無線信号に対して自端末装置が応答して無線信号を送信する場合を含むものとしてもよい。
上述した実施形態においては、ユーザ端末装置1としてスマートフォンに適用した場合を示したが、これに限らず、カメラ機能付きPDA(個人向け携帯型情報通信機器)・タブレット端末装置・電子ゲーム・音楽プレイヤーなどに適用するようにしてもよい。
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
複数のユーザ端末装置、複数のビーコン端末装置、サーバ装置を備え、前記ユーザ端末装置とビーコン端末装置とサーバ装置との通信により前記ユーザ端末装置にオブジェクトを表示するオブジェクト表示システムであって、
前記各ビーコン端末装置は、実空間内で自端末装置の存在位置を示す画像情報を当該装置の表面に表した移動体としてのユーザ側の通信装置であり、所定の識別情報を含むビーコン信号を発信する発信手段と、を備え、
前記各ユーザ端末装置は、撮影機能を備えた移動体としてのユーザ側の通信装置であり、前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示す画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、前記ビーコン端末装置から発信されたビーコン信号を受信してその前記所定の識別情報を前記サーバ装置に送信するビーコン通信手段と、前記所定の識別情報の送信に応答して前記サーバ装置から送信されてくる当該識別情報に対応するオブジェクトの管理情報に基づいて、そのオブジェクトを、前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、を備え、
前記サーバ装置は、各種のオブジェクトの管理情報を前記所定の識別情報の個々に対応付けて記憶するオブジェクト記憶手段と、前記ユーザ端末装置から送信されてくる所定の識別情報に対応するオブジェクトの管理情報を前記オブジェクト記憶手段から読み出して当該ユーザ端末装置に送信する送信手段と、を備え、
ことを特徴とするオブジェクト表示システム。
(請求項2)
請求項2に記載の発明は、
ユーザ端末装置とビーコン端末装置との通信により前記ユーザ端末装置にオブジェクトを表示するオブジェクト表示システムであって、
前記ビーコン端末装置は、実空間内で自端末装置の存在位置を示す画像情報を当該装置の表面に表した移動体としての通信装置であり、所定の識別情報を含むビーコン信号を発信する発信手段と、を備え、
前記ユーザ端末装置は、撮影機能を備えた移動体としての通信装置であり、前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得するオブジェクト取得手段と、前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示す画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、
前記ビーコン端末装置から発信されたビーコン信号を受信してその前記所定の識別情報に対応するオブジェクトの管理情報を前記オブジェクト取得手段により取得し、この管理情報に基づくオブジェクトを前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、を備え、
ことを特徴とするオブジェクト表示システム。
(請求項3)
請求項3に記載の発明は、請求項1又は2に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置と前記ユーザ端末装置は、ユーザ毎に所有される通信装置である、
ことを特徴とする。(請求項4)
請求項4に記載の発明は、請求項1乃至3の何れか1項に記載のオブジェクト表示システムにおいて、
前記所定の識別情報は、予め複数のユーザ端末装置のいずれかと対応付けられており、
前記表示制御手段は、前記ビーコン端末装置から受信した前記所定の識別情報が自端末装置と対応付けられているか否かに応じて前記オブジェクトの表示を制御する、
ことを特徴とする。
(請求項5)
請求項5に記載の発明は、請求項2に記載のオブジェクト表示システムにおいて、
前記オブジェクト取得手段は、前記ユーザ端末装置に通信接続されているサーバ装置に記憶されている複数のオブジェクトの中から前記所定の識別情報に対応付けられたオブジェクトの管理情報を取得する、
ことを特徴とする。
(請求項6)
請求項6に記載の発明は、請求項1又は5に記載のオブジェクト表示システムにおいて、
前記ユーザ端末装置は、自端末装置または自端末装置のユーザを識別するユーザ識別情報を前記サーバ装置に送信することにより、当該ユーザ識別情報と、複数のオブジェクトのいずれかに対応する前記所定の識別情報とを対応付けて前記サーバ装置に記憶させる、
ことを特徴とする。
(請求項7)
請求項7に記載の発明は、請求項2に記載のオブジェクト表示システムにおいて、
前記所定の識別情報に対応するオブジェクトに関する少なくとも一部の管理情報は、複数のユーザ端末装置の中で自端末装置のみに記憶されており、
前記オブジェクト取得手段は、自端末装置に記憶された前記一部の管理情報を含むオブジェクトの管理情報を取得する、
ことを特徴とする。
(請求項8)
請求項8に記載の発明は、請求項1乃至7の何れか1項に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置と前記ユーザ端末装置との接続時に相互通信によるペアリングを行う、
ことを特徴とする。
(請求項9)
請求項9に記載の発明は、請求項4に記載のオブジェクト表示システムにおいて、
前記ユーザ端末装置と前記ビーコン端末装置との対応関係を予めペアリング相手の組み合わせとして記憶管理する組合せ記憶手段と、
前記ビーコン端末装置から所定の識別情報を含むビーコン信号を受信した際に前記組合せ記憶手段を参照して、ペアリング相手であるか否かを判別する判別手段と、
を更に備え、
前記表示制御手段は、前記判別手段によりペアリング相手であると判別された場合に、前記所定の識別情報に対応するオブジェクトを前記ライブビュー画像内に表示させる制御を行う、
ことを特徴とする。
(請求項10)
請求項10に記載の発明は、請求項1乃至9の何れか1項に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置の発信手段は、少なくとも自端末装置を識別する情報、前記ユーザ端末装置に表示されるオブジェクトを識別する情報のいずれかを前記所定の識別情報として発信する、
ことを特徴とする。
(請求項11)
請求項11に記載の発明は、請求項1乃至10の何れか1項に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置の表面に表されている画像情報は、実空間内で自端末装置の存在位置とその向きを示す情報であり、
前記オブジェクトは、3次元コンピュータグラフィックスで生成されたフィギュア画像であり、
前記特定手段は、前記ライブビュー画像内に写し込まれている前記画像情報を認識することによってライブビュー画像内での前記ビーコン端末装置の位置とその向きを特定し、
前記表示制御手段は、前記特定手段によって特定されたビーコン端末装置の位置及び向きに合わせて前記ライブビュー画像内に前記フィギュア画像を表示させる制御を行う、
ことを特徴とする。
(請求項12)
請求項12に記載の発明は、請求項11に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置の表面に表されている画像情報は、前記フィギュア画像を構成する画像のうちその特徴部分を表現した画像である、
ことを特徴とする。
(請求項13)
請求項13に記載の発明は、請求項1乃至12の何れか1項に記載のオブジェクト表示システムにおいて、
前記オブジェクトは、各種の基本モーションを組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
前記表示制御手段は、前記ライブビュー画像内にフィギュア画像を表示させる場合に、その基本動作毎にその基本動作の出現条件を示す動作制御情報を参照し、その出現条件に合致する基本モーションデータを選択して前記ライブビュー画像内に逐次表示させる制御を行う、
ことを特徴とする。
(請求項14)
請求項14に記載の発明は、請求項13に記載のオブジェクト表示システムにおいて、
前記出現条件は、少なくとも時間帯、場所、出現率のいずれかである、
ことを特徴とする。
(請求項15)
請求項15に記載の発明は、請求項1乃至14の何れか1項に記載のオブジェクト表示システムにおいて、
前記オブジェクトは、各種の基本モーションとその基本動作を変化させたバリエーション動作を組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
前記表示制御手段は、前記ライブビュー画像内にフィギュア画像を構成する基本モーションデータを逐次選択して表示させる場合に、その基本動作毎にその基本モーションデータに代わってそのバリエーション動作を代行させる代行条件を示す動作制御情報を参照し、その代行条件に該当する場合には、そのときの基本モーションデータに代わってバリエーションデータを選択する、
ことを特徴とする。
(請求項16)
請求項16に記載の発明は、請求項15に記載のオブジェクト表示システムにおいて、
前記代行条件は、ユーザと前記フィギュア画像との関わりに応じて変化するその親密度を表す情報として、少なくとも当該フィギュア画像をアクセスした累計時間、そのアクセス頻度のいずれかであり、
前記表示制御手段は、前記親密度に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
ことを特徴とする。
(請求項17)
請求項17に記載の発明は、請求項15又は16に記載のオブジェクト表示システムにおいて、
前記ユーザ端末は、前記ライブビュー画像内に前記フィギュア画像が表示されている状態でユーザ操作を受け付ける操作手段を更に備え、
前記代行条件は、前記操作手段により操作されたユーザ操作の種類を示す情報であり、
前記表示制御手段は、前記ユーザ操作の種類に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
ことを特徴とする。
(請求項18)
請求項18に記載の発明は、請求項15乃至17の何れか1項に記載のオブジェクト表示システムにおいて、
前記代行条件は、前記ライブビュー画像内に前記フィギュア画像が表示される際の環境情報として、現在の季節を示す情報と場所を示す情報を取得する環境情報取得手段を更に備え、
前記代行条件は、前記環境情報取得手段により取得された環境情報であり、
前記表示制御手段は、前記環境取得手段により取得された環境情報に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
ことを特徴とする。
(請求項19)
請求項19に記載の発明は、請求項1乃至18の何れか1項に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置は、前記ユーザ端末装置の状態を報知する報知手段を更に備え、
前記ユーザ端末装置は、所定の状態になった際に、前記ビーコン端末装置に対して前記報知手段の駆動を指示する報知指示を送信する、
ことを特徴とする。
(請求項20)
請求項20に記載の発明は、請求項1乃至19の何れか1項に記載のオブジェクト表示システムにおいて、
前記ビーコン端末装置は、前記ビーコン端末装置との接続を検出した際に、その接続を報知する報知手段を更に備える、
ことを特徴とする。
(請求項21)
請求項21に記載の発明は、請求項1乃至20の何れか1項に記載のオブジェクト表示システムにおいて、
前記オブジェクトは、各種の基本動作を組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
前記ユーザ端末装置の撮影機能は、前記ライブビュー画像内に前記フィギュア画像が表示されている状態において、撮影指示操作が行われた際にその撮影指示時に応答してフィギュア画像の動作を停止し、その停止時のフィギュア画像を前記特定手段によって特定された前記ビーコン端末装置の位置に挿入した撮影画像を記録保存する、
ことを特徴とする。
(請求項22)
請求項22に記載の発明は、請求項1乃至21の何れか1項に記載のオブジェクト表示システムにおいて、
前記表示制御手段は、前記ライブビュー画像内にオブジェクトを表示させる制御を行う際に、そのライブビュー画像内に写っている前記ビーコン端末装置の画像部分を消去してその消去部分を補正する処理を行う、
ことを特徴とする。
(請求項23)
請求項23に記載の発明は、請求項1乃至22の何れか1項に記載のオブジェクト表示システムにおいて、
前記表示制御手段は、前記ライブビュー画像内にオブジェクトを表示させる制御を行う際に、そのライブビュー画像の明るさ分布から光源方向を特定し、その光源方向の反対側に当該オブジェクトの影を挿入してその部分を補正する処理を行う、
ことを特徴とする。
(請求項24)
請求項24に記載の発明は、
撮影機能を備えた移動体としてのユーザ端末装置であって、
前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得するオブジェクト取得手段と、
所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信するビーコン受信手段と、
前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表された画像情報が写っている場合に、その画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、
前記ビーコン受信手段によって受信されたビーコン信号内の前記所定の識別情報に対応するオブジェクトの管理情報を、前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、
を備えることを特徴とするユーザ端末装置。
(請求項25)
請求項25に記載の発明は、
撮影機能を備えた移動体としてのユーザ端末装置にオブジェクトを表示するオブジェクト表示方法であって、
所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信する処理と、
前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表した画像情報が前記撮影機能によって撮像されたライブビュー画像内に写っていれば、その画像情報を認識して前記ビーコン端末装置のライブビュー画像内の位置を特定する処理と、
前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得し、この管理情報に基づくオブジェクトを、前記特定されたライブビュー画像内の位置に表示させる制御を行う処理と、
を含むことを特徴とする。
(請求項26)
請求項26に記載の発明は、
撮影機能を備えた移動体としてのユーザ端末装置のコンピュータに対して、
所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信する機能と、
前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表した画像情報が前記撮影機能によって撮像されたライブビュー画像内に写っていれば、その画像情報を認識して前記ビーコン端末装置のライブビュー画像内の位置を特定する機能と、
前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得し、この管理情報に基づくオブジェクトを、前記特定されたライブビュー画像内の位置に表示させる制御を行う機能と、
を実現させるためのプログラムである。
1 ユーザ端末装置
2 ビーコン端末装置
2a ARマーカ
3 サーバ装置
10、20、30 制御部
12、22、32 記憶部
12a、22a、32a プログラムメモリ
13 無線通信部
13b 近距離通信部
14 音声信号処理部
15 バイブレーション報知部
17 撮像部
18 タッチ表示部
19 GPS測位部
23 ビーコン通信部
24 演出用LED表示部
33 広域通信部
TB1 ユーザテーブル
TB2 ビーコン別キャラクタテーブル
TB3 キャラクタ動作制御テーブル
TB4 ユーザ別キャラクタ使用状況テーブル
CF キャラクタデータファイル群

Claims (26)

  1. 複数のユーザ端末装置、複数のビーコン端末装置、サーバ装置を備え、前記ユーザ端末装置とビーコン端末装置とサーバ装置との通信により前記ユーザ端末装置にオブジェクトを表示するオブジェクト表示システムであって、
    前記各ビーコン端末装置は、実空間内で自端末装置の存在位置を示す画像情報を当該装置の表面に表した移動体としてのユーザ側の通信装置であり、所定の識別情報を含むビーコン信号を発信する発信手段と、を備え、
    前記各ユーザ端末装置は、撮影機能を備えた移動体としてのユーザ側の通信装置であり、前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示す画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、前記ビーコン端末装置から発信されたビーコン信号を受信してその前記所定の識別情報を前記サーバ装置に送信するビーコン通信手段と、前記所定の識別情報の送信に応答して前記サーバ装置から送信されてくる当該識別情報に対応するオブジェクトの管理情報に基づいて、そのオブジェクトを、前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、を備え、
    前記サーバ装置は、各種のオブジェクトの管理情報を前記所定の識別情報の個々に対応付けて記憶するオブジェクト記憶手段と、前記ユーザ端末装置から送信されてくる所定の識別情報に対応するオブジェクトの管理情報を前記オブジェクト記憶手段から読み出して当該ユーザ端末装置に送信する送信手段と、を備え、
    ことを特徴とするオブジェクト表示システム。
  2. ユーザ端末装置とビーコン端末装置との通信により前記ユーザ端末装置にオブジェクトを表示するオブジェクト表示システムであって、
    前記ビーコン端末装置は、実空間内で自端末装置の存在位置を示す画像情報を当該装置の表面に表した移動体としての通信装置であり、所定の識別情報を含むビーコン信号を発信する発信手段と、を備え、
    前記ユーザ端末装置は、撮影機能を備えた移動体としての通信装置であり、前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得するオブジェクト取得手段と、前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示す画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、
    前記ビーコン端末装置から発信されたビーコン信号を受信してその前記所定の識別情報に対応するオブジェクトの管理情報を前記オブジェクト取得手段により取得し、この管理情報に基づくオブジェクトを前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、を備え、
    ことを特徴とするオブジェクト表示システム。
  3. 前記ビーコン端末装置と前記ユーザ端末装置は、ユーザ毎に所有される通信装置である、
    ことを特徴とする請求項1又は2に記載のオブジェクト表示システム。
  4. 前記所定の識別情報は、予め複数のユーザ端末装置のいずれかと対応付けられており、
    前記表示制御手段は、前記ビーコン端末装置から受信した前記所定の識別情報が自端末装置と対応付けられているか否かに応じて前記オブジェクトの表示を制御する、
    ことを特徴とする請求項1乃至3の何れか1項に記載のオブジェクト表示システム。
  5. 前記オブジェクト取得手段は、前記ユーザ端末装置に通信接続されているサーバ装置に記憶されている複数のオブジェクトの中から前記所定の識別情報に対応付けられたオブジェクトの管理情報を取得する、
    ことを特徴とする請求項2に記載のオブジェクト表示システム。
  6. 前記ユーザ端末装置は、自端末装置または自端末装置のユーザを識別するユーザ識別情報を前記サーバ装置に送信することにより、当該ユーザ識別情報と、複数のオブジェクトのいずれかに対応する前記所定の識別情報とを対応付けて前記サーバ装置に記憶させる、
    ことを特徴とする請求項1又は5に記載のオブジェクト表示システム。
  7. 前記所定の識別情報に対応するオブジェクトに関する少なくとも一部の管理情報は、複数のユーザ端末装置の中で自端末装置のみに記憶されており、
    前記オブジェクト取得手段は、自端末装置に記憶された前記一部の管理情報を含むオブジェクトの管理情報を取得する、
    ことを特徴とする請求項2に記載のオブジェクト表示システム。
  8. 前記ビーコン端末装置と前記ユーザ端末装置との接続時に相互通信によるペアリングを行う、
    ことを特徴とする請求項1乃至7の何れか1項に記載のオブジェクト表示システム。
  9. 前記ユーザ端末装置と前記ビーコン端末装置との対応関係を予めペアリング相手の組み合わせとして記憶管理する組合せ記憶手段と、
    前記ビーコン端末装置から所定の識別情報を含むビーコン信号を受信した際に前記組合せ記憶手段を参照して、ペアリング相手であるか否かを判別する判別手段と、
    を更に備え、
    前記表示制御手段は、前記判別手段によりペアリング相手であると判別された場合に、前記所定の識別情報に対応するオブジェクトを前記ライブビュー画像内に表示させる制御を行う、
    ことを特徴とする請求項8に記載のオブジェクト表示システム。
  10. 前記ビーコン端末装置の発信手段は、少なくとも自端末装置を識別する情報、前記ユーザ端末装置に表示されるオブジェクトを識別する情報のいずれかを前記所定の識別情報として発信する、
    ことを特徴とする請求項1乃至9の何れか1項に記載のオブジェクト表示システム。
  11. 前記ビーコン端末装置の表面に表されている画像情報は、実空間内で自端末装置の存在位置とその向きを示す情報であり、
    前記オブジェクトは、3次元コンピュータグラフィックスで生成されたフィギュア画像であり、
    前記特定手段は、前記ライブビュー画像内に写し込まれている前記画像情報を認識することによってライブビュー画像内での前記ビーコン端末装置の位置とその向きを特定し、
    前記表示制御手段は、前記特定手段によって特定されたビーコン端末装置の位置及び向きに合わせて前記ライブビュー画像内に前記フィギュア画像を表示させる制御を行う、
    ことを特徴とする請求項1乃至10の何れか1項に記載のオブジェクト表示システム。
  12. 前記ビーコン端末装置の表面に表されている画像情報は、前記フィギュア画像を構成する画像のうちその特徴部分を表現した画像である、
    ことを特徴とする請求項11に記載のオブジェクト表示システム。
  13. 前記オブジェクトは、各種の基本モーションを組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
    前記表示制御手段は、前記ライブビュー画像内にフィギュア画像を表示させる場合に、その基本動作毎にその基本動作の出現条件を示す動作制御情報を参照し、その出現条件に合致する基本モーションデータを選択して前記ライブビュー画像内に逐次表示させる制御を行う、
    ことを特徴とする請求項1乃至12の何れか1項に記載のオブジェクト表示システム。
  14. 前記出現条件は、少なくとも時間帯、場所、出現率のいずれかである、
    ことを特徴とする請求項13に記載のオブジェクト表示システム。
  15. 前記オブジェクトは、各種の基本モーションとその基本動作を変化させたバリエーション動作を組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
    前記表示制御手段は、前記ライブビュー画像内にフィギュア画像を構成する基本モーションデータを逐次選択して表示させる場合に、その基本動作毎にその基本モーションデータに代わってそのバリエーション動作を代行させる代行条件を示す動作制御情報を参照し、その代行条件に該当する場合には、そのときの基本モーションデータに代わってバリエーションデータを選択する、
    ことを特徴とする請求項1乃至14の何れか1項に記載のオブジェクト表示システム。
  16. 前記代行条件は、ユーザと前記フィギュア画像との関わりに応じて変化するその親密度を表す情報として、少なくとも当該フィギュア画像をアクセスした累計時間、そのアクセス頻度のいずれかであり、
    前記表示制御手段は、前記親密度に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
    ことを特徴とする請求項15に記載のオブジェクト表示システム。
  17. 前記ユーザ端末は、前記ライブビュー画像内に前記フィギュア画像が表示されている状態でユーザ操作を受け付ける操作手段を更に備え、
    前記代行条件は、前記操作手段により操作されたユーザ操作の種類を示す情報であり、
    前記表示制御手段は、前記ユーザ操作の種類に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
    ことを特徴とする請求項15又は16に記載のオブジェクト表示システム。
  18. 前記代行条件は、前記ライブビュー画像内に前記フィギュア画像が表示される際の環境情報として、現在の季節を示す情報と場所を示す情報を取得する環境情報取得手段を更に備え、
    前記代行条件は、前記環境情報取得手段により取得された環境情報であり、
    前記表示制御手段は、前記環境取得手段により取得された環境情報に応じて、前記基本モーションデータに代わってバリエーションデータを選択する、
    ことを特徴とする請求項15乃至17の何れか1項に記載のオブジェクト表示システム。
  19. 前記ビーコン端末装置は、前記ユーザ端末装置の状態を報知する報知手段を更に備え、
    前記ユーザ端末装置は、所定の状態になった際に、前記ビーコン端末装置に対して前記報知手段の駆動を指示する報知指示を送信する、
    ことを特徴とする請求項1乃至18の何れか1項に記載のオブジェクト表示システム。
  20. 前記ビーコン端末装置は、前記ビーコン端末装置との接続を検出した際に、その接続を報知する報知手段を更に備える、
    ことを特徴とする請求項1乃至19の何れか1項に記載のオブジェクト表示システム。
  21. 前記オブジェクトは、各種の基本動作を組み合わせることによって一連の動作を行う3次元コンピュータグラフィックスのフィギュア画像であり、
    前記ユーザ端末装置の撮影機能は、前記ライブビュー画像内に前記フィギュア画像が表示されている状態において、撮影指示操作が行われた際にその撮影指示時に応答してフィギュア画像の動作を停止し、その停止時のフィギュア画像を前記特定手段によって特定された前記ビーコン端末装置の位置に挿入した撮影画像を記録保存する、
    ことを特徴とする請求項1乃至20の何れか1項に記載のオブジェクト表示システム。
  22. 前記表示制御手段は、前記ライブビュー画像内にオブジェクトを表示させる制御を行う際に、そのライブビュー画像内に写っている前記ビーコン端末装置の画像部分を消去してその消去部分を補正する処理を行う、
    ことを特徴とする請求項1乃至21の何れか1項に記載のオブジェクト表示システム。
  23. 前記表示制御手段は、前記ライブビュー画像内にオブジェクトを表示させる制御を行う際に、そのライブビュー画像の明るさ分布から光源方向を特定し、その光源方向の反対側に当該オブジェクトの影を挿入してその部分を補正する処理を行う、
    ことを特徴とする請求項1乃至22の何れか1項に記載のオブジェクト表示システム。
  24. 撮影機能を備えた移動体としてのユーザ端末装置であって、
    前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得するオブジェクト取得手段と、
    所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信するビーコン受信手段と、
    前記撮影機能で撮像されたライブビュー画像内において前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表された画像情報が写っている場合に、その画像情報を認識して前記ビーコン端末装置の位置を特定する特定手段と、
    前記ビーコン受信手段によって受信されたビーコン信号内の前記所定の識別情報に対応するオブジェクトの管理情報を、
    前記オブジェクト取得手段により取得し、この管理情報に基づくオブジェクトを、前記特定手段によって特定されたライブビュー画像内の位置に表示させる制御を行う表示制御手段と、
    を備えることを特徴とするユーザ端末装置。
  25. 撮影機能を備えた移動体としてのユーザ端末装置にオブジェクトを表示するオブジェクト表示方法であって、
    所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信する処理と、
    前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表した画像情報が前記撮影機能によって撮像されたライブビュー画像内に写っていれば、その画像情報を認識して前記ビーコン端末装置のライブビュー画像内の位置を特定する処理と、
    前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得し、この管理情報に基づくオブジェクトを、前記特定されたライブビュー画像内の位置に表示させる制御を行う処理と、
    を含むことを特徴とするオブジェクト表示方法。
  26. 撮影機能を備えた移動体としてのユーザ端末装置のコンピュータに対して、
    所定の識別情報を含むビーコン信号を発信する移動体としてのユーザ側の通信装置であるビーコン端末装置から前記ビーコン信号を受信する機能と、
    前記ビーコン端末装置の存在位置を示すためにそのビーコン端末装の表面に表した画像情報が前記撮影機能によって撮像されたライブビュー画像内に写っていれば、その画像情報を認識して前記ビーコン端末装置のライブビュー画像内の位置を特定する機能と、
    前記所定の識別情報の個々に対応付けられたオブジェクトの管理情報を取得し、この管理情報に基づくオブジェクトを、前記特定されたライブビュー画像内の位置に表示させる制御を行う機能と、
    を実現させるためのプログラム。
JP2016169672A 2016-08-31 2016-08-31 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム Active JP6916460B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016169672A JP6916460B2 (ja) 2016-08-31 2016-08-31 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
CN201780053264.5A CN109661686B (zh) 2016-08-31 2017-08-28 对象显示系统、用户终端装置、对象显示方法及程序
PCT/JP2017/031684 WO2018043732A1 (ja) 2016-08-31 2017-08-28 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
US16/329,140 US10831436B2 (en) 2016-08-31 2017-08-28 Object display system, user communication device, and object display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016169672A JP6916460B2 (ja) 2016-08-31 2016-08-31 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2018036869A true JP2018036869A (ja) 2018-03-08
JP2018036869A5 JP2018036869A5 (ja) 2019-10-10
JP6916460B2 JP6916460B2 (ja) 2021-08-11

Family

ID=61301222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016169672A Active JP6916460B2 (ja) 2016-08-31 2016-08-31 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム

Country Status (4)

Country Link
US (1) US10831436B2 (ja)
JP (1) JP6916460B2 (ja)
CN (1) CN109661686B (ja)
WO (1) WO2018043732A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022171671A (ja) * 2019-11-12 2022-11-11 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
JP2023083362A (ja) * 2019-11-20 2023-06-15 グリー株式会社 動画配信システム及び動画配信方法
WO2023120372A1 (ja) * 2021-12-21 2023-06-29 株式会社セガ プログラム及び情報処理装置
WO2024071111A1 (ja) * 2022-09-30 2024-04-04 株式会社バンダイナムコエンターテインメント キャラクタ管理システム、キャラクタ管理方法及びキャラクタ情報提供方法
WO2024090065A1 (ja) 2022-10-26 2024-05-02 富士フイルム株式会社 情報処理装置、方法及びプログラム
JP2024061805A (ja) * 2022-03-10 2024-05-08 株式会社カプコン 情報処理システムおよびプログラム
WO2024134879A1 (ja) * 2022-12-23 2024-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびエージェント生成方法
JP2024144533A (ja) * 2021-01-08 2024-10-11 株式会社コロプラ プログラム
WO2025009352A1 (ja) * 2023-07-05 2025-01-09 テイ・エス テック株式会社 車両内装システム
JP2025060356A (ja) * 2023-09-29 2025-04-10 テイ・エス テック株式会社 車両内装システム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528908B2 (en) * 2014-03-12 2020-01-07 Ebay Inc. Automatic location based discovery of extended inventory
US10805696B1 (en) * 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US10638256B1 (en) * 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11563888B2 (en) * 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor
CN112368668B (zh) * 2018-07-03 2024-03-22 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
US11206505B2 (en) * 2019-05-06 2021-12-21 Universal City Studios Llc Systems and methods for dynamically loading area-based augmented reality content
KR102266413B1 (ko) * 2019-10-30 2021-06-18 에스케이텔레콤 주식회사 단말 제어 장치 및 방법
US11475661B2 (en) * 2020-02-10 2022-10-18 Fujifilm Business Innovation Corp. Systems and methods for augmented reality application for annotations and adding interfaces to control panels and screens
JP7556773B2 (ja) * 2020-12-21 2024-09-26 トヨタ自動車株式会社 表示システム、表示装置、及びプログラム
JP7448497B2 (ja) * 2021-02-10 2024-03-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2022187268A (ja) * 2021-06-07 2022-12-19 東芝テック株式会社 情報処理システム、情報処理装置及びその制御プログラム
CN116582719A (zh) * 2023-07-14 2023-08-11 北京微吼时代科技有限公司 多角色直播权限控制方法、系统、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350860A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実空間画像の生成方法
JP2003103045A (ja) * 2001-09-28 2003-04-08 Canon Inc 映像体験システムおよび情報処理方法
JP2008033531A (ja) * 2006-07-27 2008-02-14 Canon Inc 情報処理方法
JP2009289035A (ja) * 2008-05-29 2009-12-10 Jiro Makino 画像表示システム、携帯型表示装置、サーバコンピュータ、および遺跡観光システム
JP2011243019A (ja) * 2010-05-19 2011-12-01 Koto Co Ltd 画像表示システム
JP2016081110A (ja) * 2014-10-10 2016-05-16 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
JP2000194726A (ja) * 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US20030062675A1 (en) 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP2014071838A (ja) 2012-10-01 2014-04-21 Dainippon Printing Co Ltd 画像処理装置およびカードゲーム具
JP2015041126A (ja) * 2013-08-20 2015-03-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US10129299B1 (en) * 2014-06-06 2018-11-13 Amazon Technologies, Inc. Network beacon management of security policies
JP2016086249A (ja) * 2014-10-23 2016-05-19 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350860A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実空間画像の生成方法
JP2003103045A (ja) * 2001-09-28 2003-04-08 Canon Inc 映像体験システムおよび情報処理方法
JP2008033531A (ja) * 2006-07-27 2008-02-14 Canon Inc 情報処理方法
JP2009289035A (ja) * 2008-05-29 2009-12-10 Jiro Makino 画像表示システム、携帯型表示装置、サーバコンピュータ、および遺跡観光システム
JP2011243019A (ja) * 2010-05-19 2011-12-01 Koto Co Ltd 画像表示システム
JP2016081110A (ja) * 2014-10-10 2016-05-16 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
神原誠之,外1名: ""実世界の光源環境を考慮した拡張現実感 ビジョンベース拡張現実感における幾何学的・光学的整合性の解決", 画像ラボ, vol. 第14巻,第10号, JPN6020028281, 2003, pages 43 - 47, ISSN: 0004317570 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431903B2 (ja) 2019-11-12 2024-02-15 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
JP2022171671A (ja) * 2019-11-12 2022-11-11 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
JP7513997B2 (ja) 2019-11-20 2024-07-10 グリー株式会社 動画配信システム及び動画配信方法
JP2023083362A (ja) * 2019-11-20 2023-06-15 グリー株式会社 動画配信システム及び動画配信方法
JP2023093558A (ja) * 2019-11-20 2023-07-04 グリー株式会社 動画配信システム及び動画配信方法
JP7497830B2 (ja) 2019-11-20 2024-06-11 グリー株式会社 動画配信システム及び動画配信方法
JP2024144533A (ja) * 2021-01-08 2024-10-11 株式会社コロプラ プログラム
WO2023120372A1 (ja) * 2021-12-21 2023-06-29 株式会社セガ プログラム及び情報処理装置
JP2024061805A (ja) * 2022-03-10 2024-05-08 株式会社カプコン 情報処理システムおよびプログラム
WO2024071111A1 (ja) * 2022-09-30 2024-04-04 株式会社バンダイナムコエンターテインメント キャラクタ管理システム、キャラクタ管理方法及びキャラクタ情報提供方法
WO2024090065A1 (ja) 2022-10-26 2024-05-02 富士フイルム株式会社 情報処理装置、方法及びプログラム
WO2024134879A1 (ja) * 2022-12-23 2024-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびエージェント生成方法
WO2025009352A1 (ja) * 2023-07-05 2025-01-09 テイ・エス テック株式会社 車両内装システム
JP2025060356A (ja) * 2023-09-29 2025-04-10 テイ・エス テック株式会社 車両内装システム
JP7705063B2 (ja) 2023-09-29 2025-07-09 テイ・エス テック株式会社 車両内装システム

Also Published As

Publication number Publication date
JP6916460B2 (ja) 2021-08-11
US20190205078A1 (en) 2019-07-04
US10831436B2 (en) 2020-11-10
CN109661686A (zh) 2019-04-19
CN109661686B (zh) 2023-05-05
WO2018043732A1 (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6916460B2 (ja) オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
US10445941B2 (en) Interactive mixed reality system for a real-world event
JP6382468B1 (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6420930B1 (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
KR102481333B1 (ko) 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
JP2019197961A (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN107656615A (zh) 大量同时远程数字呈现世界
US20160320833A1 (en) Location-based system for sharing augmented reality content
CN115086736A (zh) 动态图像分发系统及其方法和记录介质
CN111973980A (zh) 虚拟宠物的控制方法、移动设备和计算机存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
JP6741746B2 (ja) プログラム、ゲームサーバ、情報処理端末、方法およびゲームシステム
JP6847138B2 (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
CN110399193A (zh) 指导数据发送方法、装置、终端、服务器及存储介质
CN103977577B (zh) 移动个性化卡拉ok虚拟舞台特效系统
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022156375A (ja) プログラム、方法、情報処理装置
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2022088365A (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2020043578A (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7312975B1 (ja) 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
CN109731278A (zh) 数据处理方法及装置、笔体、电子设备和可读存储介质
JP6431242B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP6592214B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6916460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150