JP2016167219A - Method and program for displaying user interface on head-mounted display - Google Patents
Method and program for displaying user interface on head-mounted display Download PDFInfo
- Publication number
- JP2016167219A JP2016167219A JP2015047278A JP2015047278A JP2016167219A JP 2016167219 A JP2016167219 A JP 2016167219A JP 2015047278 A JP2015047278 A JP 2015047278A JP 2015047278 A JP2015047278 A JP 2015047278A JP 2016167219 A JP2016167219 A JP 2016167219A
- Authority
- JP
- Japan
- Prior art keywords
- touch panel
- display
- panel device
- user
- display object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、タッチパネル式装置による操作で該画像に表示される表示オブジェクトを操作可能なヘッドマウントディスプレイシステムにおいて、表示オブジェクトを表示するための方法及びプログラムに関する。 The present invention provides a head-mounted display system that is mounted on a user's head, displays an image in a virtual space within the user's visual field, and can operate a display object displayed on the image by an operation with a touch panel device. The present invention relates to a method and a program for displaying an object.
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能な非透過型のヘッドマウントディスプレイ（ＨＭＤ）が知られている。また、近年、ディスプレイとタッチパネルとが一体となった携帯端末が知られている。このような携帯端末のタッチパネルを用いて、携帯端末のディスプレイに表示された表示オブジェクトの操作を直感的に実現するための技術が種々提案されている。（例えば、特許文献１） There is known a non-transmissive head mounted display (HMD) that is mounted on a user's head and can present an image in a virtual space to the user with a display or the like placed in front of the user. In recent years, portable terminals in which a display and a touch panel are integrated are known. Various techniques for intuitively realizing the operation of a display object displayed on a display of a mobile terminal using such a touch panel of the mobile terminal have been proposed. (For example, Patent Document 1)
上記特許文献１に記載された技術は、ディスプレイがタッチパネル式である携帯端末を用いて該ディスプレイに表示された表示オブジェクトを操作する。この場合、ユーザは保持している端末のディスプレイを見ながら、該ディスプレイと一体化したタッチパネルを用いて表示オブジェクトを操作する。しかしながら、ディスプレイがタッチパネルと一体化しているため、タッチパネルに対するユーザの指などによりディスプレイの一部が隠れてしまうことがあった。 The technique described in Patent Document 1 operates a display object displayed on the display using a portable terminal whose display is a touch panel type. In this case, the user operates the display object using a touch panel integrated with the display while looking at the display of the terminal being held. However, since the display is integrated with the touch panel, a part of the display may be hidden by a user's finger or the like with respect to the touch panel.
また、上記背景技術に係る非透過型ヘッドマウントディスプレイを装着した場合、ユーザは仮想空間に完全に没入しているため手元を観察することができないため、ユーザはディスプレイを観察しながら、ディスプレイと一体型のタッチパネル上で表示オブジェクトの操作を行うことができない。本発明は上記事情に着目してなされたものであって、その目的とするところはタッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に操作することにある。 In addition, when the non-transmissive head mounted display according to the above background art is attached, the user cannot observe the hand because the user is completely immersed in the virtual space. The display object cannot be operated on the body type touch panel. The present invention has been made paying attention to the above circumstances, and the object of the present invention is to use a touch panel device to display a three-dimensional virtual image displayed in a display area of an HMD that is communicably connected to the touch panel device. The object is to easily and intuitively operate display objects in the space.
（１）本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域にゲーム画像を表示するユーザインタフェース表示方法であって、
タッチパネル式装置からの出力データを取得するステップと、
出力データに基づいて、仮想空間内の表示オブジェクトに行わせる動作を決定するステップと、
決定された表示オブジェクトに行わせる動作に基づいて、表示領域に表示する仮想空間内のゲーム画像を生成するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
（２）また、本発明は、出力データを取得するステップが、
タッチパネル式装置のタッチパネルに対するユーザによる接触を検出するステップと、
タッチパネル式装置の傾きの変化を検出するステップと、
タッチパネル式装置の変位を検出するステップと、
のいずれか又は全てを含むことを特徴とする。
（３）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたユーザによる接触がタッチパネルの第１の領域にある場合に、表示オブジェクトの第１の停止操作であり、検出されたユーザによる接触がタッチパネルの第２の領域にある場合に、表示オブジェクトの前進操作であることを特徴とする。
（４）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたタッチパネル式装置の傾きの変化に応じた、表示オブジェクトの方向転換操作であることを特徴とする。
（５）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたタッチパネル式装置の変位に応じた、表示オブジェクトの第２の停止操作であることを特徴とする。
（６）また、本発明は、タッチパネル式装置はスマートフォンであることを特徴とする。
（７）また、本発明は上記（１）から（６）のいずれかに記載の、表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラムに関する。
(1) The present invention provides a user interface for displaying a game image in a display area of a head mounted display in a head mounted display system including a head mounted display and a touch panel device connected to the head mounted display in a communicable manner. Display method,
Obtaining output data from the touch panel device;
Determining the action to be performed by the display object in the virtual space based on the output data;
And a step of generating a game image in a virtual space to be displayed in a display area based on an action to be performed on the determined display object.
(2) Further, according to the present invention, the step of acquiring output data includes:
Detecting a user touch on the touch panel of the touch panel device;
Detecting a change in tilt of the touch panel device;
Detecting the displacement of the touch panel device;
Any or all of the above is included.
(3) Moreover, this invention is the 1st stop operation of a display object when the operation | movement made to perform on the display object in virtual space exists in the 1st area | region of a touch panel by the detected user, When the detected contact by the user is in the second area of the touch panel, the display object is a forward operation.
(4) Further, the present invention is characterized in that the operation to be performed on the display object in the virtual space is a direction change operation of the display object according to the detected change in the tilt of the touch panel device.
(5) Further, the present invention is characterized in that the operation to be performed on the display object in the virtual space is a second stop operation of the display object in accordance with the detected displacement of the touch panel device.
(6) Moreover, the present invention is characterized in that the touch panel device is a smartphone.
(7) Further, the present invention is to cause a processor mounted on a head mounted display system to execute the user interface display method for displaying a display object in the display area according to any one of (1) to (6) above. This relates to the interface program.
この発明の上記の、及び他の特徴及び利点は、この発明の実施形態の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。 These and other features and advantages of the present invention will become apparent from the following more specific description of the embodiments of the invention, the accompanying drawings, and the claims.
本発明によれば、タッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に操作することができる。 According to the present invention, it is possible to easily and intuitively operate a display object in a three-dimensional virtual space displayed in a display area of an HMD that is communicably connected to a touch panel device using the touch panel device. it can.
図１は、一実施形態に係るシステムの構成図である。このシステムでは、タッチパネル式装置１３０と本体装置１２０が無線又は有線で通信可能に接続され、本体装置１２０とＨＭＤ１１０が無線又は有線で通信可能に接続されている。ＨＭＤ１１０は、表示領域１１２を備えており、ＨＭＤを装着したユーザは表示領域１１２に表示される画像のみを観察することができる。ＨＭＤを装着したユーザはタッチパネル式装置１３０を操作することにより、表示領域１１２に表示される画像を制御することができる。 FIG. 1 is a configuration diagram of a system according to an embodiment. In this system, the touch panel type device 130 and the main body device 120 are connected so as to be communicable wirelessly or by wire, and the main body device 120 and the HMD 110 are communicably connected by wireless or wire. The HMD 110 includes a display area 112, and a user wearing the HMD can observe only an image displayed in the display area 112. The user wearing the HMD can control the image displayed in the display area 112 by operating the touch panel device 130.
また、図１においては、ＨＭＤ１１０を装着するユーザのみがタッチパネル式装置１３０を操作しているが、場合によってはタッチパネル式装置を他に複数設け、各タッチパネル式装置を、ＨＭＤを装着するユーザの保持するタッチパネル式装置１３０へネットワークを介して接続することにより、ＨＭＤを装着するユーザが操作しているゲーム中の画像を複数の他のユーザが観察可能なようにすることもできる。これにより複数の他のユーザはＨＭＤを装着していなくとも、ネットワークを介してＨＭＤを装着するユーザの保持するタッチパネル式装置１３０の画面に表示されるゲーム画像を観察することができる。ネットワークを介して他のユーザか観察することのできるゲーム画像は、ＨＭＤを装着するユーザが観察する画像を簡易化した画像とすることができる。タッチパネル装置間の通信速度が、ＨＭＤを装着するユーザが観察する３次元の仮想空間画像を逐次送受信するのに十分でない場合があるからである。
＜本体装置のハードウェア構成＞
本体装置１２０は、プロセッサ、メモリ、通信部（図示せず）を備えることができる。さらに、本体装置１２０は、当該本体装置１２０に対して交換可能に用いられる情報記憶媒体（例えば光ディスク）が着脱可能に挿入することができる。光ディスクに、本体装置で実行されるアプリケーションプログラムを記憶することができる。
In FIG. 1, only the user who wears the HMD 110 operates the touch panel device 130. However, in some cases, a plurality of other touch panel devices are provided, and each touch panel device is held by the user who wears the HMD. By connecting to the touch panel type device 130 to be connected via a network, it is possible to allow a plurality of other users to observe the image in the game operated by the user wearing the HMD. Thereby, a plurality of other users can observe the game image displayed on the screen of the touch panel device 130 held by the user wearing the HMD via the network even if the HMD is not worn. The game image that can be observed by another user via the network can be an image obtained by simplifying the image observed by the user wearing the HMD. This is because the communication speed between the touch panel devices may not be sufficient for sequentially transmitting and receiving a three-dimensional virtual space image observed by the user wearing the HMD.
<Hardware configuration of main unit>
The main device 120 can include a processor, a memory, and a communication unit (not shown). Furthermore, the main body device 120 can be detachably inserted with an information storage medium (for example, an optical disk) that is used interchangeably with the main body device 120. An application program executed by the main device can be stored on the optical disc.
本体装置１２０のプロセッサは、メモリ又は光ディスクに記憶されたアプリケーションプログラムを実行することによって、アプリケーション処理（ゲーム処理）を実行するものである。 The processor of the main device 120 executes application processing (game processing) by executing an application program stored in a memory or an optical disc.
本体装置１２０のメモリはプロセッサによって実行される各種アプリケーションプログラムや、各種アプリケーションプログラムの実行に伴い生じる各種データ（ゲームの結果データ又は途中データ等）を格納することができる。 The memory of the main device 120 can store various application programs executed by the processor and various data (game result data or intermediate data, etc.) generated by the execution of the various application programs.
本体装置の通信部は、タッチパネル式装置１３０から出力された各種データを受信したり、ＨＭＤ１１０の表示領域１１２に対し生成した表示画像を送信したりすることができる。 The communication unit of the main body apparatus can receive various data output from the touch panel device 130 and can transmit the generated display image to the display area 112 of the HMD 110.
本体装置１２０は、公知のパーソナルコンピュータ、据え置き型ゲーム機等により実現されうる。本体装置１２０は、図２に示される機能を実現するための装置である。図１において、本体装置１２０はタッチパネル式装置１３０、ＨＭＤ１１０とは別個に構成されているが、本体装置１２０により実現される図２に示される機能の一部又は全部を、機能を実現するために必要とされるハードウェアを備えたタッチパネル式装置１３０又はＨＭＤ１１０に搭載することができる。この場合、本体装置１２０をタッチパネル式装置１３０及び／又はＨＭＤ１１０と一体化することもできる。
＜タッチパネル式装置のハードウェア構成＞
タッチパネル式装置１３０は、タッチパネルに配設されたタッチセンサ１３２と、傾き検出センサ１３４、３軸加速度センサ１３６、振動モータ１３８、送信部、メモリ、プロセッサ（図示せず）を備えることができる。タッチパネル式装置１３０はユーザにより保持され、ＨＭＤのコントローラとして使用することができる。タッチパネル式装置１３０は、公知のスマートフォン、タブレット端末、ＰＤＡにより実現され得る。
The main unit 120 can be realized by a known personal computer, a stationary game machine, or the like. The main device 120 is a device for realizing the functions shown in FIG. In FIG. 1, the main body device 120 is configured separately from the touch panel device 130 and the HMD 110, but in order to realize some or all of the functions shown in FIG. 2 realized by the main body device 120. It can be mounted on the touch panel device 130 or the HMD 110 provided with the required hardware. In this case, the main body device 120 can be integrated with the touch panel device 130 and / or the HMD 110.
<Hardware configuration of touch panel device>
The touch panel device 130 can include a touch sensor 132 disposed on the touch panel, a tilt detection sensor 134, a triaxial acceleration sensor 136, a vibration motor 138, a transmission unit, a memory, and a processor (not shown). The touch panel device 130 is held by a user and can be used as an HMD controller. The touch panel device 130 can be realized by a known smartphone, tablet terminal, or PDA.
タッチパネル式装置のタッチセンサ１３２はユーザによるタッチパネルに対するタッチ入力が行われた位置（接触位置）を検出する。ユーザがタッチパネル式装置のタッチパネルに対して指やスタイラスペンを用いてタッチ操作を行うと、タッチセンサ１３２は該操作に関する各種データ（タッチパネルへの接触位置）を検出することができる。非透過型のＨＭＤを装着している場合、ユーザは保持しているタッチパネル式装置１３０の表示面を観察することはできない。その代わりに、ＨＭＤの表示領域を観察することができる。従って、タッチパネルは、タッチセンサ機能を有していれば良く、表示機能を有していなくても良い。 The touch sensor 132 of the touch panel device detects a position (contact position) where a touch input by the user to the touch panel is performed. When the user performs a touch operation on the touch panel of the touch panel device using a finger or a stylus pen, the touch sensor 132 can detect various data related to the operation (contact position on the touch panel). When the non-transparent HMD is mounted, the user cannot observe the display surface of the touch panel device 130 that is held. Instead, the display area of the HMD can be observed. Accordingly, the touch panel only needs to have a touch sensor function and may not have a display function.
タッチパネル式装置の傾き検出センサ１３４は、タッチパネル式装置１３０の３次元実空間でのＸＹＺ軸回りのそれぞれの角速度を検出するためのものであり、ジャイロセンサにより実現され得る。 The tilt detection sensor 134 of the touch panel device is for detecting respective angular velocities around the XYZ axes in the three-dimensional real space of the touch panel device 130, and can be realized by a gyro sensor.
タッチパネル式装置の３軸加速度センサ１３６は、タッチパネル式装置の３次元実空間でのＸＹＺ軸方向の加速度を検出するためのものである。加速度センサ１３６が検出した加速度は、タッチパネル式装置１３０の筐体の傾き（傾斜角度）や動きに応じて変化するので、取得された加速度データを用いて、タッチパネル式装置１２０の筐体の傾きや動き、３次元実空間における装置変位量を算出することができる。 The three-axis acceleration sensor 136 of the touch panel device is for detecting acceleration in the XYZ axis directions in the three-dimensional real space of the touch panel device. The acceleration detected by the acceleration sensor 136 changes according to the inclination (tilt angle) and movement of the casing of the touch panel device 130, and therefore, using the acquired acceleration data, the inclination of the casing of the touch panel device 120 and the like. It is possible to calculate the movement amount of the apparatus in the three-dimensional real space.
タッチパネル式装置のメモリは、各センサより出力されたタッチパネル式装置に対して行われた所定の操作に関する操作入力情報、即ち、タッチセンサへの接触位置、タッチパネル式装置１３０の３次元実空間での筐体のＸＹＺ軸回りの角速度、３次元実空間での筐体のＸＹＺ軸方向の加速度を操作入力情報として格納する。 The memory of the touch panel type device stores operation input information related to a predetermined operation performed on the touch panel type device output from each sensor, that is, the touch position to the touch sensor, the three-dimensional real space of the touch panel type device 130. The angular velocity around the XYZ axis of the casing and the acceleration in the XYZ axis direction of the casing in the three-dimensional real space are stored as operation input information.
タッチパネル式装置の振動モータ１３８は、本体装置１２０から送信される信号に従ってタッチパネル式装置１３０を振動させる。
タッチパネル式装置の送信部は、メモリに格納されたタッチパネル式装置に対して行われたユーザ操作に関する操作入力情報を、本体装置１２０のアプリケーション進行部２０２からのリクエストに応じて出力データとして送信する。アプリケーション進行部２０２がアプリケーションプログラムの実行に必要な操作入力情報をリクエストすることで、タッチパネル式装置１３０は検出された全ての操作入力情報を本体装置１２０へ送信することなく、必要な情報のみを出力データとして送信することができる。従って、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。
The vibration motor 138 of the touch panel device vibrates the touch panel device 130 in accordance with a signal transmitted from the main body device 120.
The transmission unit of the touch panel device transmits operation input information related to a user operation performed on the touch panel device stored in the memory as output data in response to a request from the application progression unit 202 of the main body device 120. When the application progression unit 202 requests operation input information necessary for executing the application program, the touch panel device 130 outputs only necessary information without transmitting all detected operation input information to the main body device 120. It can be sent as data. Therefore, the communication load between the main body device 120 and the touch panel device 130 can be reduced.
図２は、本発明の一実施形態に係るＨＭＤシステムの表示処理を実現するための機能的構成図である。本体装置１２０は、プロセッサなどの演算部に組み込まれたプログラムで制御された、アプリケーション進行部２０２と、接触領域判定部２０４と、傾き変化算出部２０６と、加速度変化検出部２０８と、表示制御部２１０とを備えている。 FIG. 2 is a functional configuration diagram for realizing display processing of the HMD system according to the embodiment of the present invention. The main device 120 includes an application progression unit 202, a contact area determination unit 204, an inclination change calculation unit 206, an acceleration change detection unit 208, and a display control unit that are controlled by a program incorporated in a calculation unit such as a processor. 210.
アプリケーション進行部２０２は、アプリケーション処理制御の中核をなすものであり、アプリケーションプログラム（例えばレーシングゲーム）の起動、初期値の設定、アプリケーションプログラムにより入力が求められるユーザ操作の決定、タッチパネル式装置１３０からの出力データの取得、出力データの種類の判定等を行う。 The application progression unit 202 is the core of application process control, and starts an application program (for example, a racing game), sets an initial value, determines a user operation requested by the application program, Output data acquisition, output data type determination, etc. are performed.
まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が何かを決定する。求められるユーザ操作とは、実行中のアプリケーションプログラムの内容、実行中のアプリケーションプログラムにおいてユーザが現在操作している状況に基づいて定められ、実行中のアプリケーションプログラムが入力を許可する、コントローラに対するユーザ操作のことである。例えば、ユーザが仮想空間内でレーシングゲームを行う場合は、求められるユーザ操作は「前進操作／第１の停止操作」「ハンドル操作」「第２の停止操作」である。ユーザは意図しないで、タッチパネル式装置の姿勢操作や移動操作を行ってしまうことがあり、特にＨＭＤを装着しているユーザは、自身が保持しているタッチパネル式装置を観察することができないため、意図しない操作を行う可能性があるが、このように、アプリケーションプログラムの内容に基づいて求められるユーザ操作を決定することで、アプリケーション実行中にユーザが意図しない操作を排除することができる。 First, the application progression unit 202 determines what user operation is requested to be input by the application program based on the contents of the application program being executed by the main body device 120. The required user operation is determined based on the contents of the application program being executed, the situation that the user is currently operating in the application program being executed, and the user operation on the controller that allows the input of the application program being executed. That's it. For example, when the user plays a racing game in the virtual space, the required user operations are “forward operation / first stop operation”, “handle operation”, and “second stop operation”. The user may unintentionally perform a posture operation or movement operation of the touch panel device, and in particular, the user wearing the HMD cannot observe the touch panel device held by the user, There is a possibility that an unintended operation may be performed. Thus, by determining a user operation required based on the contents of the application program, an operation unintended by the user during application execution can be eliminated.
ユーザは、タッチパネル式装置１３０のタッチパネル１３２上の所定の領域を接触することによって、ＨＭＤの表示領域１１２に表示される表示オブジェクト（例えばレーシングゲームにおける車体、キャラクタ）に対し第１の停止操作／前進操作を指示することができる。第１の停止操作とは例えば、表示オブジェクトが車体の場合のブレーキ操作、表示オブジェクトが船の場合のスクリューの前進回転を停止する操作、表示オブジェクトが宇宙船の場合の前進のための噴射を停止する操作である。前進操作とは例えば、表示オブジェクトが車体の場合のアクセル操作、船の場合のスクリューの前進回転操作、宇宙船の場合の前進噴射操作である。 The user touches a predetermined area on the touch panel 132 of the touch panel device 130 to perform a first stop operation / advance for a display object (for example, a vehicle body or a character in a racing game) displayed in the display area 112 of the HMD. The operation can be instructed. Examples of the first stop operation include a brake operation when the display object is a vehicle body, an operation of stopping forward rotation of a screw when the display object is a ship, and an injection for advancing when the display object is a spacecraft. It is an operation to do. The forward operation includes, for example, an accelerator operation when the display object is a vehicle body, a forward rotation operation of a screw when the display object is a ship, and a forward injection operation when the display object is a spacecraft.
また、タッチパネル式装置１３０の筐体の傾き（ヨー角）を変化させることで、ＨＭＤの表示領域１１２に表示される車体に対し方向転換操作を指示することができる。方向転換操作とは例えば、表示オブジェクトが車体の場合のハンドル操作、表示オブジェクトが船の場合の舵をきる操作である。 Further, by changing the inclination (yaw angle) of the casing of the touch panel device 130, a direction change operation can be instructed to the vehicle body displayed in the display area 112 of the HMD. The direction changing operation is, for example, a steering operation when the display object is a vehicle body or an operation of turning the rudder when the display object is a ship.
また、タッチパネル式装置１３０の筐体の位置を短時間に変化させることで、ＨＭＤの表示領域１１２に表示される表示オブジェクトに対し第２の停止操作を指示することができる。第２の停止操作とは、例えば表示オブジェクトが車体の場合のサイドブレーキをかける操作、表示オブジェクトが船の場合のスクリューの後進回転操作、表示オブジェクトが宇宙船の場合の逆噴射操作である。なお、本実施形態において、筐体の実空間における位置を短期間に変化させる操作は、例えば、短期間に筐体を手元に引く操作であり、ユーザは直感的な動作で、ＨＭＤの表示領域に表示された車体に対しサイドブレーキをかけることができる。 Further, the second stop operation can be instructed to the display object displayed in the display area 112 of the HMD by changing the position of the casing of the touch panel device 130 in a short time. The second stop operation is, for example, an operation of applying a side brake when the display object is a vehicle body, a reverse rotation operation of a screw when the display object is a ship, and a reverse injection operation when the display object is a spacecraft. In the present embodiment, the operation for changing the position of the housing in the real space in a short period of time is, for example, an operation of pulling the housing in a short period of time, and the user can intuitively operate the HMD display area. Side brakes can be applied to the car body displayed on
次に、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置１３０へリクエストする。ゲーム中は、該求められるユーザ操作に対応する操作入力情報は、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾きの変化に関する情報（ヨー角速度）、タッチパネル装置１３０の３次元実空間における３軸加速度である。必要な情報のみをリクエストすることで、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。 Next, the application progression unit 202 requests operation input information corresponding to information about the requested user operation to the touch panel device 130. During the game, the operation input information corresponding to the requested user operation includes information on the touch operation of the user from the touch sensor 132 (contact position) and information on a change in the tilt of the touch panel device 130 from the tilt detection sensor 134 (yaw). Angular velocity), the three-axis acceleration in the three-dimensional real space of the touch panel device 130. By requesting only necessary information, the communication load between the main device 120 and the touch panel device 130 can be reduced.
次に、タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、メモリに格納されたタッチセンサ、傾き検出センサ、３軸加速度センサから得られた各種操作入力情報に関する情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。本実施態様においては、出力データは、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾き操作に関する情報（ヨー角速度）、３軸加速度センサ１３６からのタッチパネル式装置１３０の加速度である。 Next, in response to a request from the application progression unit 202, the transmission unit of the touch panel device 130 receives information on various operation input information obtained from the touch sensor, the tilt detection sensor, and the triaxial acceleration sensor stored in the memory. Among them, information corresponding to the requested user operation is sequentially output to the main device 120 as output data. In this embodiment, the output data includes information related to the user's touch operation from the touch sensor 132 (contact position), information related to the tilt operation of the touch panel device 130 from the tilt detection sensor 134 (yaw angular velocity), and the triaxial acceleration sensor 136. Is the acceleration of the touch panel type device 130.
接触領域判定部２０４は、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、該タッチ操作に関する情報に基づいて、ユーザによる接触位置が図４に例示する第１の領域内にあるか、第２の領域内にあるかを判定する。 When the output data is information related to the touch operation on the touch panel of the user, the contact area determination unit 204 determines whether the contact position by the user is within the first area illustrated in FIG. 4 based on the information related to the touch operation. , It is determined whether it is in the second region.
傾き変化算出部２０６は、出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報（角速度）である場合に、該傾き操作に関する情報に基づいて、タッチパネル装置１３０の筐体の３次元実空間での３軸回りの角度変化、角加速度など又はこれらの一部を操作データとして算出する。 When the output data is information (angular velocity) regarding the tilt operation in the three-dimensional real space for the user's touch panel device 130, the tilt change calculation unit 206, based on the information regarding the tilt operation, outputs the housing of the touch panel device 130. A change in angle about three axes in a three-dimensional real space, an angular acceleration, or a part thereof is calculated as operation data.
加速度変化検出部２０８は、出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸方向の装置速度、装置変位量、加速度が所定の閾値を超えたかなど、又はこれらの一部を操作データとして算出する。 When the output data is information related to the displacement operation in the three-dimensional real space with respect to the touch panel device 130, the acceleration change detection unit 208 is based on the information (acceleration) regarding the displacement operation in the three-dimensional real space of the touch panel device 130. Whether the apparatus speed, the apparatus displacement amount, the acceleration in the XYZ-axis direction exceeds a predetermined threshold, or a part of these is calculated as operation data.
表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、仮想空間に登場する表示オブジェクトの表示演算をフレーム毎に行う。表示制御部２１０は表示オブジェクトの表示演算に基づいて、表示オブジェクト（例えば、車体）からの視界画像（ドライバーズビュー）を生成し、レーシング画像として表示領域１１２へ出力する。表示制御部２１０は表示オブジェクトからの視界画像に表示オブジェクトを重ねた画像を生成しゲーム画像として表示領域１１２へ出力することもできる。 The display control unit 210 associates the operation to be performed on the display object with the operation data based on the user operation that is requested to be input by the application program determined by the application progression unit 202. Then, the display control unit 210 performs display calculation of the display object appearing in the virtual space for each frame based on the operation data associated with the operation of the display object. The display control unit 210 generates a view field image (drivers view) from the display object (for example, a vehicle body) based on the display calculation of the display object, and outputs it to the display area 112 as a racing image. The display control unit 210 can also generate an image in which the display object is superimposed on the view image from the display object, and output the generated image to the display area 112 as a game image.
本発明によると、ユーザは、タッチパネル式装置を用いて３次元仮想空間内で表示オブジェクトに行わせる操作を容易にかつ直感的に指示することができる。特に非透過型のＨＭＤを装着しているユーザは手元を観察することができないため、タッチパネル式装置のタッチパネルを観察しながら表示オブジェクトを操作できない。本発明によると、ジャイロセンサ、加速度センサ、タッチセンサを備えたタッチパネル式装置を用いて、ユーザは手元を観察することなく、ＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトの方向を容易にかつ直感的に指示することができる。 According to the present invention, a user can easily and intuitively instruct an operation to be performed on a display object in a three-dimensional virtual space using a touch panel device. In particular, since a user wearing a non-transparent HMD cannot observe the hand, the user cannot operate the display object while observing the touch panel of the touch panel device. According to the present invention, using a touch panel type device including a gyro sensor, an acceleration sensor, and a touch sensor, the direction of the display object in the three-dimensional virtual space displayed in the display area of the HMD without the user observing the hand. Can be easily and intuitively indicated.
また、タッチパネルのタッチセンサを用いて、該タッチパネルに表示される表示オブジェクトを操作する場合、操作を行う指などに表示オブジェクトが隠れて見えなくなってしまうことがあった。本発明によると、タッチ操作を行うタッチパネルと、表示領域とが別個に構成される。従って、ユーザは表示オブジェクトが指により隠れてしまうことを気にすることなく表示オブジェクトの操作を行うことができる。 In addition, when a display object displayed on the touch panel is operated using the touch sensor of the touch panel, the display object may be hidden behind a finger or the like that is operated. According to the present invention, the touch panel for performing the touch operation and the display area are configured separately. Therefore, the user can operate the display object without worrying about the display object being hidden by the finger.
図３は、本発明の一実施形態に従った、タッチパネル式装置１３０の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）、及びタッチパネル式装置のタッチパネル平面の２次元直交座標系（ｘ，ｙ）を示す。θｒ、θｐ、θｙはそれぞれ、タッチパネル式装置の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）において、タッチパネル式装置の前後を軸とした回転を示すロール角（θｒ）、左右を軸とした回転を示すピッチ角（θｐ）、上下を軸とした回転を示すヨー角（θｙ）を示す。 FIG. 3 shows an orthogonal coordinate system (X, Y, Z) in the three-dimensional real space of the casing of the touch panel device 130 and the two-dimensional orthogonal of the touch panel plane of the touch device according to an embodiment of the present invention. A coordinate system (x, y) is shown. θr, θp, and θy are roll angles (θr) indicating rotation about the front and rear of the touch panel device in the orthogonal coordinate system (X, Y, Z) in the three-dimensional real space of the housing of the touch panel device. , A pitch angle (θp) indicating rotation about the left and right axes, and a yaw angle (θy) indicating rotation about the upper and lower axes.
以下、図４〜８に基づいて、タッチパネル式装置１３０の操作により、ＨＭＤの表示領域に表示される３次元仮想空間内に表示される表示オブジェクトを操作する処理を説明する。なお、以下は表示オブジェクトが車体の場合の操作に限定して説明を行うが、他の移動体（例えば船）の場合にも同様の操作を行うことができることは当業者に容易に理解されよう。 Hereinafter, based on FIGS. 4-8, the process which operates the display object displayed in the three-dimensional virtual space displayed on the display area of HMD by operation of the touchscreen type | mold apparatus 130 is demonstrated. The following description will be limited to the operation when the display object is a vehicle body, but it will be readily understood by those skilled in the art that the same operation can be performed when the display object is another vehicle (for example, a ship). .
図４はタッチパネル式装置１３０のタッチセンサ１３２を用いて表示オブジェクトのブレーキ／アクセル操作する処理を示す。タッチパネル式装置１３０はユーザにより保持されており、タッチパネル平面は第１の領域と第２の領域に分割されている。例えば、レーシングゲーム中に第１の領域に対するユーザ接触が検出されると、表示オブジェクトにブレーキ操作（第１の停止操作）を行わせることができ、第２の領域に対するユーザ接触が検出されると、表示オブジェクトにアクセル操作（前進操作）を行わせることができる。第１の領域、第２の領域は、一般的な自動車が、ブレーキペダルをドライバの左に、アクセルペダルをドライバの右に位置することに基づき配置されている。ＨＭＤを装着しているユーザは手元を観察することができないため、タッチパネル平面をブレーキ／アクセル領域のみで簡易に構成し、ユーザは直感的に操作できる。 FIG. 4 shows a process for performing a brake / accelerator operation of a display object using the touch sensor 132 of the touch panel device 130. The touch panel type device 130 is held by a user, and the touch panel plane is divided into a first area and a second area. For example, when a user contact with respect to the first area is detected during the racing game, the display object can be caused to perform a brake operation (first stop operation), and when a user contact with respect to the second area is detected. The accelerator operation (forward operation) can be performed on the display object. The first region and the second region are arranged based on the fact that a general automobile has a brake pedal on the left side of the driver and an accelerator pedal on the right side of the driver. Since the user wearing the HMD cannot observe his / her hand, the touch panel plane is simply configured only by the brake / accelerator area, and the user can operate intuitively.
図５はタッチパネル式装置１３０の筐体の傾きを変化させることによるハンドル操作（方向転換操作）（図５Ａ，Ｂ）、実空間内での位置を動かすことによるサイドブレーキをかける操作（第２の停止操作）（図５Ｃ）を示す。 FIG. 5 shows a steering wheel operation (direction changing operation) by changing the inclination of the casing of the touch panel device 130 (FIGS. 5A and 5B), and an operation for applying a side brake by moving the position in the real space (second operation). Stop operation) (FIG. 5C) is shown.
図５Ａに示すように、レーシングゲーム中にタッチパネル式装置１３０の筐体に対し、Ｚ軸を中心とした左回転が検出されると、表示制御部２１０は筐体の角度変化に応じて表示オブジェクトに左ハンドルをきる動作を行わせることができる。一方、図５Ｂに示すように、タッチパネル式装置１３０の筐体に対し、Ｚ軸を中心とした右回転が検出されると、表示制御部２１０は筐体の角度変化に応じて表示オブジェクトに右ハンドルをきる動作を行わせることができる。さらに、図５Ｃに示すように、レーシングゲーム中にタッチパネル式装置１３０の筐体に対し、実空間内での所定の閾値以上の加速度変化が検出されると、表示制御部２１０は表示オブジェクトにサイドブレーキをかける操作を行わせることができる。タッチパネル式装置１３０を用いた図４、図５に示す操作は実際の車の運転感覚に似ており、ユーザは直感的にレーシングゲームを進行することができる。 As shown in FIG. 5A, when a left rotation about the Z axis is detected with respect to the casing of the touch panel device 130 during the racing game, the display control unit 210 displays a display object according to a change in the angle of the casing. Can move the left handle. On the other hand, as shown in FIG. 5B, when a right rotation about the Z axis is detected with respect to the casing of the touch panel device 130, the display control unit 210 moves the display object to the right according to the change in the angle of the casing. It is possible to move the handle. Further, as shown in FIG. 5C, when a change in acceleration exceeding a predetermined threshold in the real space is detected with respect to the casing of the touch panel device 130 during the racing game, the display control unit 210 displays the side of the display object. The operation to apply the brake can be performed. The operations shown in FIGS. 4 and 5 using the touch panel device 130 are similar to the actual driving feeling of a car, and the user can intuitively advance the racing game.
図６〜８は、右カーブでのドリフト走行を説明する図である。ドリフト走行とは車体がタイヤグリップと呼ばれる路面とタイヤの摩擦により横滑りを起こしながらも、ドライバのアクセル、ブレーキ、ハンドル等による操作によって、車体の進行方向を大きく変える走行方法、その他これに準ずる走行方法である。 本実施形態では車体のドリフト走行について説明しているが、船や宇宙船等についても同様の操作によって、その進行方向を大きく変えることができる。 6-8 is a figure explaining the drift driving | running | working on a right curve. Drift driving is a driving method that greatly changes the traveling direction of the vehicle body by operation with the driver's accelerator, brake, steering wheel, etc. while the vehicle body slides due to friction between the road surface called tire grip and the tire, and other similar driving methods It is. In the present embodiment, the drift traveling of the vehicle body is described, but the traveling direction of a ship, a spacecraft, or the like can be changed greatly by the same operation.
図６は３次元仮想空間内で右に急カーブする車体の状態をその進行状態に従って示した図である。ドリフト走行する車体は状態ａ１からａ４に示すように変化する。仮想空間における車体の中心から延びる矢印は車体の進行方向を示す。 FIG. 6 is a diagram showing the state of the vehicle body that curves sharply to the right in the three-dimensional virtual space according to its progress state. The drifting vehicle body changes as shown in states a1 to a4. An arrow extending from the center of the vehicle body in the virtual space indicates the traveling direction of the vehicle body.
位置ａ１は車体が右カーブに進入する直前の状態を示す。このとき、仮想空間における車体の進行方向と、車体の正面方向とはほぼ一致している。ａ１においてユーザはハンドルを右に大きくきる。 A position a1 indicates a state immediately before the vehicle body enters the right curve. At this time, the traveling direction of the vehicle body in the virtual space substantially coincides with the front direction of the vehicle body. At a1, the user turns the handle large to the right.
位置ａ２は車体がカーブに進入した直後の状態を示す。ハンドルを右に大きくきったことにより車体は大きく右旋回し、仮想空間における車体の進行方向と車体の正面方向とは大きくずれている。ａ２においてユーザはサイドブレーキをかけて後輪をロックする。 A position a2 indicates a state immediately after the vehicle body enters the curve. When the steering wheel is fully moved to the right, the vehicle body turns significantly to the right, and the traveling direction of the vehicle body in the virtual space and the front direction of the vehicle body are greatly deviated. In a2, the user applies a side brake to lock the rear wheel.
位置ａ３は後輪がロックされた車体が横滑りしている状態を示す。サイドブレーキにより後輪がロックされた車体はさらに大きく右旋回しつつ、横滑りしている。仮想空間における車体の進行方向と車体の正面方向とは大きくずれたままである。ａ３においてユーザはハンドルを左に大きくきる。 The position a3 shows a state where the vehicle body with the rear wheel locked is sliding. The car body, whose rear wheels are locked by the side brakes, is turning to the right and skidding. The traveling direction of the vehicle body in the virtual space and the front direction of the vehicle body are largely deviated. In a3, the user can turn the handle to the left.
位置ａ４は、車体がカーブをほぼ脱出した状態を示す。カーブの後半では、ａ３においてハンドルを左に大きくきったことによりａ４において車体の旋回は収まっている。仮想空間における車体の進行方向は車体の正面方向とほぼ一致しており、通常の走行状態に戻っている。 A position a4 shows a state where the vehicle body has almost escaped the curve. In the latter half of the curve, the turning of the vehicle body is stopped at a4 because the handle is greatly moved to the left at a3. The traveling direction of the vehicle body in the virtual space substantially coincides with the front direction of the vehicle body, and has returned to the normal traveling state.
仮想空間内でドリフト走行を行うユーザは、車体がカーブに差し掛かった際に、瞬間的にサイドブレーキをかけ、後輪を一時的にロックさせ、進行方向に車体後部が降られた際、ハンドルをカーブとは逆方向にきり、自動車の運動エネルギーを可能な限り保存しつつ車体の進行方向を大きく変える操作を行う。図７は仮想空間内で右急カーブでのドリフト走行を行うユーザ操作を示す。図７Ａは図６の位置ａ１、図７Ｂは図６の位置ａ２、図７Ｃは図６の位置ａ３にそれぞれ対応する。 A user who drifts in a virtual space, when the car body approaches the curve, momentarily applies the side brake, temporarily locks the rear wheels, and when the rear part of the car body is lowered in the direction of travel, The operation is performed in the opposite direction to the curve and greatly changes the traveling direction of the vehicle body while preserving the kinetic energy of the car as much as possible. FIG. 7 shows a user operation for performing drift traveling on a sharp curve in the virtual space. 7A corresponds to position a1 in FIG. 6, FIG. 7B corresponds to position a2 in FIG. 6, and FIG. 7C corresponds to position a3 in FIG.
図７Ａは位置ａ１におけるユーザ操作を示す。ユーザは車体が右カーブにさしかかると、タッチパネル式装置１３０の筐体を右に回転させる。表示オブジェクトはハンドルを右にきる動作を行う。 FIG. 7A shows a user operation at the position a1. When the vehicle body reaches the right curve, the user rotates the casing of the touch panel device 130 to the right. The display object moves the handle to the right.
図７Ｂは位置ａ２におけるユーザ操作を示す。カーブ進入直後に、ユーザは瞬間的にタッチパネル式装置の筐体の実空間における位置を瞬間的に変化させる。表示オブジェクトは、サイドブレーキをかける操作を行い車体の後輪はロックされる。 FIG. 7B shows a user operation at the position a2. Immediately after entering the curve, the user instantaneously changes the position of the housing of the touch panel device in real space. The display object performs an operation of applying a side brake, and the rear wheel of the vehicle body is locked.
図７Ｃは位置ａ３におけるユーザによる操作を示す。後輪が一時的にロックされると、進行方向に車体後部がふられるので、ユーザはタッチパネル式装置の筐体を左に回転させる。表示オブジェクトはハンドルをカーブとは逆方向（左方向）にきる動作を行う。なお、上述したドリフト走行は右カーブで説明したが、左カーブでの車体は面対称の状態で推移する。 FIG. 7C shows an operation by the user at the position a3. When the rear wheel is temporarily locked, the rear part of the vehicle body is touched in the traveling direction, so that the user rotates the casing of the touch panel device to the left. The display object moves the handle in the direction opposite to the curve (left direction). In addition, although the drift running mentioned above was demonstrated with the right curve, the vehicle body in a left curve changes in a plane symmetrical state.
図８はレーシングゲーム中に、ＨＭＤの表示領域に表示される仮想空間内の例示的な画像（ドライバーズビュー）である。図８Ａは位置ａ１におけるドリフト走行が始まる状態の表示画像を示し、図８Ｂは位置ａ３における横滑り状態の表示画像を示す。
＜ＨＭＤシステムの表示制御処理の流れ＞
図９を参照してＨＭＤシステムの表示を制御するための処理の流れを説明する。図９に示すフローチャートにおける各ステップの処理は単なる一例に過ぎず、同様の結果が得られるのであれば各ステップの処理の順序を入れ替えても良い。
FIG. 8 is an exemplary image (drivers view) in the virtual space displayed in the display area of the HMD during the racing game. FIG. 8A shows a display image in a state where drift traveling at the position a1 starts, and FIG. 8B shows a display image in a skidding state at the position a3.
<Flow of HMD system display control processing>
A flow of processing for controlling display of the HMD system will be described with reference to FIG. The processing of each step in the flowchart shown in FIG. 9 is merely an example, and the order of the processing of each step may be changed as long as a similar result is obtained.
まず、ステップＳ１において初期処理を実行する。アプリケーション処理部２０２は、本体装置１２０においてアプリケーションプログラム（レーシングゲーム）を起動する。ユーザにより車種やコース等のゲーム設定の選択が行われると、アプリケーション処理部２０２は各種パラメータの初期値を設定し、３次元仮想空間を構築し、仮想空間に登場する表示オブジェクトを初期位置に配置する。アプリケーション処理部２０２は、これら構築された３次元仮想空間のレーシング画像、初期位置に配置された表示オブジェクトをＨＭＤの表示領域へ出力する。 First, initial processing is executed in step S1. The application processing unit 202 activates an application program (racing game) in the main device 120. When the user selects a game setting such as a car type and a course, the application processing unit 202 sets initial values of various parameters, constructs a three-dimensional virtual space, and places display objects appearing in the virtual space at the initial positions. To do. The application processing unit 202 outputs the constructed three-dimensional virtual space racing image and the display object arranged at the initial position to the display area of the HMD.
ステップＳ２において、アプリケーション進行部２０２はレーシングゲームの残時間があるかを判定する。残時間がある場合に、ステップＳ３へ進む。
ステップＳ３において本体装置１２０はタッチパネル式装置１３０より出力データを取得する。より詳細には、まず、タッチパネル式装置１３０は、タッチセンサ１３２、傾き検出センサ１３４、３軸加速度センサから出力される各情報をユーザ操作に関する操作入力情報として取得しメモリへ逐次格納する。すなわち、タッチセンサ１３２からはユーザによるタッチパネルに対するタッチ操作に関する情報（接触位置）を、傾き検出センサ１３４からは、ユーザによるタッチパネル式装置１３０に対する傾き操作に関する情報（３次元実空間でのＸＹＺの３軸回りの角速度）を、３軸加速度センサ１３６からは、ユーザによるタッチパネル式装置に対する変位操作に関する情報（３次元実空間での３軸方向の加速度）を取得しメモリへ逐次格納する。次に、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作を決定する。次に、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置１３０へリクエストする。タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、メモリに格納された各種操作入力情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。
In step S <b> 2, the application progression unit 202 determines whether there is remaining time in the racing game. If there is remaining time, the process proceeds to step S3.
In step S <b> 3, main device 120 acquires output data from touch panel device 130. More specifically, first, the touch panel type device 130 acquires each information output from the touch sensor 132, the tilt detection sensor 134, and the triaxial acceleration sensor as operation input information related to the user operation, and sequentially stores it in the memory. That is, information (touch position) related to the touch operation on the touch panel by the user from the touch sensor 132, and information related to the tilt operation on the touch panel device 130 by the user (XYZ three axes in the three-dimensional real space) from the tilt detection sensor 134. From the three-axis acceleration sensor 136, information on the displacement operation by the user on the touch panel device (acceleration in the three-axis direction in the three-dimensional real space) is acquired and sequentially stored in the memory. Next, based on the content of the application program being executed on the main device 120, the application progression unit 202 determines a user operation that is requested to be input by the application program. Next, the application progression unit 202 requests operation input information corresponding to information about the requested user operation to the touch panel device 130. In response to a request from the application progression unit 202, the transmission unit of the touch panel device 130 sequentially outputs information corresponding to a requested user operation among various operation input information stored in the memory to the main body device 120 as output data. To do.
次にステップＳ４において、本体装置１２０はタッチパネル式装置１３０より送信された出力データの種類を判定する。
次に出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、ステップＳ５において、接触領域判定部２０４は、該タッチ操作に関する情報（接触位置）に基づいて、接触位置が第１の領域内にあるか、第２の領域内にあるかを操作データとして算出する。
Next, in step S <b> 4, main device 120 determines the type of output data transmitted from touch panel device 130.
Next, when the output data is information related to the touch operation on the touch panel of the user, in step S5, the contact area determination unit 204 determines that the contact position is within the first area based on the information related to the touch operation (contact position). Or in the second area is calculated as operation data.
出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報である場合に、ステップＳ６において、傾き変化算出部２０６は、該傾き操作に関する情報（角速度）に基づいて、タッチパネル装置１３０の３次元実空間内での３軸回りの角度変化、角加速度を操作データとして算出する。 When the output data is information regarding the tilt operation in the three-dimensional real space for the user's touch panel device 130, in step S6, the tilt change calculation unit 206, based on the information regarding the tilt operation (angular velocity), the touch panel device 130. The angle change around the three axes and the angular acceleration in the three-dimensional real space are calculated as operation data.
出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、ステップＳ７において、加速度変化検出部２０８は、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸の加速度が所定の閾値を超えたかを操作データとして算出する。 When the output data is information related to the displacement operation in the three-dimensional real space with respect to the touch panel device 130, in step S7, the acceleration change detection unit 208 determines the 3 of the touch panel device 130 based on the information related to the displacement operation (acceleration). Whether the acceleration of the XYZ axes in the dimensional real space exceeds a predetermined threshold value is calculated as operation data.
次に、ステップＳ８において、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、算出された操作データを表示オブジェクトに行わせる動作に対応付けする。 Next, in step S <b> 8, the display control unit 210 associates the calculated operation data with the operation to be performed on the display object based on the user operation that is requested by the application program determined by the application progression unit 202. .
次に、ステップＳ９において、表示制御部２１０は表示オブジェクトの走行状態を判定する。表示制御部２１０は表示オブジェクトの仮想モーメントを算出し、算出された仮想モーメントに従って走行状態がドリフト走行であるかを判定する。 Next, in step S9, the display control unit 210 determines the traveling state of the display object. The display control unit 210 calculates a virtual moment of the display object, and determines whether the traveling state is the drift traveling according to the calculated virtual moment.
ドリフト走行である場合に、ステップＳ１１において、表示制御部２１０は表示オブジェクトがドリフト走行であることを示す情報をアプリケーション進行部２０２へ出力する。アプリケーション進行部２０２は、振動モータ１３８に対し、タッチパネル式装置を振動させる命令を出力する。振動モータ１３８はタッチパネル式装置を振動させドリフト走行を演出する。 In the case of drift traveling, in step S11, the display control unit 210 outputs information indicating that the display object is drift traveling to the application progression unit 202. The application progression unit 202 outputs a command for vibrating the touch panel device to the vibration motor 138. The vibration motor 138 vibrates the touch panel device and produces drift running.
次に、ステップＳ１２において、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、仮想空間に登場する表示オブジェクトの表示演算を行う。表示制御部２１０は表示オブジェクトの表示演算に基づいて、表示オブジェクト（車体）からの視界画像（ドライバーズビュー）を生成し、レーシング画像として表示領域１１２へ出力する。表示制御部２１０は表示オブジェクトからの視界画像に表示オブジェクトを重ねた画像を生成してレーシング画像として表示領域１１２へ出力することもできる。ＨＭＤは表示制御部２１０により出力されたレーシング画像を表示領域１１２の３次元仮想空間へ表示する。 Next, in step S12, the display control unit 210 performs display calculation of the display object appearing in the virtual space based on the operation data associated with the operation of the display object. The display control unit 210 generates a visual field image (drivers view) from the display object (vehicle body) based on the display calculation of the display object, and outputs it to the display area 112 as a racing image. The display control unit 210 can also generate an image in which the display object is superimposed on the view field image from the display object, and output the generated image to the display area 112 as a racing image. The HMD displays the racing image output from the display control unit 210 in the three-dimensional virtual space of the display area 112.
次に、ステップＳ１３に進み、ゴールしていれば、ゴール演出処理が行われ、ステップ１４で終了処理が行われる。ステップＳ１３でゴールしていなければ、ステップＳ２へ戻り残り時間が無ければ、ステップＳ１４に進み終了処理が行われる。ステップＳ２へ戻り残り時間があれば、アプリケーションは進行を継続する。 Next, the process proceeds to step S13. If the goal is reached, a goal effect process is performed, and an end process is performed in step 14. If the goal is not reached in step S13, the process returns to step S2, and if there is no remaining time, the process proceeds to step S14 and an end process is performed. If the remaining time is returned to step S2, the application continues to proceed.
上述の処理を行うことによって、ユーザは仮想空間内で直感的な操作によるレーシングゲーム、特にドリフト走行を楽しむことができる。
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。
By performing the above-described processing, the user can enjoy a racing game by an intuitive operation in the virtual space, in particular, drift running.
As described above, the embodiment of the present invention has been described, but the present invention is not limited to the above embodiment. Those skilled in the art will recognize that various modifications can be made without departing from the spirit and scope of the invention as set forth in the appended claims.
Claims (7)
タッチパネル式装置からの出力データを取得するステップと、
前記出力データに基づいて、仮想空間内の表示オブジェクトに行わせる動作を決定するステップと、
前記決定された表示オブジェクトに行わせる動作に基づいて、前記表示領域に表示する仮想空間内のゲーム画像を生成するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。 In a head mounted display system comprising a head mounted display and a touch panel device connected to the head mounted display in a communicable manner, a user interface display method for displaying a game image in a display area of the head mounted display,
Obtaining output data from the touch panel device;
Determining an action to be performed on a display object in the virtual space based on the output data;
Generating a game image in a virtual space to be displayed in the display area based on an action to be performed on the determined display object. A user interface display method comprising:
前記タッチパネル式装置のタッチパネルに対するユーザによる接触を検出するステップと、
前記タッチパネル式装置の傾きの変化を検出するステップと、
前記タッチパネル式装置の変位を検出するステップと、
のいずれか又は全てを含むことを特徴とする、請求項１に記載のユーザインタフェース表示方法。 Obtaining the output data comprises:
Detecting contact by a user on the touch panel of the touch panel device;
Detecting a change in tilt of the touch panel device;
Detecting the displacement of the touch panel device;
The user interface display method according to claim 1, comprising any or all of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015047278A JP2016167219A (en) | 2015-03-10 | 2015-03-10 | Method and program for displaying user interface on head-mounted display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015047278A JP2016167219A (en) | 2015-03-10 | 2015-03-10 | Method and program for displaying user interface on head-mounted display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016167219A true JP2016167219A (en) | 2016-09-15 |
Family
ID=56897706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015047278A Pending JP2016167219A (en) | 2015-03-10 | 2015-03-10 | Method and program for displaying user interface on head-mounted display |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016167219A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017134802A (en) * | 2016-03-04 | 2017-08-03 | 望月 玲於奈 | User interface program |
| JP2017157195A (en) * | 2016-12-19 | 2017-09-07 | 望月 玲於奈 | User interface program |
| WO2018075054A1 (en) * | 2016-10-21 | 2018-04-26 | Hewlett-Packard Development Company, L.P. | Virtual reality input |
| WO2018173791A1 (en) * | 2017-03-22 | 2018-09-27 | ソニー株式会社 | Image processing device and method, and program |
| WO2019082761A1 (en) * | 2017-10-23 | 2019-05-02 | 株式会社豊田自動織機 | Remote operation system for industrial vehicle, remote operation device, remote operation program for industrial vehicle, remote operation method for industrial vehicle and industrial vehicle |
| JP2019193705A (en) * | 2018-05-01 | 2019-11-07 | 株式会社カプコン | Game program and game device |
| JP2021016772A (en) * | 2019-07-18 | 2021-02-15 | 任天堂株式会社 | Information processing system, information processing program, information processing unit, and information processing method |
| US12109483B2 (en) | 2019-07-18 | 2024-10-08 | Nintendo Co., Ltd. | Information processing system, storage medium storing information processing program, information processing apparatus, and information processing method |
| JP7764608B2 (en) | 2022-05-20 | 2025-11-05 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Virtual vehicle control method, device, equipment, and computer program |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007037796A (en) * | 2005-08-03 | 2007-02-15 | Taito Corp | Scoring system of traveling condition |
| JP2007300974A (en) * | 2006-05-08 | 2007-11-22 | Nintendo Co Ltd | Program, information storage medium, and image generation system |
| JP2008015679A (en) * | 2006-07-04 | 2008-01-24 | Sony Computer Entertainment Inc | User interface device and operational sensitivity adjustment method |
| JP2008256737A (en) * | 2007-03-30 | 2008-10-23 | Sega Corp | Mobile control device |
| JP2010201035A (en) * | 2009-03-04 | 2010-09-16 | Taito Corp | Game program and game machine |
| JP2011210019A (en) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | Program, information storage medium, and image generator |
| JP2012252659A (en) * | 2011-06-06 | 2012-12-20 | Namco Bandai Games Inc | Program, information storage medium, and server |
| JP2013058136A (en) * | 2011-09-09 | 2013-03-28 | Kddi Corp | User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program |
| JP2014078940A (en) * | 2012-10-10 | 2014-05-01 | Rsupport Co Ltd | Game type lock release method for information apparatus with touch screen |
| US20140160157A1 (en) * | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
-
2015
- 2015-03-10 JP JP2015047278A patent/JP2016167219A/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007037796A (en) * | 2005-08-03 | 2007-02-15 | Taito Corp | Scoring system of traveling condition |
| JP2007300974A (en) * | 2006-05-08 | 2007-11-22 | Nintendo Co Ltd | Program, information storage medium, and image generation system |
| JP2008015679A (en) * | 2006-07-04 | 2008-01-24 | Sony Computer Entertainment Inc | User interface device and operational sensitivity adjustment method |
| JP2008256737A (en) * | 2007-03-30 | 2008-10-23 | Sega Corp | Mobile control device |
| JP2010201035A (en) * | 2009-03-04 | 2010-09-16 | Taito Corp | Game program and game machine |
| JP2011210019A (en) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | Program, information storage medium, and image generator |
| JP2012252659A (en) * | 2011-06-06 | 2012-12-20 | Namco Bandai Games Inc | Program, information storage medium, and server |
| JP2013058136A (en) * | 2011-09-09 | 2013-03-28 | Kddi Corp | User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program |
| JP2014078940A (en) * | 2012-10-10 | 2014-05-01 | Rsupport Co Ltd | Game type lock release method for information apparatus with touch screen |
| US20140160157A1 (en) * | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
Non-Patent Citations (5)
| Title |
|---|
| "ニード・フォー・スピード プロストリート", ファミ通ＸＢＯＸ ３６０, vol. 第７巻 第３号, JPN6018045930, 1 March 2008 (2008-03-01), pages 98 - 101, ISSN: 0004066067 * |
| ロジャーズ スコット, 「タッチパネル」のゲームデザイン, vol. 第1版, JPN6018045929, 20 August 2013 (2013-08-20), JP, pages 152 - 156, ISSN: 0004066066 * |
| 最新・最強・厳選 ＡＮＤＲＯＩＤアプリガイド 無料４２００＋, JPN6018045933, 30 July 2014 (2014-07-30), JP, pages 54, ISSN: 0003924704 * |
| 高瀬 勝之: "PROFESSIONAL DRIFT GAME D1GP ARCADE", 月刊アミューズメント・ジャーナル, vol. 第８巻 第８号, JPN6018045931, 30 July 2008 (2008-07-30), pages 122 - 123, ISSN: 0004066068 * |
| 齊藤 猛, ＰＬＡＹＳＴＡＴＩＯＮ▲Ｒ▼３ グランツーリスモ５ 公式ガイドブック ＴＨＥ ＢＥＳＴ ＮＡＶＩＧＡ, vol. 第1版, JPN6018045932, 30 August 2011 (2011-08-30), JP, pages 102, ISSN: 0004066069 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017134802A (en) * | 2016-03-04 | 2017-08-03 | 望月 玲於奈 | User interface program |
| WO2018075054A1 (en) * | 2016-10-21 | 2018-04-26 | Hewlett-Packard Development Company, L.P. | Virtual reality input |
| US10768716B2 (en) | 2016-10-21 | 2020-09-08 | Hewlett-Packard Development Company, L.P. | Virtual reality input including maintaining a current mapping of the input from an input device to an input plane within the 3D space |
| JP2017157195A (en) * | 2016-12-19 | 2017-09-07 | 望月 玲於奈 | User interface program |
| US11070724B2 (en) | 2017-03-22 | 2021-07-20 | Sony Corporation | Image processing apparatus and method |
| WO2018173791A1 (en) * | 2017-03-22 | 2018-09-27 | ソニー株式会社 | Image processing device and method, and program |
| JPWO2018173791A1 (en) * | 2017-03-22 | 2020-01-23 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP7196834B2 (en) | 2017-03-22 | 2022-12-27 | ソニーグループ株式会社 | Image processing device and method, and program |
| WO2019082761A1 (en) * | 2017-10-23 | 2019-05-02 | 株式会社豊田自動織機 | Remote operation system for industrial vehicle, remote operation device, remote operation program for industrial vehicle, remote operation method for industrial vehicle and industrial vehicle |
| JP2019077527A (en) * | 2017-10-23 | 2019-05-23 | 株式会社豊田自動織機 | Remote operation system for industrial vehicle, remote operation device, remote operation program for industrial vehicle, remote operation method for industrial vehicle and industrial vehicle |
| JP2019193705A (en) * | 2018-05-01 | 2019-11-07 | 株式会社カプコン | Game program and game device |
| JP2021016772A (en) * | 2019-07-18 | 2021-02-15 | 任天堂株式会社 | Information processing system, information processing program, information processing unit, and information processing method |
| US12109483B2 (en) | 2019-07-18 | 2024-10-08 | Nintendo Co., Ltd. | Information processing system, storage medium storing information processing program, information processing apparatus, and information processing method |
| JP7575195B2 (en) | 2019-07-18 | 2024-10-29 | 任天堂株式会社 | Information Processing System |
| JP7764608B2 (en) | 2022-05-20 | 2025-11-05 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Virtual vehicle control method, device, equipment, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016167219A (en) | Method and program for displaying user interface on head-mounted display | |
| US7834893B2 (en) | Mixed-reality presentation system and control method therefor | |
| CN109513210B (en) | Virtual vehicle drifting method and device in virtual world and storage medium | |
| JP5572761B2 (en) | Vehicle control device | |
| US10179510B2 (en) | Vehicle arrangement, method and computer program for controlling the vehicle arrangement | |
| EP3234742A2 (en) | Methods and apparatus for high intuitive human-computer interface | |
| KR20150079435A (en) | Systems and methods for controlling multiple displays with single controller and haptic enabled user interface | |
| US9703375B2 (en) | Operating device that can be operated without keys | |
| JP6097427B1 (en) | Game program | |
| US20140281964A1 (en) | Method and system for presenting guidance of gesture input on a touch pad | |
| WO2015133057A1 (en) | Detection device and gesture input device | |
| CN109643219A (en) | Method for being interacted with the picture material presented in display equipment in the car | |
| CN109891382B (en) | Gesture-based user interface | |
| JP2016218774A (en) | program | |
| CN108744527B (en) | Method and device for controlling virtual carrier in game and computer readable storage medium | |
| JP6033465B2 (en) | Display control device | |
| JP6376886B2 (en) | Input system and input method | |
| JP5838061B2 (en) | Driving assistance device | |
| JP6548956B2 (en) | SYSTEM, METHOD, AND PROGRAM | |
| JP2015199383A (en) | gesture input device | |
| KR20220095812A (en) | Method for emergency braking of vehicle | |
| JP6133344B2 (en) | User interface display method and program for display on head mounted display | |
| KR20150056322A (en) | Apparatus for controlling menu of head-up display and method thereof | |
| WO2015083264A1 (en) | Display control device, and display control method | |
| US9639168B2 (en) | Vehicle having touch recognizing function, control method thereof, and navigation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190121 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190701 |