[go: up one dir, main page]

JP2023054522A - Virtual reality or augmented reality reading system, 3d display control program of book and image, and information processing method - Google Patents

Virtual reality or augmented reality reading system, 3d display control program of book and image, and information processing method Download PDF

Info

Publication number
JP2023054522A
JP2023054522A JP2021163419A JP2021163419A JP2023054522A JP 2023054522 A JP2023054522 A JP 2023054522A JP 2021163419 A JP2021163419 A JP 2021163419A JP 2021163419 A JP2021163419 A JP 2021163419A JP 2023054522 A JP2023054522 A JP 2023054522A
Authority
JP
Japan
Prior art keywords
book
page
processing unit
pages
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021163419A
Other languages
Japanese (ja)
Other versions
JP7022250B1 (en
Inventor
将孝 木下
Masataka Kinoshita
敦 溝口
Atsushi Mizoguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEDIA DO Inc
Original Assignee
MEDIA DO Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEDIA DO Inc filed Critical MEDIA DO Inc
Priority to JP2021163419A priority Critical patent/JP7022250B1/en
Application granted granted Critical
Publication of JP7022250B1 publication Critical patent/JP7022250B1/en
Publication of JP2023054522A publication Critical patent/JP2023054522A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a novel technique for achievement of a natural reading experience in a virtual space.SOLUTION: An image processing system which, in a virtual space, displays a book object composed of a plurality of page objects, includes a memory unit and a processing unit. The memory unit stores book information showing a content of the book. The processing unit acquires page images of a plurality of pages constituting the book on the basis of the book information, renders each set of page images of successive two pages in the book on both respective sides of corresponding one of the page objects, and displays the book object on the basis of a view point of a user.SELECTED DRAWING: Figure 4

Description

本発明は、バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の3次元表示制御プログラムおよび情報処理方法に関する。 The present invention relates to a virtual reality or augmented reality reading system, a three-dimensional display control program for books and images, and an information processing method.

仮想的な空間やオブジェクトを定義し視点に応じて表示する技術を利用し、ユーザに仮想空間における体験を提供するVR(Virtual Reality)技術や、実空間の景色に仮想オブジェクトを表示するAR(Argumented Reality)技術が知られている。VR技術やAR技術の利用においては、特に装着型ディスプレイを用いることで、ユーザの視界に仮想空間を表現し、高い没入感を提供することが行われている。 Using technology that defines virtual space and objects and displays them according to the viewpoint, VR (Virtual Reality) technology that provides users with experiences in virtual space, and AR (Argumented Reality) technology that displays virtual objects in the scenery of real space Reality) technology is known. In the use of VR technology and AR technology, especially by using a wearable display, a virtual space is expressed in the field of view of the user to provide a high sense of immersion.

一方、書籍の電子化が進んでおり、実物を持ち歩かなくても手軽に書籍を楽しむ使い方がされている。しかしながら、電子媒体を用いて読書をするだけでなく、電子書籍ならではのより自由な読書体験に需要があった。 On the other hand, the digitization of books is progressing, and there is a way to enjoy books easily without carrying the real thing. However, there is a demand not only for reading using electronic media, but also for a more free reading experience unique to electronic books.

そこで、近年では、仮想空間内で電子書籍の内容を表示する技術が知られている。例えば特許文献1には、仮想オブジェクトを表示フレームとして用いて、表示フレーム内に更に仮想オブジェクトを配置する技術において、表示フレームを漫画のページとして表現することが記載されている。 Therefore, in recent years, a technique for displaying the content of an electronic book in virtual space is known. For example, Japanese Patent Application Laid-Open No. 2002-200003 describes a technique of using a virtual object as a display frame and further arranging a virtual object within the display frame, in which the display frame is represented as a page of a comic book.

特開2021-022207号公報Japanese Patent Application Laid-Open No. 2021-022207

特許文献1に記載の技術では、VR技術によって提供される仮想空間に漫画のページを表示フレームとして表示すれば、ユーザは自由な空間で読書を楽しむことができる。しかしながら、単にオブジェクト上に書籍のページが画像として表示されるだけでは、実物の本を見た時の印象とは大きく離れてしまい、味気ない印象を与えてしまうという課題が存在していた。 With the technology described in Patent Document 1, by displaying comic pages as display frames in a virtual space provided by VR technology, users can enjoy reading in a free space. However, there is a problem that simply displaying the pages of a book as an image on an object gives a dull impression, which is greatly different from the impression when viewing a real book.

以上の現状に鑑みて、本発明は、仮想空間における自然な読書体験を実現するための新規な技術を提供することを課題とする。 In view of the above circumstances, the present invention aims to provide a novel technique for realizing a natural reading experience in virtual space.

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書であって、記憶部と、処理部と、を備え、前記記憶部は、書籍の内容を示す書籍情報を記憶し、前記処理部は、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。 In order to solve the above problems, the present invention provides virtual reality or augmented reality reading for displaying a book object composed of a plurality of page objects in a virtual space, comprising a storage unit and a processing unit. The storage unit stores book information indicating the contents of a book, and the processing unit acquires page images of a plurality of pages constituting a book based on the book information, and obtains page images of two consecutive pages in the book. The page images are respectively rendered on both sides of the page object to display the book object based on a user's viewpoint.

このような構成とすることで、単にページ画像が本の形に表示されるのとは異なり、実物の書籍と同様にページオブジェクトの両面にページ画像が印刷されたような状態で表示がされるため、ユーザはより現実の読書に近い感覚で仮想空間での読書を楽しむことができる。具体的には、例えばブックオブジェクトを異なる視点から見た場合や、ページオブジェクトをめくるように動かした場合に、裏面にレンダリングされたページ画像が見えることで、実物の書籍を見ているかのような高い没入感を得ることができる。 With such a configuration, the page images are printed on both sides of the page object in the same way as the actual book, unlike the case where the page images are simply displayed in the form of a book. Therefore, the user can enjoy reading in the virtual space with a feeling closer to real reading. Specifically, for example, when the book object is viewed from a different perspective or when the page object is flipped, the page image rendered on the back side can be seen, giving the impression of looking at a real book. You can get a high sense of immersion.

本発明の好ましい形態では、前記ブックオブジェクトは、複数の前記ページオブジェクトの辺が背表紙の位置で接するように構成され、前記処理部は、ページをめくる指示を受け付けて、前記ページ画像がレンダリングされた前記ページオブジェクトを撓らせてめくるアニメーションを表示させ、隣接するページを開くように、次のページの前記ページ画像がレンダリングされた前記ページオブジェクトを表示させる。 In a preferred embodiment of the present invention, the book object is configured such that the sides of the plurality of page objects are in contact with each other at the position of the back cover, and the processing unit receives an instruction to turn a page and the page image is rendered. An animation of bending and turning the page object is displayed, and the page object with the page image of the next page rendered is displayed so as to open an adjacent page.

このような構成とすることで、両面にページ画像がレンダリングされたページオブジェクトが、実物の書籍のページと同様に動く様子が表示され、より自然な読書体験を提供することができる。 With such a configuration, page objects with page images rendered on both sides are displayed to move in the same way as the pages of a real book, providing a more natural reading experience.

本発明の好ましい形態では、前記処理部は、連続して複数のページをめくる指示を受け付けて、それぞれ両面に前記ページ画像がレンダリングされた複数の前記ページオブジェクトを連続して撓らせてめくるアニメーションを表示させる。 In a preferred embodiment of the present invention, the processing unit receives an instruction to turn over a plurality of pages in succession, and has an animation in which the plurality of page objects having the page images rendered on both sides thereof are continuously warped and turned. display.

このような構成とすることで、複数ページをまたいで閲覧部分を移動する場合にも、現実の書籍においてページを移動するのと同様の表現が実現される。またこの時にも、各ページオブジェクトの両面にページ画像がレンダリングされた状態であるため、ただ「ページをめくるアニメーション」が表示されるのではなく、開いていたその書籍のページが連続してめくられていくように表示され、ユーザにより高い没入感を与えることができる。 By adopting such a configuration, even when moving the viewing portion across a plurality of pages, the same expression as moving between pages in a real book is realized. Also, at this time, the page images are rendered on both sides of each page object, so instead of just displaying the "page-turning animation", the pages of the open book are turned continuously. It is displayed as if it goes on and on, and it is possible to give the user a higher sense of immersion.

本発明の好ましい形態では、前記処理部は、前記ブックオブジェクトとして表現する書籍の選択を受け付けると、複数のページオブジェクトについてそれぞれ両面に前記書籍の前記ページ画像をレンダリングする。 In a preferred embodiment of the present invention, when receiving selection of a book to be expressed as the book object, the processing unit renders the page images of the book on both sides of each of a plurality of page objects.

このような構成とすることで、ページ移動のたびにレンダリングする必要がなくなり、表示速度が向上する。これにより、ページをめくる動きが遅れたり止まったり、あるいはページ画像のレンダリングされていないページオブジェクトが表示されてしまう等、現実では起こらない現象が生じてしまう不具合を減らし、より現実感のある読書体験を提供することができる。 Such a configuration eliminates the need for rendering each time the page is moved, thereby improving the display speed. This reduces the occurrence of phenomena that do not occur in reality, such as delays or stops in the movement of turning pages, or the display of page objects for which page images have not been rendered, resulting in a more realistic reading experience. can be provided.

本発明の好ましい形態では、前記処理部は、前記ブックオブジェクトが開いているページの前後所定範囲に属する複数の前記ページ画像について、それぞれ前記ページオブジェクトにレンダリングする。 In a preferred embodiment of the present invention, the processing unit renders a plurality of page images belonging to a predetermined range before and after the page on which the book object is opened, on the page object.

このような構成とすることで、現在開いているページの近傍の所定範囲についてはすぐに表示することができる状態となるため、多数のページ移動があった場合にも滑らかな表示が可能となる。また、レンダリングする範囲を開いているページの前後所定範囲とすることで、メモリに制限がある場合にも没入感を損なわない素早い表示が可能となる。 With such a configuration, a predetermined range near the currently opened page can be displayed immediately, so smooth display is possible even when many pages are moved. . In addition, by setting the range to be rendered to a predetermined range before and after the open page, it is possible to display quickly without impairing the sense of immersion even when memory is limited.

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、書籍及び画像の3次元表示制御プログラムであって、コンピュータを、記憶部と、処理部と、として機能させ、前記記憶部は、書籍の内容を示す書籍情報を記憶し、前記処理部は、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。 In order to solve the above problems, the present invention provides a three-dimensional display control program for books and images for displaying a book object composed of a plurality of page objects in a virtual space, comprising: a computer; The processing unit functions as a processing unit, the storage unit stores book information indicating the content of a book, the processing unit acquires page images of a plurality of pages constituting a book based on the book information, and the The page images of two consecutive pages in the book are rendered on both sides of the page object, respectively, and the book object is displayed based on the user's viewpoint.

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる情報処理方法であって、コンピュータが、書籍の内容を示す書籍情報を記憶し、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。 In order to solve the above problems, the present invention provides an information processing method for displaying a book object composed of a plurality of page objects in a virtual space, wherein a computer stores book information indicating the content of the book, Acquire page images of a plurality of pages constituting a book based on the book information, render the page images of two consecutive pages in the book on both sides of the page object, and render the page images based on the user's viewpoint. Make the book object visible.

本発明によれば、仮想空間における自然な読書体験を実現するための新規な技術を提供することができる。 According to the present invention, it is possible to provide a novel technique for realizing a natural reading experience in virtual space.

本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの構成例を示す概略図である。1 is a schematic diagram showing a configuration example of a virtual reality or augmented reality reading system according to an embodiment of the present invention; FIG. 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの機能ブロック図である。1 is a functional block diagram of a virtual reality or augmented reality reading system in an embodiment of the invention; FIG. 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの画面表示例である。1 is an example screen display of a virtual reality or augmented reality reading system according to an embodiment of the present invention. 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの画面表示例である。1 is an example screen display of a virtual reality or augmented reality reading system according to an embodiment of the present invention. 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムのページめくり時におけるブックオブジェクトの表示例である。It is a display example of a book object at the time of page turning of the virtual reality or augmented reality reading system in the embodiment of the present invention. 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの入力に用いられるジェスチャの例を示す図である。FIG. 3 shows examples of gestures used for input in a virtual reality or augmented reality reading system according to embodiments of the present invention; 本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの入力に用いられるジェスチャの例を示す図である。FIG. 3 shows examples of gestures used for input in a virtual reality or augmented reality reading system according to embodiments of the present invention;

以下、図面を用いて、本発明のバーチャルリアリティ又は拡張現実読書システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。 The virtual reality or augmented reality reading system of the present invention will be described below with reference to the drawings. The embodiments shown below are examples of the present invention, and the present invention is not limited to the following embodiments, and various configurations can be adopted.

例えば、本実施形態ではバーチャルリアリティ又は拡張現実読書システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばCD-ROM等の非一過性の記録媒体であっても良い。 For example, although the configuration, operation, and the like of a virtual reality or augmented reality reading system will be described in the present embodiment, similar configuration methods, devices, computer programs, and the like can also provide similar effects. Also, the program may be stored in a recording medium. Using this recording medium, a program can be installed in a computer, for example. Here, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.

本発明は、電子書籍に含まれるページのページ画像を、ページの形状を表現した3次元の仮想オブジェクトであるページオブジェクトにレンダリングすることで、3次元のブックオブジェクトを表示する技術に関する。特に本実施形態では、ユーザの視界を覆う装着型ディスプレイを利用して、仮想空間を背景として表示し、ユーザの顔の向きにより仮想空間の視点を制御し、仮想空間内にブックオブジェクトを配置して表示する。なおこの他にも、仮想的な背景を表示する代わりに、実空間の撮影画像に仮想空間上で位置を定義されたブックオブジェクトを重畳表示するAR技術を用いてもよい。 The present invention relates to a technique of displaying a three-dimensional book object by rendering a page image of a page included in an electronic book into a page object, which is a three-dimensional virtual object representing the shape of the page. In particular, in this embodiment, a wearable display that covers the user's field of vision is used to display a virtual space as a background, control the viewpoint of the virtual space according to the orientation of the user's face, and arrange book objects in the virtual space. displayed. Alternatively, instead of displaying a virtual background, an AR technique may be used that superimposes and displays a book object whose position is defined in the virtual space on a photographed image of the real space.

なお本発明において扱う電子書籍には特に制限はなく、内容やページ数、右開き、左開き等、各種の条件に関わらず様々な電子書籍を利用することができる。 The electronic books handled in the present invention are not particularly limited, and various electronic books can be used regardless of various conditions such as content, number of pages, right opening, left opening, and the like.

図1及び図2を用いて、本実施形態におけるバーチャルリアリティ又は拡張現実読書システムの構成を説明する。図1は、VR端末1と、配信装置2と、がネットワークNWを介して通信可能に構成されている。ネットワークNWとしては、インターネット等が想定される。なお、本発明はVR端末1単体で構成されてもよい。 The configuration of the virtual reality or augmented reality reading system according to this embodiment will be described with reference to FIGS. 1 and 2. FIG. In FIG. 1, a VR terminal 1 and a distribution device 2 are configured to be able to communicate via a network NW. The Internet or the like is assumed as the network NW. Note that the present invention may be configured by the VR terminal 1 alone.

VR端末1としては、GPU(Graphics Processing Unit)等の演算装置、記憶装置、ネットワークNWへの接続手段、ディスプレイを含む種々の入出力装置等を備えた、任意のコンピュータ装置を利用することができる。本実施形態では、GPUヘッドマウントディスプレイを備えた、一体型の専用装置を想定する。なお、スマートフォンやタブレット型端末を利用して、装着型の装置と連携させることで本発明のVR端末1を実現してもよい。後述の処理部としてコンピュータ装置の演算装置を機能させるための専用のアプリケーションや、専用のウェブページにアクセスするためのブラウザアプリケーション等が記憶装置に記憶され、演算装置が各種の処理を実行することで、任意のコンピュータ装置が本発明のVR端末1として機能する。 As the VR terminal 1, it is possible to use any computer device equipped with a computing device such as a GPU (Graphics Processing Unit), a storage device, means for connecting to a network NW, various input/output devices including a display, and the like. . This embodiment assumes an integrated dedicated device with a GPU head-mounted display. Note that the VR terminal 1 of the present invention may be realized by using a smart phone or a tablet terminal and linking it with a wearable device. A dedicated application for functioning the arithmetic unit of the computer device as a processing unit described later, a browser application for accessing a dedicated web page, etc. are stored in the storage device, and the arithmetic unit executes various processes. , any computer device functions as the VR terminal 1 of the present invention.

また配信装置2としては、CPUやGPU等の演算装置、RAM(Random Access Memory)等の主記憶装置、HDD(Hard Disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置、ネットワークNWへの接続手段を含む種々の入出力装置等を備えた、サーバ装置等の一般的なコンピュータ装置を利用することができる。配信装置2は、電子書籍を配信するサービスを提供するサーバであり、ユーザ情報や電子書籍の情報を管理する。 The distribution device 2 includes a computing device such as a CPU or a GPU, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device such as a HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, etc., a network A general computer device such as a server device having various input/output devices including means for connecting to the NW can be used. The distribution device 2 is a server that provides a service for distributing electronic books, and manages user information and electronic book information.

図2は、本実施形態におけるバーチャルリアリティ又は拡張現実読書システムの機能構成を示す図である。本実施形態では、配信装置2が、VR端末1からの要求に応じて電子書籍のデータを配信する配信部21と、電子書籍のデータを格納するデータベース22と、を備える。このように本実施形態では配信装置2においてユーザ情報及び電子書籍のデータを管理しており、ユーザが電子書籍を購入すると、当該ユーザのユーザ情報に対応付けて指定された電子書籍の利用権があることを示す情報を登録することで、電子書籍の販売が行われる。そして、利用権のあるユーザから配信要求を受信した場合に、配信部21がデータベース22に保存された書籍のデータを、当該ユーザのVR端末1に配信する。 FIG. 2 is a diagram showing the functional configuration of the virtual reality or augmented reality reading system according to this embodiment. In this embodiment, the distribution device 2 includes a distribution unit 21 that distributes electronic book data in response to a request from the VR terminal 1, and a database 22 that stores the electronic book data. As described above, in the present embodiment, the distribution device 2 manages user information and electronic book data, and when a user purchases an electronic book, the right to use the electronic book specified in association with the user information of the user is granted. Electronic books are sold by registering information indicating that they are available. Then, when a distribution request is received from a user who has usage rights, the distribution unit 21 distributes the book data stored in the database 22 to the VR terminal 1 of the user.

ここで、データベース22において記憶される情報は、本発明のシステムにおけるVR端末1以外の、一般的なコンピュータがブラウザアプリケーションやその他の書籍ビューワアプリケーションにより書籍を閲覧する際にも共通して利用されうる。すなわち、配信装置2は例えば、従来から知られる一般的な電子書籍の配信サーバであってよく、本発明のVR端末1においては、既存のシステムで利用されている情報やサーバ装置にアクセスして、購入済みの書籍をVR空間で楽しむことが可能である。 Here, the information stored in the database 22 can be commonly used when general computers other than the VR terminal 1 in the system of the present invention browse books using a browser application or other book viewer application. . That is, the distribution device 2 may be, for example, a conventionally known general electronic book distribution server. , it is possible to enjoy purchased books in the VR space.

この時、既存のシステムで販売された電子書籍の一部は、VR端末1における利用を許可されない場合がある。この場合、データベース22においては、配信対象の書籍のデータとして、本発明のVR端末1における利用の可否を記憶しておき、ユーザが対象の書籍の利用権を有しており、かつ、対象の書籍がVR端末1において利用可能である場合に、ユーザからの配信要求に対して配信装置2が書籍の配信を行う。 At this time, some of the electronic books sold by the existing system may not be permitted to be used on the VR terminal 1 . In this case, in the database 22, as the data of the book to be distributed, whether or not the book can be used in the VR terminal 1 of the present invention is stored. When the book is available on the VR terminal 1, the distribution device 2 distributes the book in response to a distribution request from the user.

VR端末1は、処理部11及び記憶部12を備える。またディスプレイやスピーカー等の出力装置を備えており、処理部11による処理結果が出力される。VR端末1は、配信装置2に電子書籍の配信要求を送信して、ユーザの認証を経て書籍のデータをダウンロードして記憶部12に保存し、保存されたデータに基づいて処理部11が表示処理を実行することで、ブックオブジェクトの表示が行われる。なお、本発明はこのような形態に限られず、例えば、処理部11及び記憶部12の一部又は全部が配信装置2に備えられてレンダリングを含む表示処理が配信装置2において行われ、VR端末1が配信装置2から表示処理結果を受信してディスプレイに表示する形態としてもよい。 The VR terminal 1 has a processing unit 11 and a storage unit 12 . It also has an output device such as a display and a speaker, and outputs the result of processing by the processing unit 11 . The VR terminal 1 transmits an electronic book distribution request to the distribution device 2, downloads the data of the book through user authentication, saves it in the storage unit 12, and the processing unit 11 displays based on the saved data. By executing the process, the book object is displayed. Note that the present invention is not limited to such a form. For example, a part or all of the processing unit 11 and the storage unit 12 are provided in the distribution device 2, and the display processing including rendering is performed in the distribution device 2. 1 may receive the display processing result from the distribution device 2 and display it on the display.

記憶部12には、書籍の内容を示す書籍情報が記憶されている。本実施形態では書籍情報として、書籍を構成する複数のページについてそれぞれページ画像が記憶されている。また書籍情報にはこの他にも、書籍のタイトル、巻数、作者、発行年月日等、書籍に関する各種の情報が含まれる。更に、最後に書籍の閲覧を中止したときに開いていたページにフラグを立て、次に同じ書籍を開いた場合には処理部11が当該ページから表示することが好ましい。 The storage unit 12 stores book information indicating the content of the book. In this embodiment, as book information, page images are stored for each of a plurality of pages that constitute a book. In addition to this, the book information includes various information related to the book, such as the title of the book, the number of volumes, the author, and the date of publication. Furthermore, it is preferable that a flag is set to the page that was open when reading of the book was last stopped, and the processing unit 11 displays the page from the page when the same book is opened next time.

ここで本実施形態の記憶部12は書籍情報としてページ画像そのものを記憶するが、書籍のページに表現すべき内容、すなわちページ画像を生成するための文字や画像の情報が、ページ画像の代わりに記憶されていてもよい。例えば、使用するデバイスの画面サイズや解像度により表示量やレイアウトを変更可能な、いわゆるリフロー型EPUBと呼ばれるファイル形式がある。このようなリフロー型EPUBのファイルを記憶部12が書籍情報として記憶しておき、これに基づいて処理部11が画像を生成することで、ページごとのページ画像の取得が行われてもよい。 Here, the storage unit 12 of the present embodiment stores the page image itself as book information, but the content to be expressed on the page of the book, that is, the information of characters and images for generating the page image is stored instead of the page image. may be stored. For example, there is a file format called so-called reflow type EPUB, in which the display amount and layout can be changed according to the screen size and resolution of the device used. The storage unit 12 may store such a reflowable EPUB file as book information, and the processing unit 11 may generate an image based on this, thereby obtaining a page image for each page.

処理部11は、記憶部12に格納された書籍情報に基づいてページ画像を取得し、書籍において連続する2ページのページ画像を、ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいてブックオブジェクトをディスプレイに表示させる。本実施形態では書籍情報として全ページ分のページ画像が記憶されているため、処理部11は記憶部12からページ画像を取得してページオブジェクトへのレンダリングを行う。すなわち本実施形態において「書籍情報に基づいてページ画像を取得する」とは、書籍情報に含まれるページ画像を読み込むことを指す。 The processing unit 11 acquires page images based on the book information stored in the storage unit 12, renders the page images of two consecutive pages in the book on both sides of the page object, and renders the book based on the user's viewpoint. Make the object appear on the display. In this embodiment, since page images for all pages are stored as book information, the processing unit 11 acquires page images from the storage unit 12 and renders them into page objects. That is, in the present embodiment, "obtaining a page image based on book information" refers to reading a page image included in the book information.

具体的には、まず記憶部12に書籍情報が記憶された書籍のタイトル一覧を表示し、選択を受け付ける。図3は、書籍の選択画面の表示例である。このように、例えば図書館や書斎のような仮想空間において本棚を表示し、本棚上に書籍が並んだ状態で表示することが想定される。なお、記憶部12に書籍情報が記憶された書籍以外にも、配信装置2においてユーザに利用権があることを示す情報が登録されている書籍を表示し、当該書籍が選択された場合には、処理部11が配信装置2に書籍の配信要求を送信してもよい。 Specifically, first, a list of titles of books whose book information is stored in the storage unit 12 is displayed, and selection is accepted. FIG. 3 is a display example of a book selection screen. In this way, it is assumed that a bookshelf is displayed in a virtual space such as a library or a study, and books are displayed in a row on the bookshelf. In addition to the book whose book information is stored in the storage unit 12, the distribution device 2 displays a book registered with information indicating that the user has the right to use it, and when the book is selected, , the processing unit 11 may transmit a book distribution request to the distribution device 2 .

ここで例えば上下巻等、複数冊のシリーズがある続き物の書籍等の場合には、一覧の表示においては、例えば各タイトルの1巻等、代表となる1冊の表紙等の画像を表示してもよい。そして図3の画面ではタイトルの選択を受け付けると、更に選択されたタイトルの複数の書籍、例えば1巻~10巻等が表示され、更に選択を受け付けることができる。 Here, for example, in the case of a series of books with a series of multiple volumes, such as the first and second volumes, in the list display, an image of the cover of one representative book, such as one volume of each title, is displayed. good too. When the selection of the title is accepted on the screen of FIG. 3, a plurality of books of the selected title, for example, volumes 1 to 10, etc., are displayed, and further selection can be accepted.

このようにして特定の書籍が選択されると、処理部11は、前回閲覧を中止したときに開いていたページを中心に、複数のページ画像のレンダリングを行う。初めて開く書籍の場合や、前回最後のページまで閲覧して書籍を閉じた場合には、処理部11は、表紙がユーザの方向を向くようにして書籍が閉じた状態のブックオブジェクトを表示処理する。 When a specific book is selected in this way, the processing unit 11 renders a plurality of page images centering on the page that was opened when browsing was stopped last time. When the book is opened for the first time, or when the book is closed after viewing up to the last page last time, the processing unit 11 performs display processing of the book object in a closed state with the front cover facing the user. .

ここで、特定の書籍が選択されたときに、処理部11は、開くページの前後所定範囲のページ画像について、全てページオブジェクトにレンダリングする。例えば第200ページを開く場合、本実施形態では前後100ページ分のページ画像をページオブジェクトにレンダリングする。即ち、第100ページから第300ページまでのページ画像を、それぞれ連続するページが両面に配置されるように、100枚のページオブジェクトにレンダリングする。 Here, when a specific book is selected, the processing unit 11 renders all page images in a predetermined range before and after the page to be opened as a page object. For example, when opening the 200th page, page images of 100 pages before and after are rendered in the page object in this embodiment. That is, the page images from the 100th page to the 300th page are rendered into 100 page objects so that each continuous page is arranged on both sides.

またページを移動した場合、即ち他のページが開かれた場合には、その都度前後所定範囲に含まれるページのレンダリングが完了した状態となるように、所定範囲から外れたページ画像がレンダリングされたページオブジェクトのデータを削除して、新たに所定範囲に入ったページ画像のレンダリングを行う。このように、書籍を開いた時点で複数のページ画像のレンダリングを行っておくことにより、ページを移動したときの表示の遅れを低減できる。 Also, when the page is moved, that is, when another page is opened, the page image outside the predetermined range is rendered so that the rendering of the pages included in the predetermined range before and after each time is completed. Delete the data of the page object and render a new page image within the specified range. By rendering a plurality of page images at the time the book is opened in this way, it is possible to reduce display delays when pages are moved.

ここで本実施形態のレンダリング処理には、バイナリデータであるページ画像を画像形式に変換してメモリに読み込む処理と、読み込まれたページ画像をページオブジェクトの形状に合わせて変形させる処理と、の2段階が存在する。本実施形態では、1段階目のメモリへの読み込みのみ、より多くのページ、例えば開くページの前後150ページ分行っておき、そのうちの一部、例えば開くページの前後100ページ分について、ページオブジェクトに合わせた変形及び表示の処理まで完了させる。これにより、完全にはレンダリングが完了していないページへの移動が行われた際にも、メモリに読み込まれたデータに基づいて2段階目の変形・表示の処理を実行するのみで表示が可能となり、処理の遅れが軽減される。 Here, the rendering process of this embodiment includes two processes: a process of converting a page image, which is binary data, into an image format and reading it into a memory; and a process of transforming the read page image in accordance with the shape of the page object. There are stages. In this embodiment, only the first stage of reading into memory is performed for a larger number of pages, for example, 150 pages before and after the page to be opened. Complete the combined transformation and display processing. As a result, even when the page is moved to a page that has not been completely rendered, it can be displayed by simply executing the second stage of transformation and display processing based on the data read into memory. This reduces processing delays.

次に、電子書籍の閲覧時の表示について、図面を参照して具体的に説明する。前述のように特定の書籍が選択されると、書籍の選択時の仮想空間から、読書をするための別の仮想空間に切り替えるための表示処理を処理部11が実行する。本実施形態では、複数種類の仮想空間が記憶部12に登録されており、ユーザが自由に選択して切り替えることができる。なお、書籍のタイトルや個々の書籍に応じて好ましい仮想空間を登録しておき、登録された仮想空間が表示処理される構成であってもよい。 Next, the display at the time of viewing an electronic book will be specifically described with reference to the drawings. When a specific book is selected as described above, the processing unit 11 executes display processing for switching from the virtual space at the time of book selection to another virtual space for reading. In this embodiment, multiple types of virtual spaces are registered in the storage unit 12, and the user can freely select and switch between them. It should be noted that a preferred virtual space may be registered according to the title of the book or each individual book, and the registered virtual space may be subjected to display processing.

図4は、本実施形態において処理部11によって仮想空間内にブックオブジェクトBOを配置した表示例である。このように本実施形態のブックオブジェクトBOは、実物の書籍と同様に、複数のページオブジェクトPOの辺が接するように配置されて表現される。ページを開いた状態では、実物の書籍と同様に、隣接するページとともに見開きの2ページが正面に配置される。この時、ページオブジェクトは、書籍を綴じた厚みによって曲面を描くように撓った状態に表示処理され、曲面を描くページオブジェクト上にレンダリングされたページ画像も同様に局面に応じた歪みを呈して表示処理されている。 FIG. 4 is a display example in which the processing unit 11 arranges the book objects BO in the virtual space in this embodiment. In this way, the book object BO of the present embodiment is represented by arranging the sides of the page objects PO so that they are in contact with each other, like a real book. When the pages are opened, two facing pages are placed in front with adjacent pages, similar to a real book. At this time, the page object is displayed in a flexed state that draws a curved surface due to the thickness of the bound book, and the page image rendered on the page object that draws the curved surface also exhibits distortion according to the situation. display is being processed.

また背景には仮想空間が表示され、ユーザは指示を入力することで自由に仮想空間内を移動したり、視点を変えたりすることができる。ブックオブジェクトBOは、ユーザが選択した仮想空間に配置されており、図4の例では芝生の環境が選択された例が示されている。 A virtual space is displayed in the background, and the user can freely move in the virtual space and change the viewpoint by inputting instructions. The book object BO is arranged in the virtual space selected by the user, and the example in FIG. 4 shows an example in which a lawn environment is selected.

ここで、背景は任意に変更が可能である。本実施形態では、書籍の内容を示す書籍情報に対応付けて背景が設定されており、閲覧中の書籍情報の位置、即ちブックオブジェクトBOにおいて開いているページに応じて、自動的に背景が選択される。具体的には、ページ画像のそれぞれに対応付けて背景が記憶されており、開いているページオブジェクトに応じて背景が決定される。また、章や話等の単位ごとに対応する背景を設定してもよい。 Here, the background can be changed arbitrarily. In this embodiment, the background is set in association with the book information indicating the content of the book, and the background is automatically selected according to the position of the book information being viewed, that is, the page opened in the book object BO. be done. Specifically, a background is stored in association with each page image, and the background is determined according to the opened page object. Alternatively, a background may be set for each unit such as a chapter or story.

この他にも、例えば閲覧開始から移動したページ数、即ちページをめくった回数に応じて背景が自動的に切り替わる構成としてもよい。あるいは、閲覧開始からの経過時間に応じて所定の間隔で背景が切り替わるようにしてもよいし、これらの条件を組み合わせて、背景の切り替えを判断してもよい。また例えば、書籍情報に紐づけて、選択可能な背景の情報を記憶部12に記憶しておき、登録された背景の中からユーザが自由に選択できる形態であってもよい。 In addition, for example, the background may be automatically switched according to the number of pages moved from the start of viewing, that is, the number of times the pages are turned. Alternatively, the background may be switched at predetermined intervals according to the elapsed time from the start of browsing, or the switching of the background may be determined by combining these conditions. Alternatively, for example, information on selectable backgrounds may be stored in the storage unit 12 in association with the book information, and the user may freely select from among the registered backgrounds.

図4のような書籍の閲覧画面において、ページをめくる指示を受け付けると、処理部11は、ページ画像がレンダリングされたページオブジェクトを撓らせてめくるアニメーションを表示処理し、ディスプレイに表示させる。更にそのまま隣接するページを開くように、次のページ画像がレンダリングされたページオブジェクトをディスプレイに表示させる。この際に、紙の書籍をめくったような効果音を再生することがより好ましい。 When an instruction to turn a page is received on the book viewing screen as shown in FIG. 4, the processing unit 11 performs display processing of bending and turning animation of the page object in which the page image is rendered, and displays the animation on the display. Further, the page object in which the next page image is rendered is displayed on the display so as to open the adjacent page as it is. At this time, it is more preferable to reproduce a sound effect as if a paper book is being turned over.

図5は本実施形態におけるページめくりの表示を説明するための図である。図5では右開きの書籍を例示しており、各ページ下部の見開きで外側になる位置にページ数が表示されている。第9ページと第10ページの見開きが表示された状態から、1ページ戻る、即ち右側のページをめくる指示が受け付けられると、まず図5(a)のように、選択されたページオブジェクトを変形させて移動させるアニメーションが表示されるように処理部11が表示処理する。 FIG. 5 is a diagram for explaining page-turning display in this embodiment. FIG. 5 exemplifies a book that opens to the right, and the page number is displayed at the outer position of the double-page spread at the bottom of each page. When an instruction to go back one page from the state in which the 9th and 10th pages are displayed, that is, to turn over the page on the right side, the selected page object is transformed as shown in FIG. 5(a). The processing unit 11 performs display processing so that an animation of moving by pressing is displayed.

この時、ユーザの視点から見える各ページオブジェクトにはそれぞれ両面にページ画像がレンダリングされた状態であるため、めくろうとする第9ページ(A面)にも、一部が裏返って見える状態になっている第8ページ(B面)にも、それぞれ対応するページ画像がページオブジェクトの形状に沿って表示されている。更に、ページをめくることで現れる第7ページも同様に、ページオブジェクトにページ画像がレンダリングされた状態で配置され、図5(a)の状態から滑らかに図5(b)の状態に移って、実物の書籍を閲覧するときと同じようにページを移動してブックオブジェクトを読むことができる。 At this time, since page images are rendered on both sides of each page object visible from the user's point of view, the 9th page (side A) to be turned is also partially reversed. Also on the eighth page (side B), corresponding page images are displayed along the shape of the page object. Furthermore, the seventh page that appears when the page is turned is similarly arranged with the page image rendered in the page object, and the state of FIG. 5(a) smoothly transitions to the state of FIG. You can read the book object by moving pages in the same way as when viewing a real book.

以上のように、ページオブジェクトの両面にページ画像をレンダリングし、オブジェクトを現実の書籍と同じように変形させて表示することにより、より自然な読書体験を提供することができる。ここで、書籍の選択やページめくり等の各種の入力は、VR端末1に対応した物理的なコントローラを用いて行ってもよいが、VR端末1が備えるカメラによってユーザの手を撮影して撮影画像からジェスチャを認識し、ジェスチャ操作によって処理部11が各種の入力を受け付けてもよい。 As described above, a more natural reading experience can be provided by rendering page images on both sides of a page object and deforming and displaying the object in the same way as a real book. Various inputs such as book selection and page turning may be performed using a physical controller compatible with the VR terminal 1. A gesture may be recognized from an image, and the processing unit 11 may receive various inputs through gesture operations.

以下、書籍の閲覧画面において認識されるジェスチャ操作について、図6、図7を参照して説明する。図6は、ページを移動する入力を行うためのジェスチャの一例を示す図である。図6(a)~(c)は、1ページずつページをめくる場合のジェスチャの例である。 Gesture operations recognized on the book browsing screen will be described below with reference to FIGS. 6 and 7. FIG. FIG. 6 is a diagram showing an example of a gesture for inputting to move pages. FIGS. 6A to 6C are examples of gestures when turning pages one by one.

図6(a)の例では、撮影画像からユーザの手指を検出し、各指を伸ばしているかを判定して、人差し指を伸ばし、中指、薬指、小指を伸ばしていない場合にジェスチャを認識する。そして、人差し指の先端の座標が所定値以上の速度で移動した場合に、処理部11がページをめくる指示として受け付け、指の移動方向に応じた方向にページをめくる。 In the example of FIG. 6A, the user's fingers are detected from the captured image, it is determined whether each finger is extended, and if the index finger is extended and the middle finger, ring finger, and little finger are not extended, the gesture is recognized. Then, when the coordinates of the tip of the index finger move at a speed equal to or greater than a predetermined value, the processing unit 11 accepts this as an instruction to turn the page, and turns the page in the direction corresponding to the moving direction of the finger.

また図6(b)の例では、撮影画像からユーザの手指を検出し、ブックオブジェクトに対して指が本の正面から所定範囲内の角度で接している場合にジェスチャを認識する。ジェスチャが認識されると、処理部11がページをめくる指示として受け付け、ユーザの手が触れた側のページをめくる。 In the example of FIG. 6B, the user's finger is detected from the captured image, and the gesture is recognized when the finger is in contact with the book object at an angle within a predetermined range from the front of the book. When the gesture is recognized, the processing unit 11 accepts it as an instruction to turn a page, and turns the page touched by the user's hand.

また図6(c)の例では、撮影画像からユーザの手指を検出し、手の位置に応じてポインタを表示する。そしてポインタが図6(c)に点線で示したページの左右端の操作領域内にある状態において、人差し指と親指の先端の距離が所定値未満の場合に、ジェスチャを認識して、処理部11がページをめくる指示として受け付ける。この場合、ポインタの位置によりめくるページの方向が決定される。 Also, in the example of FIG. 6C, the user's fingers are detected from the captured image, and a pointer is displayed according to the position of the hand. Then, in a state in which the pointer is within the operation area at the left and right ends of the page indicated by dotted lines in FIG. is accepted as an instruction to turn a page. In this case, the direction of the page to be turned is determined by the position of the pointer.

図6(d)、(e)は、連続して複数のページをめくる場合のジェスチャの例である。図6(d)の例では、撮影画像からユーザの手指を検出し、手の位置に関わらず、人差し指と親指の先端の距離、及び中指と親指の先端の距離が所定値未満の場合にジェスチャを認識する。そして、複数の紙を重ねて端を弾くように連続してめくる時の動作と同様に、手を回転させる動作が行われると、処理部11が連続して複数のページをめくる指示として受け付け、回転方向に対応する方向に連続してページをめくる。ここで、処理部11はジェスチャの開始位置からの回転角度を認識し、回転角度が大きいほどページめくりのスピードが速くなるように連続してページめくりの表示処理を実行する。 FIGS. 6D and 6E are examples of gestures for successively turning over a plurality of pages. In the example of FIG. 6D, the fingers of the user are detected from the captured image, and the gesture is performed when the distance between the tip of the index finger and the thumb and the distance between the tip of the middle finger and the thumb are less than a predetermined value regardless of the position of the hand. to recognize Then, when a motion of rotating the hand is performed in the same manner as when a plurality of sheets of paper are piled up and flipped over, the processing unit 11 receives an instruction to turn over a plurality of pages in succession, The pages are turned continuously in the direction corresponding to the direction of rotation. Here, the processing unit 11 recognizes the rotation angle from the starting position of the gesture, and continuously executes page-turning display processing such that the greater the rotation angle, the faster the page-turning speed.

図6(e)の例では、図6(d)と同様に、人差し指と親指、中指と親指のそれぞれの先端の距離が所定値未満の場合にジェスチャを認識する。そしてその状態が所定時間以上保たれた場合に、処理部11が操作部としてスライダーを表示処理し、ユーザが手を左右に動かす動作が行われると、処理部11が連続して複数のページをめくる指示として受け付け、移動方向に対応する方向に連続して複数のページをめくる。ここで、処理部11はスライダーの移動量、即ちジェスチャの開始位置からの移動量を認識し、移動量が大きいほどページめくりのスピードが速くなるように連続してページめくりの表示処理を実行する。 In the example of FIG. 6(e), similarly to FIG. 6(d), the gesture is recognized when the distances between the tips of the index finger and thumb and between the middle finger and thumb are less than a predetermined value. When this state is maintained for a predetermined time or longer, the processing unit 11 displays a slider as an operation unit, and when the user moves his or her hand left or right, the processing unit 11 continuously displays a plurality of pages. This is accepted as an instruction to turn over, and a plurality of pages are turned over continuously in the direction corresponding to the direction of movement. Here, the processing unit 11 recognizes the amount of movement of the slider, that is, the amount of movement from the start position of the gesture, and continuously executes page-turning display processing such that the greater the movement amount, the faster the page-turning speed. .

なお本実施形態では、図6(a)~(c)のジェスチャについても一定時間以上ジェスチャを続けたと認識された場合、処理部11が連続して複数のページをめくる指示として受け付けて、所定の速度で連続して複数のページをめくるように表示処理する。 Note that in the present embodiment, when the gestures shown in FIGS. 6A to 6C are also recognized as continuing for a certain period of time or more, the processing unit 11 accepts an instruction to turn over a plurality of pages in succession, and performs a predetermined operation. Display processing is performed so that multiple pages are turned continuously at high speed.

次に、ブックオブジェクトを移動する指示を入力するためのジェスチャについて図7を参照して説明する。図7(a)の例では、画像からユーザの両手の手指を検出し、各指を伸ばしているかを判定して、人差し指と中指が曲がっている状態を「持つ」ジェスチャとして認識する。ブックオブジェクトの両端の位置で両手の「持つ」ジェスチャが認識されると、処理部11は移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。 Next, a gesture for inputting an instruction to move the book object will be described with reference to FIG. In the example of FIG. 7A, the fingers of both hands of the user are detected from the image, it is determined whether each finger is extended, and the state in which the index and middle fingers are bent is recognized as a "hold" gesture. When a "holding" gesture with both hands is recognized at the positions of both ends of the book object, the processing unit 11 accepts it as a movement instruction, and by moving the user's hand back and forth and left and right, the book object is moved in conjunction with the position of the hand. Display processing to move.

また図7(b)の例では、撮影画像からユーザの両手の手指を検出し、人差し指と親指の先端の距離が所定値未満の場合に、ジェスチャを認識する。そして、両手についてジェスチャが認識された場合に、左右の指の間にポインタを表示する。その状態で両手の距離を変化させる動作が行われると、処理部11は拡大縮小の指示として受け付け、ジェスチャの認識時点からの距離変化の大きさに応じて、ブックオブジェクトの大きさを変化させるように表示処理する。なお拡大縮小とはすなわち、仮想空間におけるユーザの視点とブックオブジェクトの距離の変化を指し、拡大はユーザとブックオブジェクトが近づくこと、縮小はユーザとブックオブジェクトが遠ざかることに対応する。 In the example of FIG. 7B, the fingers of both hands of the user are detected from the captured image, and the gesture is recognized when the distance between the index finger and the tip of the thumb is less than a predetermined value. Then, when a gesture is recognized for both hands, a pointer is displayed between the left and right fingers. When an action to change the distance between both hands is performed in that state, the processing unit 11 receives an instruction to enlarge or reduce, and changes the size of the book object according to the magnitude of the change in distance from the gesture recognition time. to process the display. Scaling refers to a change in the distance between the user's viewpoint and the book object in the virtual space. Enlargement corresponds to the user getting closer to the book object, and reduction corresponds to the user moving away from the book object.

図7(c)、(d)の例では、片手で移動の指示を行う場合のジェスチャを示している。この場合、画像からユーザの手指を検出し、各指を伸ばしているかを判定して、人差し指と中指が曲がっている状態を「持つ」ジェスチャとして認識する。そして、ブックオブジェクトの端の位置で「持つ」ジェスチャが認識されると、処理部11は移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。 The examples of FIGS. 7C and 7D show gestures for instructing movement with one hand. In this case, the user's fingers are detected from the image, it is determined whether each finger is extended, and the state in which the index and middle fingers are bent is recognized as a "hold" gesture. Then, when the "holding" gesture is recognized at the position of the edge of the book object, the processing unit 11 accepts it as a movement instruction, and by moving the user's hand back and forth and left and right, the book object is moved in conjunction with the position of the hand. Display processing to move.

また図7(d)の例では、画像から撮影画像からユーザの手指を検出し、手の位置に応じてポインタを表示する。そしてポインタが図7(d)に点線で示した見開きの中央付近の操作領域内にある状態において、人差し指と親指の先端の距離が所定値未満の場合に、書籍を持つジェスチャを認識して、処理部11が移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。 Also, in the example of FIG. 7D, the user's fingers are detected from the captured image, and a pointer is displayed according to the position of the hand. Then, when the pointer is within the operation area near the center of the double-page spread shown by the dotted line in FIG. The processing unit 11 receives the movement instruction, and performs display processing so that the book object is moved in conjunction with the position of the hand when the user moves the hand forward, backward, leftward, or rightward.

以上のように、現実の書籍の読書と近い動きにより各種の操作を受け付けることにより、更に没入感を高め、より自然な読書体験を提供することができる。 As described above, by accepting various operations with movements similar to those of actual book reading, it is possible to further enhance the sense of immersion and provide a more natural reading experience.

ここで更に本実施形態のVR端末1は、ユーザの操作を必要とせず、事前に設定された時間間隔で自動的にページめくりを行う自動ページめくり機能を備える。ユーザによる設定により、自動ページめくり機能の有効又は無効、更にその時間間隔が決定される。 Further, the VR terminal 1 of this embodiment has an automatic page-turning function that automatically turns pages at preset time intervals without requiring user's operation. User settings determine whether the automatic page-turning function is enabled or disabled, as well as its time interval.

この機能が有効になっている場合、処理部11は、設定された間隔でページをめくる指示を自ら生成して受け付け、前述の通りブックオブジェクトのページをめくる。本実施形態では上記の通り、デバイスやコントローラを持つことなく、かつ自由な姿勢で各種の操作が可能であるため、更に設定された間隔で自動的にページがめくられることにより、ユーザは例えばランニングマシン等で運動をしながら、あるいは横になった姿勢で体を動かさずに読書を楽しむことができる。 When this function is enabled, the processing unit 11 generates and accepts an instruction to turn pages at set intervals by itself, and turns pages of the book object as described above. In this embodiment, as described above, various operations can be performed in a free posture without holding a device or controller. You can enjoy reading while exercising on a machine or lying down without moving your body.

一方で、ページによって情報量が異なる場合等、基本的には自動ページめくり機能を利用しつつも、一時停止させたいという要望が想定される。したがって本実施形態では、自動ページめくり機能が有効な状態で、処理部11が自動ページめくりを一時停止する指示を受け付け、指示を受け付けている間はページをめくる処理を行わない。自動ページめくりを一時停止する指示についても、コントローラによる入力が行われてもよいし、ジェスチャで入力が行われてもよい。自動ページめくりを一時停止する指示をするためのジェスチャ操作としては、例えば、ブックオブジェクトに指を向ける、手を開いた状態でブックオブジェクトに触れる、等が想定される。 On the other hand, when the amount of information varies from page to page, it is expected that there will be a desire to temporarily stop the automatic page-turning function even though it is basically used. Therefore, in the present embodiment, the processing unit 11 accepts an instruction to temporarily stop the automatic page turning while the automatic page turning function is enabled, and does not perform the page turning process while the instruction is being received. An instruction to pause automatic page turning may also be input by a controller or by a gesture. As a gesture operation for instructing to pause automatic page turning, for example, pointing a finger at a book object, touching a book object with an open hand, etc. are assumed.

以上のように、本実施形態によれば、実物の書籍と同様にページ両面に内容が表示された状態でブックオブジェクトを表示でき、それにより没入感を高めた自然な読書体験をユーザに提供することができる。更にジェスチャ操作により各種の指示を受け付けたり、所定の間隔で自動ページめくりを実行することによって、より自由な環境で読書が可能となる。 As described above, according to the present embodiment, the book object can be displayed with the contents displayed on both sides of the page in the same way as a real book, thereby providing the user with a more immersive and natural reading experience. be able to. Furthermore, reading can be performed in a more flexible environment by accepting various instructions by gesture operations and automatically turning pages at predetermined intervals.

1 :VR端末
2 :配信装置
11 :処理部
12 :記憶部
21 :配信部
22 :データベース
BO :ブックオブジェクト
NW :ネットワーク
PO :ページオブジェクト
1: VR terminal 2: Distribution device 11: Processing unit 12: Storage unit 21: Distribution unit 22: Database BO: Book object NW: Network PO: Page object

Claims (7)

仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書システムであって、
記憶部と、処理部と、を備え、
前記記憶部は、書籍の内容を示す書籍情報を記憶し、
前記処理部は、
前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、
前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書システム。
A virtual reality or augmented reality reading system that displays a book object composed of a plurality of page objects in a virtual space,
comprising a storage unit and a processing unit,
The storage unit stores book information indicating the content of the book,
The processing unit is
Acquiring page images for a plurality of pages constituting a book based on the book information,
A virtual reality or augmented reality reading system that renders the page images of two consecutive pages in the book on both sides of the page object, respectively, and displays the book object based on a user's viewpoint.
前記ブックオブジェクトは、複数の前記ページオブジェクトの辺が背表紙の位置で接するように構成され、
前記処理部は、ページをめくる指示を受け付けて、前記ページ画像がレンダリングされた前記ページオブジェクトを撓らせてめくるアニメーションを表示させ、隣接するページを開くように、次のページの前記ページ画像がレンダリングされた前記ページオブジェクトを表示させる、請求項1に記載のバーチャルリアリティ又は拡張現実読書システム。
the book object is configured such that the sides of the plurality of page objects meet at the spine position;
The processing unit receives an instruction to turn a page, causes the page object in which the page image is rendered to warp and displays an animation of turning, and the page image of the next page is displayed so as to open an adjacent page. 2. A virtual reality or augmented reality reading system as claimed in claim 1, wherein the rendered page object is displayed.
前記処理部は、連続して複数のページをめくる指示を受け付けて、それぞれ両面に前記ページ画像がレンダリングされた複数の前記ページオブジェクトを連続して撓らせてめくるアニメーションを表示させる、請求項2に記載のバーチャルリアリティ又は拡張現実読書システム。 3. The processing unit receives an instruction to successively turn over a plurality of pages, and displays an animation of successively bending and turning over the plurality of page objects having the page images rendered on both sides thereof. A virtual reality or augmented reality reading system according to . 前記処理部は、前記ブックオブジェクトとして表現する書籍の選択を受け付けると、複数のページオブジェクトについてそれぞれ両面に前記書籍の前記ページ画像をレンダリングする請求項1から請求項3の何れかに記載のバーチャルリアリティ又は拡張現実読書システム。 4. The virtual reality according to any one of claims 1 to 3, wherein the processing unit renders the page images of the book on both sides of each of a plurality of page objects when receiving a selection of a book to be expressed as the book object. Or an augmented reality reading system. 前記処理部は、前記ブックオブジェクトが開いているページの前後所定範囲に属する複数の前記ページ画像について、それぞれ前記ページオブジェクトにレンダリングする請求項4に記載のバーチャルリアリティ又は拡張現実読書システム。 5. The virtual reality or augmented reality reading system according to claim 4, wherein the processing unit renders a plurality of page images belonging to a predetermined range before and after a page on which the book object is opened, on the page object. 仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、書籍及び画像の3次元表示制御プログラムであって、
コンピュータを、記憶部と、処理部と、として機能させ、
前記記憶部は、書籍の内容を示す書籍情報を記憶し、
前記処理部は、
前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、
前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる、書籍及び画像の3次元表示制御プログラム。
A three-dimensional display control program for books and images for displaying a book object composed of a plurality of page objects in a virtual space,
causing the computer to function as a storage unit and a processing unit;
The storage unit stores book information indicating the content of the book,
The processing unit is
Acquiring page images for a plurality of pages constituting a book based on the book information,
A three-dimensional display control program for a book and an image, which renders the page images of two consecutive pages in the book on both sides of the page object, and displays the book object based on a user's viewpoint.
仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる情報処理方法であって、
コンピュータが、
書籍の内容を示す書籍情報を記憶し、
前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、
前記書籍において連続する2ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる、情報処理方法。
An information processing method for displaying a book object composed of a plurality of page objects in a virtual space, comprising:
the computer
storing book information indicating the content of the book;
Acquiring page images for a plurality of pages constituting a book based on the book information,
An information processing method comprising rendering the page images of two consecutive pages in the book on both sides of the page object, and displaying the book object based on a user's viewpoint.
JP2021163419A 2021-10-04 2021-10-04 Virtual reality or augmented reality reading systems, 3D display control programs for books and images, and information processing methods Active JP7022250B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021163419A JP7022250B1 (en) 2021-10-04 2021-10-04 Virtual reality or augmented reality reading systems, 3D display control programs for books and images, and information processing methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021163419A JP7022250B1 (en) 2021-10-04 2021-10-04 Virtual reality or augmented reality reading systems, 3D display control programs for books and images, and information processing methods

Publications (2)

Publication Number Publication Date
JP7022250B1 JP7022250B1 (en) 2022-02-17
JP2023054522A true JP2023054522A (en) 2023-04-14

Family

ID=80997561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021163419A Active JP7022250B1 (en) 2021-10-04 2021-10-04 Virtual reality or augmented reality reading systems, 3D display control programs for books and images, and information processing methods

Country Status (1)

Country Link
JP (1) JP7022250B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115016701B (en) * 2022-07-25 2024-12-20 北京字跳网络技术有限公司 A page turning method, device, computer equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005188A1 (en) * 2010-07-08 2012-01-12 日本電気株式会社 Electronic document browsing method, electronic document browsing device, and program for same
JP2015515036A (en) * 2012-02-06 2015-05-21 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Book object for augmented reality
WO2018186031A1 (en) * 2017-04-03 2018-10-11 ソニー株式会社 Information processing device, information processing method, and program
WO2021112107A1 (en) * 2019-12-04 2021-06-10 ソニーグループ株式会社 Information processing device, information processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005188A1 (en) * 2010-07-08 2012-01-12 日本電気株式会社 Electronic document browsing method, electronic document browsing device, and program for same
JP2015515036A (en) * 2012-02-06 2015-05-21 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Book object for augmented reality
WO2018186031A1 (en) * 2017-04-03 2018-10-11 ソニー株式会社 Information processing device, information processing method, and program
WO2021112107A1 (en) * 2019-12-04 2021-06-10 ソニーグループ株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP7022250B1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US20240272788A1 (en) Electronic text manipulation and display
JP4361244B2 (en) Document browsing device
US8533623B2 (en) Interface that allows a user to riffle through pages of an electronic document
US20110242007A1 (en) E-Book with User-Manipulatable Graphical Objects
US20140359517A1 (en) Turning a Page on a Display
CN109905592B (en) Method and device for providing content controlled or synthesized according to user interaction
JPWO2012141048A1 (en) Content display device, content display method, program, and recording medium
US9524087B2 (en) Imaging product selection method
KR20080078108A (en) Screen display method of terminal
JPH08106469A (en) Page turning display control method and apparatus
US20120036473A1 (en) Method and system to control the display of information
US9495470B2 (en) Bookmarking for electronic books
JP7022250B1 (en) Virtual reality or augmented reality reading systems, 3D display control programs for books and images, and information processing methods
US20140139421A1 (en) Device having variable-input selector for electronic book control
US20140143706A1 (en) Electronic book navigation
EP2923257B1 (en) Method, computer readable medium and apparatus for affinity-based page navigation
US9524086B2 (en) Imaging product selection system
JPH0421068A (en) Information display system provided with turn-over function
AU2020213353B2 (en) Electronic text manipulation and display
Nishimura et al. A digital contents management system using a real booklet interface with augmented reality
JP2013041607A (en) Portable information apparatus, server, electronic book, program and information storage medium
JP2013041609A (en) Portable information apparatus, server, electronic book, program and information storage medium
JP2013061950A (en) Portable information apparatus, server, electronic book, program and information storage medium
JP2013041608A (en) Portable information apparatus, server, electronic book, program and information storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7022250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150