JP2011150511A - Device and method for displaying contents - Google Patents
Device and method for displaying contents Download PDFInfo
- Publication number
- JP2011150511A JP2011150511A JP2010010847A JP2010010847A JP2011150511A JP 2011150511 A JP2011150511 A JP 2011150511A JP 2010010847 A JP2010010847 A JP 2010010847A JP 2010010847 A JP2010010847 A JP 2010010847A JP 2011150511 A JP2011150511 A JP 2011150511A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- reproduction
- coordinate reference
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 107
- 238000006243 chemical reaction Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims description 167
- 230000008569 process Effects 0.000 claims description 94
- 230000000694 effects Effects 0.000 claims description 64
- 230000009466 transformation Effects 0.000 claims description 58
- 238000013500 data storage Methods 0.000 claims description 36
- 239000000203 mixture Substances 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 24
- 238000013507 mapping Methods 0.000 description 16
- 239000004065 semiconductor Substances 0.000 description 14
- 239000000872 buffer Substances 0.000 description 13
- 230000008929 regeneration Effects 0.000 description 12
- 238000011069 regeneration method Methods 0.000 description 12
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 7
- 108090000237 interleukin-24 Proteins 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
この発明は、コンテンツ情報からコンテンツの再生画像を生成して、その再生画像をディスプレイに描画するコンテンツ表示装置及びコンテンツ表示方法に関するものである。 The present invention relates to a content display device and a content display method for generating a playback image of content from content information and drawing the playback image on a display.
コンテンツ情報からコンテンツの再生画像を生成し、その再生画像を表示するコンテンツ表示装置の中には、その再生画像にエフェクトを付加することで変形し、変形後の再生画像を表示する機能を備えているものがある。
このようなコンテンツ表示装置は、一般的に以下の（１）〜（３）の要素から構成されている。
A content display device that generates a playback image of content from content information and displays the playback image has a function of deforming the playback image by adding an effect and displaying the playback image after deformation. There is something.
Such a content display device is generally composed of the following elements (1) to (3).
（１）コンテンツ情報からコンテンツの再生画像を生成する再生画像生成部
（２）コンテンツに付加するエフェクトを表す画像変形情報（再生画像の変形に用いる変換式を含む情報）を用いて、再生画像生成部により生成された再生画像を変形させる再生画像変形部
（３）再生画像変形部により変形された再生画像をディスプレイに出力する表示処理部
(1) Reproduction image generation unit that generates a reproduction image of content from content information (2) Reproduction image generation using image deformation information (information including a conversion formula used for deformation of the reproduction image) representing an effect added to the content Reproduction Image Deformation Unit that Deforms the Reproduction Image Generated by the Unit (3) Display Processing Unit that Outputs the Reproduction Image Deformed by the Reproduction Image Deformation Unit to the Display
これにより、コンテンツの再生画像を表示するだけでなく、エフェクトが付加されているコンテンツの再生画像を表示することができる。
一方で、コンテンツには、選択ボタンのようにイベントが関連付けられているものもある。
このようなイベント付きコンテンツに対してエフェクトを付加する場合、変形後の再生画像上において、ユーザが、例えば、選択ボタンを表現している画像領域内の点を指定しても、その選択ボタンを表現している画像領域も変形されているため、その選択ボタンを表現している画像領域が、変形前の再生画像内に存在している選択ボタンを表現している画像領域と位置的にずれが生じており、変形前の再生画像上においては、その指定点の座標が、選択ボタンを表現している画像領域外の座標である可能性がある。
Thereby, not only the reproduced image of the content but also the reproduced image of the content to which the effect is added can be displayed.
On the other hand, some contents are associated with an event such as a selection button.
When adding an effect to such content with an event, even if the user designates a point in the image area representing the selection button on the reproduced image after transformation, the selection button is not displayed. Since the image area represented is also deformed, the image area representing the selection button is shifted in position from the image area representing the selection button existing in the reproduction image before the deformation. There is a possibility that the coordinates of the designated point on the reproduced image before the deformation are coordinates outside the image area expressing the selection button.
コンテンツ表示装置は、各コンテンツの表示位置をコンテンツのレイアウト情報（変形前の再生画像における各コンテンツの位置関係を示す情報）で管理しているので、変形前の再生画像上の座標でなければ、ユーザが選択ボタンを押下しているか否かを判断することができない。
このため、変形後の再生画像上において、指定点の座標が、選択ボタンを表現している画像領域内の座標であっても、変形前の再生画像上において、指定点の座標が、選択ボタンを表現している画像領域外の座標である場合、コンテンツ表示装置は、ユーザが選択ボタンを押下していると認識することができず、選択ボタンが押下された場合の処理に移行することができない。
Since the content display device manages the display position of each content with the layout information of the content (information indicating the positional relationship of each content in the reproduction image before deformation), if the coordinates are not on the reproduction image before deformation, It cannot be determined whether or not the user is pressing the selection button.
For this reason, even if the coordinates of the designated point on the reproduced image after transformation are coordinates in the image area representing the selection button, the coordinates of the designated point on the reproduced image before transformation are selected on the selection button. If the coordinates are outside the image area representing the content, the content display device cannot recognize that the user is pressing the selection button, and may proceed to processing when the selection button is pressed. Can not.
そこで、以下の特許文献１に開示されている座標変換技術、即ち、再生画像変形部における画像変形の逆変換式を用いて、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換する技術をコンテンツ表示装置に適用すれば、ユーザが選択ボタンを押下していることを認識して、選択ボタンが押下された場合の処理に移行することができる。
Therefore, using the coordinate transformation technique disclosed in
従来のコンテンツ表示装置は以上のように構成されているので、再生画像変形部における画像変形の逆変換式が与えられていれば、その逆変換式を用いて、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができる。しかし、デジタルエフェクトによる画像変形処理の場合、変換式が完全に隠蔽された形で提供される場合が多く、必ずしも逆変換式が明らかにされていないケースがある。このように、逆変換式が明らかにされていないケースでは、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができないなどの課題があった。 Since the conventional content display apparatus is configured as described above, if an inverse transformation formula for image transformation in the reproduction image transformation unit is given, the inverse transformation formula is used to specify on the reproduced image after transformation. The coordinates of the selected point can be converted into coordinates on the reproduced image before deformation. However, in the case of image deformation processing using a digital effect, the conversion formula is often provided in a completely concealed form, and the inverse conversion formula is not always clarified. As described above, in the case where the inverse transformation formula is not clarified, there is a problem that the coordinates of the point specified on the reproduced image after deformation cannot be converted to the coordinates on the reproduced image before deformation. It was.
この発明は上記のような課題を解決するためになされたもので、画像変形の逆変換式を用いることなく、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができるコンテンツ表示装置及びコンテンツ表示方法を得ることを目的とする。 The present invention has been made to solve the above-described problems. The coordinates of a point designated on the reproduced image after the transformation are represented on the reproduced image before the transformation without using the inverse transformation formula of the image transformation. It is an object of the present invention to provide a content display device and a content display method that can be converted into the coordinates of the above.
この発明に係るコンテンツ表示装置は、再生画像生成手段により生成された再生画像と同一の解像度を有し、全ての画素の画素値が、当該画素の座標を表す値である座標基準画像を生成する座標基準画像生成手段と、画像変形情報を用いて、座標基準画像生成手段により生成された座標基準画像を変形させる座標基準画像変形手段と、表示処理手段により表示されている変形後の再生画像上の座標を入力する座標入力手段と、座標基準画像変形手段により変形された座標基準画像から座標入力手段により入力された座標に位置している画素の画素値を変形前の再生画像の座標として取得する座標変換手段とを設け、再生制御手段が座標変換手段により取得された変形前の再生画像の座標に応じたイベント処理を実施するようにしたものである。 The content display device according to the present invention generates a coordinate reference image having the same resolution as that of the reproduction image generated by the reproduction image generation means and the pixel values of all the pixels being values representing the coordinates of the pixels. A coordinate reference image generating means; a coordinate reference image deforming means for deforming the coordinate reference image generated by the coordinate reference image generating means using the image deformation information; and a modified reproduced image displayed by the display processing means. The coordinate value input means for inputting the coordinates of the pixel, and the pixel value of the pixel located at the coordinates input by the coordinate input means from the coordinate reference image deformed by the coordinate reference image deformation means is obtained as the coordinates of the reproduction image before deformation Coordinate conversion means for performing the event processing according to the coordinates of the reproduction image before deformation acquired by the coordinate conversion means by the reproduction control means.
この発明によれば、再生画像生成手段により生成された再生画像と同一の解像度を有し、全ての画素の画素値が、当該画素の座標を表す値である座標基準画像を生成する座標基準画像生成手段と、画像変形情報を用いて、座標基準画像生成手段により生成された座標基準画像を変形させる座標基準画像変形手段と、表示処理手段により表示されている変形後の再生画像上の座標を入力する座標入力手段と、座標基準画像変形手段により変形された座標基準画像から座標入力手段により入力された座標に位置している画素の画素値を変形前の再生画像の座標として取得する座標変換手段とを設け、再生制御手段が座標変換手段により取得された変形前の再生画像の座標に応じたイベント処理を実施するように構成したので、画像変形の逆変換式を用いることなく、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができるようになり、その結果、指定された点の座標に応じた処理を実施することができる効果がある。 According to this invention, the coordinate reference image has the same resolution as the reproduction image generated by the reproduction image generation means, and generates a coordinate reference image in which the pixel values of all the pixels are values representing the coordinates of the pixels. Using the generation means, the image reference information, the coordinate reference image deformation means for deforming the coordinate reference image generated by the coordinate reference image generation means, and the coordinates on the reconstructed reproduced image displayed by the display processing means Coordinate input means for obtaining the pixel value of the pixel located at the coordinates input by the coordinate input means from the coordinate reference image transformed by the coordinate reference image transformation means as the coordinates of the reproduced image before transformation And the playback control means performs the event processing according to the coordinates of the playback image before deformation acquired by the coordinate conversion means. Without using it, it becomes possible to convert the coordinates of the point specified on the playback image after the transformation to the coordinates on the playback image before the transformation, and as a result, the processing according to the coordinates of the specified point There is an effect that can be implemented.
実施の形態１．
図１はこの発明の実施の形態１によるコンテンツ表示装置を示す構成図である。
図１において、データ記憶部１は少なくとも１以上の再生可能なイベント付きコンテンツに関するコンテンツ情報を記憶しているほか、コンテンツに付加するエフェクトを表す画像変形情報を記憶しているメモリやハードディスクなどの記録媒体である。
1 is a block diagram showing a content display apparatus according to
In FIG. 1, the
ここで、「コンテンツ」は、１つの画像であり、その画像の種類には、例えば、文字列、静止画、ムービー、３Ｄコンピュータグラフィックスなどがある。
「イベント付コンテンツ」は、コンテンツ内の領域がイベント処理と関連付けられているコンテンツであり、関連付けられるイベントは１つであっても、複数であってもよい。
「コンテンツ情報」は、コンテンツの解像度を示す解像度情報、フレームレート、再生時間、コンテンツを構成する全素材の圧縮画像データ、コンテンツ上の任意の領域（イベント発生領域）を示す情報、その領域が押下された際に実施する処理内容を示すイベント情報などが該当し、「コンテンツ」を再生するためのデータである。
また、「圧縮画像データ」は、画像が静止画やムービーであれば、符号化された画像データ、画像が文字列であれば、文字コードやフォントなどの情報、画像が３ＤＣＧであれば、ポリゴン、テクスチャ、色などの情報（非圧縮の画像データを生成するために必要な情報）が該当する。
また、「画像変形情報」は、コンテンツにエフェクトを付加するに際して、そのコンテンツの変形に用いる変換式を含む情報であり、その画像変形情報には、当該エフェクトを識別するエフェクト識別情報（例えば、エフェクト名や、エフェクトの識別番号などを示す情報）が付加されている。
なお、データ記憶部１はデータ記憶手段を構成している。
Here, the “content” is one image, and examples of the image type include a character string, a still image, a movie, and 3D computer graphics.
The “content with event” is content in which an area in the content is associated with event processing, and the number of events associated may be one or plural.
“Content information” includes resolution information indicating the resolution of the content, frame rate, playback time, compressed image data of all the materials constituting the content, information indicating an arbitrary area (event occurrence area) on the content, and the area is pressed. Event information indicating the processing content to be executed when it is performed corresponds to data for reproducing “content”.
“Compressed image data” is encoded image data if the image is a still image or movie, information such as a character code or font if the image is a character string, and polygon if the image is 3DCG. , Information such as texture and color (information necessary for generating uncompressed image data).
The “image deformation information” is information including a conversion formula used to deform the content when an effect is added to the content, and the image deformation information includes effect identification information (for example, an effect identification information) for identifying the effect. Name, information indicating an effect identification number, etc.).
The
再生情報入力部２は再生対象のコンテンツを選択する処理を実施する。具体的には、選択したコンテンツを識別するコンテンツ識別情報（例えば、コンテンツ名や、コンテンツの識別番号などを示す情報）や、コンテンツに付加するエフェクトを識別するエフェクト識別情報などを含む再生情報を入力する処理を実施する。
なお、再生情報入力部２は、インターネットやＬＡＮなどのネットワークから再生情報を入力する場合、例えば、ＬＡＮカードなどのネットワークＩ／Ｆ機器から構成され、ユーザの操作を受け付けて再生情報を入力する場合、キーボードやマウスなどのマンマシンインタフェースから構成される。
The reproduction
Note that the reproduction
再生制御部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、再生情報入力部２により入力された再生情報に含まれているコンテンツ識別情報及びエフェクト識別情報を抽出する処理を実施する。
また、再生制御部３はデータ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すコンテンツ情報を取得して、そのコンテンツ情報が示すイベント付コンテンツの圧縮画像データを再生画像生成部４に出力するとともに、解像度情報を座標基準画像生成部８に出力し、また、データ記憶部１により記憶されている画像変形情報の中から、そのエフェクト識別情報が示す画像変形情報を取得して、その画像変形情報を再生画像変形部５及び座標基準画像変形部９に出力する処理を実施する。
なお、再生制御部３は再生制御手段を構成している。
The
Also, the
The
再生画像生成部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成されており、再生制御部３から出力された圧縮画像データからコンテンツの再生画像を生成する処理を実施する。なお、再生画像生成部４は再生画像生成手段を構成している。
The reproduction
再生画像変形部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力された画像変形情報を用いて、再生画像生成部４により生成された再生画像を変形させる処理を実施する。
ただし、再生画像変形部５は、イベント発生領域もコンテンツ上の領域であるため、再生画像と同様に変形させる。
なお、再生画像変形部５は再生画像変形手段を構成している。
The reproduction
However, since the event generation area is an area on the content, the reproduction
The reproduced
表示処理部６は画像処理を実施するＧＰＵなどから構成されており、再生画像変形部５により変形された再生画像を格納する１つ以上のフレームバッファを備えている。
また、表示処理部６は表示装置７の画面を更新するタイミングに合わせてフレームバッファの内容を表示装置７に出力する。
表示装置７は表示処理部６の表示処理によって表示画像を表示するディスプレイである。
なお、表示処理部６及び表示装置７から表示処理手段が構成されている。
The
The
The
The
座標基準画像生成部８は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、再生制御部３から出力されたコンテンツの解像度情報が示す解像度（再生画像生成部４により生成された再生画像の解像度と同一の解像度）を有する水平座標基準画像と垂直座標基準画像を生成する処理を実施する。
ここで、水平座標基準画像は、再生画像の水平方向座標から一対一に求められる値を画素値とし、垂直座標基準画像は、再生画像の垂直方向座標から一対一に求められる値を画素値としている。
例えば、コンテンツの解像度がＷＳ×ＨＳの場合、左側からＭ（例えば、Ｍ＝１，２，３，・・・，ＷＳ）番目の列に存在している全ての画素の画素値が“Ｍ”である水平座標基準画像、上側からＮ（例えば、Ｎ＝１，２，３，・・・，ＨＳ）番目の行に存在している全ての画素の画素値が“Ｎ”である垂直座標基準画像を生成する処理を実施する。
なお、座標基準画像生成部８は座標基準画像生成手段を構成している。
The coordinate reference
Here, the horizontal coordinate reference image is a pixel value that is obtained one-to-one from the horizontal coordinate of the reproduced image, and the vertical coordinate reference image is a pixel value that is obtained one-to-one from the vertical coordinate of the reproduced image. Yes.
For example, when the resolution of the content is W S × H S , the pixel values of all the pixels existing in the M-th column (for example, M = 1, 2, 3,..., W S ) from the left side are The horizontal coordinate reference image “M”, the pixel values of all the pixels existing in the Nth row (for example, N = 1, 2, 3,..., H S ) from the upper side are “N”. A process of generating a certain vertical coordinate reference image is performed.
The coordinate reference
座標基準画像変形部９は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力された画像変形情報を用いて、座標基準画像生成部８により生成された水平座標基準画像及び垂直座標基準画像を変形させる処理を実施する。なお、座標基準画像変形部９は座標基準画像変形手段を構成している。
The coordinate reference
座標入力部１０は例えばキーボードやマウスやタッチパネルなどのマンマシンインタフェースから構成されており、表示装置７により表示されている変形後の再生画像上の座標（ユーザにより指定された座標）を入力する処理を実施する。なお、座標入力部１０は座標入力手段を構成している。
座標変換部１１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、座標基準画像変形部９から変形後の水平座標基準画像と変形後の垂直座標基準画像を取得し、座標入力部１０から入力座標を取得する処理を実施する。
また、座標変換部１１は変形後の水平座標基準画像から入力座標に位置している画素の画素値を変形前の再生画像の水平座標として取得するとともに、変形後の垂直座標基準画像から入力座標に位置している画素の画素値を変形前の再生画像の垂直座標として取得し、その水平座標と垂直座標を再生制御部３に出力する処理を実施する。
なお、座標変換部１１は座標取得手段を構成している。
The coordinate
The coordinate
In addition, the coordinate
The coordinate
再生制御部３は座標変換部１１から水平座標と垂直座標を受けると、データ記憶部１から取得したコンテンツ情報に含まれるイベント発生領域とイベント情報を抽出し、その水平座標及び垂直座標を含むイベント発生領域を照合することで、照合したイベント発生領域に関連付けられたイベント情報に基づいてイベント処理を実施する。
なお、イベント処理がコンテンツの表示内容に関わる処理としては、例えば、コンテンツ内の素材、コンテンツ自体、エフェクト、イベントの変更などの場合、その内容に応じてデータ記憶部１から必要なデータを取得し、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９に渡す情報を変更するようにしてもよい。また、イベント処理がデータ記憶部１に格納された別のプログラムを実行する内容の場合は、プログラムを取得して実施するようにしてもよい。
When the
In addition, as a process related to the display content of the content of the event processing, for example, in the case of a change in the material in the content, the content itself, an effect, an event, etc., necessary data is acquired from the
２００は、再生情報である。
２０１は、再生情報に含まれているコンテンツ識別情報が示すコンテンツ情報及び再生情報に含まれているエフェクト識別情報が示す画像変形情報である。
２０２は、コンテンツ情報に含まれている圧縮画像データである。
２０３は、コンテンツの再生画像である。
２０４は、コンテンツに付加されている画像変形情報である。
２０５は、変形後の再生画像である。
２０６は、表示装置７により表示される表示画像である。
２０７は、コンテンツの解像度情報である。
２０８は、水平座標基準画像と垂直座標基準画像である。
２０９は、変形後の水平座標基準画像と変形後の垂直座標基準画像である。
２１０は、表示装置７により表示されている変形後の再生画像上の座標である。
２１１は、変形前の再生画像上の座標である。
図１の例では、コンテンツ表示装置の構成要素であるデータ記憶部１、再生情報入力部２、再生制御部３、再生画像生成部４、再生画像変形部５、表示処理部６、表示装置７、座標基準画像生成部８、座標基準画像変形部９、座標入力部１０及び座標変換部１１のそれぞれが専用のハードウェアで構成されているものを想定しているが、コンテンツ表示装置がコンピュータで構成される場合、再生情報入力部２、再生制御部３、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９、座標入力部１０及び座標変換部１１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。さらに、コンピュータがＧＰＵを備える場合、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９のいずれか、あるいは、全てに該当する前記メモリに格納されているプログラムをＧＰＵが実行するようにしてもよい。
図２はこの発明の実施の形態１によるコンテンツ表示装置の処理内容を示すフローチャートである。
In the example of FIG. 1, the
FIG. 2 is a flowchart showing the processing contents of the content display apparatus according to
次に動作について説明する。
以下、図３のコンテンツを例に取り、図２に沿って、静止画像のコンテンツを再生する場合の動作を説明する。
図３はコンテンツの再生画像の例を示す説明図である。
図３（ａ）は、５００画素×５００画素サイズのコンテンツの画像Ａの中に、２つのボタンを表す図形ａ１，ａ２（以降、「ボタンａ１」、「ボタンａ２」と称する）が描かれている例を示している。また、画像Ａのボタンａ１，ボタンａ２の表示領域をイベント発生領域とし、ボタンａ１の表示領域を押下した場合にコンテンツ表示装置が再生終了するイベント処理を実施し、ボタンａ２の表示領域を押下した場合、画像Ａを同サイズの画像Ｂに入れ替えるイベント処理を実施するものとする。
なお、この実施の形態１では、ユーザがイベント発生領域を認識できるようにするために、画像Ａ内にボタンａ１、ボタンａ２が表示されているものとするが、表現方法は上記の方法に限定されない。また、必ずしもイベント発生領域を表現しなくともよい。
図３（ｂ）は画像Ａを表示している際にボタンａ２の表示領域がユーザにより触れられたときに、画像Ａの代わりに表示される画像Ｂを示している。
Next, the operation will be described.
Hereinafter, the operation in the case of reproducing the content of the still image will be described with reference to FIG. 2 by taking the content of FIG. 3 as an example.
FIG. 3 is an explanatory diagram showing an example of a reproduction image of content.
In FIG. 3A, graphics a1 and a2 (hereinafter referred to as “button a1” and “button a2”) representing two buttons are drawn in an image A of content of 500 pixels × 500 pixels. An example is shown. In addition, the display area of the button a1 and the button a2 of the image A is set as an event generation area, and the event processing is executed in which the content display device finishes reproduction when the display area of the button a1 is pressed, and the display area of the button a2 is pressed In this case, event processing for replacing the image A with the image B having the same size is performed.
In the first embodiment, it is assumed that the button a1 and the button a2 are displayed in the image A so that the user can recognize the event occurrence area. However, the expression method is limited to the above method. Not. In addition, the event occurrence area is not necessarily expressed.
FIG. 3B shows an image B displayed instead of the image A when the user touches the display area of the button a2 when the image A is displayed.
再生情報入力部２は、例えば、ユーザの指示の下、再生対象のコンテンツを識別するコンテンツ識別情報、コンテンツに付加するエフェクトを識別するエフェクト識別情報を含む再生情報を入力すると、その再生情報を再生制御部３に出力する（図２のステップＳＴ１）。
When the reproduction
再生制御部３は、再生情報入力部２から再生情報を受けると、その再生情報に含まれているコンテンツ識別情報及びエフェクト識別情報を抽出する（ステップＳＴ２）。
再生制御部３は、コンテンツ識別情報及びエフェクト識別情報を抽出すると、データ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すイベント付コンテンツのコンテンツ情報を取得し、そのコンテンツ情報に含まれている画像Ａの圧縮画像データを再生画像生成部４に出力し、そのコンテンツの解像度情報を座標基準画像生成部８に出力する。
また、再生制御部３は、データ記憶部１により記憶されている画像変形情報の中から、そのエフェクト識別情報が付加されているエフェクトＥの画像変形情報を取得して、その画像変形情報を再生画像変形部５及び座標基準画像変形部９に出力する（ステップＳＴ３）。
Upon receiving the reproduction information from the reproduction
When the
Further, the
再生画像生成部４は、再生制御部３から出力された画像Ａの圧縮画像データからコンテンツの再生画像Ａを生成する（ステップＳＴ４）。
ここで、図５は図３（ａ）の再生画像Ａにおける各画素の画素値を示すマッピング図である。
図５では、記述を簡略化して、２０マス×２０マスしか示していないが、再生画像Ａが、例えば、５００画素×５００画素サイズのコンテンツの画像である場合、５００画素×５００画素の画素値を有しているものとする。
図５において、画素値「１」はほぼ黒色（黒色の場合、画素値「０」）を示しており、ボタンａ１，ボタンａ２が存在している領域である。
また、画素値「２５５」は白色を示しており、ボタンａ１，ボタンａ２以外の領域である。
The playback
Here, FIG. 5 is a mapping diagram showing the pixel value of each pixel in the reproduced image A of FIG.
In FIG. 5, the description is simplified and only 20 squares × 20 squares are shown. However, when the reproduction image A is an image of content having a size of 500 pixels × 500 pixels, for example, a pixel value of 500 pixels × 500 pixels It shall have.
In FIG. 5, the pixel value “1” is substantially black (in the case of black, the pixel value is “0”), and is an area where the buttons a1 and a2 exist.
The pixel value “255” indicates white and is an area other than the buttons a1 and a2.
再生画像変形部５は、再生画像生成部４がコンテンツの再生画像Ａを生成すると、再生制御部３から出力されたエフェクトＥの画像変形情報に含まれている変換式を用いて、再生画像Ａを変形させる処理を実施する（ステップＳＴ５）。
ここで、再生画像変形部５が変換式を用いて、再生画像Ａを変形させる処理自体は公知の技術であるため詳細な説明を省略する。
また、変換式も公知の式でよく、再生画像Ａを変形させるものであれば、いかなる変換式を用いてもよい。
When the reproduction
Here, since the processing itself for transforming the reproduction image A using the conversion formula by the reproduction
The conversion formula may also be a known formula, and any conversion formula may be used as long as it can deform the reproduced image A.
表示処理部６は、再生画像変形部５が再生画像Ａを変形させる処理を実施すると、変形後の再生画像Ａを内部のフレームバッファに格納する。
表示処理部６は、再生画像Ａをフレームバッファに格納すると、画面更新タイミングに合わせて、その再生画像Ａを表示画像として表示装置７に出力する（ステップＳＴ６）。
When the reproduced
After storing the reproduced image A in the frame buffer, the
ここで、図４は、図３（ａ）のコンテンツをエフェクトＥで変形した場合の表示画像を示す説明図である。図４のエフェクトＥは、再生画像を波状に変形し、表示画面の中心に配置する効果を用いている。
また、表示装置７の画面サイズが１０００画素×１０００画素サイズであり、再生画像変形部５にて、１０００画素×１０００画素のサイズの中心に再生画像Ａが変形されて配置されている。
Here, FIG. 4 is an explanatory diagram showing a display image when the content of FIG. The effect E in FIG. 4 uses the effect of deforming the reproduced image into a wave shape and arranging it at the center of the display screen.
Further, the screen size of the
図８は図４の表示画像における各画素の画素値を示すマッピング図である。
図８では、記述を簡略化して、４０マス×４０マス分しか示していないが、表示装置７の表示画面は、１０００画素×１０００画素サイズであるため、実際には、１０００画素×１０００画素の画素値を有している。
図８において、画素値「・」は白色（白色の場合、画素値「２５５」）を示しており、ボタンａ１，ボタンａ２が描かれていない領域である。
また、画素値「１」はほぼ黒色を示しており、ボタンａ１，ボタンａ２が描かれた領域である。
また、数値が空白の画素は画素値が「０」であるものとする（表示画面の背景領域）。
FIG. 8 is a mapping diagram showing the pixel value of each pixel in the display image of FIG.
In FIG. 8, the description is simplified and only 40 squares × 40 squares are shown. However, since the display screen of the
In FIG. 8, the pixel value “·” indicates white (in the case of white, the pixel value “255”), and is an area in which the button a1 and the button a2 are not drawn.
The pixel value “1” is substantially black, and is an area where the buttons a1 and a2 are drawn.
In addition, it is assumed that a pixel with a blank numerical value has a pixel value “0” (background area of the display screen).
座標基準画像生成部８は、再生制御部３から出力された解像度情報が示すコンテンツの解像度（再生画像生成部４により生成された再生画像Ａの解像度と同一の解像度）を有する水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）を生成する（ステップＳＴ７）。
The coordinate reference
例えば、座標基準画像生成部８は、図６に示すように、左側からＭ（例えば、Ｍ＝１，２，３，・・・，５００）番目の列に存在している全ての画素の画素値が“Ｍ”である水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）を生成する。
Ｉ＿ｈ（ｘ，ｙ）＝ｘ
ただし、ｘ＝１，２，・・・，５００
ｙ＝１，２，・・・，５００
なお、（ｘ，ｙ）は、水平座標基準画像を構成している画素の位置を示しており、（１，１）は水平座標基準画像の左上の画素を示し、（５００，５００）は水平座標基準画像の右下の画素を示している。
図６では、記述を簡略化して、２０マス×２０マスしか示していないが、水平座標基準画像は、５００画素×５００画素サイズの画像であるため、実際には、５００画素×５００画素の画素値を有している。
For example, as illustrated in FIG. 6, the coordinate reference
I_h (x, y) = x
Where x = 1, 2,..., 500
y = 1, 2,..., 500
Note that (x, y) indicates the position of the pixel constituting the horizontal coordinate reference image, (1, 1) indicates the upper left pixel of the horizontal coordinate reference image, and (500, 500) indicates the horizontal. The lower right pixel of the coordinate reference image is shown.
In FIG. 6, the description is simplified and only 20 squares × 20 squares are shown. However, since the horizontal coordinate reference image is an image having a size of 500 pixels × 500 pixels, actually, the pixels of 500 pixels × 500 pixels are used. Has a value.
また、座標基準画像生成部８は、図７に示すように、上側からＮ（例えば、Ｎ＝１，２，３，・・・，５００）番目の行に存在している全ての画素の画素値が“Ｎ”である垂直座標基準画像Ｉ＿ｈ（ｘ，ｙ）を生成する。
Ｉ＿ｈ（ｘ，ｙ）＝ｙ
ただし、ｘ＝１，２，・・・，５００
ｙ＝１，２，・・・，５００
なお、（ｘ，ｙ）は、垂直座標基準画像を構成している画素の位置を示しており、（１，１）は垂直座標基準画像の左上の画素を示し、（５００，５００）は垂直座標基準画像の右下の画素を示している。
図７では、記述を簡略化して、２０マス×２０マスしか示していないが、垂直座標基準画像は、５００画素×５００画素サイズの画像であるため、実際には、５００画素×５００画素の画素値を有している。
Further, as shown in FIG. 7, the coordinate reference
I_h (x, y) = y
Where x = 1, 2,..., 500
y = 1, 2,..., 500
Note that (x, y) indicates the position of the pixel constituting the vertical coordinate reference image, (1, 1) indicates the upper left pixel of the vertical coordinate reference image, and (500, 500) indicates the vertical. The lower right pixel of the coordinate reference image is shown.
In FIG. 7, the description is simplified and only 20 squares × 20 squares are shown. However, since the vertical coordinate reference image is an image having a size of 500 pixels × 500 pixels, in practice, pixels of 500 pixels × 500 pixels are used. Has a value.
座標基準画像変形部９は、座標基準画像生成部８が水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）を生成すると、再生画像変形部５と同様に、再生制御部３から出力されたエフェクトＥの画像変形情報を用いて、水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）を変形させる処理を実施する（ステップＳＴ８）。
ここで、図９は座標基準画像変形部９により変形された水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）における各画素の画素値を示すマッピング図である。
また、図１０は座標基準画像変形部９により変形された垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）における各画素の画素値を示すマッピング図である。
ただし、図９及び図１０では、図面の簡略化のため一部省略している。
When the coordinate reference
Here, FIG. 9 is a mapping diagram showing pixel values of each pixel in the horizontal coordinate reference image I_h (x, y) deformed by the coordinate reference
FIG. 10 is a mapping diagram showing pixel values of each pixel in the vertical coordinate reference image I_v (x, y) deformed by the coordinate reference
However, in FIG. 9 and FIG. 10, a part is omitted for simplification of the drawings.
ユーザは、表示処理部６により変形後の再生画像Ａが表示されているとき（図８を参照）、例えば、ボタンａ１の表示領域の押下を行う場合、表示装置７上にタッチパネルが搭載されていれば、変形後のボタンａ１が表示されている領域に触れる。
表示装置７上にタッチパネルが搭載されていなければ、例えば、マウスを操作して、変形後のボタンａ１が表示されている領域をクリックする。
座標入力部１０は、ユーザが表示装置７上のタッチパネルに触れると（ステップＳＴ１０）、ユーザにより触れられた位置を示す表示画面（変形後の再生画像Ａ）上の座標（ｘ，ｙ）を座標変換部１１に出力する（ステップＳＴ１１）。
When the user reproduces the deformed reproduced image A by the display processing unit 6 (see FIG. 8), for example, when the user presses the display area of the button a1, a touch panel is mounted on the
If the touch panel is not mounted on the
When the user touches the touch panel on the display device 7 (step ST10), the coordinate
座標変換部１１は、座標入力部１０からユーザにより触れられた位置を示す変形後の再生画像Ａ上の座標（ｘ，ｙ）を受けると、座標基準画像変形部９により変形された図９の水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）から、再生画像Ａ上の座標（ｘ，ｙ）に位置している画素の画素値を水平座標ｘ’として取得する。
また、座標変換部１１は、座標基準画像変形部９により変形された図１０の垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）から、再生画像Ａ上の座標（ｘ，ｙ）に位置している画素の画素値を垂直座標ｙ’として取得する（ステップＳＴ１２）。
When the coordinate
Further, the coordinate
例えば、ユーザが再生画像Ａ上において、座標（５，７）の位置に触れていれば、図９の水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）から水平座標“２”を取得し、図１０の垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）から垂直座標“５”を取得する。
あるいは、ユーザが再生画像Ａ上において、座標（７，８）の位置に触れていれば、図９の水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）から水平座標“３”を取得し、図１０の垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）から垂直座標“６”を取得する。
座標変換部１１は、上記のようにして、水平座標ｘ’と垂直座標ｙ’を取得すると、その水平座標ｘ’と垂直座標ｙ’を再生制御部３に出力する。
For example, if the user touches the position of the coordinates (5, 7) on the reproduced image A, the horizontal coordinate “2” is acquired from the horizontal coordinate reference image I_h (x, y) in FIG. The vertical coordinate “5” is acquired from the vertical coordinate reference image I_v (x, y).
Alternatively, if the user touches the position of the coordinates (7, 8) on the reproduced image A, the horizontal coordinate “3” is acquired from the horizontal coordinate reference image I_h (x, y) in FIG. The vertical coordinate “6” is acquired from the vertical coordinate reference image I_v (x, y).
When the coordinate
再生制御部３は、座標変換部１１から水平座標ｘ’と垂直座標ｙ’を受けると、その座標（ｘ’，ｙ’）と、再生情報に含まれているコンテンツのイベント発生領域を照合することで、その座標（ｘ’，ｙ’）を含むイベント発生領域を検索する（ステップＳＴ１３）。
例えば、イベント発生領域であるボタンａ１，ボタンａ２の表示領域が下記の通りであるとするとき、水平座標ｘ’＝１５０、垂直座標ｙ’＝３３０であれば、座標（ｘ’，ｙ’）を含むイベント発生領域ａ１がヒットする。
なお、イベント発生領域ａ１は、ボタンａ１の表示領域と同じ領域を示し、イベント発生領域ａ２は、ボタンａ２の表示領域と同じ領域を示している。説明の便宜上、画像Ａ内の領域を示す場合、ボタンａ１、ボタンａ２と表現し、イベント発生領域を示す場合、イベント発生領域ａ１、イベント発生領域ａ２と示すものとする。
イベント発生領域ａ１ イベント発生領域ａ２
Ｘ座標 １２０〜２００ ３００〜３８０
Ｙ座標 ３００〜４２０ ３００〜４２０
When the
For example, when the display areas of the button a1 and the button a2 that are event generation areas are as follows, if the horizontal coordinate x ′ = 150 and the vertical coordinate y ′ = 330, the coordinate (x ′, y ′) The event occurrence area a1 including “hit” is hit.
The event occurrence area a1 indicates the same area as the display area of the button a1, and the event occurrence area a2 indicates the same area as the display area of the button a2. For convenience of explanation, the region in the image A is expressed as a button a1 and a button a2, and the event generation region is expressed as an event generation region a1 and an event generation region a2.
Event occurrence area a1 Event occurrence area a2
X coordinate 120-200 300-380
Y coordinate 300-420 300-420
上記の例では、座標（ｘ’，ｙ’）を含むイベント発生領域ａ１がヒットしているが、例えば、水平座標ｘ’＝３６０、垂直座標ｙ’＝３８０であれば、座標（ｘ’，ｙ’）を含むイベント発生領域ａ２がヒットする。
例えば、水平座標ｘ’＝１８０、垂直座標ｙ’＝２４０であれば、該当するイベント発生領域が存在しないので、何もイベント処理を実施しない。
In the above example, the event occurrence area a1 including the coordinates (x ′, y ′) is hit. For example, if the horizontal coordinates x ′ = 360 and the vertical coordinates y ′ = 380, the coordinates (x ′, y ′) The event occurrence area a2 including y ′) is hit.
For example, if the horizontal coordinate x ′ = 180 and the vertical coordinate y ′ = 240, there is no corresponding event occurrence area, so no event processing is performed.
再生制御部３は、座標（ｘ’，ｙ’）を含むイベント発生領域が存在すれば（ステップＳＴ１４）、そのイベント発生領域に関連付けられたイベント処理を実施する（ステップＳＴ１５）。
例えば、イベント発生領域ａ１がヒットした場合は、ボタンａ１の表示領域を押下したものとして、“再生終了”というイベント処理が実行される。
また、イベント発生領域ａ２がヒットした場合は、ボタンａ２の表示領域を押下したものとして、“画像Ａを画像Ｂに変更”するというイベント処理を実施する。
If there is an event occurrence area including the coordinates (x ′, y ′) (step ST14), the
For example, when the event occurrence area a1 is hit, an event process “end of reproduction” is executed assuming that the display area of the button a1 is pressed.
If the event occurrence area a2 is hit, an event process of “changing the image A to the image B” is performed assuming that the display area of the button a2 is pressed.
画像制御部３は、イベント処理の結果、表示画像の更新が発生するか否かをチェックする（ステップＳＴ１６）。
例えば、イベント処理が“再生終了”の場合、表示画像の更新は発生せず、ステップＳＴ１７に移行する。
一方、イベント処理が“画像Ａから画像Ｂへの変更”の場合、表示画像の更新が発生するため、ステップＳＴ３の処理に戻り、画像Ｂを含むコンテンツ情報をデータ記憶部１から取得し、画像Ｂの圧縮画像データを再生画像生成部４に出力し、画像Ａを画像Ｂに変更して、ステップＳＴ３〜ＳＴ１５の処理を繰り返し実施する。
なお、画像Ａ、画像Ｂが、イベント処理以外では、再生画像が更新されない静止画像であるものとすると、イベント処理が発生しない限りは、表示画像の更新も発生しない。
The
For example, if the event process is “end of reproduction”, the display image is not updated, and the process proceeds to step ST17.
On the other hand, when the event process is “change from image A to image B”, the display image is updated. Therefore, the process returns to the process of step ST3, content information including image B is acquired from the
If the images A and B are still images that are not renewed except for event processing, the display image is not updated unless the event processing occurs.
画像制御部３は、イベント処理の結果、表示画像の更新が発生しない場合、再生終了か否かをチェックする（ステップＳＴ１７）。
例えば、イベント処理が“再生終了”を実施している場合、あるいは、コンテンツの再生時間が設定されていて、その時刻を経過している場合、一連の処理を終了する。
一方、再生終了しない場合、ステップＳＴ１０の処理に戻り、ステップＳＴ１０〜ＳＴ１６までの処理を繰り返し実施する。
As a result of the event processing, the
For example, when the event process is “end of reproduction”, or when the reproduction time of the content is set and the time has elapsed, the series of processes is terminated.
On the other hand, when the reproduction is not finished, the process returns to step ST10 and the processes from step ST10 to ST16 are repeated.
以上で明らかなように、この実施の形態１によれば、再生画像生成部４により生成された再生画像の解像度と同一の解像度を有する画像であって、再生画像の水平方向座標から一対一に求められる値を画素値とする水平座標基準画像を生成するとともに、再生画像の垂直方向座標から一対一に求められる値を画素値とする垂直座標基準画像を生成する座標基準画像生成部８と、コンテンツに付加するエフェクトを表す画像変形情報を用いて、座標基準画像生成部８により生成された水平座標基準画像及び垂直座標基準画像を変形させる座標基準画像変形部９と、表示装置７により表示されている再生画像Ａ上の座標を入力する座標入力部１０と、座標基準画像変形部９により変形された水平座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を水平座標ｘ’として取得するとともに、座標基準画像変形部９により変形された垂直座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を垂直座標ｙ’として取得する座標変換部１１とを設け、再生制御部３が、座標変換部１１により取得された水平座標ｘ’及び垂直座標ｙ’を含むイベント発生領域に該当するイベント処理を実施するように構成したので、画像変形の逆変換式を用いることなく、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができるようになり、その結果、指定された点の座標に応じた処理を実施することができる効果を奏する。
As apparent from the above, according to the first embodiment, the image has the same resolution as that of the reproduction image generated by the reproduction
なお、上記の例では、座標基準画像変形部９により変形された水平座標基準画像（または、垂直座標基準画像）を示す図９（または、図１０）において、コンテンツが存在していない画素に“０”を用いているが、水平座標基準画像（または、垂直座標基準画像）で使用されない値であれば、“０”に限るものではない。
In the above example, in FIG. 9 (or FIG. 10) showing the horizontal coordinate reference image (or vertical coordinate reference image) deformed by the coordinate reference
この実施の形態１では、再生画像生成部４が再生制御部３から取得した圧縮画像データから再生画像を生成させるものについて示したが、例えば、圧縮画像データが非圧縮の画像データで再生画像の画像データと同一のものである場合には、その再生画像の生成処理を行わずに、再生制御部３から取得した画像データをそのまま再生画像として再生画像変形部５に出力するようにしてもよい。
In the first embodiment, the reproduction
この実施の形態１では、再生画像変形部５が画像変形情報に含まれている変換式を用いて、再生画像生成部４により生成された再生画像を変形させるものについて示したが、例えば、エフェクト識別情報が再生情報に含まれていない場合や、エフェクト識別情報に対応する画像変形情報がデータ記憶部１に記憶されていないような場合には、その再生画像の変形処理を行わずに、その再生画像を表示処理部６に出力するようにしてもよい。
同様に、座標基準画像変形部９が画像変形情報に含まれている変換式を用いて、座標基準画像生成部８により生成された水平座標基準画像と垂直座標基準画像を変形させるものについて示したが、例えば、エフェクト識別情報が再生情報に含まれていない場合や、エフェクト識別情報に対応する画像変形情報がデータ記憶部１に記憶されていないような場合には、その水平座標基準画像と垂直座標基準画像の変形処理を行わずに、その水平座標基準画像と垂直座標基準画像を座標変換部１１に出力するようにしてもよい。
In the first embodiment, the reproduction
Similarly, the coordinate reference
上記の例では、画像Ａが２つのイベント発生領域を含んでいるものを示したが、1つ以上のイベント発生領域を含んでいれば、何個でも構わない。
上記の例では、画像Ｂが特にイベント発生領域を含んでいないものを示したが、画像Ｂが新たなイベント発生領域を含んでいてもよい。
In the above example, the image A includes two event occurrence areas. However, any number may be used as long as the image A includes one or more event occurrence areas.
In the above example, the image B does not particularly include the event occurrence area, but the image B may include a new event occurrence area.
上記の例では、ステップＳＴ１５において、画像Ａを画像Ｂに変更した後、ステップＳＴ１６において、画像の更新が発生することを検知した場合、ステップＳＴ３の処理に戻り、画像Ｂを含むコンテンツ情報をデータ記憶部１から取得し、画像Ｂの圧縮画像データを再生画像生成部４に出力し、画像Ａを画像Ｂに変更して、ＳＴ３〜ＳＴ１５の処理を繰り返し実施するものについて示したが、コンテンツが画像Ｂのようにイベント発生領域やイベント情報を含まない静止画像の場合、ＳＴ７〜ＳＴ１６の処理を実施せずに、ＳＴ３〜ＳＴ６、ＳＴ１７の処理を繰り返し実施するようにしてもよい。
また、再生制御部３が最初に画像Ａのコンテンツ情報をデータ記憶部１から取得する際に、画像Ｂのコンテンツ情報も取得しておき、ステップＳＴ１６で画像の更新が発生することを検知した場合、ステップＳＴ３の処理に戻る代わりに、既に再生制御部３が取得済みである画像Ｂのコンテンツ情報から画像Ｂの圧縮画像データを再生画像生成部４に出力し、画像Ａを画像Ｂに変更して、ＳＴ３〜ＳＴ１５の処理を繰り返し実施するようにしてもよい。
In the above example, after the image A is changed to the image B in step ST15, if it is detected in step ST16 that the image is updated, the process returns to step ST3, and the content information including the image B is stored as data. Although shown from what was acquired from the
Further, when the
実施の形態２．
上記実施の形態１では、静止画像であるコンテンツを再生するものについて示したが、 この実施の形態２では、動画像であるコンテンツを再生するものについて説明する。
図１１はこの発明の実施の形態２によるコンテンツ表示装置を示す構成図である。
図１１は再生制御部３及び表示処理部６以外の処理部は、図１と同様の処理部であるが、表示処理部６で発生させた表示画面の更新タイミングの発生通知を再生制御部３に通知する点が図１と異なっている。
In the first embodiment, the content that is a still image is reproduced. However, in the second embodiment, the content that is a moving image is reproduced.
FIG. 11 is a block diagram showing a content display apparatus according to
FIG. 11 is a processing unit other than the
表示処理部６は、上記実施の形態１と同様に、画像処理を実施するＧＰＵなどから構成されており、再生画像変形部５により変形された再生画像を格納する１つ以上のフレームバッファを備え、かつ、表示装置７の画面を更新するタイミングに合わせてフレームバッファの内容を表示装置７に出力する処理を実施するほかに、その表示画面の更新タイミングの発生を再生制御部３に通知する処理を実施する。
Similar to the first embodiment, the
再生制御部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、再生情報入力部２により入力された再生情報に含まれているコンテンツ識別情報及びエフェクト識別情報を抽出する処理を実施する。
また、再生制御部３はデータ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すコンテンツ情報を取得し、表示処理部６から通知された表示画面の更新タイミングの発生通知を受けると、そのコンテンツ情報が示すイベント付コンテンツの圧縮画像データを再生画像生成部４に出力するとともに、そのコンテンツの解像度情報を座標基準画像生成部８に出力し、また、データ記憶部１により記憶されている画像変形情報の中から、そのエフェクト識別情報が示す画像変形情報を取得して、その画像変形情報を再生画像変形部５及び座標基準画像変形部９に出力する処理を実施する。
The
Further, the
２００〜２１１は、図１と同様である。
２１２は、表示画面の更新タイミングの発生通知である。
200 to 211 are the same as those in FIG.
図１１の例では、コンテンツ表示装置の構成要素であるデータ記憶部１、再生情報入力部２、再生制御部３、再生画像生成部４、再生画像変形部５、表示処理部６、表示装置７、座標基準画像生成部８、座標基準画像変形部９、座標入力部１０及び座標変換部１１のそれぞれが専用のハードウェアで構成されているものを想定しているが、コンテンツ表示装置がコンピュータで構成される場合、再生情報入力部２、再生制御部３、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９、座標入力部１０及び座標変換部１１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。さらに、コンピュータがＧＰＵを備える場合、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９のいずれか、あるいは、全てに該当する前記メモリに格納されているプログラムをＧＰＵが実行するようにしてもよい。
図１２はこの発明の実施の形態２によるコンテンツ表示装置の処理内容を示すフローチャートである。
In the example of FIG. 11, the
FIG. 12 is a flowchart showing the processing contents of the content display apparatus according to
次に動作について説明する。
この実施の形態２においても、上記実施の形態１と同様に、イベント発生領域ａ１を示すボタンａ１と、イベント発生領域ａ２を示すボタンａ２が描かれた画像Ａを表す５００画素×５００画素のコンテンツを１０００画素×１０００画素の表示装置に再生する。
また、イベント処理の内容も、上記実施の形態１と同様に、ボタンａ１の表示領域を押下すると、コンテンツが再生終了し、ボタンａ２の表示領域を押下すると、コンテンツの画像Ａが画像Ｂに切り替わるものとする。
なお、この実施の形態２では、画像Ａは一定間隔で画像が更新される動画像であるものとし、このコンテンツ情報には、再生時刻ｔ０（再生開始時刻）から再生時刻Ｔ（再生終了時刻）までの画像Ａの圧縮画像データが保持されており、再生を開始してから時刻ｔを経過したときの画像Ａの圧縮画像データをＣ＿Ａ（ｔ）、コンテンツの再生画像をＩ＿Ａ（ｔ）と表記する。
Next, the operation will be described.
In the second embodiment, similarly to the first embodiment, the content of 500 pixels × 500 pixels representing the image A on which the button a1 indicating the event occurrence area a1 and the button a2 indicating the event occurrence area a2 are drawn. Are reproduced on a display device of 1000 pixels × 1000 pixels.
Similarly to the first embodiment, the content of the event process is also terminated when the button a1 display area is pressed, and when the button a2 display area is pressed, the content image A is switched to the image B. Shall.
In the second embodiment, it is assumed that the image A is a moving image whose image is updated at regular intervals, and the content information includes a reproduction time T0 (reproduction start time) to a reproduction time T (reproduction end time). The compressed image data of the image A is held, and the compressed image data of the image A when the time t has elapsed from the start of reproduction is denoted as C_A (t), and the reproduced image of the content is denoted as I_A (t) To do.
また、説明の便宜上、この実施の形態２でも、上記実施の形態１と同様に、再生画像、水平座標基準画像、垂直座標基準画像、表示画像、変更後の水平座標基準画像、変更後の垂直座標基準画像は、それぞれ図３〜図１０となるが、再生画像、表示画像は一定間隔で画像が更新されているものとする。
また、画像Ａが再生される限り、ボタンａ１、ａ２及びそのイベント発生領域は画像が変化しても変更されないものとする。
また、画像Ｂは、静止画像でも動画像でもよく、イベント発生領域とイベント情報を含んでいても、含んでいなくてもよい。
Also, for convenience of explanation, in the second embodiment, similarly to the first embodiment, a reproduced image, a horizontal coordinate reference image, a vertical coordinate reference image, a display image, a changed horizontal coordinate reference image, and a changed vertical coordinate. The coordinate reference images are shown in FIGS. 3 to 10, respectively, and it is assumed that the reproduced image and the display image are updated at regular intervals.
Further, as long as the image A is reproduced, the buttons a1 and a2 and the event occurrence area thereof are not changed even if the image changes.
Further, the image B may be a still image or a moving image, and may or may not include an event occurrence area and event information.
ステップＳＴ１，ＳＴ２の処理内容は、上記実施の形態１と同様であるため説明を省略する。 Since the processing contents of steps ST1 and ST2 are the same as those in the first embodiment, description thereof is omitted.
再生制御部３は、コンテンツ識別情報及びエフェクト識別情報を抽出すると、データ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すイベント付コンテンツのコンテンツ情報を取得する（ステップＳＴ３）。
再生制御部３は、画像Ａが動画像であるため、表示処理部６から画面更新タイミングの発生通知を受けると、再生を開始してから時刻ｔを経過したときの圧縮画像データＣ＿Ａ（ｔ）を再生画像生成部４に出力し、コンテンツの解像度情報を座標基準画像生成部８に出力する。
また、再生制御部３は、データ記憶部１により記憶されている画像変形情報の中から、そのエフェクト識別情報が付加されているエフェクトＥの画像変形情報を取得して、その画像変形情報を再生画像変形部５及び座標基準画像変形部９に出力する（ステップＳＴ１９）。
When extracting the content identification information and the effect identification information, the
Since the image A is a moving image, the
Further, the
ステップＳＴ４〜ＳＴ５の処理内容は、圧縮画像データをＣ＿Ａ（ｔ）とし、コンテンツの再生画像ＡをＩ＿Ａ（ｔ）とする以外は、上記実施の形態１と同様であるため説明を省略する。 Since the processing contents of steps ST4 to ST5 are the same as those of the first embodiment except that the compressed image data is C_A (t) and the reproduced image A of the content is I_A (t), the description is omitted.
表示処理部６は、再生画像変形部５が再生画像Ａを変形させる処理を実施すると、変形後の再生画像Ａを内部のフレームバッファに格納する。
また、表示処理部６は、表示装置７の画面を更新するタイミングに合わせてフレームバッファの内容を表示装置７に出力する。
表示処理部６は、全コンテンツを合成すると、画面更新タイミングに合わせて、その再生画像Ａを表示装置７に描画するとともに、その画面更新タイミングを再生制御部３に通知する（ステップＳＴ６）。
ステップＳＴ７〜ＳＴ１５の処理内容は、上記実施の形態１と同様であるため説明を省略する。
When the reproduced
Further, the
When all the contents are combined, the
Since the processing contents of steps ST7 to ST15 are the same as those of the first embodiment, description thereof is omitted.
画像制御部３は、次のフレームで表示画像の更新が発生するか否かをチェックする（ステップＳＴ１６）。
例えば、イベント処理が“再生終了”や“コンテンツの再生停止”の場合、次のフレームで表示画像の更新は発生しないため、ステップＳＴ１７の処理に移行する。
一方、イベント処理が“画像Ａから画像Ｂへの変更”の場合や、特にイベント処理が発生せずにコンテンツの再生終了時刻に至っていない場合、次のフレームで表示画像の更新が発生するため、ステップＳＴ１８の処理に移行する。
ここで、「次のフレーム」は、次に表示処理部６から画面更新タイミングの発生通知を受けた後に、表示処理部６が表示装置７に表示する表示画像に相当する。
The
For example, if the event process is “reproduction end” or “content reproduction stop”, the display image is not updated in the next frame, so the process proceeds to step ST17.
On the other hand, if the event processing is “change from image A to image B”, or if the event processing has not occurred and the content playback end time has not been reached, the display image will be updated in the next frame. The process proceeds to step ST18.
Here, the “next frame” corresponds to a display image displayed on the
画像制御部３は、次のフレームで表示画像の更新が発生しない場合、再生終了か否かをチェックする（ステップＳＴ１７）。
例えば、イベント処理が“再生終了”を実施している場合、あるいは、コンテンツの再生時間が設定されていて再生終了時刻に至っている場合、一連の処理を終了する。
一方、再生終了しない場合、ステップＳＴ１０の処理に戻り、ステップＳＴ１０〜ＳＴ１６までの処理を繰り返し実施する。
When the display image is not updated in the next frame, the
For example, when the event process is “reproduction end”, or when the content reproduction time has been set and the reproduction end time has been reached, the series of processes ends.
On the other hand, when the reproduction is not finished, the process returns to step ST10 and the processes from step ST10 to ST16 are repeated.
画像制御部３は、次のフレームで表示画像の更新が発生する場合、次のフレームでコンテンツあるいはコンテンツに付加されたエフェクトが変更されるか否かをチェックする（ステップＳＴ１８）。
例えば、ステップＳＴ１５のイベント処理で画像Ａを画像Ｂに変更する場合、ステップＳＴ３の処理に戻り、前回のステップＳＴ３の処理を完了してから時間ｔＡを経過後、画像Ｂの圧縮データを再生画像生成部４に出力し、解像度情報を座標基準画像生成部８に出力する処理を実施し、再生画像Ｉ＿Ａ（ｔ）を再生画像Ｂに変更して、ＳＴ１９・ＳＴ４〜ＳＴ１６の処理を繰り返し実施する。
また、ボタンａ１の表示領域もボタンａ２の表示領域も押下されておらず、画像Ａを再生し続ける場合、ステップＳＴ１９の処理に戻り、表示処理部６から画面更新タイミングの発生通知を受けると、再生制御部３はコンテンツ情報から、再生を開始してからの新たな時刻ｔ’を経過した時の画像Ａの圧縮画像データＣ＿Ａ（ｔ’）を再生画像生成部４に出力し、以降、再生画像Ｉ＿Ａ（ｔ）を再生画像Ｉ＿Ａ（ｔ’）に変更して、ステップＳＴ４〜ＳＴ１５の処理を繰り返し実施する。
When the display image is updated in the next frame, the
For example, when the image A is changed to the image B in the event process of step ST15, the process returns to the process of step ST3, and after the time tA has elapsed since the completion of the process of the previous step ST3, the compressed data of the image B is reproduced. A process of outputting to the
Further, when neither the display area of the button a1 nor the display area of the button a2 is pressed and the image A is continuously reproduced, the process returns to the process of step ST19 and receives the notification of the occurrence of the screen update timing from the
以上で明らかなように、この実施の形態２によれば、再生画像生成部４により生成された再生画像の解像度と同一の解像度を有する画像であって、再生画像の水平方向座標から一対一に求められる値を画素値とする水平座標基準画像を生成するとともに、再生画像の垂直方向座標から一対一に求められる値を画素値とする垂直座標基準画像を生成する座標基準画像生成部８と、コンテンツに付加するエフェクトを表す画像変形情報を用いて、座標基準画像生成部８により生成された水平座標基準画像及び垂直座標基準画像を変形させる座標基準画像変形部９と、表示装置７により表示されている再生画像Ａ上の座標を入力する座標入力部１０と、座標基準画像変形部９により変形された水平座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を水平座標として取得するとともに、座標基準画像変形部９により変形された垂直座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を垂直座標として取得する座標変換部１１とを設け、再生制御部３が、座標変換部１１により取得された水平座標及び垂直座標を含むイベント発生領域に該当するイベント処理を実施するように構成したので、画像変形の逆変換式を用いることなく、変形後の再生画像上で指定された点の座標を、変形前の再生画像上の座標に変換することができるようになり、その結果、指定された点の座標に応じた処理を実施することができる効果を奏する。また、再生する画像は静止画像だけでなく動画像にも対応することができる効果を奏する。
As is apparent from the above, according to the second embodiment, the image has the same resolution as that of the reproduction image generated by the reproduction
この実施の形態２では、再生制御部３が表示処理部６から画面更新タイミングの発生通知を受ける度に、座標基準画像生成部８に対して解像度情報を出力し、座標基準画像生成部８では、再生制御部３が表示処理部６から画面更新タイミングの発生通知を受ける度に、水平座標基準画像と垂直座標基準画像を生成し、座標基準画像変形部９では、その水平座標基準画像と垂直座標基準画像を変形するものについて示したが、座標基準画像生成部８は再生制御部３から既に取得済みの解像度情報と同じ解像度情報を受けた場合は、新たに水平座標基準画像と垂直座標基準画像を生成せず、前回生成した水平座標基準画像と垂直座標基準画像を座標基準画像変形部９に出力するようにしてもよい。あるいは、コンテンツの幅のみ変更された場合は水平座標基準画像のみ、コンテンツの高さのみ変更された場合は垂直座標基準画像のみ生成するようにしてもよい。
In the second embodiment, every time the
また、座標基準画像生成部８は座標入力部１０から変形後の再生画像Ａ上の座標（ｘ，ｙ）が入力されたときに限り（座標基準画像生成部８が座標入力部１０から座標（ｘ，ｙ）が入力された旨の通知を受ける）、水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）を生成するようにしてもよい。
また、座標基準画像変形部９は座標入力部１０から変形後の再生画像Ａ上の座標（ｘ，ｙ）が入力されたときに限り（座標基準画像変形部９が座標入力部１０から座標（ｘ，ｙ）が入力された旨の通知を受ける）、水平座標基準画像Ｉ＿ｈ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖ（ｘ，ｙ）を変形させるようにしてもよい。
In addition, the coordinate reference
Further, the coordinate reference
上記の例では、再生画像生成部４が、座標（ｘ’，ｙ’）がイベント発生領域ａ２内に含まれる場合、図３（ｂ）に示すような画像Ｂを生成するものについて示したが、画像Ｂは静止画像でも動画像でもよい。また、画像Ａのように、ボタンａ１、ボタンａ２、あるいは、別のイベント発生領域を含んでいてもよい。
In the above example, the reproduction
この実施の形態２では、画像変形情報、イベント発生領域及びイベント発生領域を押下した場合のイベント情報が固定であったが、これらも固定ではなく、再生制御部３が、表示処理部６から画面更新タイミングの発生通知を受ける度に更新されるようにしてもよい。
In the second embodiment, the image deformation information, the event occurrence area, and the event information when the event occurrence area is pressed are fixed. However, these are not fixed, and the
上記の例では、ステップＳＴ１９において、再生制御部３が、画像Ａが動画像であるため、表示処理部６から画面更新タイミングの発生通知を受けると、再生を開始してから時刻ｔを経過したときの圧縮画像データＣ＿Ａ（ｔ）、解像度及び画像変形情報を再生画像生成部４、座標基準画像生成部８、再生画像変形部５及び座標基準画像変形部９に出力するものを示したが、再生制御部３が、表示処理部６から画面更新タイミングの発生通知を受けずに、画像Ａのコンテンツ情報に含まれる画面更新間隔を示す情報（例えば、フレームレートなど）に基づき、時間間隔Δｔ毎に、再生を開始してから時刻ｔを経過したときの圧縮画像データＣ＿Ａ（ｔ）、解像度及び画像変形情報を再生画像生成部４、座標基準画像生成部８、再生画像変形部５及び座標基準画像変形部９に出力するようにしてもよい。
In the above example, when the
上記の例では、ステップＳＴ１７において、画像制御部３が、次のフレームで表示画像の更新が発生しない場合、再生終了か否かをチェックし、コンテンツの再生時間が設定されていて再生終了時刻に至っている場合、一連の処理を終了するようにしているが、コンテンツの再生時間が設定されていて再生終了時刻に至っている場合、一連の処理を終了するのではなく、表示画像の更新を停止するようにしてもよい。
In the above example, in step ST17, when the display image is not updated in the next frame, the
上記の例では、再生制御部３において、最初にコンテンツ情報を読み込む際に、全てのコンテンツ情報を取得しておき、同一のコンテンツ情報に含まれる圧縮画像データを新たにデータ記憶部１から取得せずに、再生画像生成部４に出力するようにしているが、新たな再生画像を生成する度に、必要な圧縮画像データのみデータ記憶部１から取得し、再生画像生成部４に出力するようにしてもよい。
In the above example, when the
実施の形態３．
この実施の形態３は、複数のコンテンツを同時に再生する場合について説明する。
図１３はこの発明の実施の形態３によるコンテンツ表示装置を示す構成図である。
図１４はこの実施の形態３におけるコンテンツ表示装置のコンテンツ変形再生部１２−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
In the third embodiment, a case where a plurality of contents are reproduced simultaneously will be described.
FIG. 13 is a block diagram showing a content display apparatus according to
FIG. 14 is a configuration diagram showing the content transformation / playback unit 12-n (n = 1, 2,..., N) of the content display device according to the third embodiment.
再生情報入力部２は、1つ以上の再生対象のイベント付コンテンツを選択する処理を実施する。具体的には、選択したコンテンツを識別するコンテンツ識別情報（例えば、コンテンツ名や、コンテンツの識別番号などを示す情報）、各コンテンツに付加するエフェクトを識別するエフェクト識別情報、各コンテンツのレイアウト情報（コンテンツを表示する位置や、他のコンテンツとの前後関係を示す情報）などを含む再生情報を入力する処理を実施する。
なお、再生情報入力部２は、インターネットやＬＡＮなどのネットワークから再生情報を入力する場合、例えば、ＬＡＮカードなどのネットワークＩ／Ｆ機器から構成され、ユーザの操作を受け付けて再生情報を入力する場合、キーボードやマウスなどのマンマシンインタフェースから構成される。
The reproduction
Note that the reproduction
再生制御部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、再生情報入力部２により入力された再生情報に含まれている全コンテンツ識別情報、全エフェクト識別情報及びレイアウト情報を抽出する処理を実施する。
また、再生制御部３はデータ記憶部１により記憶されているコンテンツ情報の中から、各コンテンツ識別情報が示すコンテンツ情報を取得し、どのコンテンツ情報をコンテンツ再生変形部１２−１〜１２−Ｎのどれに処理させるかを決定する。
また、再生制御部３は表示処理部６から画面更新タイミングの発生通知を受けると、各コンテンツ情報から圧縮画像データと解像度情報を、当該コンテンツ情報を処理するコンテンツ再生変形部１２−ｎに出力し、データ記憶部１により記憶されている画像変形情報の中から、各エフェクト識別情報が示す画像変形情報を取得して、その画像変形情報を、その画像変形情報が付加されるコンテンツ情報を処理するコンテンツ再生変形部１２−ｎに出力する処理を実施する。また、そのレイアウト情報を表示処理部６及び座標画像合成部１３に出力する処理を実施する。
The
Further, the
Also, upon receiving notification of the occurrence of screen update timing from the
さらに、再生制御部３は全コンテンツの水平座標基準画像の画素値が重複しないような各コンテンツの水平座標基準画像のオフセットを全コンテンツの解像度から計算し、各コンテンツ情報を処理するコンテンツ生成変形部１２−１〜１２−Ｎに出力する処理を実施する。
また、再生制御部３は全コンテンツの垂直座標基準画像の画素値が重複しないような各コンテンツの垂直座標基準画像のオフセットを全コンテンツの解像度から計算し、各コンテンツ情報を処理するコンテンツ生成変形部１２−１〜１２−Ｎに出力する処理を実施する。
なお、再生制御部３は再生制御手段を構成している。
Further, the
In addition, the
The
コンテンツ再生変形部１２−ｎ（ｎ＝１，２，・・・Ｎ）は、再生画像生成部４−ｎ、再生画像変形部５−ｎ、座標基準画像生成部８−ｎ及び座標基準画像変形部９−ｎから構成されており、再生制御部３から１つのコンテンツに含まれる圧縮画像データ、コンテンツの解像度情報、コンテンツ付加された画像変形情報を取得して、そのコンテンツの変形後の再生画像を生成し、変形後の再生画像を表示処理部６に出力するとともに、変形後の水平座標基準画像及び変形後の垂直座標基準画像を生成し、変形後の水平座標基準画像及び変形後の垂直座標基準画像を座標画像合成部１３に出力する処理を実施する。
The content reproduction deformation unit 12-n (n = 1, 2,... N) includes a reproduction image generation unit 4-n, a reproduction image deformation unit 5-n, a coordinate reference image generation unit 8-n, and a coordinate reference image deformation. Unit 9-n, which obtains compressed image data, content resolution information, and content-added image deformation information included in one content from the
再生画像生成部４−ｎ（ｎ＝１，２，・・・Ｎ）は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力された圧縮画像データからコンテンツの再生画像を生成する処理を実施する。
なお、再生画像生成部４−ｎは再生画像生成手段を構成している。
再生画像変形部５−ｎ（ｎ＝１，２，・・・Ｎ）は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力された画像変形情報を用いて、再生画像生成部４−ｎにより生成された再生画像を変形させる処理を実施する。なお、再生画像変形部５−ｎは再生画像変形手段を構成している。
The reproduction image generation unit 4-n (n = 1, 2,... N) is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, a GPU, or the like. Processing for generating a reproduction image of the content from the output compressed image data is performed.
Note that the reproduction image generation unit 4-n constitutes reproduction image generation means.
The reproduction image deforming unit 5-n (n = 1, 2,... N) is composed of, for example, a semiconductor integrated circuit mounting a CPU, a one-chip microcomputer, a GPU, or the like. Using the output image deformation information, a process of deforming the reproduction image generated by the reproduction image generation unit 4-n is performed. Note that the reproduced image deforming unit 5-n constitutes a reproduced image deforming unit.
座標基準画像生成部８−ｎ（ｎ＝１，２，・・・Ｎ）は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、再生制御部３から水平座標基準画像のオフセットと垂直基準画像のオフセットを取得し、再生制御部３から出力されたコンテンツの解像度情報が示す解像度（再生画像生成部４−ｎにより生成された再生画像の解像度と同一の解像度）を有する水平座標基準画像と垂直座標基準画像を生成する処理を実施する。
例えば、解像度がＷＳ画素×ＨＳ画素のコンテンツＳと解像度がＷＵ画素×ＨＵ画素のコンテンツＵを同時に表示する場合、画像制御部３では、コンテンツＳの水平座標基準画像のオフセットをＳＸＳ、コンテンツＳの垂直座標基準画像のオフセットをＳＹＳ、コンテンツＵの水平座標基準画像のオフセットをＳＸＵ、コンテンツＳの垂直座標基準画像のオフセットをＳＹＵとする。
The coordinate reference image generation unit 8-n (n = 1, 2,... N) is constituted by, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer. The offset of the coordinate reference image and the offset of the vertical reference image are obtained, and the resolution indicated by the resolution information of the content output from the reproduction control unit 3 (the same resolution as the reproduction image generated by the reproduction image generation unit 4-n) ) To generate a horizontal coordinate reference image and a vertical coordinate reference image.
For example, when the content S having a resolution of W S pixel × H S pixel and the content U having a resolution of W U pixel × H U pixel are simultaneously displayed, the
コンテンツＳを再生するコンテンツ再生変形部１２−Ｓを構成する座標基準画像生成部８−Ｓは再生画像Ｓの水平方向座標とオフセットＳＸＳの組み合せから一対一に求められる値であるコンテンツＳの水平座標基準画像、再生画像Ｓの垂直方向座標とオフセットＳＹＵの組み合せから一対一に求められる値であるコンテンツＳの垂直座標基準画像を生成する処理を実施する。
また、コンテンツＵを再生するコンテンツ再生変形部１２−Ｕを構成する座標基準画像生成部８−Ｕは再生画像Ｕの水平方向座標とオフセットＳＸＵの組み合せから一対一に求められる値であるコンテンツＵの水平座標基準画像、再生画像Ｕの垂直方向座標とオフセットＳＹＵの組み合せから一対一に求められる値であるコンテンツＵの垂直座標基準画像を生成する処理を実施する。
なお、座標基準画像生成部８−ｎは座標基準画像生成手段を構成している。
The coordinate reference image generating unit 8-S that constitutes the content reproduction deforming unit 12-S that reproduces the content S has a horizontal value of the content S that is a value that is obtained one-to-one from the combination of the horizontal coordinate of the reproduced image S and the offset SXS. A process of generating a vertical coordinate reference image of the content S, which is a value obtained on a one-to-one basis from the combination of the coordinate reference image and the vertical coordinate of the reproduced image S and the offset SYU , is performed.
Further, the coordinate reference image generation unit 8-U that constitutes the content reproduction deformation unit 12-U that reproduces the content U has a content U that is a value that is obtained on a one-to-one basis from the combination of the horizontal coordinate of the reproduction image U and the offset S XU. A process of generating a vertical coordinate reference image of the content U, which is a value obtained one-to-one from the combination of the horizontal coordinate reference image of the reproduced image U, the vertical coordinate of the reproduced image U, and the offset SYU .
Note that the coordinate reference image generation unit 8-n constitutes a coordinate reference image generation unit.
座標基準画像変形部９−ｎ（ｎ＝１，２，・・・Ｎ）は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力された画像変形情報を用いて、座標基準画像生成部８−ｎにより生成された水平座標基準画像及び垂直座標基準画像を変形させる処理を実施する。
なお、座標基準画像変形部９−ｎは座標基準画像変形手段を構成している。
The coordinate reference image deforming unit 9-n (n = 1, 2,... N) is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, a GPU, or the like. Using the image deformation information output from, a process for deforming the horizontal coordinate reference image and the vertical coordinate reference image generated by the coordinate reference image generation unit 8-n is performed.
The coordinate reference image deformation unit 9-n constitutes a coordinate reference image deformation means.
表示処理部６は画像処理を実施するＧＰＵなどから構成されており、再生制御部３から出力されたレイアウト情報に基づいて、再生中の全てのコンテンツの再生画像の表示位置を特定し、コンテンツ再生変形部１２−１〜１２−Ｎにより生成された全ての変形後の再生画像を合成して表示画像を生成し、その表示画像を格納する１つ以上のフレームバッファを備えている。
また、表示処理部６は画面更新タイミングに合わせてフレームバッファの内容を表示装置７に出力する。
表示処理部６は表示装置７の画面を更新するタイミングに合わせてフレームバッファの内容を表示装置７に出力する処理を実施する。
表示装置７は表示処理部６の描画処理によって、再生画像を表示するディスプレイである。
The
The
The
The
座標画像合成部１３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン、ＧＰＵなどから構成されており、再生制御部３から出力されたレイアウト情報に基づいて再生中の全てのコンテンツの水平座標基準画像の表示位置を特定し、コンテンツ生成変形部１２−１〜１２−Ｎにより生成された全ての変形後の水平座標基準画像を合成して水平座標画像を生成する処理を実施する。
また、座標画像合成部１３は再生制御部３から出力されたレイアウト情報に基づいて再生中の全てのコンテンツの垂直座標基準画像の表示位置を特定し、コンテンツ生成変形部１２−１〜１２−Ｎにより生成された全ての変形後の垂直座標基準画像を合成して垂直座標画像を生成する処理を実施する。
なお、座標画像合成部１３は座標画像合成手段を構成している。
The coordinate
Further, the coordinate
The coordinate
座標入力部１０は例えばキーボードやマウスやタッチパネルなどのマンマシンインタフェースから構成されており、表示装置７により表示されている変形後の再生画像上の座標（ユーザにより指定された座標）を入力する処理を実施する。なお、座標入力部１０は座標入力手段を構成している。
座標変換部１１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、座標画像合成部１３により合成された水平座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を水平座標として取得するとともに、座標画像合成部１３により合成された垂直座標基準画像から座標入力部１０により入力された座標に位置している画素の画素値を垂直座標として取得し、その水平座標と垂直座標を再生制御部３に出力する処理を実施する。なお、座標変換部１１は座標取得手段を構成している。
The coordinate
The coordinate
再生制御部３は座標変換部１１から水平座標と垂直座標を受けると、各コンテンツの水平座標基準画像のオフセットと垂直座標基準画像のオフセットと解像度から、入力された座標が選択しているコンテンツを確定し、水平座標と水平座標基準画像のオフセット、垂直座標と垂直座標基準画像のオフセットの差分を計算する。
また、再生制御部３は、データ記憶部１から取得したコンテンツ情報に含まれるイベント発生領域とイベント情報を抽出し、その計算後の水平座標及び計算後の垂直座標を含むイベント発生領域を照合することで、照合したイベント発生領域に関連付けられたイベント情報に基づいてイベント処理を実施する。
なお、イベント処理がコンテンツの表示内容に関わる処理として、例えば、コンテンツ内の素材、コンテンツ自体、エフェクト、レイアウト、イベントの変更などの場合、その内容に応じてデータ記憶部１から必要なデータを取得し、再生画像生成部４、再生画像変形部５、表示処理部６、座標基準画像生成部８、座標基準画像変形部９、座標画像合成部１３に渡す情報を変更するようにしてもよい。また、イベント処理がデータ記憶部１に格納された別のプログラムを実行する内容の場合は、プログラムを取得して実施するようにしてもよい。
When the
Further, the
For example, when the event processing is related to the display content of the content, for example, in the case of a change in material, content itself, effect, layout, or event in the content, necessary data is acquired from the
２００は、再生情報である。
２０１は、再生情報に含まれているコンテンツ識別情報が示すコンテンツ情報及び再生情報に含まれているエフェクト識別情報が示す画像変形情報である。
２０２は、コンテンツ情報に含まれている圧縮画像データである。
２０３は、コンテンツの再生画像である。
２０４は、コンテンツに付加されている画像変形情報である。
２０５は、変形後の再生画像である。
２０６は、表示装置７により表示される表示画像である。
２０７は、コンテンツの解像度情報である。
２０８は、水平座標基準画像と垂直座標基準画像である。
２０９は、変形後の水平座標基準画像と変形後の垂直座標基準画像である。
２１０は、表示装置７により表示されている変形後の再生画像上の座標である。
２１１は、変形前の再生画像上の座標である。
２１２は、表示画面の更新タイミングの発生通知である。
２１３は、２０２、２０３、２０４を含む情報である。
２１４は、全コンテンツのレイアウト情報である。
図１３、図１４の例では、コンテンツ表示装置の構成要素であるデータ記憶部１、再生情報入力部２、再生制御部３、再生画像生成部４−１〜４−Ｎ、再生画像変形部５−１〜５−Ｎ、表示処理部６、表示装置７、座標基準画像生成部８−１〜８−Ｎ、座標基準画像変形部９−１〜９−Ｎ、座標入力部１０、座標変換部１１及び座標画像合成部１３のそれぞれが専用のハードウェアで構成されているものを想定しているが、コンテンツ表示装置がコンピュータで構成される場合、再生情報入力部２、再生制御部３、再生画像生成部４−１〜４−Ｎ、再生画像変形部５−１〜５−Ｎ、表示処理部６、座標基準画像生成部８−１〜８−Ｎ、座標基準画像変形部９−１〜９−Ｎ、座標入力部１０、座標変換部１１及び座標画像合成部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。さらに、コンピュータがＧＰＵを備える場合、再生画像生成部４−１〜４−Ｎ、再生画像変形部５−１〜５−Ｎ、表示処理部６、座標基準画像生成部８−１〜８−Ｎ、座標基準画像変形部９−１〜９−Ｎ及び座標画像合成部１３のいずれか、あるいは、全てに該当する前記メモリに格納されているプログラムをＧＰＵが実行するようにしてもよい。
また、コンピュータが複数のＣＰＵあるいはＧＰＵを備え、コンテンツ再生変形部１２−１〜１２−Ｎに該当する前記メモリに格納されているプログラムを各々１つずつのＣＰＵあるいはＧＰＵが実行するようにしてもよい。
In the example of FIGS. 13 and 14, the
In addition, the computer may include a plurality of CPUs or GPUs, and each CPU or GPU may execute a program stored in the memory corresponding to the content reproduction / deformation units 12-1 to 12-N. Good.
図１５はこの発明の実施の形態３によるコンテンツ表示装置の処理内容を示すフローチャートである。
図３と図１６のコンテンツを例に取り、図１５に沿って１つの動画像のコンテンツと１つの静止画像のコンテンツを再生する動作を説明する。
FIG. 15 is a flowchart showing the processing contents of the content display apparatus according to
Taking the contents of FIG. 3 and FIG. 16 as an example, the operation of reproducing the contents of one moving image and the contents of one still image will be described along FIG.
図１６はコンテンツＵの再生画像の例を示す説明図である。
図１６では、３００画素×３００画素サイズのコンテンツＵと、同サイズの画像Ｃ上に１００画素×５０画素サイズの画像Ｄを配置した再生画像の例を示している。また、画像Ｄの表示領域をイベント発生領域とし、画像Ｄの表示領域を押下した場合、コンテンツＵのみを再生終了するイベント処理を実施するものとする。
また、コンテンツＳは、上記実施の形態２で用いた画像Ａのコンテンツであるものとする。
FIG. 16 is an explanatory diagram illustrating an example of a reproduction image of the content U.
FIG. 16 shows an example of a reproduced image in which a content U having a size of 300 pixels × 300 pixels and an image D having a size of 100 pixels × 50 pixels are arranged on an image C having the same size. In addition, when the display area of the image D is set as an event generation area and the display area of the image D is pressed, event processing for ending reproduction of only the content U is performed.
The content S is assumed to be the content of the image A used in the second embodiment.
再生情報入力部２は、例えば、ユーザの指示の下、再生対象のコンテンツを識別する１つ以上のコンテンツ識別情報、各コンテンツに付加するエフェクトを識別するエフェクト識別情報、各コンテンツのレイアウト情報などを含む再生情報を入力すると、その再生情報を再生制御部３に出力する（図１５のステップＳＴ１）。
The reproduction
再生制御部３は、再生情報入力部２から再生情報を受けると、その再生情報に含まれているコンテンツ識別情報、エフェクト識別情報及びレイアウト情報を抽出する（ステップＳＴ２）。
再生制御部３は、コンテンツ識別情報、エフェクト識別情報及びレイアウト情報を抽出すると、データ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すイベント付コンテンツＳとイベント付コンテンツＵのコンテンツ情報を取得して（ステップＳＴ３）、コンテンツＳをコンテンツ再生変形部１２−Ｓに処理させることに決定し、コンテンツＵをコンテンツ再生変形部１２−Ｕに処理させることに決定する。
Upon receiving the reproduction information from the reproduction
When the
再生制御部３は、各コンテンツ情報を処理させるコンテンツ再生変形部を決定すると、データ記憶部１により記憶されているコンテンツ情報の中から、そのコンテンツ識別情報が示すコンテンツＳとコンテンツＵのコンテンツ情報を取得し、表示処理部６から画面更新タイミングの発生通知を受けると、そのコンテンツ情報から画像Ａの圧縮画像データを再生画像生成部４−Ｓに出力し、画像Ｃ、画像Ｄの圧縮データ及びコンテンツＵ内のレイアウト情報を再生画像生成部４−Ｕに出力する。
また、再生制御部３は、上述のコンテンツ情報からコンテンツＳの解像度情報を座標基準画像生成部８−Ｓに出力し、コンテンツＵの解像度情報を座標基準画像生成部８−Ｕに出力する。
When the
Further, the
また、再生制御部３は、データ記憶部１により記憶されている画像変形情報の中から、そのエフェクト識別情報が付加されているエフェクトの画像変形情報ＥＳとエフェクトの画像変形情報ＥＵを取得して、コンテンツＳに付加された画像変形情報ＥＳを再生画像変形部５−Ｓ及び座標基準画像変形部９−Ｓに出力し、コンテンツＵに付加された画像変形情報ＥＵを再生画像変形部５−Ｕ及び座標基準画像変形部９−Ｕに出力する。
また、再生制御部３は、コンテンツＳとコンテンツＵのレイアウト情報を表示処理部６及び座標画像合成部１３に出力する（ステップＳＴ１９）。
さらに、再生制御部３は、コンテンツＳが５００画素×５００画素、コンテンツＵが３００画素×３００画素であることから、コンテンツＳの水平座標基準画像のオフセットを０、コンテンツＳの垂直座標基準画像のオフセットを０、コンテンツＵの水平座標基準画像のオフセットを５００、コンテンツＵの垂直座標基準画像のオフセットを１００とし、コンテンツＳの水平座標基準画像のオフセットと垂直座標基準画像のオフセットを座標基準画像生成部８−Ｓに渡し、コンテンツＵの水平座標基準画像のオフセットと垂直座標基準画像のオフセットを座標基準画像生成部８−Ｕに渡す処理を実施する（ステップＳＴ２０）。
Further, the
Further, the
Furthermore, since the content S is 500 pixels × 500 pixels and the content U is 300 pixels × 300 pixels, the
再生画像生成部４−Ｓは、再生制御部３から出力された画像Ａの圧縮画像データからコンテンツＳの再生画像Ｓを生成する。ただし、再生画像Ｓは、図５と同様であるとする。
再生画像生成部４−Ｕは、再生制御部３から出力された画像Ｃ、画像Ｄの圧縮画像データからコンテンツＵの再生画像Ｕを生成する（ステップＳＴ４）。
The reproduction image generation unit 4-S generates the reproduction image S of the content S from the compressed image data of the image A output from the
The reproduction image generation unit 4-U generates a reproduction image U of the content U from the compressed image data of the images C and D output from the reproduction control unit 3 (step ST4).
ここで、図１９は再生画像生成部４−Ｕにより生成された再生画像Ｕにおける各画素の画素値を示すマッピング図である。
図１９では、記述を簡略化して、１５マス×１５マスしか示していないが、再生画像Ｕが、例えば、３００画素×３００画素サイズのコンテンツの画像である場合、３００画素×３００画素の画素値を有している。
図１９において、画素値「１」はほぼ黒色（黒色の場合、画素値「０」）を示しており、画像Ｄが存在している領域である。
また、画素値「１２８」は灰色を示しており、画像Ｄが重なっていない画像Ｃの領域である。
Here, FIG. 19 is a mapping diagram showing the pixel value of each pixel in the reproduction image U generated by the reproduction image generation unit 4-U.
In FIG. 19, the description is simplified to show only 15 squares × 15 squares. However, when the reproduced image U is a content image having a size of, for example, 300 pixels × 300 pixels, a pixel value of 300 pixels × 300 pixels is illustrated. have.
In FIG. 19, the pixel value “1” is substantially black (in the case of black, the pixel value “0”), and is an area where the image D exists.
Further, the pixel value “128” indicates gray and is an area of the image C where the image D does not overlap.
再生画像変形部５−Ｓは、再生画像生成部４−Ｓがコンテンツの再生画像Ｓを生成すると、再生制御部３から出力されたエフェクトＥＳの画像変形情報に含まれている変換式を用いて、再生画像生成部４−Ｓにより生成された再生画像Ｓを変形させる処理を実施し、再生画像変形部５−Ｕは、再生画像生成部４−Ｕがコンテンツの再生画像Ｕを生成すると、再生制御部３から出力されたエフェクトＥＵの画像変形情報に含まれている変換式を用いて、再生画像生成部４−Ｕにより生成された再生画像Ｕを変形させる処理を実施する（ステップＳＴ５）。
ここで、再生画像変形部５−Ｓ、再生画像変形部５−Ｕが画像変形情報に含まれている変換式を用いて、再生画像Ｓ、再生画像Ｕを変形させる処理自体は公知の技術であるため詳細な説明を省略する。
また、変換式も公知の式でよく、再生画像を変形させるものであれば、いかなる変換式を用いてもよい。
When the reproduction image generation unit 4-S generates the reproduction image S of the content, the reproduction image modification unit 5-S uses the conversion formula included in the image deformation information of the effect ES output from the
Here, the reproduction image deforming unit 5-S and the reproduction image deforming unit 5-U transform the reproduction image S and the reproduction image U using a conversion formula included in the image deformation information by a known technique. Therefore, detailed description is omitted.
Also, the conversion formula may be a known formula, and any conversion formula may be used as long as it can deform the reproduced image.
ここで、図１７は再生画像変形部５−Ｕにより変形された再生画像Ｕの例を示す説明図である。
ただし、図１７は画像変形部５−ＵによってコンテンツＵが画像変形情報ＥＵで変形処理が行われる場合の変形後の再生画像Ｕを示している。
図１７では、表示装置７の画面サイズが１０００画素×１０００画素サイズであり、再生画像変形部５−Ｕにて再生画像Ｕが変形されて、１０００画素×１０００画素のサイズの中心に再生画像Ｕの左下が配置される例を示している。
また、この実施の形態３では、図１７の画像Ｃ、画像Ｄは、動画像でもよいが、説明の便宜上、静止画像であるものとする。
Here, FIG. 17 is an explanatory diagram showing an example of the reproduced image U deformed by the reproduced image deforming unit 5-U.
However, FIG. 17 shows the reproduced image U after deformation when the content U is deformed by the image deformation unit 5-U with the image deformation information EU.
In FIG. 17, the screen size of the
In the third embodiment, the images C and D in FIG. 17 may be moving images, but are assumed to be still images for convenience of explanation.
表示処理部６は、再生画像変形部５−Ｓが再生画像Ｓを変形させる処理を実施すると、変形後の再生画像Ｓを再生制御部３から出力されたレイアウト情報から再生画像Ｓの表示位置を特定し、フレームバッファに合成する。
表示処理部６は、再生画像変形部５−Ｕが再生画像Ｕを変形させる処理を実施すると、変形後の再生画像Ｕを再生制御部３から出力されたレイアウト情報から再生画像Ｕの表示位置を特定し、再生画像Ｓの上にフレームバッファに合成する。
表示処理部６は、全コンテンツを合成すると、画面更新タイミングに合わせて、その再生画像Ａを表示装置７に描画するとともに、その画面更新タイミングを再生制御部３に通知する（ステップＳＴ６）。
When the reproduction image deforming unit 5-S performs the process of deforming the reproduction image S, the
When the reproduction image deforming unit 5-U performs the process of deforming the reproduction image U, the
When all the contents are combined, the
ここで、図１８は表示処理部６による表示画像の例を示す説明図である。
ただし、図１８は再生制御部３から与えられたレイアウト情報に基づいて、変形後の再生画像Ｓの上に変形後の再生画像Ｕが重ねて配置される場合の表示画像を示している。
Here, FIG. 18 is an explanatory diagram illustrating an example of a display image by the
However, FIG. 18 shows a display image when the deformed reproduction image U is arranged on the reproduction image S after deformation based on the layout information given from the
座標基準画像生成部８−Ｓは、再生制御部３から出力された解像度情報と水平座標基準画像のオフセットと垂直座標基準画像のオフセットから、水平座標基準値の画素範囲が示すコンテンツの解像度（再生画像生成部４−Ｓにより生成された再生画像Ａの解像度と同一の解像度）を有する水平座標基準画像Ｉ＿ｈＳ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＳ（ｘ，ｙ）を生成し、座標基準画像生成部８−Ｕは、再生制御部３から出力された解像度情報と水平座標基準画像のオフセットと垂直座標基準画像のオフセットから、水平座標基準値の画素範囲が示すコンテンツの解像度（再生画像生成部４−Ｕにより生成された再生画像Ａの解像度と同一の解像度）を有する水平座標基準画像Ｉ＿ｈＵ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＵ（ｘ，ｙ）を生成する（ステップＳＴ７）。
The coordinate reference image generating unit 8-S uses the resolution information output from the
即ち、座標基準画像生成部８−Ｓは、コンテンツＳの水平基準画像のオフセットが０であるため、図６に示すように、左側からＭ（例えば、Ｍ＝１，２，３，・・・，５００）番目の列に存在している全ての画素の画素値が“Ｍ”である水平座標基準画像Ｉ＿ｈＳ（ｘ，ｙ）を生成する。
Ｉ＿ｈＳ（ｘ，ｙ）＝ｘ
ただし、ｘ＝１，２，・・・，５００
ｙ＝１，２，・・・，５００
なお、（ｘ，ｙ）は、水平座標基準画像を構成している画素の位置を示しており、（１，１）は水平座標基準画像の左上の画素を示し、（５００，５００）は水平座標基準画像の右下の画素を示している。
That is, since the offset of the horizontal reference image of the content S is 0, the coordinate reference image generation unit 8-S has M (for example, M = 1, 2, 3,...) From the left as shown in FIG. , 500) a horizontal coordinate reference image I_hS (x, y) in which the pixel values of all the pixels existing in the column are “M” is generated.
I_hS (x, y) = x
Where x = 1, 2,..., 500
y = 1, 2,..., 500
Note that (x, y) indicates the position of the pixel constituting the horizontal coordinate reference image, (1, 1) indicates the upper left pixel of the horizontal coordinate reference image, and (500, 500) indicates the horizontal. The lower right pixel of the coordinate reference image is shown.
また、座標基準画像生成部８−Ｓは、コンテンツＳの垂直基準画像のオフセットが０であるため、図７に示すように、上側からＮ（例えば、Ｎ＝１，２，３，・・・，５００）番目の行に存在している全ての画素の画素値が“Ｎ”である垂直座標基準画像Ｉ＿ｈＳ（ｘ，ｙ）を生成する。
Ｉ＿ｈＳ（ｘ，ｙ）＝ｙ
ただし、ｘ＝１，２，・・・，５００
ｙ＝１，２，・・・，５００
なお、（ｘ，ｙ）は、垂直座標基準画像を構成している画素の位置を示しており、（１，１）は垂直座標基準画像の左上の画素を示し、（５００，５００）は垂直座標基準画像の右下の画素を示している。
Further, since the offset of the vertical reference image of the content S is 0, the coordinate reference image generation unit 8-S has N (for example, N = 1, 2, 3,...) From the upper side as shown in FIG. , 500) a vertical coordinate reference image I_hS (x, y) in which the pixel values of all the pixels existing in the row are “N” is generated.
I_hS (x, y) = y
Where x = 1, 2,..., 500
y = 1, 2,..., 500
Note that (x, y) indicates the position of the pixel constituting the vertical coordinate reference image, (1, 1) indicates the upper left pixel of the vertical coordinate reference image, and (500, 500) indicates the vertical. The lower right pixel of the coordinate reference image is shown.
また、座標基準画像生成部８−Ｕは、コンテンツＵの水平基準画像のオフセットが５００であるため、図２０に示すように、左側からＭ（例えば、Ｍ＝１，２，３，・・・，３００）番目の列に存在している全ての画素の画素値が“Ｍ＋５００”である水平座標基準画像Ｉ＿ｈＵ（ｘ，ｙ）を生成する。
Ｉ＿ｈＵ（ｘ，ｙ）＝ｘ＋５００
ただし、ｘ＝１，２，・・・，３００
ｙ＝１，２，・・・，３００
なお、（ｘ，ｙ）は、水平座標基準画像を構成している画素の位置を示しており、（１，１）は水平座標基準画像の左上の画素を示し、（３００，３００）は水平座標基準画像の右下の画素を示している。
図２０では、記述を簡略化して、１５マス×１５マスしか示していないが、水平座標基準画像は、３００画素×３００画素サイズの画像であるため、実際には、３００画素×３００画素の画素値を有している。
Further, since the offset of the horizontal reference image of the content U is 500, the coordinate reference image generation unit 8-U has M (for example, M = 1, 2, 3,...) From the left as shown in FIG. , 300) a horizontal coordinate reference image I_hU (x, y) in which the pixel values of all the pixels existing in the column are “M + 500” is generated.
I_hU (x, y) = x + 500
Where x = 1, 2,..., 300
y = 1, 2,..., 300
Note that (x, y) indicates the position of the pixel constituting the horizontal coordinate reference image, (1, 1) indicates the upper left pixel of the horizontal coordinate reference image, and (300, 300) indicates the horizontal. The lower right pixel of the coordinate reference image is shown.
In FIG. 20, the description is simplified to show only 15 squares × 15 squares, but the horizontal coordinate reference image is an image having a size of 300 pixels × 300 pixels. Has a value.
また、座標基準画像生成部８−Ｕは、コンテンツＵの垂直基準画像のオフセットが１００であるため、図２１に示すように、上側からＮ（例えば、Ｎ＝１，２，３，・・・，３００）番目の行に存在している全ての画素の画素値が“Ｎ＋１００”である垂直座標基準画像Ｉ＿ｈＵ（ｘ，ｙ）を生成する。
Ｉ＿ｈＵ（ｘ，ｙ）＝ｙ＋１００
ただし、ｘ＝１，２，・・・，３００
ｙ＝１，２，・・・，３００
なお、（ｘ，ｙ）は、垂直座標基準画像を構成している画素の位置を示しており、（１，１）は垂直座標基準画像の左上の画素を示し、（３００，３００）は垂直座標基準画像の右下の画素を示している。
図２１では、記述を簡略化して、１５マス×１５マスしか示していないが、垂直座標基準画像は、３００画素×３００画素サイズの画像であるため、実際には、３００画素×３００画素の画素値を有している。
Further, since the offset of the vertical reference image of the content U is 100, the coordinate reference image generation unit 8-U has N (for example, N = 1, 2, 3,...) From the upper side as shown in FIG. , 300) generates a vertical coordinate reference image I_hU (x, y) in which the pixel values of all the pixels existing in the row are “N + 100”.
I_hU (x, y) = y + 100
Where x = 1, 2,..., 300
y = 1, 2,..., 300
Note that (x, y) indicates the position of the pixel constituting the vertical coordinate reference image, (1, 1) indicates the upper left pixel of the vertical coordinate reference image, and (300, 300) indicates the vertical. The lower right pixel of the coordinate reference image is shown.
In FIG. 21, the description is simplified and only 15 squares × 15 squares are shown. However, since the vertical coordinate reference image is an image having a size of 300 pixels × 300 pixels, actually, the pixels of 300 pixels × 300 pixels are used. Has a value.
座標基準画像変形部９−Ｓは、座標基準画像生成部８−Ｓが水平座標基準画像Ｉ＿ｈＳ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＳ（ｘ，ｙ）を生成すると、再生画像変形部５と同様に、再生制御部３から出力された画像変形情報ＥＳを用いて、水平座標基準画像Ｉ＿ｈＳ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＳ（ｘ，ｙ）を変形させる処理を実施する。
また、座標基準画像変形部９−Ｕは、座標基準画像生成部８−Ｕが水平座標基準画像Ｉ＿ｈＵ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＵ（ｘ，ｙ）を生成すると、再生画像変形部５と同様に、再生制御部３から出力された画像変形情報ＥＵを用いて、水平座標基準画像Ｉ＿ｈＵ（ｘ，ｙ）及び垂直座標基準画像Ｉ＿ｖＵ（ｘ，ｙ）を変形させる処理を実施する（ステップＳＴ９）。
ここで、図２０は座標画像合成部１３により変形された水平座標画像Ｈ（ｘ，ｙ）における各画素の画素値を示すマッピング図である。
また、図２１は座標画像合成部１３により変形された垂直座標画像Ｖ（ｘ，ｙ）における各画素の画素値を示すマッピング図である。
ただし、図２０及び図２１では、図面の簡略化のため一部省略している。
When the coordinate reference image generating unit 8-S generates the horizontal coordinate reference image I_hS (x, y) and the vertical coordinate reference image I_vS (x, y), the coordinate reference image deforming unit 9-S Similarly, a process for deforming the horizontal coordinate reference image I_hS (x, y) and the vertical coordinate reference image I_vS (x, y) is performed using the image deformation information ES output from the
Further, the coordinate reference image deforming unit 9-U generates a reproduction image deforming unit when the coordinate reference image generating unit 8-U generates the horizontal coordinate reference image I_hU (x, y) and the vertical coordinate reference image I_vU (x, y). 5, a process of deforming the horizontal coordinate reference image I_hU (x, y) and the vertical coordinate reference image I_vU (x, y) is performed using the image deformation information EU output from the reproduction control unit 3 ( Step ST9).
Here, FIG. 20 is a mapping diagram showing pixel values of each pixel in the horizontal coordinate image H (x, y) deformed by the coordinate
FIG. 21 is a mapping diagram showing pixel values of each pixel in the vertical coordinate image V (x, y) deformed by the coordinate
However, in FIG. 20 and FIG. 21, a part is omitted for simplification of the drawings.
座標入力部１０は、ユーザが表示装置７上のタッチパネルに触れると（ステップＳＴ１０）、ユーザにより触れられた位置を示す変形後の再生画像Ａ上の座標（ｘ，ｙ）を座標変換部１１に出力する（ステップＳＴ１１）。
When the user touches the touch panel on the display device 7 (step ST10), the coordinate
座標変換部１１は、座標入力部１０からユーザにより触れられた位置を示す表示画面上の座標（ｘ，ｙ）を受けると、座標画像合成部１３から出力された図２０の水平座標画像Ｈ（ｘ，ｙ）から、表示画面上の座標（ｘ，ｙ）に位置している画素の画素値を水平座標ｘ’として取得する。
また、座標変換部１１は、座標画像合成部１３から出力された図２１の垂直座標画像Ｖ（ｘ，ｙ）から、表示画面上の座標（ｘ，ｙ）に位置している画素の画素値を垂直座標ｙ’として取得する（ステップＳＴ１２）。
When the coordinate
In addition, the coordinate
再生制御部３は、座標変換部１１から水平座標ｘ’と垂直座標ｙ’を受けると、その座標（ｘ’，ｙ’）と、再生情報に含まれている各コンテンツのイベント発生領域に各コンテンツの水平基準座標のオフセットと垂直基準座標のオフセットを加算した値を照合することで、その座標（ｘ’，ｙ’）を含むイベント発生領域を検索する（ステップＳＴ１３）。
例えば、イベント発生領域であるボタンａ１，ボタンａ２、画像Ｄの表示領域に各コンテンツの水平基準座標のオフセットと垂直基準座標のオフセットを加算した値が下記の通りであるとするとき、水平座標ｘ’＝１５０、垂直座標ｙ’＝３３０であれば、座標（ｘ’，ｙ’）を含むイベント発生領域ａ１がヒットする。
Upon receiving the horizontal coordinate x ′ and the vertical coordinate y ′ from the coordinate
For example, when the value obtained by adding the horizontal reference coordinate offset and the vertical reference coordinate offset of each content to the display area of the button a1, the button a2, and the image D, which are event generation areas, is as follows: If '= 150, vertical coordinate y' = 330, the event occurrence area a1 including the coordinate (x ', y') is hit.
なお、イベント発生領域Ｄは画像Ｄの表示領域と同じ領域を示している。説明の便宜上、コンテンツＵ内の領域を示す場合、画像Ｄと表現し、イベント発生領域を示す場合、イベント発生領域Ｄと示すものとする。
ａ１ ａ２ Ｄ
Ｘ座標 １２０〜２００ ３００〜３８０ １００〜２００
Ｙ座標 ３００〜４２０ ３００〜４２０ １２５〜１７５
Ｘ座標(オフセット加算値) １２０〜２００ ３００〜３８０ ６００〜７００
Ｙ座標(オフセット加算値) ３００〜４２０ ３００〜４２０ ６２５〜６７５
上記の例では、座標（ｘ’，ｙ’）を含むイベント発生領域ａ１がヒットしているが、例えば、水平座標ｘ’＝６７０、垂直座標ｙ’＝６５５であれば、座標（ｘ’，ｙ’）を含むイベント発生領域Ｄの表示領域がヒットする。
The event occurrence area D indicates the same area as the display area of the image D. For convenience of explanation, when an area in the content U is indicated, it is expressed as an image D, and when an event occurrence area is indicated, it is indicated as an event occurrence area D.
a1 a2 D
X coordinate 120-200 300-380 100-200
Y coordinate 300-420 300-420 125-175
X coordinate (offset addition value) 120-200 300-380 600-700
Y coordinate (offset addition value) 300-420 300-420 625-675
In the above example, the event occurrence area a1 including the coordinates (x ′, y ′) is hit. For example, if the horizontal coordinates x ′ = 670 and the vertical coordinates y ′ = 655, the coordinates (x ′, y ′) The display area of the event occurrence area D including y ′) is hit.
再生制御部３は、座標（ｘ’，ｙ’）を含むイベント発生領域が存在すれば（ステップＳＴ１４）、そのイベント発生領域に関連付けられたイベント処理を実施する（ステップＳＴ１５）。
例えば、イベント発生領域Ｄがヒットした場合は、画像Ｄの表示領域を押下したものとして、“コンテンツＵのみを消去”というイベント処理を実施する。
If there is an event occurrence area including the coordinates (x ′, y ′) (step ST14), the
For example, when the event occurrence area D is hit, it is assumed that the display area of the image D is pressed, and an event process of “erase only content U” is performed.
画像制御部３は、次のフレームで表示画像の更新が発生するか否かをチェックする（ステップＳＴ１６）。
例えば、イベント処理が“再生終了”や“コンテンツの再生停止”の場合、次のフレームで表示画像の更新は発生しないため、ステップＳＴ１７の処理に移行する。
一方、イベント処理が“コンテンツＳの画像Ａから画像Ｂへの変更”や“コンテンツＵのみ消去”の場合、イベント処理が発生せずにコンテンツの再生終了時刻に至っていない場合、次のフレームで表示画像の更新が発生するため、ステップＳＴ１８の処理に移行する。
The
For example, if the event process is “reproduction end” or “content reproduction stop”, the display image is not updated in the next frame, so the process proceeds to step ST17.
On the other hand, if the event processing is “change of content S from image A to image B” or “deletion of only content U”, if event processing does not occur and the playback end time of the content has not been reached, the next frame is displayed. Since the image is updated, the process proceeds to step ST18.
画像制御部３は、次のフレームで表示画像の更新が発生しない場合、再生終了か否かをチェックする（ステップＳＴ１７）。
例えば、イベント処理が“再生終了”を実施している場合、あるいは、コンテンツの再生時間が設定されていて再生終了時刻に至っている場合、一連の処理を終了する。
一方、再生終了しない場合、ステップＳＴ１０の処理に戻り、ＳＴ１０〜ＳＴ１６までの処理を繰り返し実施する。
When the display image is not updated in the next frame, the
For example, when the event process is “reproduction end”, or when the content reproduction time has been set and the reproduction end time has been reached, the series of processes ends.
On the other hand, if the reproduction is not finished, the process returns to step ST10, and the processes from ST10 to ST16 are repeated.
画像制御部３は、次のフレームで表示画像の更新が発生する場合、次のフレームでコンテンツあるいはコンテンツに付加されたエフェクトが変更されるか否かをチェックする（ステップＳＴ１８）。
例えば、ステップＳＴ１５のイベント処理でコンテンツＵのみ消去する場合、表示されるコンテンツが変わるため、ステップＳＴ３の処理に戻り、再生制御部３は新たなコンテンツ情報を取得せず、表示処理部６から画面の更新タイミングの発生通知を受けると、コンテンツＳの画像Ａの圧縮データと解像度情報をコンテンツ再生変形部１２−Ｓに出力する処理を実施し、コンテンツ再生変形部１２−Ｕには何も出力せず、ステップＳＴ１９・ＳＴ４〜ＳＴ１６の処理を繰り返し実施する。
また、ボタンａ１の表示領域やボタンａ２の表示領域を押下された場合や、ボタンａ１の表示領域、ボタンａ２の表示領域及び画像Ｄの表示領域の何れも押下されていない場合については、上記実施の形態２と同様となる。
When the display image is updated in the next frame, the
For example, when only the content U is deleted in the event process of step ST15, the displayed content changes, so the process returns to the process of step ST3, and the
In addition, when the display area of the button a1 or the display area of the button a2 is pressed, or when none of the display area of the button a1, the display area of the button a2, or the display area of the image D is pressed, the above-described implementation is performed. It becomes the same as that of
以上で明らかなように、この実施の形態３によれば、複数のイベント付コンテンツを表示する場合に、画像変形の逆変換式を用いることなく、異なるエフェクトで変形された複数の再生画像の中から指定されたコンテンツを見つけ、表示画面上で指定された点の座標を、そのコンテンツの変形前の再生画像上の座標に変換することができるようになり、その結果、指定された点の座標に応じた処理を実施することができる効果を奏する。 As is apparent from the above, according to the third embodiment, when a plurality of contents with events are displayed, a plurality of reproduced images deformed with different effects can be used without using an inverse transformation formula for image deformation. It is possible to find the specified content from and convert the coordinates of the point specified on the display screen to the coordinates on the playback image before the transformation of the content, and as a result, the coordinates of the specified point There exists an effect which can perform processing according to.
上記の例では、画像Ａを動画像とした場合について説明したため、ステップＳＴ１５のイベント処理でコンテンツＵのみを消去する場合、ステップＳＴ３の処理に戻り、再生制御部３は表示処理部６から画面の更新タイミングの発生通知を受けると、コンテンツＳの画像Ａの圧縮データと解像度情報をコンテンツ再生変形部１２−Ｓに出力する処理を実施し、コンテンツ再生変形部１２−Ｕには何も出力せず、ステップＳＴ１９・ＳＴ４〜ＳＴ１６の処理を繰り返し実施する。
In the above example, the case where the image A is a moving image has been described. Therefore, when only the content U is deleted in the event process of step ST15, the process returns to the process of step ST3, and the
上記の例では、座標画像合成部１３により生成された水平座標画像（または、垂直座標画像）を示す図２０（または、図２１）において、コンテンツが存在していない画素に“０”を用いているが、表示する全コンテンツの水平座標基準画像（または、垂直座標基準画像）で使用されない値であれば、“０”に限られるものではない。
In the above example, in FIG. 20 (or FIG. 21) showing the horizontal coordinate image (or vertical coordinate image) generated by the coordinate
この実施の形態３では、複数のコンテンツを再生するシステム構成例として、コンテンツ再生変形部を複数持つ場合について示したが、コンテンツ再生変形部を１つのみとし、同時に表示するコンテンツの数だけ再生画像を順に生成・変形して表示処理部のフレームメモリ上に合成し、同様に水平座標基準画像及び垂直座標基準画像を順に生成・変形して水平座標画像及び垂直座標画像上に合成するようにしてもよい。 In the third embodiment, as an example of a system configuration for reproducing a plurality of contents, a case where a plurality of content reproduction deformation units are provided has been described. Are generated and deformed in order and combined on the frame memory of the display processing unit, and similarly, the horizontal coordinate reference image and the vertical coordinate reference image are sequentially generated and deformed and combined on the horizontal coordinate image and the vertical coordinate image. Also good.
上記の例では、２つのコンテンツを同時に再生する例を示したが、コンテンツ数は３つ以上でもよい。
この実施の形態３では、再生制御部３において、最初にコンテンツ情報を読み込む際に全てのコンテンツ情報を取得しておき、同一のコンテンツ情報に含まれる圧縮画像データを新たにデータ記憶部１から取得せずに、コンテンツ生成変形部１２−１〜１２−Ｎに出力するものとしているが、各コンテンツで新たな再生画像を生成する度に、必要な圧縮画像データのみデータ記憶部１から取得し、コンテンツ生成変形部１２−１〜１２−Ｎに出力するようにしてもよい。
In the above example, two contents are reproduced simultaneously, but the number of contents may be three or more.
In the third embodiment, the
実施の形態４．
この実施の形態４では、座標基準画像生成部８で生成する座標基準画像の他の例について説明する。
座標基準画像生成部８は再生制御部３から出力されたコンテンツの解像度情報が示す解像度を有する座標基準画像を生成する処理を実施する。
その際、座標基準画像生成部８は、画素値をその座標から一対一に求められる値とする１枚の座標基準画像を生成する。
例えば、画素値の上位ビットで水平座標、下位ビットで垂直座標を表してもよい。画素値が３２ビットの場合、上位１６ビットを水平座標、下位１６ビットを垂直座標とし、座標基準画像の座標（ｘ，ｙ）の画素値Ｉ＿ｈｖ（ｘ，ｙ）は、下記のようになる。
Ｉ＿ｈｖ（ｘ，ｙ）＝ｘ×１０２４＋ｙ (１)
In the fourth embodiment, another example of the coordinate reference image generated by the coordinate reference
The coordinate reference
At that time, the coordinate reference
For example, the horizontal coordinates may be represented by the upper bits of the pixel value, and the vertical coordinates may be represented by the lower bits. When the pixel value is 32 bits, the upper 16 bits are horizontal coordinates, the lower 16 bits are vertical coordinates, and the pixel value I_hv (x, y) of the coordinates (x, y) of the coordinate reference image is as follows.
I_hv (x, y) = x × 1024 + y (1)
座標基準画像変形部９は、再生制御部３から出力された画像変形情報を用いて、座標基準画像生成部８により生成された１枚の座標基準画像を変形させる処理を実施する。
座標変換部１１は座標基準画像変形部９により変形された１枚の座標基準画像から、座標入力部１０により入力された座標に位置している画素の画素値を取得し、その値から水平座標と垂直座標を計算し、再生制御部３に出力する処理を実施する。
例えば、座標基準画像の各画素の画素値が式(１)である場合、座標入力部１０により入力された座標を（ｘ，ｙ）、変形後の座標基準画像の画素値をＩ＿ｈｖ’（ｘ，ｙ）とすると、再生制御部３に渡される座標（ｘ’，ｙ’）は、下記のようになる。
水平座標ｘ’＝ｆｌｏｏｒ（Ｉ＿ｈｖ’（ｘ，ｙ）／１０２４）
垂直座標ｙ’＝Ｉ＿ｈｖ’（ｘ，ｙ）％１０２４
The coordinate reference
The coordinate
For example, when the pixel value of each pixel of the coordinate reference image is Equation (1), the coordinates input by the coordinate
Horizontal coordinate x ′ = floor (I_hv ′ (x, y) / 1024)
Vertical coordinate y ′ = I_hv ′ (x, y)% 1024
ただし、ｆｌｏｏｒ（ｘ）は、ｘの小数点以下が切捨てられた値を示し、ｘ％ｙは、ｘをｙで割った剰余を示すものとする。
なお、レイアウト情報に合わせて、複数のコンテンツを同時に表示する場合も、座標画像合成部１３が、座標基準画像変形部９から出力された１枚の変形後の座標基準画像とレイアウト情報に基づいて、１枚の座標画像を生成し、座標変換部１１が、１枚の座標画像から再生制御部３に渡す座標（ｘ’，ｙ’）を求めてもよい。
Here, floor (x) indicates a value obtained by truncating the decimal part of x, and x% y indicates a remainder obtained by dividing x by y.
Even when a plurality of contents are displayed at the same time in accordance with the layout information, the coordinate
以上で明らかなように、この実施の形態４によれば、座標基準画像生成部８が、再生制御部３から出力されたコンテンツの解像度情報が示す解像度を有する１枚の座標基準画像を生成しても、画像変形の逆変換式を用いることなく、異なるように変形された複数の再生画像が表示されている中から指定されたコンテンツを見つけ、表示画面上で指定された点の座標を、そのコンテンツの変形前の再生画像上の座標に変換することができるようになり、その結果、指定された点の座標に応じた処理を実施することができる効果を奏する。
As is apparent from the above, according to the fourth embodiment, the coordinate reference
１ データ記憶部（データ記憶手段）、２ 再生情報入力部、３ 再生制御部（再生制御手段）、４ 再生画像生成部（再生画像生成手段）、４−ｎ 再生画像生成部（再生画像生成手段）、５ 再生画像変形部（再生画像変形手段）、５−ｎ 再生画像変形部（再生画像変形手段）、６ 表示処理部（表示処理手段）、７ 表示装置、（表示処理手段）、８ 座標基準画像生成部（座標基準画像生成手段）、８−ｎ 座標基準画像生成部（座標基準画像生成手段）、９ 座標基準画像変形部（座標基準画像変形手段）、９−ｎ 座標基準画像変形部（座標基準画像変形手段）、１０ 座標入力部（座標入力手段）、１１ 座標変換部（座標取得手段）、１２−１〜１２−Ｎ コンテンツ再生変形部、１３ 座標画像合成部（座標画像合成手段）。
DESCRIPTION OF
Claims (10)
座標基準画像変形手段が、画像変形情報を用いて、上記水平座標基準画像及び上記垂直座標基準画像を変形し、
座標変換手段が、上記座標基準画像変形手段により変形された水平座標基準画像から座標入力手段により入力された座標に位置している画素の画素値を変形前の再生画像の水平座標として取得し、上記座標基準画像変形手段により変形された垂直座標基準画像から上記座標入力手段により入力された座標に位置している画素の画素値を変形前の再生画像の垂直座標として取得することを特徴とする請求項１記載のコンテンツ表示装置。 The coordinate reference image generation means has the same resolution as the reproduction image as the coordinate reference image, and the pixel values of all the pixels are values representing the horizontal coordinates of the pixels, and Generating a vertical coordinate reference image whose pixel value is a value representing the vertical coordinate of the pixel;
A coordinate reference image deformation means deforms the horizontal coordinate reference image and the vertical coordinate reference image using image deformation information,
The coordinate conversion means acquires the pixel value of the pixel located at the coordinate input by the coordinate input means from the horizontal coordinate reference image deformed by the coordinate reference image deformation means as the horizontal coordinate of the reproduction image before deformation, A pixel value of a pixel located at a coordinate input by the coordinate input unit is acquired as a vertical coordinate of a reproduction image before the deformation from a vertical coordinate reference image deformed by the coordinate reference image deformation unit. The content display device according to claim 1.
座標基準画像変形手段が、画像変形情報を用いて、上記水平座標基準画像及び上記垂直座標基準画像を変形する機能を備え、
座標画像合成手段が、上記座標基準画像変形手段により変形された１以上の水平座標基準画像及び１以上の水平座標基準画像に対応する再生画像のレイアウト情報から、１以上の水平座標基準画像を合成し、かつ、上記座標基準画像変形手段により変形された１以上の垂直座標基準画像及び１以上の垂直座標基準画像に対応する再生画像のレイアウト情報から、１以上の垂直座標基準画像を合成する機能を備え、
座標変換手段が、上記座標画像合成手段により生成された水平座標画像から上記座標入力手段により入力された座標に位置している画素の画素値を水平座標として取得し、上記座標基準画像変形手段により変形された垂直座標基準画像から上記座標入力手段により入力された座標に位置している画素の画素値を垂直座標として取得する機能を備え、
再生制御手段が、上記座標変換手段により取得された水平座標及び垂直座標から指定されたコンテンツの変形前の再生画像内の水平座標及び垂直座標を取得することを特徴とする請求項３記載のコンテンツ表示装置。 The coordinate reference image generation means has the same resolution as the reproduction image as the coordinate reference image, and the pixel values of all the pixels are values representing the horizontal coordinates of the pixels, and A function of generating a vertical coordinate reference image whose pixel value is a value representing the vertical coordinate of the pixel;
The coordinate reference image deformation means has a function of deforming the horizontal coordinate reference image and the vertical coordinate reference image using image deformation information,
The coordinate image synthesizing unit synthesizes one or more horizontal coordinate reference images from the one or more horizontal coordinate reference images deformed by the coordinate reference image deforming unit and the reproduction image layout information corresponding to the one or more horizontal coordinate reference images. And a function of synthesizing one or more vertical coordinate reference images from one or more vertical coordinate reference images deformed by the coordinate reference image deformation means and layout information of a reproduction image corresponding to the one or more vertical coordinate reference images. With
The coordinate conversion means acquires the pixel value of the pixel located at the coordinate input by the coordinate input means as the horizontal coordinate from the horizontal coordinate image generated by the coordinate image synthesis means, and the coordinate reference image deformation means A function of acquiring, as a vertical coordinate, a pixel value of a pixel located at a coordinate input by the coordinate input unit from the deformed vertical coordinate reference image;
4. The content according to claim 3, wherein the reproduction control means obtains the horizontal coordinate and the vertical coordinate in the reproduction image before deformation of the content designated from the horizontal coordinate and the vertical coordinate obtained by the coordinate conversion means. Display device.
再生制御手段が、上記データ記憶手段により記憶されているコンテンツ情報の中から指定されたコンテンツに関するコンテンツ情報を取得し、上記コンテンツ情報を再生画像生成手段及び座標基準画像生成手段に出力することを特徴とする請求項１から請求項４のうちのいずれか１項記載のコンテンツ表示装置。 Data storage means for storing content information relating to at least one or more reproducible content;
The reproduction control means acquires content information relating to the specified content from the content information stored in the data storage means, and outputs the content information to the reproduction image generation means and the coordinate reference image generation means. The content display device according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010010847A JP2011150511A (en) | 2010-01-21 | 2010-01-21 | Device and method for displaying contents |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010010847A JP2011150511A (en) | 2010-01-21 | 2010-01-21 | Device and method for displaying contents |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011150511A true JP2011150511A (en) | 2011-08-04 |
Family
ID=44537430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010010847A Pending JP2011150511A (en) | 2010-01-21 | 2010-01-21 | Device and method for displaying contents |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011150511A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014157324A (en) * | 2013-02-18 | 2014-08-28 | Mitsubishi Electric Corp | Display control device and method |
| US10416883B2 (en) | 2015-06-02 | 2019-09-17 | Samsung Electronics Co., Ltd. | User terminal apparatus and controlling method thereof |
| US11243687B2 (en) | 2015-06-02 | 2022-02-08 | Samsung Electronics Co., Ltd. | User terminal apparatus and controlling method thereof |
-
2010
- 2010-01-21 JP JP2010010847A patent/JP2011150511A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014157324A (en) * | 2013-02-18 | 2014-08-28 | Mitsubishi Electric Corp | Display control device and method |
| US10416883B2 (en) | 2015-06-02 | 2019-09-17 | Samsung Electronics Co., Ltd. | User terminal apparatus and controlling method thereof |
| US11243687B2 (en) | 2015-06-02 | 2022-02-08 | Samsung Electronics Co., Ltd. | User terminal apparatus and controlling method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100830286B1 (en) | Video data processing system and method | |
| JPWO2008093391A1 (en) | Image display device and image display method | |
| WO2011158446A1 (en) | Animation control device, animation control method and animation control program | |
| JP4786712B2 (en) | Image composition apparatus and image composition method | |
| US20120237186A1 (en) | Moving image generating method, moving image generating apparatus, and storage medium | |
| US9092879B2 (en) | Image display apparatus and image display method | |
| EP2463762B1 (en) | Information processing device, information processing method, and data structure for content files | |
| US6738028B2 (en) | Multi-display system and cursor controlling method therefor | |
| CN109862410B (en) | Recommendation information insertion method, device and storage medium | |
| JP2011150511A (en) | Device and method for displaying contents | |
| JPWO2018051434A1 (en) | Display control apparatus, display control method, and display control program | |
| JP5083697B2 (en) | Image display device, input device, and image display method | |
| CN109074291A (en) | The synthesis of application target event | |
| US20160216839A1 (en) | Display device and electronic device including the same | |
| US9299180B2 (en) | Image creation method, image creation apparatus and recording medium | |
| CN102473042B (en) | System, method and computer program for operating a plurality of computing devices | |
| JP4722784B2 (en) | Electronic blackboard apparatus, image processing method in electronic blackboard apparatus, and program thereof | |
| JP2010085599A (en) | Screen saver generating device and screen saver generating method | |
| JP2000235643A (en) | Picture synthesis method | |
| JP2006203444A (en) | Background image generation apparatus and background image generation program | |
| JP2006154548A (en) | Display image generation apparatus, display image generating method and display image generation program | |
| JP5156678B2 (en) | Data broadcast receiving apparatus and data broadcast receiving program | |
| JP2005115011A (en) | Image display apparatus, image display method, image display program and recording medium recording the program | |
| JP2025019531A (en) | Image synthesis device, image synthesis method, and program | |
| WO2021006160A1 (en) | Image processing device, image processing method, and program |