[go: up one dir, main page]

JP2015170022A - Display device and screen display method - Google Patents

Display device and screen display method Download PDF

Info

Publication number
JP2015170022A
JP2015170022A JP2014042905A JP2014042905A JP2015170022A JP 2015170022 A JP2015170022 A JP 2015170022A JP 2014042905 A JP2014042905 A JP 2014042905A JP 2014042905 A JP2014042905 A JP 2014042905A JP 2015170022 A JP2015170022 A JP 2015170022A
Authority
JP
Japan
Prior art keywords
screen
pointer
axis
movement
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014042905A
Other languages
Japanese (ja)
Inventor
山崎 裕之
Hiroyuki Yamazaki
裕之 山崎
泰介 三善
Taisuke Miyoshi
泰介 三善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2014042905A priority Critical patent/JP2015170022A/en
Publication of JP2015170022A publication Critical patent/JP2015170022A/en
Pending legal-status Critical Current

Links

Landscapes

  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display device which can be intuitively operated even when a plurality of screens of monitors different in the number of pixels and pixel pitches is virtually connected.SOLUTION: A pointer control part is moved to the other screen when the pointer arrives at one end along a second axis of one screen. A reference setting part sets a position in the region shared by a first screen and a second screen as a reference point. An information generation part receives the designation of the same positions between the first screen and the second screen, respectively, and obtains a pixel number (a) between the designated position and the reference position in the first screen and obtains a pixel number (b) between the position and the reference position in the second screen. The pointer control part obtains the position on the basis of (b)/(a) when the pointer is moved from the second position to the first position, and obtains the position on the basis of (a)/(b) and moves the pointer to the obtained position when the pointer is moved from the second screen to the first screen.

Description

本発明は、2台以上のモニタ(ディスプレイ)の画面を仮想的に接続し、ポインティングデバイス等の操作を受けて画面上の位置を指定するためのポインタを、その画面間で相互に移動可能に表示させる技術に関するものである。   In the present invention, two or more monitors (displays) are virtually connected to each other, and pointers for designating positions on the screen in response to an operation of a pointing device or the like can be moved between the screens. It relates to the technology to display.

CT(Computed Tomography)、MRI(Magnetic Rresonance Imaging)、または超音波診断装置のような各種モダリティで取得された医用画像に対して読影を行う際には、医用画像や、その医用画像に対して所見を入力する読影レポート等の複数の情報を同時に表示させる場合がある。このような場合には、広い表示領域が必要となるため、1台のコンピュータに複数のモニタを接続し、あたかも1台の大きなモニタであるかのように表示させる「マルチモニタ(マルチディスプレイ)」と呼ばれる機能を利用する場合がある。ここでは、1台のコンピュータに2台のモニタ(以下、一方を「プライマリモニタ」といい、他方を「セカンダリモニタ」という。)を接続し、プライマリモニタの画面の右辺とセカンダリモニタの左辺とを、連続するように仮想的に接続した場合を例に説明する。   When interpreting a medical image acquired with various modalities such as CT (Computed Tomography), MRI (Magnetic Resonance Imaging), or an ultrasonic diagnostic apparatus, the medical image or its medical image is observed. In some cases, a plurality of pieces of information such as a radiogram interpretation report for inputting a message are displayed simultaneously. In such a case, since a large display area is required, a “multi-monitor (multi-display)” in which a plurality of monitors are connected to one computer and displayed as if it were one large monitor. There is a case where a function called is used. Here, two monitors (hereinafter, one is called “primary monitor” and the other is called “secondary monitor”) are connected to one computer, and the right side of the primary monitor screen and the left side of the secondary monitor are connected. An example in which they are virtually connected so as to be continuous will be described.

特開2006−59251号公報JP 2006-59251 A

このようなマルチモニタ機能では、それぞれのモニタについて設定された解像度に基づき画面の大きさを判断し、各モニタの画面の位置関係を特定して画面間を接続する。   In such a multi-monitor function, the size of the screen is determined based on the resolution set for each monitor, the positional relationship of the screen of each monitor is specified, and the screens are connected.

しかしながら、解像度に基づき設定された画面間の位置関係と、各モニタを配置した場合の見た目上の(物理空間上の)位置関係とは必ずしも一致しない。また、各モニタのピクセル数やピクセルピッチは必ずしも同じものではない。そのため、解像度に基づく各画面上の距離と、各モニタにおける見た目上の(物理空間上の)距離は必ずしも一致しない。   However, the positional relationship between the screens set based on the resolution does not necessarily match the apparent positional relationship (in the physical space) when each monitor is arranged. Further, the number of pixels and the pixel pitch of each monitor are not necessarily the same. Therefore, the distance on each screen based on the resolution does not necessarily match the apparent distance (in physical space) on each monitor.

このような要因から、例えば、2つのモニタを横に並べて配置し、マウス等のポインティングデバイスでポインタを一方の画面から他方の画面に移動させた場合に、移動前の画面と移動後の画面とでポインタの縦軸方向の位置が一致しない場合がある。即ち、ポインタを水平方向に沿って移動させた場合に、画面間の移動前後においてポインタが連続的に移動せず、ポインタの動作が直感的な動きとならない(使用者の視覚と一致しない)場合がある。   For this reason, for example, when two monitors are arranged side by side and the pointer is moved from one screen to the other with a pointing device such as a mouse, the screen before moving and the screen after moving The position of the pointer in the vertical axis may not match. That is, when the pointer is moved along the horizontal direction, the pointer does not move continuously before and after the movement between the screens, and the movement of the pointer does not become intuitive (does not match the user's vision). There is.

この発明の実施形態は、ピクセル数やピクセルピッチの異なる複数のモニタの画面間を仮想的に接続した場合においても、直観的に操作が可能な表示装置を提供することを目的とする。   An object of the embodiment of the present invention is to provide a display device that can be operated intuitively even when screens of a plurality of monitors having different numbers of pixels and pixel pitches are virtually connected.

この発明の実施形態の第1の態様は、第1の画面を有する第1の表示部と、第2の画面を有する第2の表示部とを有し、第1及び第2の画面のそれぞれが共通して、互いに直交する第1軸と第2軸とを備えた表示装置である。この表示装置は、ポインタ制御部と、基準設定部と、情報生成部とを備える。ポインタ制御部は、第1の画面及び第2の画面のうちのいずれか一方の画面にポインタを表示させ、ポインタが一方の画面の第2軸に沿った一端に到達したとき、他方の画面に移動させる。基準設定部は、第1の画面と第2の画面との間で共有する第1軸の方向に沿った領域の第1軸の方向の位置を、第1の画面及び第2の画面それぞれの基準位置とする。情報生成部は、領域中の基準位置と異なる位置であって、第1の画面及び第2の画面間で同一の位置の指定を第1の画面及び第2の画面それぞれについて受けて、第1の画面における、指定された当該位置と基準位置との間のピクセル数aと、第2の画面における、指定された当該位置と基準位置との間のピクセル数bを求める。また、ポインタ制御部は、第1の画面から第2の画面にポインタを移動させた場合に、ピクセル数a及びbの比b/aに基づき第1軸の方向に沿った位置を求め、第2の画面から第1の画面にポインタを移動させた場合に、ピクセル数a及びbの比a/bに基づき第1軸の方向に沿った位置を求め、求められた当該位置にポインタを移動させる。
また、この発明の実施形態の第2の態様は、第1の画面を有する第1の表示部と、第2の画面を有する第2の表示部とを有し、第1及び第2の画面のそれぞれが共通して、互いに直交する第1軸と第2軸とを備えた表示装置における画面表示方法である。この画面表示方法では、第1の画面及び第2の画面のうちのいずれか一方の画面にポインタを表示させ、ポインタが一方の画面の第2軸に沿った一端に到達したとき、他方の画面に移動させる。この画面表示方法は、基準設定ステップと、情報生成ステップと、位置制御ステップとを備える。基準設定ステップは、第1の画面と第2の画面との間で共有する第1軸の方向に沿った領域の第1軸の方向の位置を、第1の画面及び第2の画面それぞれの基準位置とする。情報生成ステップは、領域中の基準位置と異なる位置であって、第1の画面及び第2の画面間で同一の位置の指定を第1の画面及び第2の画面それぞれについて受けて、第1の画面における、指定された当該位置と基準位置との間のピクセル数aと、第2の画面における、指定された当該位置と基準位置との間のピクセル数bを求める。位置制御ステップは、第1の画面から第2の画面にポインタを移動させた場合に、ピクセル数a及びbの比b/aに基づき第1軸の方向に沿った位置を求め、第2の画面から第1の画面にポインタを移動させた場合に、ピクセル数a及びbの比a/bに基づき第1軸の方向に沿った位置を求め、求められた当該位置にポインタを移動させる。
A first aspect of an embodiment of the present invention includes a first display unit having a first screen and a second display unit having a second screen, and each of the first and second screens. Is a display device having a first axis and a second axis that are orthogonal to each other. The display device includes a pointer control unit, a reference setting unit, and an information generation unit. The pointer control unit displays the pointer on one of the first screen and the second screen, and when the pointer reaches one end along the second axis of the one screen, the pointer control unit displays the pointer on the other screen. Move. The reference setting unit determines the position in the first axis direction of the region along the first axis direction shared between the first screen and the second screen for each of the first screen and the second screen. The reference position. The information generation unit receives a designation of the same position between the first screen and the second screen, which is different from the reference position in the region, for each of the first screen and the second screen. The number of pixels a between the designated position and the reference position on the screen of FIG. 5 and the number of pixels b between the designated position and the reference position on the second screen are obtained. The pointer control unit obtains a position along the direction of the first axis based on the ratio b / a of the number of pixels a and b when the pointer is moved from the first screen to the second screen. When the pointer is moved from the screen 2 to the first screen, the position along the direction of the first axis is obtained based on the ratio a / b of the number of pixels a and b, and the pointer is moved to the obtained position. Let
A second aspect of the embodiment of the present invention includes a first display unit having a first screen and a second display unit having a second screen, and the first and second screens. Is a screen display method in a display device having a first axis and a second axis that are respectively orthogonal to each other. In this screen display method, when a pointer is displayed on one of the first screen and the second screen, and the pointer reaches one end along the second axis of the one screen, the other screen is displayed. Move to. This screen display method includes a reference setting step, an information generation step, and a position control step. In the reference setting step, the position in the direction of the first axis of the region along the direction of the first axis shared between the first screen and the second screen is determined for each of the first screen and the second screen. The reference position. The information generation step is a position different from the reference position in the region, and receives the designation of the same position between the first screen and the second screen for each of the first screen and the second screen. The number of pixels a between the designated position and the reference position on the screen of FIG. 5 and the number of pixels b between the designated position and the reference position on the second screen are obtained. In the position control step, when the pointer is moved from the first screen to the second screen, the position along the direction of the first axis is obtained based on the ratio b / a of the number of pixels a and b. When the pointer is moved from the screen to the first screen, a position along the direction of the first axis is obtained based on the ratio a / b of the number of pixels a and b, and the pointer is moved to the obtained position.

本実施形態に係る表示装置のブロック図である。It is a block diagram of a display device concerning this embodiment. 画面情報について説明するための図である。It is a figure for demonstrating screen information. 画面間の位置合わせについて説明するための図である。It is a figure for demonstrating the alignment between screens. 画面間の位置合わせについて説明するための図である。It is a figure for demonstrating the alignment between screens. 画面間の位置関係の一態様を示した図である。It is the figure which showed the one aspect | mode of the positional relationship between screens. 画面間の位置関係の一態様を示した図である。It is the figure which showed the one aspect | mode of the positional relationship between screens. 画面間の位置関係の一態様を示した図である。It is the figure which showed the one aspect | mode of the positional relationship between screens. 画面間移動情報のデータ構造の一例である。It is an example of the data structure of the movement information between screens. 画面間を移動した場合のポインタ位置の調整方法について説明するための図である。It is a figure for demonstrating the adjustment method of the pointer position at the time of moving between screens. 画面間を移動した場合のポインタ位置の調整方法について説明するための図である。It is a figure for demonstrating the adjustment method of the pointer position at the time of moving between screens. 画面間を移動した場合のポインタ位置の調整の一態様について説明するための図である。It is a figure for demonstrating the one aspect | mode of the adjustment of the pointer position at the time of moving between screens. 画面間を移動した場合のポインタ位置の調整の一態様について説明するための図である。It is a figure for demonstrating the one aspect | mode of the adjustment of the pointer position at the time of moving between screens. 画面間を移動した場合のポインタ位置の調整の一態様について説明するための図である。It is a figure for demonstrating the one aspect | mode of the adjustment of the pointer position at the time of moving between screens. 本実施形態に係る表示装置の動作を示したフローチャートである。5 is a flowchart showing the operation of the display device according to the present embodiment. 本実施形態に係る表示装置の動作を示したフローチャートである。5 is a flowchart showing the operation of the display device according to the present embodiment.

まず、本実施形態に係る表示装置の構成について図1を参照しながら説明する。図1に示すように、本実施形態に係る表示装置は、U/I10と、画面情報設定部21と、画面情報記憶部22と、位置指定マーカ制御部23と、画面間移動情報生成部24と、画面間移動情報記憶部25と、操作内容解析部31と、ポインタ制御部32と、ポインタ表示更新部33とを含んで構成されている。U/I10は、操作部101と、表示部102A及び102B(即ち、複数のモニタ)とを含んで構成されている。本実施形態に係る表示装置は、画面操作を行う前の準備として「画面間の位置合わせ」を行うためのモードと、画面上に表示されたポインタC0を操作して画面上に所望の情報を表示する操作、即ち「画面操作」を行うためのモードとで動作する。以降では、この「画面間の位置合わせ」と「画面操作」の各モードに分けて、そのモードで動作する構成に着目して説明する。   First, the configuration of the display device according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the display device according to the present embodiment includes a U / I 10, a screen information setting unit 21, a screen information storage unit 22, a position designation marker control unit 23, and an inter-screen movement information generation unit 24. And an inter-screen movement information storage unit 25, an operation content analysis unit 31, a pointer control unit 32, and a pointer display update unit 33. The U / I 10 includes an operation unit 101 and display units 102A and 102B (that is, a plurality of monitors). The display device according to the present embodiment provides a mode for performing “position alignment between screens” as preparation before performing a screen operation, and operates a pointer C0 displayed on the screen to display desired information on the screen. It operates in a mode for performing a display operation, that is, a “screen operation”. In the following, description will be made focusing on the configuration that operates in each mode of “alignment between screens” and “screen operation”.

(画面間の位置合わせ)
画面情報設定部21は、表示部102A及び102Bに表示される各画面の解像度と、各画面の位置関係を設定するための構成である。画面情報設定部21は、U/I10(または、表示部102A及び102B)から、表示部102A及び102Bのそれぞれについてあらかじめ設定された画面の解像度(ここでは、画面を構成するピクセル数を表す)を示す情報と、これらの画面間の位置関係を示す情報を受ける。
(Alignment between screens)
The screen information setting unit 21 is configured to set the resolution of each screen displayed on the display units 102A and 102B and the positional relationship between the screens. The screen information setting unit 21 sets the screen resolution (in this case, the number of pixels constituting the screen) set in advance for each of the display units 102A and 102B from the U / I 10 (or the display units 102A and 102B). And information indicating the positional relationship between these screens.

例えば、図2Aは、各画面の解像度と、画面間の位置関係を模式的に示した図である。図2Aにおいて、Maは表示部102Aの画面を示しており、この画面は、縦方向に750ピクセル、横方向に1000ピクセルの幅を有している。また、Mbは表示部102Bの画面を示しており、この画面は、縦方向に1375ピクセル、横方向に1000ピクセルの幅を有している。この図2Aに示す例では、画面Maの右辺上部と、画面Mbの左辺下部とが接続されるように配置されている。なお、以降では、この画面Ma及びMbが接続されている領域を領域Y0と呼ぶ場合がある。なお、画面Maが「第1の画面」に相当し、画面Mbが「第2の画」面に相当する。   For example, FIG. 2A is a diagram schematically illustrating the resolution of each screen and the positional relationship between the screens. In FIG. 2A, Ma shows the screen of the display unit 102A, and this screen has a width of 750 pixels in the vertical direction and 1000 pixels in the horizontal direction. Mb indicates the screen of the display unit 102B, and this screen has a width of 1375 pixels in the vertical direction and 1000 pixels in the horizontal direction. In the example shown in FIG. 2A, the upper right side of the screen Ma and the lower left side of the screen Mb are arranged to be connected. Hereinafter, the area where the screens Ma and Mb are connected may be referred to as an area Y0. The screen Ma corresponds to the “first screen”, and the screen Mb corresponds to the “second screen”.

画面情報設定部21は、表示部102A及び102Bのうち、あらかじめ決められたいずれかをプライマリモニタとして設定する。なお、以降では、表示部102A(即ち、画面Ma側)がプライマリモニタとして設定されており、表示部102B(即ち、画面Mb側)はセカンダリモニタとして設定されているものとして説明する。   The screen information setting unit 21 sets one of the display units 102A and 102B determined in advance as a primary monitor. In the following description, it is assumed that the display unit 102A (that is, the screen Ma side) is set as a primary monitor, and the display unit 102B (that is, the screen Mb side) is set as a secondary monitor.

画面情報設定部21は、プライマリモニタとしてあらかじめ設定された表示部102Aに対応する画面Ma上の、あらかじめ決められた位置を画面Ma及び画面Mbにおける共通の座標体系の基準(原点)として画面Maにおける位置(画面Maにおけるピクセルで定まる座標)、及び他の画面、即ち画面Mbの位置(画面Mbにおけるピクセルで定まる座標)を特定する。例えば、図2Aの例では、プライマリモニタである画面Maの左上の点を基準(即ち、原点(0,0))として、横方向をx軸、縦方向をy軸として各画面の位置を特定している。この場合、画面Maの各点の座標は、左下の点が(0,750)、右下の点が(1000,750)、右上の点が(1000,0)となる。また、画面Mbの各点の座標は、左上の点が(1000,−625)、左下の点が(1000,625)、右下の点が(2000,625)、右上の点が(2000,−625)となる。なお、図2Aに示すように、画面Ma及びMbを水平方向に沿って並べて配置した場合には、このy軸が「第1軸」に相当し、x軸が「第2軸」に相当する。なお、y軸方向の原点(y=0)は、画面Ma、画面Mbでも原点である。
このように、図2Aのような配置にするには、プライマリモニタである画面Maの上辺をy=0の原点として、上記例では、そのy=0の位置に、セカンドモニタである画面Mbのy軸に沿った辺の中点のピクセルの位置を合わせる調整が必要になる。また、これは、後記する実空間上での位置(いわば、視覚的な画面の寸法的な位置)調整が必要になる。これらは、一般のコンピュータでも、調整可能にされている。もし、一度合わせた位置がずれた場合も、同様に、調整が必要になる。以下の説明では、この調整は、成されたものとして説明する。
The screen information setting unit 21 uses a predetermined position on the screen Ma corresponding to the display unit 102A set in advance as a primary monitor as a reference (origin) of a common coordinate system in the screen Ma and the screen Mb. The position (coordinate determined by the pixel on the screen Ma) and the position of another screen, that is, the screen Mb (coordinate determined by the pixel on the screen Mb) are specified. For example, in the example of FIG. 2A, the position of each screen is specified using the upper left point of the screen Ma, which is the primary monitor, as a reference (ie, origin (0, 0)), the horizontal direction is the x axis, and the vertical direction is the y axis. doing. In this case, the coordinates of each point on the screen Ma are (0, 750) for the lower left point, (1000, 750) for the lower right point, and (1000, 0) for the upper right point. The coordinates of each point on the screen Mb are (1000, 625) for the upper left point, (1000, 625) for the lower left point, (2000, 625) for the lower right point, and (2000, 625) for the upper right point. −625). As shown in FIG. 2A, when the screens Ma and Mb are arranged side by side in the horizontal direction, the y axis corresponds to the “first axis” and the x axis corresponds to the “second axis”. . The origin in the y-axis direction (y = 0) is also the origin on the screen Ma and the screen Mb.
Thus, in order to arrange as shown in FIG. 2A, the upper side of the screen Ma as the primary monitor is set to the origin of y = 0, and in the above example, the screen Mb as the second monitor is located at the position of y = 0. Adjustment is necessary to align the position of the midpoint pixel along the y-axis. In addition, this requires adjustment of the position in real space (so-called visual dimension of the screen) which will be described later. These can be adjusted even in a general computer. If the aligned position is shifted, adjustment is required in the same way. In the following description, this adjustment is described as being made.

次に、画面情報設定部21は、特定された画面Ma及びMb間の位置を示す情報を基に、これらの画面が接合される領域Y0中の所定の位置を基準位置P0として特定する。例えば、図2Cに示した例では、領域Y0のy軸方向に沿った端部のうち、x軸に近い方(y軸の増加方向に沿って最初に表れる領域Y0中の点)の端部を基準位置P0としている(つまり、この例では、y軸方向の原点(y=0)を基準位置P0としている)。なお、本実施形態では、この基準位置P0を特定する画面情報設定部21が、「基準設定部」に相当する。   Next, the screen information setting unit 21 specifies a predetermined position in the region Y0 where these screens are joined as the reference position P0 based on the information indicating the position between the specified screens Ma and Mb. For example, in the example shown in FIG. 2C, of the end portions along the y-axis direction of the region Y0, the end portion closer to the x-axis (the point in the region Y0 that first appears along the increasing direction of the y-axis) Is the reference position P0 (that is, in this example, the origin in the y-axis direction (y = 0) is the reference position P0). In the present embodiment, the screen information setting unit 21 that specifies the reference position P0 corresponds to a “reference setting unit”.

画面情報設定部21は、この各画面の解像度を示す情報と、画面間の位置関係を示す情報(即ち、画面Ma及びMbの各座標)と、特定された基準位置P0を示す位置情報とを画面情報として画面情報記憶部22に記憶させる。画面情報記憶部22は、画面情報を記憶するための記憶領域である。   The screen information setting unit 21 includes information indicating the resolution of each screen, information indicating the positional relationship between the screens (that is, the coordinates of the screens Ma and Mb), and position information indicating the specified reference position P0. The screen information is stored in the screen information storage unit 22 as screen information. The screen information storage unit 22 is a storage area for storing screen information.

なお、表示部102A及び102Bそれぞれの画面の解像度と、これらの画面間の位置関係を示す情報は、操作部101を介して操作者が設定できるようにしてもよい。この場合には、画面情報設定部21は、まず、表示部102A及び102Bのそれぞれについて設定可能な解像度の範囲を示す情報をU/I10(または、表示部102A及び102B)から受ける。画面情報設定部21は、この情報を基に、各画面の解像度と、これらの画面間の位置関係を指定するための操作画面を生成し、この操作画面を表示部102A及び102Bの少なくともいずれかに表示させる。画面情報設定部21は、操作部101を介して操作画面上で指定された、各画面の解像度を示す情報と画面間の位置関係を示す情報とを受ける。画面情報設定部21は、これらの情報を画面情報として画面情報記憶部22に記憶させればよい。   It should be noted that the screen resolution of each of the display units 102A and 102B and information indicating the positional relationship between these screens may be set by the operator via the operation unit 101. In this case, the screen information setting unit 21 first receives from the U / I 10 (or the display units 102A and 102B) information indicating the resolution ranges that can be set for the display units 102A and 102B. Based on this information, the screen information setting unit 21 generates an operation screen for designating the resolution of each screen and the positional relationship between these screens, and this operation screen is displayed on at least one of the display units 102A and 102B. To display. The screen information setting unit 21 receives information indicating the resolution of each screen and information indicating the positional relationship between the screens designated on the operation screen via the operation unit 101. The screen information setting unit 21 may store these pieces of information as screen information in the screen information storage unit 22.

なお、画面Ma及びMb間のそれぞれの解像度は、表示部102A及び102Bそれぞれが実際に占めるサイズ(実空間上におけるサイズ)とは必ずしも一致しない。これは、表示部102Aと表示部102Bとで、ピクセル数やピクセルピッチが異なり、解像度に基づく大小関係は、これらの情報を考慮したものではないためである。また、解像度に基づく各画面の位置関係は、表示部102A及び102Bの高さ方向の物理的な位置関係とは厳密に一致しているとは限らない。これにより、例えば、画面Maから画面Mbに向けてポインタC0を水平移動させた場合に、ピクセルピッチの違いにより、表示部102Bの画面Mb上では、表示部102Aの画面Ma上とは異なる高さの位置にポインタC0が表示される場合がある。このことから、本実施形態に係る表示装置では、操作部101を介して操作者からの操作を受けて、このピクセル数やピクセルピッチの違いに伴うズレを補正するための情報を生成する。以降では、この情報の生成に係る、位置指定マーカ制御部23、画面間移動情報生成部24、及び画面間移動情報記憶部25について説明する。なお、以降では、図2Aに示したような、表示装置が解像度のみによる(実空間上を占めるサイズを反映しない)各画面の位置関係を認識するための座標空間を「論理空間」、実際に表示部102A及び102Bのようなモニタの画面上に表示される見た目における位置のような実際に占めるサイズを反映した物理的な座標空間を「実空間」と呼ぶ場合がある。   Note that the respective resolutions between the screens Ma and Mb do not necessarily match the sizes actually occupied by the display units 102A and 102B (sizes in the real space). This is because the number of pixels and the pixel pitch are different between the display unit 102A and the display unit 102B, and the magnitude relationship based on the resolution does not consider these pieces of information. In addition, the positional relationship between the screens based on the resolution is not always exactly the same as the physical positional relationship in the height direction of the display units 102A and 102B. Thereby, for example, when the pointer C0 is horizontally moved from the screen Ma toward the screen Mb, the height on the screen Mb of the display unit 102B is different from that on the screen Ma of the display unit 102A due to the difference in pixel pitch. The pointer C0 may be displayed at the position of. Therefore, in the display device according to the present embodiment, in response to an operation from the operator via the operation unit 101, information for correcting a shift due to the difference in the number of pixels or the pixel pitch is generated. Hereinafter, the position designation marker control unit 23, the inter-screen movement information generation unit 24, and the inter-screen movement information storage unit 25 related to the generation of this information will be described. Hereinafter, as shown in FIG. 2A, the coordinate space for recognizing the positional relationship of each screen based on only the resolution (not reflecting the size occupying the real space) as shown in FIG. A physical coordinate space that reflects the actual occupied size such as the position in appearance displayed on the screen of a monitor such as the display units 102A and 102B may be referred to as “real space”.

位置指定マーカ制御部23は、画面Maと画面Mbのそれぞれに、これらの画面が接続される領域Y0を含む端部に沿った位置を指定するためのマーカXa及びXbを表示させる。具体的には、位置指定マーカ制御部23は、画面Ma上にマーカXaを、画面Maの右辺(y軸方向)に沿って移動可能に表示させる。同様に、位置指定マーカ制御部23は、画面Mb上にマーカXbを、画面Mbの左辺(y軸方向)に沿って移動可能に表示させる。   The position designation marker control unit 23 displays on each of the screen Ma and the screen Mb markers Xa and Xb for designating positions along the end including the region Y0 to which these screens are connected. Specifically, the position designation marker control unit 23 displays the marker Xa on the screen Ma so as to be movable along the right side (y-axis direction) of the screen Ma. Similarly, the position designation marker control unit 23 displays the marker Xb on the screen Mb so as to be movable along the left side (y-axis direction) of the screen Mb.

ここで図2Bを参照する。図2Bは、画面間の位置合わせについて説明するための図であり、表示部102A及び102Bと、これらの各画面(即ち、画面Ma及びMb)の実空間上における位置関係(いわば、視覚的な画面の寸法的な位置関係)を示している。図2Bに示すように実空間上の位置は、それぞれの画面を支える台を含む視覚上の位置である。図2Bにおいて、画面Ma’及びMb’は、実空間上における画面Ma及びMbを示している。また、マーカXa’及びXb’は、画面Ma’及びMb’上に表示された、実空間上におけるマーカXa及びXbを示している。また、Y0’は、実空間上において、画面Ma’及びMb’が接続される領域を示している。   Reference is now made to FIG. 2B. FIG. 2B is a diagram for explaining alignment between the screens, and the positional relationship between the display units 102A and 102B and each of these screens (that is, the screens Ma and Mb) in the real space (in other words, visually). Dimensional positional relationship of the screen). As shown in FIG. 2B, the position in the real space is a visual position including a stand that supports each screen. In FIG. 2B, screens Ma ′ and Mb ′ indicate the screens Ma and Mb in the real space. Markers Xa 'and Xb' indicate the markers Xa and Xb on the real space displayed on the screens Ma 'and Mb'. Y0 'represents an area where the screens Ma' and Mb 'are connected in real space.

操作者は、それぞれの画面に対して、操作部101を介してマーカXa’及びXb’のy軸に沿った(即ち、縦方向の)位置が実空間上で視覚的に一致するように操作する。なお、位置指定マーカ制御部23は、例えば、画面Ma’及びMb’にポインタC0を表示させ、このポインタC0でマーカXa’及びXb’のそれぞれをドラッグすることにより、各マーカの位置を操作させてもよい。また、別の方法として、マーカXa’及びXb’のそれぞれを、領域Y0’に沿って位置を変更可能に表示させてもよい。これにより、マーカXa’及びXb’により、領域Y0’において実空間上における同一の位置の指定が画面Ma’及びMb’それぞれについて成される。位置指定マーカ制御部23は、この操作部101からの操作を受けて、マーカXa’及びXb’の論理空間上の位置、即ち、マーカXa及びXbの位置を特定する。   The operator operates the respective screens so that the positions of the markers Xa ′ and Xb ′ along the y-axis (that is, in the vertical direction) visually match in real space via the operation unit 101. To do. For example, the position specifying marker control unit 23 displays the pointer C0 on the screens Ma ′ and Mb ′, and drags each of the markers Xa ′ and Xb ′ with the pointer C0 to operate the position of each marker. May be. As another method, each of the markers Xa ′ and Xb ′ may be displayed along the region Y <b> 0 ′ so that the position can be changed. As a result, the same position in the real space in the region Y0 ′ is designated for the screens Ma ′ and Mb ′ by the markers Xa ′ and Xb ′. In response to the operation from the operation unit 101, the position designation marker control unit 23 specifies the positions of the markers Xa 'and Xb' in the logical space, that is, the positions of the markers Xa and Xb.

ここで図2Cを参照する。図2Cは、図2Aに示した画像において、実空間上におけるマーカXa’及びXb’の位置の指定を受けて、論理空間上でのマーカXa及びXbの位置が特定された後の状態を示している。ピクセルピッチの異なる表示部102A及び102B間において、実空間上において画面Ma’及びMb’でマーカXa’及びXb’の位置を一致させた場合の、論理空間上におけるマーカXa及びXbの位置は、図2Cに示すようにズレが生じる。   Reference is now made to FIG. 2C. FIG. 2C shows a state after the positions of the markers Xa and Xb in the logical space are specified in response to the designation of the positions of the markers Xa ′ and Xb ′ in the real space in the image shown in FIG. 2A. ing. When the positions of the markers Xa ′ and Xb ′ are matched on the screens Ma ′ and Mb ′ in the real space between the display units 102A and 102B having different pixel pitches, the positions of the markers Xa and Xb in the logical space are as follows: A shift occurs as shown in FIG. 2C.

位置指定マーカ制御部23は、特定されたマーカXa及びXbの位置を示す情報を画面間移動情報生成部24に通知する。   The position designation marker control unit 23 notifies the inter-screen movement information generation unit 24 of information indicating the positions of the identified markers Xa and Xb.

画面間移動情報生成部24は、画面情報記憶部22に記憶された画面情報を読み出す。画面情報を読み出したら、画面間移動情報生成部24は、この画面情報に含まれる基準位置P0の位置情報を読み出す。   The inter-screen movement information generation unit 24 reads the screen information stored in the screen information storage unit 22. When the screen information is read, the inter-screen movement information generation unit 24 reads the position information of the reference position P0 included in the screen information.

次に、画面間移動情報生成部24は、位置指定マーカ制御部23から、マーカXa及びXbの位置(具体的には、図2Bに示すように実空間で一致するように操作されたマーカXa’及びXb’の論理空間上の位置)を示す情報を受ける。これらの情報を受けると、画面間移動情報生成部24は、基準位置P0と、マーカXa及びXbのそれぞれとの間の、領域Y0に沿った幅(即ち、ピクセル数)W1a及びW1bを算出する。図2Cの例では、領域Yaは、基準位置P0とマーカXaを端部とするy軸方向に沿った領域を示している。幅W1aは、この領域Yaのy軸方向に沿った幅を示している。同様に、領域Ybは、基準位置P0とマーカXbを端部とするy軸方向に沿った領域を示している。幅W1bは、この領域Ybのy軸方向に沿った幅を示している。幅W1aと幅W1bとは、実空間上で同じ幅を示しており、これらの論理空間上における間隔の違いは、表示部102A及び102Bの間のピクセルピッチの違いによるものである。例えば、表示部102Bのピクセルピッチが、表示部102Aのピクセルピッチの1/2の場合には、実空間上で同じ距離を示すには、論理空間上における画面Mb上での距離(ピクセル数)は、画面Ma上における距離(ピクセル数)の2倍となる。   Next, the inter-screen movement information generation unit 24 receives the positions of the markers Xa and Xb from the position designation marker control unit 23 (specifically, the marker Xa operated so as to match in real space as shown in FIG. 2B). Information indicating the position of 'and Xb' in the logical space) is received. Upon receiving these pieces of information, the inter-screen movement information generation unit 24 calculates widths (that is, the number of pixels) W1a and W1b along the region Y0 between the reference position P0 and the markers Xa and Xb. . In the example of FIG. 2C, the region Ya indicates a region along the y-axis direction with the reference position P0 and the marker Xa as ends. The width W1a indicates the width along the y-axis direction of the region Ya. Similarly, a region Yb indicates a region along the y-axis direction with the reference position P0 and the marker Xb as ends. The width W1b indicates the width along the y-axis direction of the region Yb. The width W1a and the width W1b indicate the same width in the real space, and the difference in the interval in the logical space is due to the difference in the pixel pitch between the display units 102A and 102B. For example, when the pixel pitch of the display unit 102B is 1/2 of the pixel pitch of the display unit 102A, the distance (number of pixels) on the screen Mb in the logical space is the same distance in the real space. Is twice the distance (number of pixels) on the screen Ma.

なお、図3A〜図3Cは、それぞれが、実空間でマーカXa’及びXb’の位置が一致するように操作された場合の論理空間上における画面Ma及びMbの位置関係の一態様を示している。例えば、図3Aは、画面Maの右辺下部と画面Mbの左辺上部とが接合された場合の一例を示している。図3Aの例では、画面Maの各点の座標は、左上の点が(0,0)、左下の点が(0,750)、右下の点が(1000,750)、右上の点が(1000,0)となる。また、画面Mbの各点の座標は、左上の点が(1000,250)、左下の点が(1000,1500)、右下の点が(2000,1500)、右上の点が(2000,250)となる。この場合には、画面Ma及びMbが接合される領域Y0のy軸方向に沿った端部のうちx軸に近い方の端部は(1000,250)の位置であり、この点が基準位置P0となる。画面間移動情報生成部24は、この基準位置P0に基づき、幅W1a及びW1bをそれぞれの画面のピクセル数で算出する。なお、上記したように、この例では、y軸方向の原点を基準位置P0としており、そのy軸方向の原点は、画面Ma、画面Mbの双方にとって原点であるから、基準位置P0は、も一つの、実空間上でのマーカが一致する点でもある。したがって、言い換えれば、幅W1a及びW1bは、それぞれ、実空間上のy軸上の位置が一致する位置から次に一致する位置までの幅における、それぞれの画面のピクセル数に該当する。   3A to 3C show one mode of the positional relationship between the screens Ma and Mb on the logical space when the markers Xa ′ and Xb ′ are operated so that the positions of the markers Xa ′ and Xb ′ coincide in the real space. Yes. For example, FIG. 3A shows an example in which the lower right side of the screen Ma and the upper left side of the screen Mb are joined. In the example of FIG. 3A, the coordinates of each point on the screen Ma are (0, 0) for the upper left point, (0, 750) for the lower left point, (1000, 750) for the lower right point, and (1000, 750) for the upper right point. (1000, 0). The coordinates of each point on the screen Mb are (1000, 250) for the upper left point, (1000, 1500) for the lower left point, (2000, 1500) for the lower right point, and (2000, 250) for the upper right point. ) In this case, of the end portions along the y-axis direction of the region Y0 where the screens Ma and Mb are joined, the end portion closer to the x-axis is the position (1000, 250), and this point is the reference position. P0. The inter-screen movement information generation unit 24 calculates the widths W1a and W1b based on the number of pixels of each screen based on the reference position P0. As described above, in this example, the origin in the y-axis direction is set as the reference position P0. Since the origin in the y-axis direction is the origin for both the screen Ma and the screen Mb, the reference position P0 is It is also a point where markers in the real space match. Therefore, in other words, the widths W1a and W1b correspond to the number of pixels of each screen in the width from the position where the positions on the y-axis in real space coincide with each other to the next coincident position.

また、図3Bは、画面Mbの左辺が画面Maの右辺を包含するように、画面Ma及びMbが配置された場合の一例を示している。図3Bの例では、画面Maの各点の座標は、左上の点が(0,0)、左下の点が(0,750)、右下の点が(1000,750)、右上の点が(1000,0)となる。また、画面Mbの各点の座標は、左上の点が(1000,−250)、左下の点が(1000,1000)、右下の点が(2000,1000)、右上の点が(2000,−250)となる。この場合には、画面Ma及びMbが接合される領域Y0のy軸方向に沿った端部のうちx軸に近い方の端部は(1000,0)の位置であり、この点が基準位置P0となる。画面間移動情報生成部24は、この基準位置P0に基づき、幅W1a及びW1bを算出する。   FIG. 3B shows an example in which the screens Ma and Mb are arranged so that the left side of the screen Mb includes the right side of the screen Ma. In the example of FIG. 3B, the coordinates of each point on the screen Ma are (0, 0) for the upper left point, (0, 750) for the lower left point, (1000, 750) for the lower right point, and (1000, 750) for the upper right point. (1000, 0). The coordinates of each point on the screen Mb are (1000, -250) for the upper left point, (1000, 1000) for the lower left point, (2000, 1000) for the lower right point, and (2000, 1000) for the upper right point. −250). In this case, of the end portions along the y-axis direction of the region Y0 where the screens Ma and Mb are joined, the end portion closer to the x-axis is the (1000, 0) position, and this point is the reference position. P0. The inter-screen movement information generation unit 24 calculates the widths W1a and W1b based on the reference position P0.

また、図3Cは、画面Maの右辺が画面Mbの左辺を包含するように、画面Ma及びMbが配置された場合の一例を示している。図3Cの例では、画面Maの各点の座標は、左上の点が(0,0)、左下の点が(0,1250)、右下の点が(1000,1250)、右上の点が(1000,0)となる。また、画面Mbの各点の座標は、左上の点が(1000,250)、左下の点が(1000,1000)、右下の点が(2000,1000)、右上の点が(2000,250)となる。この場合には、画面Ma及びMbが接合される領域Y0のy軸方向に沿った端部のうちx軸に近い方の端部は(1000,250)の位置であり、この点が基準位置P0となる。画面間移動情報生成部24は、この基準位置P0に基づき、幅W1a及びW1bを算出する。   FIG. 3C shows an example in which the screens Ma and Mb are arranged so that the right side of the screen Ma includes the left side of the screen Mb. In the example of FIG. 3C, the coordinates of the points on the screen Ma are (0, 0) for the upper left point, (0, 1250) for the lower left point, (1000, 1250) for the lower right point, and (1000, 1250) for the upper right point. (1000, 0). The coordinates of each point on the screen Mb are (1000, 250) for the upper left point, (1000, 1000) for the lower left point, (2000, 1000) for the lower right point, and (2000, 250) for the upper right point. ) In this case, of the end portions along the y-axis direction of the region Y0 where the screens Ma and Mb are joined, the end portion closer to the x-axis is the position (1000, 250), and this point is the reference position. P0. The inter-screen movement information generation unit 24 calculates the widths W1a and W1b based on the reference position P0.

幅W1a及びW1bを算出すると、画面間移動情報生成部24は、これらを除算して係数ka及びkbを算出する。係数kaは、画面Maから画面Mbに向けてポインタC0を移動させた場合の係数を示している。画面間移動情報生成部24は、計算式ka=W1b/W1aに基づき係数kaを算出する。同様に、係数kbは、画面Mbから画面Maに向けてポインタC0を移動させた場合の係数を示している。画面間移動情報生成部24は、計算式kb=W1a/W1bに基づき係数kb(=1/ka)を算出する。   When the widths W1a and W1b are calculated, the inter-screen movement information generation unit 24 calculates coefficients ka and kb by dividing these. The coefficient ka indicates a coefficient when the pointer C0 is moved from the screen Ma toward the screen Mb. The inter-screen movement information generation unit 24 calculates the coefficient ka based on the calculation formula ka = W1b / W1a. Similarly, the coefficient kb indicates a coefficient when the pointer C0 is moved from the screen Mb toward the screen Ma. The inter-screen movement information generation unit 24 calculates the coefficient kb (= 1 / ka) based on the calculation formula kb = W1a / W1b.

画面間移動情報生成部24は、算出された係数ka及びkbと、画面Ma及びMbの位置関係を示す画面情報とを基に画面間移動情報D10を生成する。例えば、図4は、この画面間移動情報D10のデータ構造の一例を示している。図4に示されるデータのうちD11、D12、D13のそれぞれは、上記したように情報設定部21で設定されている情報である。図4において、D11は、画面Ma及びMbを識別するための識別子を示している。また、D12は、画面Ma及びMbの間で設定された優先度を示している。ここでは、2つの画面が共通する座標体系の基準(原点)とする側の画面をプライマリとして優先している。図4の例では、画面Maがプライマリに設定されている。また、D13は、画面Ma及びMbそれぞれの位置を示す位置情報である。図4の例では、各画面の位置を、画面の左上座標D131、右上座標D132、右下座標D133、及び左下座標D134により示している。なお、この位置情報D13は、一例であり、画面Ma及びMbそれぞれの画面の位置を特定できれば、上述したデータ構造に限定はされない。また、D14は、画面Ma及びMbそれぞれについて算出された係数を示している。図4の例では、画面Maに係数kaが対応しており、画面Mbに係数kbが対応している。   The inter-screen movement information generating unit 24 generates inter-screen movement information D10 based on the calculated coefficients ka and kb and screen information indicating the positional relationship between the screens Ma and Mb. For example, FIG. 4 shows an example of the data structure of the inter-screen movement information D10. Of the data shown in FIG. 4, each of D11, D12, and D13 is information set by the information setting unit 21 as described above. In FIG. 4, D11 indicates an identifier for identifying the screens Ma and Mb. D12 indicates the priority set between the screens Ma and Mb. Here, the primary screen is given priority as the reference (origin) of the coordinate system in which the two screens are common. In the example of FIG. 4, the screen Ma is set to primary. D13 is position information indicating the positions of the screens Ma and Mb. In the example of FIG. 4, the position of each screen is indicated by an upper left coordinate D131, an upper right coordinate D132, a lower right coordinate D133, and a lower left coordinate D134. The position information D13 is an example, and the data structure is not limited as long as the positions of the screens Ma and Mb can be specified. D14 indicates a coefficient calculated for each of the screens Ma and Mb. In the example of FIG. 4, the coefficient ka corresponds to the screen Ma, and the coefficient kb corresponds to the screen Mb.

画面間移動情報生成部24は、生成された画面間移動情報D10を、画面間移動情報記憶部25に記憶させる。画面間移動情報記憶部25は、画面間移動情報D10を記憶するための記憶部である。本実施形態に係る表示装置は、画面操作時にポインタC0を画面Ma及びMb間で移動させた場合に、この画面間移動情報D10に基づき、移動後のポインタC0の位置を特定する。以降では、この画面操作に係る動作について説明する。   The inter-screen movement information generation unit 24 stores the generated inter-screen movement information D10 in the inter-screen movement information storage unit 25. The inter-screen movement information storage unit 25 is a storage unit for storing the inter-screen movement information D10. When the pointer C0 is moved between the screens Ma and Mb during the screen operation, the display device according to the present embodiment specifies the position of the pointer C0 after the movement based on the inter-screen movement information D10. Hereinafter, operations related to the screen operation will be described.

(画面操作)
操作部101を介して操作者がポインタC0を操作すると、その操作内容、即ち、操作部101(例えば、マウス)の移動量及び移動方向を示す情報が、操作部101から操作内容解析部31に通知される。
(Screen operation)
When the operator operates the pointer C0 via the operation unit 101, the operation content, that is, information indicating the movement amount and direction of the operation unit 101 (for example, a mouse) is transmitted from the operation unit 101 to the operation content analysis unit 31. Be notified.

操作内容解析部31は、操作部101から操作内容を示す情報を受けると、この情報を基に、ポインタC0の移動量及び移動方向を操作情報として算出する。操作内容解析部31は、算出された操作情報をポインタ制御部32に出力する。   When receiving the information indicating the operation content from the operation unit 101, the operation content analysis unit 31 calculates the movement amount and movement direction of the pointer C0 as operation information based on this information. The operation content analysis unit 31 outputs the calculated operation information to the pointer control unit 32.

ポインタ制御部32は、ポインタC0の位置を管理・制御するための制御部である。ポインタ制御部32は、表示装置が起動されると、画面間移動情報記憶部25から画面間移動情報D10を読み出し、この画面間移動情報D10に含まれる画面情報に基づき画面Ma及びMbの位置関係を特定する。なお、ポインタ制御部32は、この画面情報を画面情報記憶部22から読み出して、画面Ma及びMbの位置関係を特定してもよい。   The pointer control unit 32 is a control unit for managing and controlling the position of the pointer C0. When the display device is activated, the pointer control unit 32 reads the inter-screen movement information D10 from the inter-screen movement information storage unit 25, and the positional relationship between the screens Ma and Mb based on the screen information included in the inter-screen movement information D10. Is identified. The pointer control unit 32 may read this screen information from the screen information storage unit 22 and specify the positional relationship between the screens Ma and Mb.

また、ポインタ制御部32は、通知した画面Ma及びMbの位置関係に基づき、ポインタC0の位置(初期位置)を特定する。この特定された位置を示す情報に基づき、後述するポインタ表示更新部33が、画面Mb及びMbのうちのいずれかの所定位置(即ち、初期位置)にポインタC0を表示させる。このポインタC0の位置は、操作部101を介した操作を受けると、ポインタ制御部32により更新される。このポインタC0の操作を受けた場合の各部の動作について以降で説明する。   In addition, the pointer control unit 32 specifies the position (initial position) of the pointer C0 based on the notified positional relationship between the screens Ma and Mb. Based on the information indicating the specified position, the pointer display update unit 33 described later causes the pointer C0 to be displayed at any one of the screens Mb and Mb (that is, the initial position). The position of the pointer C0 is updated by the pointer control unit 32 when an operation through the operation unit 101 is received. The operation of each unit when receiving the operation of the pointer C0 will be described below.

なお、ポインタ制御部32は、このポインタC0の位置を、画面間移動情報D10で定まる座標上でピクセル数で特定し、管理するが、そのときのy軸方向の位置(座標)は、画面Maに在るときは原点(0,0)からの画面Maのピクセルピッチのピクセル数で特定し、画面Mbに在るときは原点(0,0)からの画面Mbのピクセルピッチのピクセル数で特定する。そして、ポインタ制御部32は、ポインタC0が、画面Ma、Mb間を行き交うときには、y軸方向の位置(座標)を画面間移動情報D10における画面Ma、Mb関係を示す係数ka、kbを用いてその位置を調整する。   The pointer control unit 32 specifies and manages the position of the pointer C0 by the number of pixels on the coordinates determined by the inter-screen movement information D10. The position (coordinates) in the y-axis direction at that time is the screen Ma. Is specified by the number of pixels of the pixel pitch of the screen Ma from the origin (0,0), and when it is in the screen Mb, it is specified by the number of pixels of the pixel pitch of the screen Mb from the origin (0,0). To do. When the pointer C0 moves between the screens Ma and Mb, the pointer control unit 32 uses the coefficients ka and kb indicating the relationship between the screens Ma and Mb in the inter-screen movement information D10 for the position (coordinates) in the y-axis direction. Adjust its position.

操作部101を介してポインタC0が操作されると、ポインタ制御部32は、ポインタC0の操作情報を操作内容解析部31から受ける。ポインタ制御部32は、現状のポインタC0の位置情報を基に、ポインタC0が画面Ma及びMbのうち、いずれの画面上に位置するかを特定する。ここでは、ポインタC0が画面Maに存在するものとして説明する。   When the pointer C0 is operated via the operation unit 101, the pointer control unit 32 receives operation information of the pointer C0 from the operation content analysis unit 31. The pointer controller 32 specifies on which screen of the screens Ma and Mb the pointer C0 is based on the current position information of the pointer C0. Here, the description will be made assuming that the pointer C0 exists on the screen Ma.

ポインタ制御部32は、ポインタC0の位置を監視しながら、所定のタイミングごとに、ポインタC0に対する操作の内容を操作情報として受け、この操作情報に基づきポインタC0の位置を更新する。具体的には、ポインタ制御部32は、操作情報を受けると、この操作情報と、現状のポインタC0の位置情報とを比較し、ポインタC0の移動後の位置を特定する。   While monitoring the position of the pointer C0, the pointer control unit 32 receives the operation content for the pointer C0 as operation information at every predetermined timing, and updates the position of the pointer C0 based on this operation information. Specifically, when receiving the operation information, the pointer control unit 32 compares this operation information with the current position information of the pointer C0, and specifies the position after the pointer C0 is moved.

操作情報に基づきポインタC0の移動後の位置が特定されると、ポインタ制御部32は、ポインタC0が、他方の画面と接合される一端に到達したか否かを判断する。例えば、ポインタC0が画面Ma上に存在する場合には、ポインタ制御部32は、ポインタC0が画面Maの右辺に到達したか否かを判断する。同様に、ポインタC0が画面Mb上に存在する場合には、ポインタ制御部32は、ポインタC0が画面Mbの左辺に到達したか否かを判断すればよい。   When the position after the movement of the pointer C0 is specified based on the operation information, the pointer control unit 32 determines whether or not the pointer C0 has reached one end joined with the other screen. For example, when the pointer C0 exists on the screen Ma, the pointer control unit 32 determines whether or not the pointer C0 has reached the right side of the screen Ma. Similarly, when the pointer C0 exists on the screen Mb, the pointer control unit 32 may determine whether or not the pointer C0 has reached the left side of the screen Mb.

ポインタC0が、他方の画面と接合される一端に到達していない場合には、ポインタ制御部32は、特定されたポインタC0の移動後の位置を示す情報をポインタ表示更新部33に出力する。   When the pointer C0 has not reached one end joined with the other screen, the pointer control unit 32 outputs information indicating the position after the movement of the specified pointer C0 to the pointer display update unit 33.

ポインタC0が、他方の画面と接合される一端、即ち画面Maの右辺に到達した場合には、ポインタ制御部32は、画面Maに対応付けられた係数ka(即ち、画面Maから画面Mbへの移動に向けて移動させた場合の係数ka)を画面間移動情報D10から抽出する。ポインタ制御部32は、移動後のポインタC0の座標のうち、画面Ma及びMbが接合される領域Y0に沿った方向(即ち、y軸方向)の座標を、この抽出されたkaを乗算することで補正する。このときの動作について、図5Aを参照しながら、以下に具体的に説明する。図5Aは、画面間を移動した場合のポインタC0の位置の調整方法について説明するための図であり、画面Maから画面Mbに向けてポインタC0が移動した場合を示している。   When the pointer C0 reaches one end joined to the other screen, that is, the right side of the screen Ma, the pointer control unit 32 performs the coefficient ka associated with the screen Ma (that is, the screen Ma to the screen Mb). The coefficient ka) when moving toward the movement is extracted from the inter-screen movement information D10. The pointer control unit 32 multiplies the extracted ka by the coordinate in the direction (that is, the y-axis direction) along the region Y0 where the screens Ma and Mb are joined among the coordinates of the pointer C0 after movement. Correct with. The operation at this time will be specifically described below with reference to FIG. 5A. FIG. 5A is a diagram for explaining a method of adjusting the position of the pointer C0 when moving between screens, and shows a case where the pointer C0 moves from the screen Ma toward the screen Mb.

図5Aに示す例では、画面Ma上においてx軸(y=0)からy軸方向に幅W1(画面Maにおけるピクセル数)だけ離れた位置P1aから、画面Mbに向けてポインタC0を移動させた場合を示している。このとき、ポインタ制御部32は、x軸から位置P1aまでのy軸方向に沿った距離である幅W1、即ち、位置P1aのy軸方向成分である幅W1に対して、抽出された係数kaを乗算する。ポインタ制御部32は、この計算により算出された幅W1×ka(画面Mbにおけるピクセル数)を、移動後のポインタC0のy軸方向に沿った位置(即ち、y軸方向成分)として、ポインタC0の位置を求める。   In the example shown in FIG. 5A, the pointer C0 is moved toward the screen Mb from the position P1a that is separated from the x axis (y = 0) by the width W1 (the number of pixels in the screen Ma) on the screen Ma in the y axis direction. Shows the case. At this time, the pointer control unit 32 extracts the coefficient ka for the width W1 that is the distance along the y-axis direction from the x-axis to the position P1a, that is, the width W1 that is the y-axis direction component of the position P1a. Multiply The pointer control unit 32 uses the width W1 × ka (the number of pixels in the screen Mb) calculated by this calculation as the position along the y-axis direction of the pointer C0 after movement (that is, the y-axis direction component), and the pointer C0. Find the position of.

なお、画面Mbから画面Maに向けて移動した場合には、ポインタ制御部32は、画面間移動情報D10から、画面Mbに対応付けられた係数kb(即ち、画面Mbから画面Maへの移動に向けて移動させた場合の係数kb)を抽出し、この係数kbを基に、移動後のポインタC0の位置を求めればよい。例えば、図5Bは、画面Mbから画面Maに向けてポインタC0が移動した場合を示している。   When moving from the screen Mb toward the screen Ma, the pointer control unit 32 shifts the coefficient kb associated with the screen Mb from the inter-screen movement information D10 (that is, from the screen Mb to the screen Ma). The coefficient kb) in the case of moving toward is extracted, and the position of the pointer C0 after the movement may be obtained based on the coefficient kb. For example, FIG. 5B shows a case where the pointer C0 has moved from the screen Mb toward the screen Ma.

図5Bに示す例では、画面Mb上においてx軸(y=0)からy軸方向に幅W2(画面Mbにおけるピクセル数)だけ離れた位置P2aから、画面Maに向けてポインタC0を移動させた場合を示している。このとき、ポインタ制御部32は、x軸から位置P2aまでのy軸方向に沿った距離である幅W2、即ち、位置P2aのy軸方向成分である幅W2に対して、抽出された係数kbを乗算する。ポインタ制御部32は、この計算により算出された幅W2×kb(画面Maにおけるピクセル数)を、移動後のポインタC0のy軸方向に沿った位置(即ち、y軸方向成分)として、ポインタC0の位置を求めればよい。   In the example shown in FIG. 5B, the pointer C0 is moved toward the screen Ma from the position P2a that is separated from the x axis (y = 0) by the width W2 (the number of pixels in the screen Mb) in the y axis direction on the screen Mb. Shows the case. At this time, the pointer control unit 32 extracts the coefficient kb with respect to the width W2 that is the distance along the y-axis direction from the x-axis to the position P2a, that is, the width W2 that is the y-axis direction component of the position P2a. Multiply The pointer control unit 32 uses the width W2 × kb (the number of pixels in the screen Ma) calculated by this calculation as the position along the y-axis direction of the pointer C0 after movement (that is, the y-axis direction component). Find the position of.

移動後のポインタC0の位置を求めたら、ポインタ制御部32は、この求めた位置を示す情報と移動先の画面の位置を示す情報(即ち、画面Maから移動した場合は、画面Mb位置を示す情報)とを比較し、ポインタC0の求めた位置が、移動後の画面内(画面Mb内)に在るか否かを判定する。ポインタC0が、移動後の画面内に在る場合には、ポインタ制御部32は、この補正されたポインタC0の位置を示す情報をポインタ表示更新部33に出力する。   When the position of the pointer C0 after the movement is obtained, the pointer control unit 32 indicates the information indicating the obtained position and the information indicating the position of the destination screen (that is, the position of the screen Mb when moving from the screen Ma). Information) and determine whether or not the position obtained by the pointer C0 is in the screen after movement (in the screen Mb). When the pointer C0 is in the screen after movement, the pointer control unit 32 outputs information indicating the corrected position of the pointer C0 to the pointer display update unit 33.

ポインタC0の求めた位置が、移動後の画面内に無い場合には、ポインタ制御部32は、このポインタC0が移動後の画面内における所定の位置に移動するように補正を行う。この動作の具体的な一例について、図6A〜図6Cを参照しながら、パターン1〜パターン3に分けて説明する。   If the position obtained by the pointer C0 is not in the screen after movement, the pointer control unit 32 performs correction so that the pointer C0 moves to a predetermined position in the screen after movement. A specific example of this operation will be described separately for pattern 1 to pattern 3 with reference to FIGS. 6A to 6C.

(パターン1)
まず、図6Aを参照しながら、パターン1に係る動作について説明する。図6Aは、画面間を移動した場合のポインタ位置の調整の一態様について説明するための図である。図6Aは、P3bで示す位置から画面Mbから画面Maに向けてポインタC0を移動させた場合に、上記のように係数Kbで求めたポインタC0が画面Mb内に位置しない場合を示している。この場合には、ポインタ制御部32は、例えば、移動後の画面Maのy軸方向に沿った端部(即ち、上辺及び下辺)のうち、移動前のポインタC0の位置に近い方の端部X0上の位置に移動するように、ポインタC0の位置を補正する。特に、図6Aに示す例では、ポインタ制御部32は、この端部X0上の位置のうち、画面Ma及びMbが接合される領域Y0と接する位置P10を、移動後のポインタC0の位置P3aとして補正する。
(Pattern 1)
First, the operation according to the pattern 1 will be described with reference to FIG. 6A. FIG. 6A is a diagram for describing an aspect of adjustment of the pointer position when moving between screens. FIG. 6A shows a case where the pointer C0 obtained by the coefficient Kb as described above is not located in the screen Mb when the pointer C0 is moved from the position indicated by P3b toward the screen Ma from the screen Mb. In this case, the pointer control unit 32, for example, of the end portions (that is, the upper side and the lower side) along the y-axis direction of the screen Ma after movement, the end portion closer to the position of the pointer C0 before movement. The position of the pointer C0 is corrected so as to move to a position on X0. In particular, in the example illustrated in FIG. 6A, the pointer control unit 32 sets a position P10 in contact with the area Y0 where the screens Ma and Mb are joined among the positions on the end X0 as the position P3a of the pointer C0 after movement. to correct.

(パターン2)
次に、図6Bを参照しながら、パターン2に係る動作について説明する。図6Bは、図6Aに示した例とは異なる一態様を示している。図6Bに示す例では、移動前のポインタC0の位置と画面Ma及びMbが接合される領域Y0との間の距離に応じて、移動後のポインタC0の位置を特定する例を示している。
(Pattern 2)
Next, the operation according to the pattern 2 will be described with reference to FIG. 6B. FIG. 6B shows an aspect different from the example shown in FIG. 6A. In the example shown in FIG. 6B, an example in which the position of the pointer C0 after movement is specified according to the distance between the position of the pointer C0 before movement and the area Y0 where the screens Ma and Mb are joined is shown.

具体的には、ポインタ制御部32は、まず、端部X0上の位置のうち、領域Y0と接する位置P10を基点として、この基点となる位置P10から移動前のポインタC0の位置までの距離を算出する。例えば、図6Bに示すように、移動前のポインタC0の位置が、画面Mb上の位置P41bの場合には、ポインタ制御部32は、この位置P41bと基点となる位置P10との間の距離W4bを算出する。   Specifically, the pointer control unit 32 first sets the distance from the position P10 serving as the base point to the position of the pointer C0 before the movement from the position P10 in contact with the region Y0 among the positions on the end X0. calculate. For example, as illustrated in FIG. 6B, when the position of the pointer C0 before the movement is a position P41b on the screen Mb, the pointer control unit 32 determines the distance W4b between the position P41b and the base position P10. Is calculated.

距離W4bを算出すると、ポインタ制御部32は、この距離W4bに所定の比率を乗算することで距離W4aを算出する。この比率には、例えば、画面Mbから画面Maへの移動に向けて移動させた場合の係数kbを用いてもよい。また、W4a=W4bとしてもよい。   When the distance W4b is calculated, the pointer control unit 32 calculates the distance W4a by multiplying the distance W4b by a predetermined ratio. For this ratio, for example, a coefficient kb when moved toward the movement from the screen Mb to the screen Ma may be used. Alternatively, W4a = W4b may be set.

距離W4aを算出すると、ポインタ制御部32は、端部X0上において基点となる位置P10から距離W4aだけ離れた位置を、移動後のポインタC0の位置P41aとして補正する。即ち、ポインタ制御部32は、移動前のポインタC0の位置が、位置P10からy軸方向に沿って位置P41bよりも離れた位置P42bの場合には、位置P10からx軸方向に沿って位置P41aよりも離れた位置P42aにポインタC0が移動するように補正する。   When the distance W4a is calculated, the pointer control unit 32 corrects a position that is a distance W4a away from the base position P10 on the end X0 as the position P41a of the pointer C0 after movement. That is, when the position of the pointer C0 before movement is a position P42b that is further away from the position P41b along the y-axis direction from the position P10, the pointer control unit 32 moves from the position P10 along the x-axis direction to the position P41a. It is corrected so that the pointer C0 moves to a position P42a further away.

(パターン3)
次に、図6Cを参照しながら、パターン3に係る動作について説明する。図6Cは、図6A及び図6Bに示した例とは異なる一態様を示している。図6Cに示す例では、移動前のポインタC0の位置と画面Ma及びMbが接合される領域Y0との間の距離と、移動前のポインタC0の移動方向(進入角度)とに応じて、移動後のポインタC0の位置を特定する例を示している。
(Pattern 3)
Next, the operation according to the pattern 3 will be described with reference to FIG. 6C. FIG. 6C shows an aspect different from the example shown in FIGS. 6A and 6B. In the example shown in FIG. 6C, the movement is performed according to the distance between the position of the pointer C0 before the movement and the area Y0 where the screens Ma and Mb are joined and the movement direction (entrance angle) of the pointer C0 before the movement. An example of specifying the position of the subsequent pointer C0 is shown.

具体的には、ポインタ制御部32は、まず、端部X0上の位置のうち、領域Y0と接する位置P10を基点として、この基点となる位置P10から移動前のポインタC0の位置までの距離を算出する。例えば、図6Bに示すように、移動前のポインタC0の位置が、画面Mb上の位置P41bの場合には、ポインタ制御部32は、この位置P41bと基点となる位置P10との間の距離W5bを算出する。   Specifically, the pointer control unit 32 first sets the distance from the position P10 serving as the base point to the position of the pointer C0 before the movement from the position P10 in contact with the region Y0 among the positions on the end X0. calculate. For example, as illustrated in FIG. 6B, when the position of the pointer C0 before the movement is a position P41b on the screen Mb, the pointer control unit 32 determines the distance W5b between the position P41b and the base position P10. Is calculated.

また、ポインタ制御部32は、ポインタC0が画面Mb上の位置P50bに進入したときに、その直前のポインタC0の位置情報と位置P50bの位置情報とに基づき、ポインタC0の移動方向を特定する。具体的な一例として、ポインタ制御部32は、直前の所定時間(例えば、100msec)分のポインタC0の位置情報を保持しておき、これらの情報に基づきポインタC0の移動方向を算出するとよい。なお、図6Cの例では、この移動方向を端部X0との成す角度で示している。例えば、ポインタC0が、方向P51bに沿って位置P50bに進入したとき、ポインタ制御部32は、この移動方向P51bと端部X0との成す角度θ1を、ポインタC0の移動方向を示す情報として特定する。同様に、ポインタC0が、方向P52bに沿って位置P50bに進入したとき、ポインタ制御部32は、この移動方向P52bと端部X0との成す角度θ2を、ポインタC0の移動方向を示す情報として特定する。なお、ポインタC0の移動方向を特定できれば、この移動方向を示す情報は、角度を示す情報に限定されない。例えば、x軸方向成分とy軸方向成分とで示されたベクトルとして、この移動方向を示す情報を特定してもよい。   Further, when the pointer C0 enters the position P50b on the screen Mb, the pointer control unit 32 specifies the moving direction of the pointer C0 based on the position information of the pointer C0 immediately before and the position information of the position P50b. As a specific example, the pointer control unit 32 may hold the position information of the pointer C0 for a predetermined time immediately before (for example, 100 msec) and calculate the moving direction of the pointer C0 based on the information. In the example of FIG. 6C, this movement direction is indicated by an angle formed with the end X0. For example, when the pointer C0 enters the position P50b along the direction P51b, the pointer control unit 32 specifies the angle θ1 formed by the movement direction P51b and the end X0 as information indicating the movement direction of the pointer C0. . Similarly, when the pointer C0 enters the position P50b along the direction P52b, the pointer control unit 32 specifies the angle θ2 formed by the movement direction P52b and the end X0 as information indicating the movement direction of the pointer C0. To do. As long as the moving direction of the pointer C0 can be specified, the information indicating the moving direction is not limited to the information indicating the angle. For example, information indicating the moving direction may be specified as a vector indicated by an x-axis direction component and a y-axis direction component.

距離W5bと、ポインタC0の移動方向(即ち、角度θ1またはθ2)を特定したら、ポインタ制御部32は、これらの情報に基づき端部X0上の位置を特定する。具体的な一例として、ポインタ制御部32は、これらの情報に基づき、位置P50bに進入したポインタC0の移動方向を延長した線が端部X0と交わる位置を特定する。   When the distance W5b and the moving direction of the pointer C0 (that is, the angle θ1 or θ2) are specified, the pointer control unit 32 specifies the position on the end X0 based on these pieces of information. As a specific example, the pointer control unit 32 specifies a position where a line extending the moving direction of the pointer C0 that has entered the position P50b intersects with the end X0 based on these pieces of information.

例えば、ポインタC0が、移動方向P51bで位置P50bに進入したとする。この場合には、ポインタ制御部32は、距離W5bと角度θ1とに基づき、端部X0上において基点となる位置P10からの距離W51a=W5b・tanθ1を算出する。距離W51aを算出すると、ポインタ制御部32は、端部X0上において基点となる位置P10から距離W51aだけ離れた位置を、移動後のポインタC0の位置P51aとして補正する。   For example, assume that the pointer C0 enters the position P50b in the movement direction P51b. In this case, the pointer control unit 32 calculates the distance W51a = W5b · tan θ1 from the position P10 serving as the base point on the end X0 based on the distance W5b and the angle θ1. When the distance W51a is calculated, the pointer control unit 32 corrects a position separated by the distance W51a from the base position P10 on the end X0 as the position P51a of the pointer C0 after movement.

同様に、ポインタC0が、移動方向P52bで位置P50bに進入したとする。この場合には、ポインタ制御部32は、距離W5bと角度θ2とに基づき、端部X0上において基点となる位置P10からの距離W52a=W5b・tanθ1を算出する。距離W52aを算出すると、ポインタ制御部32は、端部X0上において基点となる位置P10から距離W52aだけ離れた位置を、移動後のポインタC0の位置P52aとして補正する。   Similarly, assume that the pointer C0 enters the position P50b in the movement direction P52b. In this case, the pointer control unit 32 calculates the distance W52a = W5b · tan θ1 from the position P10 serving as the base point on the end X0 based on the distance W5b and the angle θ2. When the distance W52a is calculated, the pointer control unit 32 corrects a position that is a distance W52a away from the base position P10 on the end X0 as the position P52a of the pointer C0 after movement.

なお、ポインタC0が、他方の画面と接合される一端に到達した場合に、ポインタ制御部32は、ポインタC0を直ちに他方の画面に移動させずに、到達してから所定時間(例えば、数百[msec])とどまった場合にポインタC0を移動させてもよい。このように動作させることで、操作者が操作ミスにより意図せずポインタC0を移動させた場合に、操作者の意図に反してポインタC0が移動する場合を軽減することが可能となる。   When the pointer C0 reaches one end joined to the other screen, the pointer control unit 32 does not immediately move the pointer C0 to the other screen, but reaches a predetermined time (for example, several hundreds). [Msec]), the pointer C0 may be moved. By operating in this way, when the operator moves the pointer C0 unintentionally due to an operation mistake, it is possible to reduce the case where the pointer C0 moves against the operator's intention.

また、ポインタ制御部32は、この係数ka及びkbにより、論理空間上におけるポインタC0の移動速度(マウス等の操作部101の操作量に対するポインタC0の移動量の割合)を調整するように動作させてもよい。前述したように、ピクセルピッチが異なる場合には、実空間上で占有する距離と論理空間上におけるピクセル数とが異なる。そのため、各画面でポインタC0に対する操作量が同じ場合においても、実空間上におけるポインタC0の移動量(移動距離)は、ピクセルピッチが細かい方の画面上では他方の画面に比べて短くなる(即ち、ポインタC0の移動速度は遅くなる)。そのため、この操作量に対する論理空間上でのポインタC0の移動量(即ち、ポインタC0の移動速度)の違いを、係数ka及びkbにより調整することで、ピクセルピッチが異なる画面間を移動した場合においても、見た目上のポインタC0の移動速度を一定に表示させることが可能となる。   Further, the pointer control unit 32 is operated so as to adjust the moving speed of the pointer C0 in the logical space (the ratio of the moving amount of the pointer C0 to the operating amount of the operating unit 101 such as a mouse) by the coefficients ka and kb. May be. As described above, when the pixel pitch is different, the distance occupied in the real space is different from the number of pixels in the logical space. Therefore, even when the operation amount for the pointer C0 is the same on each screen, the movement amount (movement distance) of the pointer C0 in the real space is shorter on the screen with the finer pixel pitch than on the other screen (that is, the screen). The moving speed of the pointer C0 is slow). Therefore, when the movement amount of the pointer C0 in the logical space with respect to the operation amount (that is, the movement speed of the pointer C0) is adjusted by the coefficients ka and kb, In addition, it is possible to display the moving speed of the apparent pointer C0 constant.

上記のようにポインタC0が画面間を移動する際に、係数ka及びkbに基づきポインタC0の位置を補正することで、表示部102A及び102Bの間でピクセルピッチが異なる場合においても、画面間の移動前後においてポインタC0の位置が変わらず連続的に動作する。そのため、ポインタC0の動作が操作者の視覚と一致し、直観的な操作が可能となる。   As described above, when the pointer C0 moves between the screens, the position of the pointer C0 is corrected based on the coefficients ka and kb, so that even when the pixel pitch is different between the display units 102A and 102B, Before and after the movement, the position of the pointer C0 does not change and operates continuously. Therefore, the operation of the pointer C0 matches the visual sense of the operator, and an intuitive operation is possible.

また、従来の表示装置では、画面Ma及びMbを仮想的に接合する領域Y0からのみ、画面Ma及びMbの間の移動を可能としていた。そのため、この領域Y0以外の場所を介して他方の画面にポインタC0を移動させようとしても、ポインタC0の位置は移動されず一方の画面にとどまっていた。そのため、操作者は、一方の画面から他方の画面にポインタC0を移動させる場合に、領域Y0の位置までポインタC0を移動させる必要があった。これにより、操作が断続的となり、使い勝手が悪かった。しかしながら、上記のように、ポインタC0の位置を制御することで、画面Ma及びMbを接合する領域Y0以外の場所からも、他方の画面にポインタC0を移動させることが可能となる。そのため、操作が連続的となり、操作者は、より直観的な操作が可能となる。   Further, in the conventional display device, it is possible to move between the screens Ma and Mb only from the region Y0 where the screens Ma and Mb are virtually joined. Therefore, even if an attempt is made to move the pointer C0 to the other screen through a place other than the area Y0, the position of the pointer C0 is not moved and remains on the one screen. Therefore, when the operator moves the pointer C0 from one screen to the other screen, the operator needs to move the pointer C0 to the position of the area Y0. As a result, the operation became intermittent and the usability was poor. However, by controlling the position of the pointer C0 as described above, it is possible to move the pointer C0 to the other screen from a place other than the region Y0 that joins the screens Ma and Mb. Therefore, the operation becomes continuous, and the operator can perform a more intuitive operation.

ポインタ制御部32は、移動後のポインタC0の位置を特定すると、この位置を示す位置情報をポインタ表示更新部33に出力する。ポインタ表示更新部33は、ポインタC0の位置情報を受けると、この位置情報が示す画面Ma及びMbのいずれかの画面上の位置にポインタC0が表示されるように、表示部102A及び102Bの表示を更新する。   When the pointer control unit 32 specifies the position of the pointer C0 after movement, the pointer control unit 32 outputs position information indicating the position to the pointer display update unit 33. When the pointer display update unit 33 receives the position information of the pointer C0, the display of the display units 102A and 102B is displayed so that the pointer C0 is displayed at a position on the screen Ma or Mb indicated by the position information. Update.

次に、図7A及び図7Bを参照しながら、本実施形態に係る表示装置の動作について説明する。   Next, the operation of the display device according to the present embodiment will be described with reference to FIGS. 7A and 7B.

まず、図7Aを参照しながら、「画面間の位置合わせ」を行うためのモードでの動作について説明する。図7Aは、本実施形態に係る表示装置の、「画面間の位置合わせ」を行うためのモードでの動作を示したフローチャートである。   First, the operation in the mode for performing “position alignment between screens” will be described with reference to FIG. 7A. FIG. 7A is a flowchart showing the operation of the display device according to the present embodiment in a mode for performing “position alignment between screens”.

(ステップS11)
画面情報設定部21は、表示部102A及び102Bに表示される各画面の解像度と、各画面の位置関係を設定するための構成である。画面情報設定部21は、U/I10(または、表示部102A及び102B)から、表示部102A及び102Bのそれぞれについてあらかじめ設定された画面の解像度を示す情報と、これらの画面間の位置関係を示す情報を受ける。
(Step S11)
The screen information setting unit 21 is configured to set the resolution of each screen displayed on the display units 102A and 102B and the positional relationship between the screens. The screen information setting unit 21 indicates information indicating the screen resolution set in advance for each of the display units 102A and 102B from the U / I 10 (or the display units 102A and 102B) and the positional relationship between these screens. Receive information.

画面情報設定部21は、表示部102A及び102Bのうち、あらかじめ決められたいずれかを優先度の高いプライマリモニタとして設定する。なお、以降では、表示部102A(即ち、画面Ma側)がプライマリモニタとして設定されており、表示部102B(即ち、画面Mb側)はセカンダリモニタとして設定されているものとして説明する。   The screen information setting unit 21 sets one of the display units 102 </ b> A and 102 </ b> B as a primary monitor having a high priority. In the following description, it is assumed that the display unit 102A (that is, the screen Ma side) is set as a primary monitor, and the display unit 102B (that is, the screen Mb side) is set as a secondary monitor.

画面情報設定部21は、プライマリモニタとしてあらかじめ設定された表示部102Aに対応する画面Ma上の、あらかじめ決められた位置を基準として、他の画面、即ち画面Mbの位置、即ち、座標を特定する。例えば、図2Aの例では、画面Maの左上の点を基準(即ち、原点(0,0))として、横方向をx軸、縦方向をy軸として各画面の位置を特定している。この場合、画面Maの各点の座標は、左下の点が(0,750)、右下の点が(1000,750)、右上の点が(1000,0)となる。また、画面Mbの各点の座標は、左上の点が(1000,−750)、左下の点が(1000,625)、右下の点が(2000,625)、右上の点が(2000,−750)となる。   The screen information setting unit 21 specifies the position of the other screen, that is, the screen Mb, that is, the coordinates on the basis of the predetermined position on the screen Ma corresponding to the display unit 102A that is preset as the primary monitor. . For example, in the example of FIG. 2A, the position of each screen is specified with the upper left point of the screen Ma as a reference (that is, the origin (0, 0)) and the horizontal direction as the x axis and the vertical direction as the y axis. In this case, the coordinates of each point on the screen Ma are (0, 750) for the lower left point, (1000, 750) for the lower right point, and (1000, 0) for the upper right point. The coordinates of each point on the screen Mb are (1000, 750) for the upper left point, (1000, 625) for the lower left point, (2000, 625) for the lower right point, and (2000, 625) for the upper right point. -750).

次に、画面情報設定部21は、特定された画面Ma及びMb間の位置を示す情報を基に、これらの画面が接合される領域Y0中の所定の位置を基準位置P0として特定する。例えば、図2Cに示した例では、領域Y0のy軸方向に沿った端部のうち、x軸に近い方(y軸の増加方向に沿って最初に表れる領域Y0中の点)の端部を基準位置P0としている。   Next, the screen information setting unit 21 specifies a predetermined position in the region Y0 where these screens are joined as the reference position P0 based on the information indicating the position between the specified screens Ma and Mb. For example, in the example shown in FIG. 2C, of the end portions along the y-axis direction of the region Y0, the end portion closer to the x-axis (the point in the region Y0 that first appears along the increasing direction of the y-axis) Is the reference position P0.

画面情報設定部21は、この各画面の解像度(ここでは、ピクセル数)を示す情報と、画面間の位置関係を示す情報(即ち、画面Ma及びMbの各座標)と、特定された基準位置P0を示す位置情報とを画面情報として画面情報記憶部22に記憶させる。   The screen information setting unit 21 includes information indicating the resolution of each screen (here, the number of pixels), information indicating the positional relationship between the screens (that is, the coordinates of the screens Ma and Mb), and the identified reference position. The position information indicating P0 is stored in the screen information storage unit 22 as screen information.

なお、表示部102A及び102Bそれぞれの画面の解像度と、これらの画面間の位置関係を示す情報は、操作部101を介して操作者が設定できるようにしてもよい。この場合には、画面情報設定部21は、まず、表示部102A及び102Bのそれぞれについて設定可能な解像度の範囲を示す情報をU/I10(または、表示部102A及び102B)から受ける。画面情報設定部21は、この情報を基に、各画面の解像度と、これらの画面間の位置関係を指定するための操作画面を生成し、この操作画面を表示部102A及び102Bの少なくともいずれかに表示させる。画面情報設定部21は、操作部101を介して操作画面上で指定された、各画面の解像度を示す情報と画面間の位置関係を示す情報とを受ける。画面情報設定部21は、これらの情報を画面情報として画面情報記憶部22に記憶させればよい。   It should be noted that the screen resolution of each of the display units 102A and 102B and information indicating the positional relationship between these screens may be set by the operator via the operation unit 101. In this case, the screen information setting unit 21 first receives from the U / I 10 (or the display units 102A and 102B) information indicating the resolution ranges that can be set for the display units 102A and 102B. Based on this information, the screen information setting unit 21 generates an operation screen for designating the resolution of each screen and the positional relationship between these screens, and this operation screen is displayed on at least one of the display units 102A and 102B. To display. The screen information setting unit 21 receives information indicating the resolution of each screen and information indicating the positional relationship between the screens designated on the operation screen via the operation unit 101. The screen information setting unit 21 may store these pieces of information as screen information in the screen information storage unit 22.

(ステップS12)
位置指定マーカ制御部23は、画面Maと画面Mbのそれぞれに、これらの画面が接続される領域Y0を含む端部に沿った位置を指定するためのマーカXa及びXbを表示させる。具体的には、位置指定マーカ制御部23は、画面Ma上にマーカXaを、画面Maの右辺(y軸方向)に沿って移動可能に表示させる。同様に、位置指定マーカ制御部23は、画面Mb上にマーカXbを、画面Mbの左辺(y軸方向)に沿って移動可能に表示させる。
(Step S12)
The position designation marker control unit 23 displays on each of the screen Ma and the screen Mb markers Xa and Xb for designating positions along the end including the region Y0 to which these screens are connected. Specifically, the position designation marker control unit 23 displays the marker Xa on the screen Ma so as to be movable along the right side (y-axis direction) of the screen Ma. Similarly, the position designation marker control unit 23 displays the marker Xb on the screen Mb so as to be movable along the left side (y-axis direction) of the screen Mb.

ここで図2Bを参照する。操作者は、それぞれの画面に対して、操作部101を介してマーカXa’及びXb’のy軸に沿った(即ち、縦方向の)位置が実空間上で視覚的に一致するように操作する。なお、位置指定マーカ制御部23は、例えば、画面Ma’及びMb’にポインタC0を表示させ、このポインタC0でマーカXa’及びXb’のそれぞれをドラッグすることにより、各マーカの位置を操作させてもよい。また、別の方法として、マーカXa’及びXb’のそれぞれを、領域Y0’に沿って位置を変更可能に表示させてもよい。これにより、マーカXa’及びXb’により、領域Y0’において実空間上における同一の位置の指定が画面Ma’及びMb’それぞれについて成される。位置指定マーカ制御部23は、この操作部101からの操作を受けて、マーカXa’及びXb’の論理空間上の位置、即ち、マーカXa及びXbの位置を特定する。   Reference is now made to FIG. 2B. The operator operates the respective screens so that the positions of the markers Xa ′ and Xb ′ along the y-axis (that is, in the vertical direction) visually match in real space via the operation unit 101. To do. For example, the position specifying marker control unit 23 displays the pointer C0 on the screens Ma ′ and Mb ′, and drags each of the markers Xa ′ and Xb ′ with the pointer C0 to operate the position of each marker. May be. As another method, each of the markers Xa ′ and Xb ′ may be displayed along the region Y <b> 0 ′ so that the position can be changed. As a result, the same position in the real space in the region Y0 ′ is designated for the screens Ma ′ and Mb ′ by the markers Xa ′ and Xb ′. In response to the operation from the operation unit 101, the position designation marker control unit 23 specifies the positions of the markers Xa 'and Xb' in the logical space, that is, the positions of the markers Xa and Xb.

位置指定マーカ制御部23は、特定されたマーカXa及びXbの位置を示す情報を画面間移動情報生成部24に通知する。   The position designation marker control unit 23 notifies the inter-screen movement information generation unit 24 of information indicating the positions of the identified markers Xa and Xb.

(ステップS13)
画面間移動情報生成部24は、画面情報記憶部22に記憶された画面情報を読み出す。画面情報を読み出したら、画面間移動情報生成部24は、この画面情報に含まれる基準位置P0の位置情報を読み出す。
(Step S13)
The inter-screen movement information generation unit 24 reads the screen information stored in the screen information storage unit 22. When the screen information is read, the inter-screen movement information generation unit 24 reads the position information of the reference position P0 included in the screen information.

(ステップS14)
次に、画面間移動情報生成部24は、位置指定マーカ制御部23から、マーカXa及びXbの位置(具体的には、図2Bに示すように実空間で一致するように操作されたマーカXa’及びXb’の位置)を示す情報を受ける。これらの情報を受けると、画面間移動情報生成部24は、基準位置P0と、マーカXa及びXbのそれぞれとの間の、領域Y0に沿った幅(即ち、ピクセル数)W1a及びW1bを算出する。図2Cの例では、領域Yaは、基準位置P0とマーカXaを端部とするy軸方向に沿った領域を示している。幅W1aは、この領域Yaのy軸方向に沿った幅を示している。同様に、領域Ybは、基準位置P0とマーカXbを端部とするy軸方向に沿った領域を示している。幅W1bは、この領域Ybのy軸方向に沿った幅を示している。幅W1aと幅W1bとは、実空間上で同じ幅を示しており、これらの論理空間上における間隔の違いは、表示部102A及び102Bの間のピクセルピッチの違いによるものである。例えば、表示部102Bのピクセルピッチが、表示部102Aのピクセルピッチの1/2の場合には、実空間上で同じ距離を示す場合には、論理空間上における画面Mb上での距離(ピクセル数)は、画面Ma上における距離(ピクセル数)の2倍となる。
(Step S14)
Next, the inter-screen movement information generation unit 24 receives the positions of the markers Xa and Xb from the position designation marker control unit 23 (specifically, the marker Xa operated so as to match in real space as shown in FIG. 2B). Information indicating the positions of “and Xb” is received. Upon receiving these pieces of information, the inter-screen movement information generation unit 24 calculates widths (that is, the number of pixels) W1a and W1b along the region Y0 between the reference position P0 and the markers Xa and Xb. . In the example of FIG. 2C, the region Ya indicates a region along the y-axis direction with the reference position P0 and the marker Xa as ends. The width W1a indicates the width along the y-axis direction of the region Ya. Similarly, a region Yb indicates a region along the y-axis direction with the reference position P0 and the marker Xb as ends. The width W1b indicates the width along the y-axis direction of the region Yb. The width W1a and the width W1b indicate the same width in the real space, and the difference in the interval in the logical space is due to the difference in the pixel pitch between the display units 102A and 102B. For example, when the pixel pitch of the display unit 102B is ½ of the pixel pitch of the display unit 102A, when the same distance is shown in the real space, the distance (number of pixels) on the screen Mb in the logical space. ) Is twice the distance (number of pixels) on the screen Ma.

幅W1a及びW1bを算出すると、画面間移動情報生成部24は、これらを除算して係数ka及びkbを算出する。係数kaは、画面Maから画面Mbに向けてポインタC0を移動させた場合の係数を示している。画面間移動情報生成部24は、計算式ka=W1b/W1aに基づき係数kaを算出する。同様に、係数kbは、画面Mbから画面Maに向けてポインタC0を移動させた場合の係数を示している。画面間移動情報生成部24は、計算式kb=W1a/W1bに基づき係数kb(=1/ka)を算出する。   When the widths W1a and W1b are calculated, the inter-screen movement information generation unit 24 calculates coefficients ka and kb by dividing these. The coefficient ka indicates a coefficient when the pointer C0 is moved from the screen Ma toward the screen Mb. The inter-screen movement information generation unit 24 calculates the coefficient ka based on the calculation formula ka = W1b / W1a. Similarly, the coefficient kb indicates a coefficient when the pointer C0 is moved from the screen Mb toward the screen Ma. The inter-screen movement information generation unit 24 calculates the coefficient kb (= 1 / ka) based on the calculation formula kb = W1a / W1b.

画面間移動情報生成部24は、算出された係数ka及びkbと、画面Ma及びMbの位置関係を示す画面情報とを基に画面間移動情報D10を生成する。   The inter-screen movement information generating unit 24 generates inter-screen movement information D10 based on the calculated coefficients ka and kb and screen information indicating the positional relationship between the screens Ma and Mb.

(ステップS15)
画面間移動情報生成部24は、生成された画面間移動情報D10を、画面間移動情報記憶部25に記憶させる。
(Step S15)
The inter-screen movement information generation unit 24 stores the generated inter-screen movement information D10 in the inter-screen movement information storage unit 25.

次に、図7Bを参照しながら、「画面操作」を行うためのモードでの動作について説明する。図7Bは、本実施形態に係る表示装置の、「画面操作」を行うためのモードでの動作を示したフローチャートである。   Next, the operation in the mode for performing the “screen operation” will be described with reference to FIG. 7B. FIG. 7B is a flowchart showing the operation of the display device according to the present embodiment in the mode for performing “screen operation”.

(ステップS21)
ポインタ制御部32は、表示装置が起動されると、画面間移動情報記憶部25から画面間移動情報D10を読み出し、この画面間移動情報D10に含まれる画面情報に基づき画面Ma及びMbの位置関係を特定する。なお、ポインタ制御部32は、この画面情報を画面情報記憶部22から読み出して、画面Ma及びMbの位置関係を特定してもよい。
(Step S21)
When the display device is activated, the pointer control unit 32 reads the inter-screen movement information D10 from the inter-screen movement information storage unit 25, and the positional relationship between the screens Ma and Mb based on the screen information included in the inter-screen movement information D10. Is identified. The pointer control unit 32 may read this screen information from the screen information storage unit 22 and specify the positional relationship between the screens Ma and Mb.

操作部101を介して操作者がポインタC0を操作すると、その操作内容、即ち、操作部101(例えば、マウス)の移動量及び移動方向を示す情報が、操作部101から操作内容解析部31に通知される。   When the operator operates the pointer C0 via the operation unit 101, the operation content, that is, information indicating the movement amount and direction of the operation unit 101 (for example, a mouse) is transmitted from the operation unit 101 to the operation content analysis unit 31. Be notified.

(ステップS22)
操作内容解析部31は、操作部101から操作内容を示す情報を受けると、この情報を基に、ポインタC0の移動量及び移動方向を操作情報として算出する。操作内容解析部31は、算出された操作情報をポインタ制御部32に出力する。
(Step S22)
When receiving the information indicating the operation content from the operation unit 101, the operation content analysis unit 31 calculates the movement amount and movement direction of the pointer C0 as operation information based on this information. The operation content analysis unit 31 outputs the calculated operation information to the pointer control unit 32.

操作部101を介してポインタC0が操作されると、ポインタ制御部32は、ポインタC0の操作情報を操作内容解析部31から受ける。ポインタ制御部32は、現状のポインタC0の位置情報を基に、ポインタC0が画面Ma及びMbのうち、いずれの画面上に位置するかを特定する。ここでは、ポインタC0が画面Maに存在するものとして説明する。   When the pointer C0 is operated via the operation unit 101, the pointer control unit 32 receives operation information of the pointer C0 from the operation content analysis unit 31. The pointer controller 32 specifies on which screen of the screens Ma and Mb the pointer C0 is based on the current position information of the pointer C0. Here, the description will be made assuming that the pointer C0 exists on the screen Ma.

ポインタ制御部32は、ポインタC0の位置を監視しながら、所定のタイミングごとに、ポインタC0に対する操作の内容を操作情報として受け、この操作情報に基づきポインタC0の位置を更新する。具体的には、ポインタ制御部32は、操作情報を受けると、この操作情報と、現状のポインタC0の位置情報とを比較し、ポインタC0の移動後の位置を特定する。   While monitoring the position of the pointer C0, the pointer control unit 32 receives the operation content for the pointer C0 as operation information at every predetermined timing, and updates the position of the pointer C0 based on this operation information. Specifically, when receiving the operation information, the pointer control unit 32 compares this operation information with the current position information of the pointer C0, and specifies the position after the pointer C0 is moved.

(ステップS23)
操作情報に基づきポインタC0の移動後の位置が特定されると、ポインタ制御部32は、ポインタC0が、他方の画面と接合される一端に到達したか否かを判断する。例えば、ポインタC0が画面Ma上に存在する場合には、ポインタ制御部32は、ポインタC0が画面Maの右辺に到達したか否かを判断する。同様に、ポインタC0が画面Mb上に存在する場合には、ポインタ制御部32は、ポインタC0が画面Mbの左辺に到達したか否かを判断すればよい。
(Step S23)
When the position after the movement of the pointer C0 is specified based on the operation information, the pointer control unit 32 determines whether or not the pointer C0 has reached one end joined with the other screen. For example, when the pointer C0 exists on the screen Ma, the pointer control unit 32 determines whether or not the pointer C0 has reached the right side of the screen Ma. Similarly, when the pointer C0 exists on the screen Mb, the pointer control unit 32 may determine whether or not the pointer C0 has reached the left side of the screen Mb.

(ステップS23、ステップS24)
ポインタC0が、他方の画面と接合される一端に到達していない場合には(ステップS23、N)、ポインタ制御部32は、特定されたポインタC0の移動後の位置を示す情報をポインタ表示更新部33に出力する(ステップS24)。
(Step S23, Step S24)
If the pointer C0 has not reached one end joined with the other screen (step S23, N), the pointer control unit 32 updates the pointer display information indicating the position after the movement of the specified pointer C0. It outputs to the part 33 (step S24).

(ステップS23、ステップS31)
ポインタC0が、他方の画面と接合される一端、即ち画面Maの右辺に到達した場合には(ステップS23、Y)、ポインタ制御部32は、画面Maに対応付けられた係数ka(即ち、画面Maから画面Mbへの移動に向けて移動させた場合の係数ka)を画面間移動情報D10から抽出する(ステップS31)。
(Step S23, Step S31)
When the pointer C0 reaches one end joined to the other screen, that is, the right side of the screen Ma (step S23, Y), the pointer control unit 32 performs the coefficient ka (that is, the screen) associated with the screen Ma. The coefficient ka) in the case of moving toward the movement from Ma to the screen Mb is extracted from the inter-screen movement information D10 (step S31).

(ステップS32)
ポインタ制御部32は、移動後のポインタC0の座標のうち、画面Ma及びMbが接合される領域Y0に沿った方向(即ち、y軸方向)の座標を、この抽出されたkaを乗算することで補正する。このときの動作について、図5Aを参照しながら、以下に具体的に説明する。図5Aは、画面間を移動した場合のポインタC0の位置の調整方法について説明するための図であり、画面Maから画面Mbに向けてポインタC0が移動した場合を示している。
(Step S32)
The pointer control unit 32 multiplies the extracted ka by the coordinate in the direction (that is, the y-axis direction) along the region Y0 where the screens Ma and Mb are joined among the coordinates of the pointer C0 after movement. Correct with. The operation at this time will be specifically described below with reference to FIG. 5A. FIG. 5A is a diagram for explaining a method of adjusting the position of the pointer C0 when moving between screens, and shows a case where the pointer C0 moves from the screen Ma toward the screen Mb.

図5Aに示す例では、画面Ma上においてx軸(y=0)からy軸方向に幅W1だけ離れた位置P1aから、画面Mbに向けてポインタC0を移動させた場合を示している。このとき、ポインタ制御部32は、x軸(y=0)から位置P1aまでのy軸方向に沿った距離である幅W1、即ち、位置P1aのy軸方向成分である幅W1に対して、抽出された係数kaを乗算する。ポインタ制御部32は、この計算により算出されたW1×kaを、移動後のポインタC0のy軸方向に沿った位置(即ち、y軸方向成分)として、ポインタC0の位置を求める。   In the example shown in FIG. 5A, the pointer C0 is moved toward the screen Mb from the position P1a that is separated from the x axis (y = 0) by the width W1 in the y axis direction on the screen Ma. At this time, the pointer control unit 32 performs a width W1 that is a distance along the y-axis direction from the x-axis (y = 0) to the position P1a, that is, a width W1 that is a y-axis direction component of the position P1a. Multiply the extracted coefficient ka. The pointer control unit 32 obtains the position of the pointer C0 using W1 × ka calculated by this calculation as a position along the y-axis direction of the pointer C0 after movement (that is, the y-axis direction component).

(ステップS33、ステップS24)
移動後のポインタC0の位置を求めたら、ポインタ制御部32は、この位置を示す情報と移動後の画面の位置を示す情報(即ち、画面Maから移動した場合は、画面Mb位置を示す情報)とを比較し、位置が求められたポインタC0が、移動後の画面内に位置するか否かを判定する。ポインタC0が、移動後の画面内に位置する場合には(ステップS33、N)、ポインタ制御部32は、この補正されたポインタC0の位置を示す情報をポインタ表示更新部33に出力する(ステップS24)。
(Step S33, Step S24)
After obtaining the position of the pointer C0 after movement, the pointer control unit 32 information indicating this position and information indicating the position of the screen after movement (that is, information indicating the position of the screen Mb when moving from the screen Ma). To determine whether or not the pointer C0 whose position has been obtained is located within the screen after movement. When the pointer C0 is located in the screen after movement (step S33, N), the pointer control unit 32 outputs information indicating the corrected position of the pointer C0 to the pointer display update unit 33 (step S33). S24).

(ステップS33、ステップS34)
位置が求められたポインタC0が、移動後の画面内に位置しない場合には(ステップS33、Y)、ポインタ制御部32は、このポインタC0が移動後の画面内における所定の位置に移動するように補正を行う。
(Step S33, Step S34)
When the pointer C0 whose position has been obtained is not located in the screen after movement (step S33, Y), the pointer controller 32 causes the pointer C0 to move to a predetermined position in the screen after movement. Make corrections.

具体的な一例として、ポインタ制御部32は、移動後の画面Maのy軸方向に沿った端部(即ち、上辺及び下辺)のうち、移動前のポインタC0の位置に近い方の端部X0上の位置に移動するように、ポインタC0の位置を補正する。特に、図6Aに示す例では、ポインタ制御部32は、この端部X0上の位置のうち、画面Ma及びMbが接合される領域Y0と接する位置P10を、移動後のポインタC0の位置P3aとして補正する。   As a specific example, the pointer control unit 32 has an end X0 closer to the position of the pointer C0 before the movement among the ends (that is, the upper side and the lower side) along the y-axis direction of the screen Ma after the movement. The position of the pointer C0 is corrected so as to move to the upper position. In particular, in the example illustrated in FIG. 6A, the pointer control unit 32 sets a position P10 in contact with the area Y0 where the screens Ma and Mb are joined among the positions on the end X0 as the position P3a of the pointer C0 after movement. to correct.

また、ポインタ制御部32は、図6Bに示すように、移動前のポインタC0の位置と画面Ma及びMbが接合される領域Y0との間の距離に応じて、移動後のポインタC0の位置を特定してもよい。また、ポインタ制御部32は、図6Cに示すように、移動前のポインタC0の位置と画面Ma及びMbが接合される領域Y0との間の距離と、移動前のポインタC0の移動方向(進入角度)とに応じて、移動後のポインタC0の位置を特定してもよい。   Further, as shown in FIG. 6B, the pointer control unit 32 determines the position of the pointer C0 after movement according to the distance between the position of the pointer C0 before movement and the area Y0 where the screens Ma and Mb are joined. You may specify. Further, as shown in FIG. 6C, the pointer control unit 32 determines the distance between the position of the pointer C0 before movement and the area Y0 where the screens Ma and Mb are joined, and the movement direction (entry of the pointer C0 before movement). The position of the pointer C0 after movement may be specified according to the angle.

ポインタ制御部32は、移動後のポインタC0の位置を特定すると、この位置を示す位置情報をポインタ表示更新部33に出力する(ステップS24)。   When the position of the pointer C0 after movement is specified, the pointer control unit 32 outputs position information indicating this position to the pointer display update unit 33 (step S24).

(ステップS25)
ポインタ表示更新部33は、ポインタC0の位置情報をポインタ表示更新部33から受けると、この位置情報が示す画面Ma及びMbのいずれかの画面上の位置にポインタC0が表示されるように、表示部102A及び102Bの表示を更新する。
(Step S25)
When the pointer display update unit 33 receives the position information of the pointer C0 from the pointer display update unit 33, the pointer display update unit 33 displays the pointer C0 so that the pointer C0 is displayed at a position on the screen Ma or Mb indicated by the position information. The display of the parts 102A and 102B is updated.

(ステップS26)
表示装置の終了が指示されるまで(ステップS26、N)、上記したように、ポインタC0の操作を受け付け、この操作内容に基づき移動後のポインタC0の位置の特定し、ポインタC0の表示を更新する動作を繰り返す。表示装置の終了が指示されると(ステップS26、Y)、上記した一連の動作を終了させる。
(Step S26)
Until the end of the display device is instructed (step S26, N), as described above, the operation of the pointer C0 is accepted, the position of the pointer C0 after the movement is specified based on the contents of the operation, and the display of the pointer C0 is updated. Repeat the operation. When the display device is instructed to end (step S26, Y), the series of operations described above is ended.

以上のように、本実施形態に係る表示装置は、ポインタC0が画面間を移動する際に、上記したように係数ka及びkbに基づきポインタC0の位置を補正することで、表示部102A及び102Bの間でピクセルピッチが異なる場合においても、画面間の移動前後においてポインタC0の位置が変わらず連続的に動作する。そのため、ポインタC0の動作が操作者の視覚と一致し、直観的な操作が可能となる。   As described above, the display device according to the present embodiment corrects the position of the pointer C0 based on the coefficients ka and kb as described above when the pointer C0 moves between the screens, thereby displaying the display units 102A and 102B. Even when the pixel pitch is different between the two, the position of the pointer C0 does not change before and after the movement between the screens, and it operates continuously. Therefore, the operation of the pointer C0 matches the visual sense of the operator, and an intuitive operation is possible.

また、従来の表示装置では、画面Ma及びMbを仮想的に接合する領域Y0からのみ、画面Ma及びMbの間の移動を可能としていた。そのため、この領域Y0以外の場所を介して他方の画面にポインタC0を移動させようとしても、ポインタC0の位置は移動されず一方の画面にとどまっていた。そのため、操作者は、一方の画面から他方の画面にポインタC0を移動させる場合に、領域Y0の位置までポインタC0を移動させる必要があった。これにより、操作が断続的となり、使い勝手が悪かった。しかしながら、上記のように、ポインタC0の位置を制御することで、画面Ma及びMbを接合する領域Y0以外の場所からも、他方の画面にポインタC0を移動させることが可能となる。そのため、操作が連続的となり、操作者は、より直観的な操作が可能となる。   Further, in the conventional display device, it is possible to move between the screens Ma and Mb only from the region Y0 where the screens Ma and Mb are virtually joined. Therefore, even if an attempt is made to move the pointer C0 to the other screen through a place other than the area Y0, the position of the pointer C0 is not moved and remains on the one screen. Therefore, when the operator moves the pointer C0 from one screen to the other screen, the operator needs to move the pointer C0 to the position of the area Y0. As a result, the operation became intermittent and the usability was poor. However, by controlling the position of the pointer C0 as described above, it is possible to move the pointer C0 to the other screen from a place other than the region Y0 that joins the screens Ma and Mb. Therefore, the operation becomes continuous, and the operator can perform a more intuitive operation.

本発明のいくつかの実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載されたその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention and are included in the equivalent scope described in the claims.

10 U/I
101 操作部
102A 表示部
102B 表示部
21 画面情報設定部
22 画面情報記憶部
23 位置指定マーカ制御部
24 画面間移動情報生成部
25 画面間移動情報記憶部
31 操作内容解析部
32 ポインタ制御部
33 ポインタ表示更新部
10 U / I
DESCRIPTION OF SYMBOLS 101 Operation part 102A Display part 102B Display part 21 Screen information setting part 22 Screen information storage part 23 Position designation marker control part 24 Inter-screen movement information generation part 25 Inter-screen movement information storage part 31 Operation content analysis part 32 Pointer control part 33 Pointer Display update section

Claims (8)

第1の画面を有する第1の表示部と、第2の画面を有する第2の表示部とを有し、前記第1及び第2の画面のそれぞれが共通して、互いに直交する第1軸と第2軸とを備えた表示装置であって、
前記第1の画面及び前記第2の画面のうちのいずれか一方の画面にポインタを表示させ、前記ポインタが前記一方の画面の第2軸に沿った一端に到達したとき、他方の画面に移動させるポインタ制御部と、
前記第1の画面と前記第2の画面との間で共有する前記第1軸の方向に沿った領域の前記第1軸の方向の位置を、前記第1の画面及び前記第2の画面それぞれの基準位置とする基準設定部と、
前記領域中の前記基準位置と異なる位置であって、前記第1の画面及び前記第2の画面で視覚的に同一となる位置の指定を前記第1の画面及び前記第2の画面それぞれについて受けて、前記第1の画面における、指定された当該位置と前記基準位置との間のピクセル数aと、前記第2の画面における、指定された当該位置と前記基準位置との間のピクセル数bを求める情報生成部と、
を備え、
前記ポインタ制御部は、前記第1の画面から前記第2の画面に前記ポインタを移動させた場合に、前記ピクセル数a及びbの比b/aに基づき前記第1軸の方向に沿った位置を求め、前記第2の画面から前記第1の画面に前記ポインタを移動させた場合に、前記ピクセル数a及びbの比a/bに基づき前記第1軸の方向に沿った位置を求め、求められた当該位置に前記ポインタを移動させることを特徴とする表示装置。
A first axis having a first display unit having a first screen and a second display unit having a second screen, wherein each of the first and second screens is common and orthogonal to each other And a second axis, a display device comprising:
A pointer is displayed on one of the first screen and the second screen, and when the pointer reaches one end along the second axis of the one screen, the pointer moves to the other screen. A pointer control unit
The position in the direction of the first axis of the region along the direction of the first axis shared between the first screen and the second screen is the first screen and the second screen, respectively. A reference setting unit as a reference position of
Designation of a position that is different from the reference position in the region and is visually the same on the first screen and the second screen is received for each of the first screen and the second screen. The number a of pixels between the designated position and the reference position on the first screen, and the number of pixels b between the designated position and the reference position on the second screen. An information generator for
With
The pointer control unit, when moving the pointer from the first screen to the second screen, a position along the direction of the first axis based on the ratio b / a of the number of pixels a and b When the pointer is moved from the second screen to the first screen, a position along the direction of the first axis is determined based on the ratio a / b of the number of pixels a and b. A display device, wherein the pointer is moved to the determined position.
前記基準位置は、前記領域の前記第1軸の方向に沿ったいずれかの端部であることを特徴とする請求項1に記載の表示装置。   The display device according to claim 1, wherein the reference position is one of end portions along the direction of the first axis of the region. 前記ポインタ制御部は、前記第1及び第2の画面のうち一方から他方の画面に向けて前記ポインタを移動させたとき、移動後の前記ポインタの位置が前記他方の画面上の位置と異なる場合には、前記他方の画面の前記第1軸の方向に沿った端部のうち、前記一方の画面における移動前の前記ポインタの位置に近い側を一の端部として、前記一の端部上の位置に前記ポインタを移動させることを特徴とする請求項1または請求項2に記載の表示装置。   When the pointer control unit moves the pointer from one of the first and second screens to the other screen, the position of the pointer after the movement is different from the position on the other screen On one end of the other screen along the direction of the first axis, with the side close to the position of the pointer before moving on the one screen as one end. The display device according to claim 1, wherein the pointer is moved to the position of the display. 前記ポインタ制御部は、移動後の前記ポインタの位置が前記他方の画面上の位置と異なる場合には、前記一の端部上の位置のうち、前記領域と接する位置に前記ポインタを移動させることを特徴とする請求項3に記載の表示装置。   When the position of the pointer after the movement is different from the position on the other screen, the pointer control unit moves the pointer to a position in contact with the area among the positions on the one end. The display device according to claim 3. 前記ポインタ制御部は、移動後の前記ポインタの位置が前記他方の画面上の位置と異なる場合には、前記一の端部と前記領域とが接する位置を基点として、移動前の前記ポインタの位置と前記基点との間の距離に基づき、前記一の端部上における移動後の前記ポインタの位置を特定することを特徴とする請求項3に記載の表示装置。   If the position of the pointer after movement is different from the position on the other screen, the pointer control unit determines the position of the pointer before movement based on the position where the one end and the area are in contact with each other. The display device according to claim 3, wherein the position of the pointer after movement on the one end portion is specified based on a distance between the base point and the base point. 前記ポインタ制御部は、移動後の前記ポインタの位置が前記他方の画面上の位置と異なる場合には、前記一の端部と前記領域とが接する位置を基点として、移動前の前記ポインタの位置と前記基点との間の距離と、前記一方の画面から前記他方の画面に向けて移動するときの前記ポインタの移動方向とに基づき、前記一の端部上における移動後の前記ポインタの位置を特定することを特徴とする請求項3に記載の表示装置。   If the position of the pointer after movement is different from the position on the other screen, the pointer control unit determines the position of the pointer before movement based on the position where the one end and the area are in contact with each other. And the position of the pointer after movement on the one end portion based on the distance between the base point and the moving direction of the pointer when moving from the one screen toward the other screen. The display device according to claim 3, wherein the display device is specified. 同じ又は異なるピクセルピッチでピクセルがx軸,y軸に沿ってそれぞれ配された、第1の画面を有する第1の表示部と第2の画面を有する第2の表示部とを該x軸方向に並べて有し、該第1の画面のy軸方向の所定のピクセル位置と該第2の画面のy軸方向の所定のピクセル位置とを結んでy軸の原点とし、ポインタを各画面のピクセルで定まる位置に設定するポインタ制御部を有する表示装置であって、
前記y軸の原点と異なる該y軸方向の位置であって、前記第1の画面及び前記第2の画面間で視覚的に一致する位置の指定を前記第1の画面及び前記第2の画面それぞれについて受けて、前記第1の画面上で指定された当該位置の前記y軸の原点からのピクセル数aと、前記第2の画面上で指定された当該位置の前記y軸の原点からのピクセル数bを求める情報生成部と、
を備え、
前記ポインタ制御部は、前記ポインタが前記一方の画面の前記x軸に沿った一端に到達したとき、他方の画面に移動させる構成とされており、かつ、前記ポインタの前記第1の画面から前記第2の画面への移動にあたっては、前記第1の画面における前記ポインタの前記y軸方向の位置及び前記ピクセル数a及びbの比b/aに基づき前記第2の画面の前記y軸方向の位置を求め、前記第2の画面から前記第1の画面への移動にあたっては、前記第2の画面における前記ポインタの前記y軸方向の位置及び前記ピクセル数a及びbの比a/bに基づき前記第1の画面の前記y軸方向の位置を求め、求めた移動先の画面の位置に前記ポインタを移動させる構成であることを特徴とする表示装置。
A first display unit having a first screen and a second display unit having a second screen in which pixels are arranged at the same or different pixel pitch along the x-axis and y-axis, respectively, in the x-axis direction The y-axis origin is formed by connecting a predetermined pixel position in the y-axis direction of the first screen and a predetermined pixel position in the y-axis direction of the second screen, and the pointer is a pixel of each screen. A display device having a pointer control unit set at a position determined by
The first screen and the second screen are designated in positions in the y-axis direction that are different from the origin of the y-axis and are visually coincident between the first screen and the second screen. In each case, the number of pixels a from the origin of the y-axis at the position designated on the first screen and the origin from the origin of the y-axis at the position designated on the second screen. An information generator for determining the number of pixels b;
With
The pointer control unit is configured to move to the other screen when the pointer reaches one end along the x-axis of the one screen, and from the first screen of the pointer, When moving to the second screen, the y-axis direction of the second screen is based on the position of the pointer on the first screen in the y-axis direction and the ratio b / a of the number of pixels a and b. The position is obtained and the movement from the second screen to the first screen is based on the position of the pointer in the y-axis direction on the second screen and the ratio a / b of the number of pixels a and b. A display device characterized in that the position of the first screen in the y-axis direction is obtained, and the pointer is moved to the position of the obtained destination screen.
第1の画面を有する第1の表示部と、第2の画面を有する第2の表示部とを有し、前記第1及び第2の画面のそれぞれが共通して、互いに直交する第1軸と第2軸とを備えた表示装置において、
前記第1の画面及び前記第2の画面のうちのいずれか一方の画面にポインタを表示させ、前記ポインタが前記一方の画面の第2軸に沿った一端に到達したとき、他方の画面に移動させる画面表示方法であって、
前記第1の画面と前記第2の画面との間で共有する前記第1軸の方向に沿った領域の前記第1軸の方向の位置を、前記第1の画面及び前記第2の画面それぞれの基準位置とする基準設定ステップと、
前記領域中の前記基準位置と異なる位置であって、前記第1の画面及び前記第2の画面間で同一の位置の指定を前記第1の画面及び前記第2の画面それぞれについて受けて、前記第1の画面における、指定された当該位置と前記基準位置との間のピクセル数aと、前記第2の画面における、指定された当該位置と前記基準位置との間のピクセル数bを求める情報生成ステップと、
前記第1の画面から前記第2の画面に前記ポインタを移動させた場合に、前記ピクセル数a及びbの比b/aに基づき前記第1軸の方向に沿った位置を求め、前記第2の画面から前記第1の画面に前記ポインタを移動させた場合に、前記ピクセル数a及びbの比a/bに基づき前記第1軸の方向に沿った位置を求め、求められた当該位置に前記ポインタを移動させる位置制御ステップと
を有することを特徴とする画面表示方法。
A first axis having a first display unit having a first screen and a second display unit having a second screen, wherein each of the first and second screens is common and orthogonal to each other And a display device comprising a second axis,
A pointer is displayed on one of the first screen and the second screen, and when the pointer reaches one end along the second axis of the one screen, the pointer moves to the other screen. A screen display method for
The position in the direction of the first axis of the region along the direction of the first axis shared between the first screen and the second screen is the first screen and the second screen, respectively. A reference setting step to be a reference position of
The position is different from the reference position in the region, and the same position is designated for each of the first screen and the second screen between the first screen and the second screen. Information for obtaining a pixel number a between the designated position and the reference position on the first screen and a pixel number b between the designated position and the reference position on the second screen. Generation step;
When the pointer is moved from the first screen to the second screen, a position along the direction of the first axis is obtained based on a ratio b / a of the number of pixels a and b, and the second When the pointer is moved from the screen to the first screen, a position along the direction of the first axis is obtained based on the ratio a / b of the number of pixels a and b, and the obtained position is And a position control step for moving the pointer.
JP2014042905A 2014-03-05 2014-03-05 Display device and screen display method Pending JP2015170022A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014042905A JP2015170022A (en) 2014-03-05 2014-03-05 Display device and screen display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014042905A JP2015170022A (en) 2014-03-05 2014-03-05 Display device and screen display method

Publications (1)

Publication Number Publication Date
JP2015170022A true JP2015170022A (en) 2015-09-28

Family

ID=54202736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014042905A Pending JP2015170022A (en) 2014-03-05 2014-03-05 Display device and screen display method

Country Status (1)

Country Link
JP (1) JP2015170022A (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644001A (en) * 1992-07-27 1994-02-18 Toshiba Corp Display controller and display control method
US6018340A (en) * 1997-01-27 2000-01-25 Microsoft Corporation Robust display management in a multiple monitor environment
JP2002032171A (en) * 2000-07-17 2002-01-31 Sharp Corp INFORMATION PROCESSING DEVICE, METHOD OF CONTROLLING INFORMATION PROCESSING DEVICE, AND RECORDING MEDIUM RECORDING CONTROL PROGRAM OF INFORMATION PROCESSING DEVICE
JP2005293292A (en) * 2004-03-31 2005-10-20 Toshiba Solutions Corp Information processing device and cursor control program
JP2006039540A (en) * 2004-07-02 2006-02-09 Microsoft Corp System and method for determining display difference between monitors on multi-monitor computer system
US20060033712A1 (en) * 2004-08-13 2006-02-16 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
JP2007026265A (en) * 2005-07-20 2007-02-01 Matsushita Electric Ind Co Ltd Multi-display system and cursor control method
JP2010097491A (en) * 2008-10-17 2010-04-30 Pfu Ltd Information processing apparatus, method, and program
US20120314133A1 (en) * 2011-06-07 2012-12-13 Samsung Electronics Co., Ltd. Display apparatus, control method of the same and image processing apparatus thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644001A (en) * 1992-07-27 1994-02-18 Toshiba Corp Display controller and display control method
US6018340A (en) * 1997-01-27 2000-01-25 Microsoft Corporation Robust display management in a multiple monitor environment
JP2002032171A (en) * 2000-07-17 2002-01-31 Sharp Corp INFORMATION PROCESSING DEVICE, METHOD OF CONTROLLING INFORMATION PROCESSING DEVICE, AND RECORDING MEDIUM RECORDING CONTROL PROGRAM OF INFORMATION PROCESSING DEVICE
JP2005293292A (en) * 2004-03-31 2005-10-20 Toshiba Solutions Corp Information processing device and cursor control program
JP2006039540A (en) * 2004-07-02 2006-02-09 Microsoft Corp System and method for determining display difference between monitors on multi-monitor computer system
US20060033712A1 (en) * 2004-08-13 2006-02-16 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
JP2007026265A (en) * 2005-07-20 2007-02-01 Matsushita Electric Ind Co Ltd Multi-display system and cursor control method
JP2010097491A (en) * 2008-10-17 2010-04-30 Pfu Ltd Information processing apparatus, method, and program
US20120314133A1 (en) * 2011-06-07 2012-12-13 Samsung Electronics Co., Ltd. Display apparatus, control method of the same and image processing apparatus thereof

Similar Documents

Publication Publication Date Title
RU2643445C2 (en) Display control device and computer-readable recording medium
JP6297562B2 (en) Visual adjustment using a camera of a movable X-ray imaging system
US10663844B2 (en) Projection control apparatus and control method thereof, and projection system
US10872395B2 (en) Image processing device, imaging system provided therewith, and calibration method
US10051244B2 (en) Display image formation device and display image formation method
US9906762B2 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
US20130044290A1 (en) Visual function testing device
JP2008233765A (en) Image display device and image display method
WO2018101227A1 (en) Display control device, head-mounted display, control method for display control device, and control program
WO2015022684A1 (en) Medical needle path display
JP2019125943A (en) Display control apparatus, image projection system, control method, and program
JP2020178248A (en) Projection control device, projection control method, projection system, program, storage medium
JP2016163104A (en) Imaging device
JP2025031790A (en) Display system, display method, and program for remote operation
US20190199996A1 (en) Three-dimensional image projection apparatus, three-dimensional image projection method, and three-dimensional image projection control program
CN112802110B (en) Method and device for determining display offset information and electronic equipment
JP2015170022A (en) Display device and screen display method
JPWO2020095784A1 (en) Display control device, presentation system, display control method, and program
JP6419471B2 (en) Measuring microscope, method to support sample tilt correction
JP2019164440A (en) Information processing apparatus and information processing method
JP2017107511A (en) Information processing system, information processing method, and information processing program
JP7467107B2 (en) Image processing device, image processing method, and program
US20170124766A1 (en) Image processing apparatus, image processing method, and program
JP5229141B2 (en) Display control apparatus and display control method
JP6649723B2 (en) Display device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508