JP2005165981A

JP2005165981A - Method for detecting position of electronic pen, electronic pen, projector and electronic blackboard system

Info

Publication number: JP2005165981A
Application number: JP2003407884A
Authority: JP
Inventors: Yoichi Tamura; 陽一田村
Original assignee: NEC Viewtechnology Ltd
Current assignee: Sharp NEC Display Solutions Ltd
Priority date: 2003-12-05
Filing date: 2003-12-05
Publication date: 2005-06-23
Anticipated expiration: 2023-12-05
Also published as: JP4037822B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for highly precisely detecting the position of an electronic pen even when the background level of the projection range of a projector is temporally changed, or another light emitter exists. <P>SOLUTION: In this method for detecting the position of an electronic pen, when an electronic pen 1 having a light emitting element receives a signal including a light emission instruction related with the light emitting element from a projector 2 (step 3), the light emitting element is made to emit the light only in a predetermined time (step 5), and the projector 2 acquires the first image of the electronic pen in a status that the light emitting element emits the light and the second image of the electronic pen in a status that the light emitting element does not emit any light (steps 6, 7), and the projector acquires a difference image between the first image and the second image, and determines that the position of the maximum luminance of the difference image is the current position of the electronic pen to detect the current position of the electronic pen (step 8). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、電子ペン、電子黒板に関する。 The present invention relates to an electronic pen and an electronic blackboard.

近年、様々なプレゼンテーションの場で、電子黒板が使用されるようになってきている。電子黒板を用いたプレゼンテーションでは、まず、プロジェクタが、あらかじめ作成されたフォーマット画像をスクリーン上に投射する。そして、発表者が、スクリーン上に投射されたフォーマット画像に電子ペンで加筆していく。 In recent years, electronic blackboards have been used in various presentations. In a presentation using an electronic blackboard, a projector first projects a format image created in advance on a screen. Then, the presenter adds an electronic pen to the format image projected on the screen.

このような電子黒板において、スクリーン上に投射されたフォーマット画像と、電子ペンによる加筆画像を合成するためには、電子ペンに発光部および／または超音波発生部を、プロジェクタまたはスクリーンに光および／または超音波検出部を設けて、プロジェクタまたはスクリーンに電子ペンの位置を検出させることが必要になる。 In such an electronic blackboard, in order to synthesize a format image projected on a screen and a retouched image by an electronic pen, a light emitting unit and / or an ultrasonic wave generating unit are provided on the electronic pen, and light and / or on the projector or screen Alternatively, it is necessary to provide an ultrasonic detection unit so that the projector or the screen can detect the position of the electronic pen.

これまで、発光部を有する電子ペンの位置検出は、赤外光を使用することによって周囲の可視光の影響を排除しつつ、プロジェクタが、発光している電子ペンを撮影して、撮影画像の最大輝度の位置を現在の電子ペンの位置と判断することによってなされている（例えば、特許文献１参照）。
特開平８−２４０４０７号公報 Until now, the position of an electronic pen having a light emitting unit has been detected by eliminating the influence of ambient visible light by using infrared light, while the projector images the electronic pen that emits light. This is done by determining the position of maximum brightness as the current position of the electronic pen (see, for example, Patent Document 1).
JP-A-8-240407

プレゼンテーションの場では、発表者の身体の一部がプロジェクタの投射範囲に入ったり、プロジェクタの投射範囲に周囲の光が混入したりすることがよくある。このような場合、プロジェクタの投射範囲のバックグラウンドレベルが時間的に変動することになる。かかる状況のもとで、従来技術のように、バックグラウンドレベルの時間的変動を何ら考慮せずに、発光している電子ペンの撮影データの最大輝度の位置を単に求めていたのでは、電子ペンの位置検出の精度が担保できないおそれがある。 In presentations, a part of the presenter's body often enters the projection range of the projector, or ambient light often enters the projection range of the projector. In such a case, the background level of the projection range of the projector varies with time. Under such circumstances, as in the prior art, simply determining the position of the maximum luminance of the shooting data of the electronic pen that emits light without considering any temporal fluctuation of the background level, There is a possibility that the accuracy of detecting the position of the pen cannot be guaranteed.

また、プロジェクタの投射範囲に他の発光体がある場合には、この発光体を電子ペンと誤認するおそれがある。 Further, when there is another light emitter in the projection range of the projector, this light emitter may be mistaken for an electronic pen.

本発明の目的は、プロジェクタの投射範囲のバックグラウンドレベルが時間的に変動したり、他の発光体が存在したりする場合であっても、精度の高い、電子ペンの位置検出ができる方法を提供することにある。 An object of the present invention is to provide a method capable of detecting the position of an electronic pen with high accuracy even when the background level of the projection range of the projector fluctuates with time or other light emitters exist. It is to provide.

上記目的を達成するために、本発明は、発光素子を有する電子ペンが、プロジェクタから、発光素子に関する発光指示を含む信号を受信すると、所定の時間だけ、発光素子を発光させる。そして、プロジェクタは、発光素子が発光している状態における電子ペンの第１の画像と、発光素子が発光していない状態における電子ペンの第２の画像を取得する。プロジェクタは、第１の画像と第２の画像の差分画像を求め、差分画像の最大輝度の位置を電子ペンの現在の位置と判断することにより、電子ペンの現在の位置を検出する。 To achieve the above object, according to the present invention, when an electronic pen having a light emitting element receives a signal including a light emission instruction related to the light emitting element from a projector, the light emitting element emits light for a predetermined time. Then, the projector acquires a first image of the electronic pen in a state where the light emitting element emits light and a second image of the electronic pen in a state where the light emitting element does not emit light. The projector obtains a difference image between the first image and the second image, and detects the current position of the electronic pen by determining the position of the maximum luminance of the difference image as the current position of the electronic pen.

以上説明したように、本発明によれば、プロジェクタの投射範囲のバックグラウンドレベルが時間的に変動したり、他の発光体が存在したりする場合であっても、電子ペンの正確な位置検出が可能になる。 As described above, according to the present invention, accurate position detection of the electronic pen can be performed even when the background level of the projection range of the projector fluctuates with time or other light emitters exist. Is possible.

次に、本発明の実施の形態について、図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.

図１（ａ）を参照すると、本発明の一実施形態の電子ペン１は、受光素子１１と、受光判断部１２と、タイマ１３と、発光制御部１４と、発光素子１５を含む。 Referring to FIG. 1A, the electronic pen 1 according to an embodiment of the present invention includes a light receiving element 11, a light reception determining unit 12, a timer 13, a light emission control unit 14, and a light emitting element 15.

図１（ｂ）を参照すると、本発明の一実施形態のプロジェクタ２は、撮影制御部２１と、タイマ２２と、発光素子２３と、撮像素子２４と、差分演算部２５を含む。 Referring to FIG. 1B, the projector 2 according to an embodiment of the present invention includes a photographing control unit 21, a timer 22, a light emitting element 23, an imaging element 24, and a difference calculation unit 25.

受光素子１１は、プロジェクタ２の発光素子２３から、電子ペン１の発光素子１５に関する発光指示を含む信号光を受信する。そして、受光素子１１は、発光素子１５に関する発光指示を含む信号光を受信した旨を受光判断部１２に通知する。受光素子１１は、光波以外に、電波、音波を受信するものでもよい。 The light receiving element 11 receives signal light including a light emission instruction regarding the light emitting element 15 of the electronic pen 1 from the light emitting element 23 of the projector 2. Then, the light receiving element 11 notifies the light receiving determination unit 12 that the signal light including the light emission instruction related to the light emitting element 15 has been received. The light receiving element 11 may receive radio waves and sound waves in addition to light waves.

受光判断部１２は、受光素子１１から、発光素子１５に関する発光指示を含む信号光を受信した旨の通知を受信し、タイマ１３を起動する。 The light reception determination unit 12 receives a notification from the light receiving element 11 that the signal light including the light emission instruction related to the light emitting element 15 has been received, and starts the timer 13.

タイマ１３は、受光判断部１２によって起動され、一定時間、例えば１．０ｍｓだけ時間をカウントする。 The timer 13 is activated by the light reception determination unit 12 and counts time for a certain time, for example, 1.0 ms.

発光制御部１４は、タイマ１３がカウントされている間だけ、発光素子１５を発光させる。 The light emission control unit 14 causes the light emitting element 15 to emit light only while the timer 13 is counted.

発光素子１５は、発光制御部１４によって励起され発光する。発光素子１５は、例えば赤外ＬＥＤ（発光ダイオード）である。発光素子１５の側が電子ペン１のペン先になる。 The light emitting element 15 emits light when excited by the light emission control unit 14. The light emitting element 15 is, for example, an infrared LED (light emitting diode). The light emitting element 15 side is the pen tip of the electronic pen 1.

撮影制御部２１は、電子ペン１の発光素子１５に関する発光指示を含む信号光を生成するため、発光素子２３を発光させる。 The imaging control unit 21 causes the light emitting element 23 to emit light in order to generate signal light including a light emission instruction regarding the light emitting element 15 of the electronic pen 1.

タイマ２２は、撮影制御部２１が発光素子２３を発光させてから、時間をカウントし始める。タイマ２２は、電子ペン１のタイマ１３と同期していることが望ましい。 The timer 22 starts counting time after the imaging control unit 21 causes the light emitting element 23 to emit light. The timer 22 is preferably synchronized with the timer 13 of the electronic pen 1.

発光素子２３は、撮影制御部２１によって励起され、電子ペン１の発光素子１５に関する発光指示を含む信号光を送信する。発光素子２３は、光波以外に、例えば、電波、音波を送信するものでもよい。 The light emitting element 23 is excited by the imaging control unit 21 and transmits signal light including a light emission instruction regarding the light emitting element 15 of the electronic pen 1. The light emitting element 23 may transmit, for example, radio waves and sound waves in addition to light waves.

撮像素子２４は、撮影制御部２１の制御によって、電子ペン１を撮影する。撮像素子２４による電子ペン１の撮影は、タイマ２２が所定の時間をカウントすると、撮影制御部２１が撮影素子２４に撮影指示を送ることによってなされる。撮像素子２４による電子ペン１の撮影は、電子ペン１の発光素子１５が発光しているときと、発光していないときのそれぞれで行うように、撮影のタイミングが決定される。例えば、撮影制御部２１がタイマ２２を起動してから、０．５ｍｓをカウントした後（電子ペン１の発光素子１５が発光している）と、１．５ｍｓをカウントした後（電子ペン１の発光素子１５が発光していない）というように撮影のタイミングを決定する。撮像素子２４は、例えば、赤外領域にも感度を有する２次元ＰＳＤ（位置検出素子）、２次元ＣＣＤ、２次元ＣＭＯＳセンサである。 The image sensor 24 photographs the electronic pen 1 under the control of the photographing control unit 21. The electronic pen 1 is imaged by the imaging element 24 when the timer 22 counts a predetermined time and the imaging control unit 21 sends an imaging instruction to the imaging element 24. The shooting timing of the electronic pen 1 by the image pickup device 24 is determined so as to be performed when the light emitting element 15 of the electronic pen 1 emits light and when it does not emit light. For example, after the shooting control unit 21 starts the timer 22, it counts 0.5 ms (the light emitting element 15 of the electronic pen 1 emits light) and 1.5 ms (counts of the electronic pen 1). The shooting timing is determined such that the light emitting element 15 does not emit light). The imaging element 24 is, for example, a two-dimensional PSD (position detection element), a two-dimensional CCD, or a two-dimensional CMOS sensor that also has sensitivity in the infrared region.

差分演算部２５は、撮像素子２４が発光素子１５の発光しているときに撮影した画像と、発光素子１５の発光していないときに撮影した画像から差分画像を求める。そして、差分演算部２５は、この差分画像の最大輝度の位置を現在の電子ペン１の位置と判断することにより、電子ペン１の現在の位置を検出する。 The difference calculation unit 25 obtains a difference image from an image captured when the imaging element 24 emits light from the light emitting element 15 and an image captured when the light emitting element 15 does not emit light. Then, the difference calculation unit 25 detects the current position of the electronic pen 1 by determining the position of the maximum luminance of the difference image as the current position of the electronic pen 1.

図２を参照すると、電子ペン１とプロジェクタ２からなる電子黒板システムが示されている。３は、プロジェクタ２が投射するスクリーンである。プロジェクタ２の発光素子２３から電子ペン１に向けて、電子ペン１の発光素子１５に関する発光指示を含む信号光が送信される。プロジェクタ２の撮像素子２４は、電子ペン１を撮影する。 Referring to FIG. 2, an electronic blackboard system including an electronic pen 1 and a projector 2 is shown. Reference numeral 3 denotes a screen projected by the projector 2. Signal light including a light emission instruction regarding the light emitting element 15 of the electronic pen 1 is transmitted from the light emitting element 23 of the projector 2 toward the electronic pen 1. The image sensor 24 of the projector 2 photographs the electronic pen 1.

次に、図３のシーケンス図を参照して、本発明の一実施形態の、電子ペンの位置検出方法について詳細に説明する。 Next, with reference to the sequence diagram of FIG. 3, the electronic pen position detection method according to an embodiment of the present invention will be described in detail.

ステップ１で、プロジェクタ２の発光素子２３から、電子ペン１の発光素子１５に関する発光指示を含む信号光を送信する。この信号光の送信は、撮影制御部２１が、発光素子２３を制御することによりなされる。発光指示は、一般的なリモコンに見られる赤外線パルスでもよい。 In step 1, signal light including a light emission instruction regarding the light emitting element 15 of the electronic pen 1 is transmitted from the light emitting element 23 of the projector 2. The signal light is transmitted by the imaging control unit 21 controlling the light emitting element 23. The light emission instruction may be an infrared pulse found on a general remote controller.

ステップ２で、電子ペン１の発光素子１５に関する発光指示を含む信号光が送信された後、プロジェクタ２の撮影制御部２１が、タイマ２２を起動する。 In step 2, after the signal light including the light emission instruction related to the light emitting element 15 of the electronic pen 1 is transmitted, the photographing control unit 21 of the projector 2 starts the timer 22.

ステップ３で、電子ペン１の受光素子１１が、ステップ１で送信された、発光素子１５に関する発光指示を含む信号光を受信する。 In step 3, the light receiving element 11 of the electronic pen 1 receives the signal light including the light emission instruction related to the light emitting element 15 transmitted in step 1.

ステップ４で、電子ペン１の発光素子１５に関する発光指示を含む信号光を受信後、受光判断部１２が、タイマ１３を起動する。 In step 4, after receiving the signal light including the light emission instruction related to the light emitting element 15 of the electronic pen 1, the light reception determination unit 12 starts the timer 13.

なお、ステップ２とステップ４のタイマ２２とタイマ１３の起動は、同期されるのが望ましいが、発光素子１５が発光している時間のオーダー（本実施形態ではｍｓのオーダー）に比べて、ステップ１から４の処理が十分に高速であれば、必ずしも同期は必要ではない。 It should be noted that the start of the timer 22 and the timer 13 in step 2 and step 4 is preferably synchronized, but the step is compared with the order of the time during which the light emitting element 15 is emitting light (in the present embodiment, the order of ms). If the processes 1 to 4 are sufficiently fast, synchronization is not always necessary.

ステップ５で、電子ペン１の発光制御部１４が、タイマ１３がカウントされている間（１．０ｍｓ）、発光素子１５を発光させる。 In step 5, the light emission control unit 14 of the electronic pen 1 causes the light emitting element 15 to emit light while the timer 13 is counted (1.0 ms).

ステップ６で、プロジェクタ２の撮影制御部２１が、タイマ２２が所定の時間（０．５ｍｓ）をカウントしたら、撮像素子２４に電子ペン１を撮影させる。この時刻では、電子ペン１の発光素子１５は発光している。したがって、発光素子１５が発光している電子ペン１の画像が取得される。 In step 6, when the timer 22 counts a predetermined time (0.5 ms), the imaging control unit 21 of the projector 2 causes the image sensor 24 to image the electronic pen 1. At this time, the light emitting element 15 of the electronic pen 1 emits light. Therefore, an image of the electronic pen 1 that emits light from the light emitting element 15 is acquired.

ステップ７で、プロジェクタ２の撮影制御部２１が、タイマ２２が所定の時間（１．５ｍｓ）をカウントしたら、撮影素子２４に電子ペン１を撮像させる。この時刻では、電子ペン１の発光素子１５は発光していない。したがって、発光素子１５が発光していない電子ペン１の画像が取得される。この画像は、プロジェクタ２の投射範囲のバックグラウンドレベルの画像となる。 In step 7, when the timer 22 counts a predetermined time (1.5 ms), the imaging control unit 21 of the projector 2 causes the imaging element 24 to image the electronic pen 1. At this time, the light emitting element 15 of the electronic pen 1 is not emitting light. Therefore, an image of the electronic pen 1 in which the light emitting element 15 is not emitting light is acquired. This image is an image of the background level of the projection range of the projector 2.

図４を参照すると、ステップ５から７におけるタイミングチャートが示されている。プロジェクタ２が発光指示を送ると、タイマ２２と、発光指示を受信した電子ペン１のタイマ１３が起動される。タイマ１３が起動されると、発光素子１５が１．０ｍｓ間発光しつづける。一方、プロジェクタ２の撮像素子２４は、タイマ２２が起動されてから０．５ｍｓ後と１．５ｍｓ後に、電子ペン１の様子を撮影する。 Referring to FIG. 4, a timing chart in steps 5 to 7 is shown. When the projector 2 sends a light emission instruction, the timer 22 and the timer 13 of the electronic pen 1 that has received the light emission instruction are started. When the timer 13 is started, the light emitting element 15 continues to emit light for 1.0 ms. On the other hand, the image sensor 24 of the projector 2 captures the state of the electronic pen 1 0.5 ms and 1.5 ms after the timer 22 is activated.

ステップ８で、差分演算部２５が、ステップ６と７で取得した画像の差分を計算し、差分画像（バックグラウンドレベルが差し引かれた画像）の最大輝度の位置を電子ペン１の現在の位置とする。差分画像の最大輝度の位置を求める方法は、従来技術と同様である。 In step 8, the difference calculation unit 25 calculates the difference between the images acquired in steps 6 and 7, and sets the position of the maximum luminance of the difference image (image with the background level subtracted) as the current position of the electronic pen 1. To do. The method for obtaining the position of the maximum luminance of the difference image is the same as in the conventional technique.

なお、電子ペン１の撮影は、プロジェクタ２が、先に発光素子１５が発光していない電子ペン１を撮影し、その後、発光指示を送り、発光素子１５が発光している電子ペン１を撮影してもよい。すなわち、本発明にとって重要なのは、発光素子１５が発光している電子ペン１の画像と、発光素子１５が発光していない電子ペン１の画像を取得することであり、２つの画像取得のタイミング、順序などは適宜変更可能である。 The electronic pen 1 is photographed by the projector 2 photographing the electronic pen 1 that has not emitted light from the light emitting element 15 before sending a light emission instruction and photographing the electronic pen 1 emitting light from the light emitting element 15. May be. That is, what is important for the present invention is to acquire an image of the electronic pen 1 that is emitting light from the light emitting element 15 and an image of the electronic pen 1 that is not emitting light from the light emitting element 15. The order and the like can be changed as appropriate.

また、この方法では差分によりバックグラウンドの影響が小さくなるので、発光素子１５に可視ＬＥＤを使用してもよい。 Further, in this method, since the influence of the background is reduced by the difference, a visible LED may be used for the light emitting element 15.

（ａ）は、本発明の一実施形態の電子ペンの構成を示した図であり、（ｂ）は、本発明の一実施形態のプロジェクタの構成を示した図である。(A) is the figure which showed the structure of the electronic pen of one Embodiment of this invention, (b) is the figure which showed the structure of the projector of one Embodiment of this invention. 本発明の一実施形態の電子黒板システムの構成を示した図である。It is the figure which showed the structure of the electronic blackboard system of one Embodiment of this invention. 本発明の一実施形態の、電子ペンの位置検出方法の処理の流れを示したシーケンス図である。It is the sequence diagram which showed the flow of the process of the position detection method of an electronic pen of one Embodiment of this invention. 電子ペンの発光のタイミング、プロジェクタによる電子ペンの画像取得のタイミングを示したタイミングチャートである。6 is a timing chart showing the timing of light emission of the electronic pen and the timing of image acquisition of the electronic pen by the projector.

Explanation of symbols

１電子ペン
１１受光素子
１２受光判断部
１３タイマ
１４発光制御部
１５発光素子
２プロジェクタ
２１撮影制御部
２２タイマ
２３発光素子
２４撮像素子
２５差分演算部
３スクリーン DESCRIPTION OF SYMBOLS 1 Electronic pen 11 Light receiving element 12 Light receiving judgment part 13 Timer 14 Light emission control part 15 Light emitting element 2 Projector 21 Shooting control part 22 Timer 23 Light emitting element 24 Imaging element 25 Difference calculating part 3 Screen

Claims

In the method for the projector to detect the position of the electronic pen in the electronic blackboard system,
A first step in which the projector transmits a signal including a light emission instruction related to a light emitting element provided in the electronic pen to the electronic pen;
A second step of causing the light emitting element to emit light for a predetermined time when the electronic pen receives the signal from the projector;
A third step in which the projector acquires a first image of the electronic pen in a state where the light emitting element emits light, and a second image of the electronic pen in a state where the light emitting element does not emit light; ,
The projector includes a fourth step of obtaining a difference image between the first image and the second image, and determining a position of maximum brightness of the difference image as a current position of the electronic pen. how to.

Timers provided in the electronic pen and the projector for the light emission time of the light emitting element in the second step and the timing of acquisition of the first image and the second image in the third step, respectively. The method of claim 1, wherein the method is determined using

In an electronic pen used in an electronic blackboard system and equipped with a light emitting element so that the projector can detect the position,
Receiving means for receiving a signal including a light emission instruction related to the light emitting element from the projector;
An electronic pen comprising light emission control means for causing the light emitting element to emit light for a predetermined time when the receiving means receives the signal.

The electronic pen according to claim 3, further comprising a timer that determines a light emission time of the light emitting element.

The electronic pen according to claim 3, wherein the light emitting element is an infrared LED.

The electronic pen according to claim 3, wherein the receiving unit receives the signal that is a light wave.

The electronic pen according to claim 3, wherein the receiving unit receives the signal that is a radio wave.

The electronic pen according to claim 3, wherein the receiving unit receives the signal that is a sound wave.

In a projector for detecting the position of the electronic pen by photographing an electronic pen equipped with a light emitting element with an imaging element, which is used in an electronic blackboard system,
Transmitting means for transmitting a signal including a light emission instruction related to the light emitting element to the electronic pen;
Photographing control means for causing the image sensor to acquire a first image of the electronic pen in a state where the light emitting element emits light and a second image of the electronic pen in a state where the light emitting element does not emit light; ,
A projector comprising difference calculation means for obtaining a difference image between the first image and the second image and determining a position of maximum brightness of the difference image as a current position of the electronic pen.

The projector according to claim 9, further comprising a timer that determines a timing of acquiring the first image and the second image.

The projector according to claim 9, wherein the image sensor is a two-dimensional PSD.

The projector according to claim 9 or 10, wherein the image sensor is a two-dimensional CCD.

The projector according to claim 9 or 10, wherein the image sensor is a two-dimensional CMOS sensor.

The projector according to claim 9, wherein the transmission unit transmits the signal that is a light wave.

The projector according to claim 9, wherein the transmission unit transmits the signal that is a radio wave.

The projector according to claim 9, wherein the transmission unit transmits the signal that is a sound wave.

The electronic blackboard system which writes using the electronic pen of any one of Claim 3 to 8 on the screen which the projector of any one of Claim 9 to 16 projected.