JP2015158827A - 座標検出システム、情報処理装置、座標検出方法及びプログラム - Google Patents

Abstract

【課題】 座標検出システムにおいて、指示具の先端部の座標を精度よく算出する。
【解決手段】 盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具の複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する中心位置算出部１１０３ａ〜１１０４ｂと、前記撮像部のレンズ歪み特性に基づいて、中心位置算出部１１０３ａ〜１１０４ｂにより算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する先端座標算出部１１０９とを有する。
【選択図】図１１

Description

本発明は座標検出システム、情報処理装置、座標検出方法及びプログラムに関する。

従来より、電子ペン等の指示具により指示された座標を検出し、手書き文字等の表示を行う座標検出システムとして、光学式の座標検出システムが知られている（例えば、特許文献１、２等参照）。

光学式の座標検出システムの場合、指示具からの光を、異なる位置に配置された複数の撮像部を用いて撮影し、三角測量の原理を利用して指示具の先端部の座標を算出する。

このため、複数の撮像部それぞれが、指示具からの光を確実に撮影できるよう、指示具の発光部材（あるいは反射部材）は、指示具の周方向に円環状に形成されていることが望ましい。

しかしながら、指示具の発光部材（あるいは反射部材）を周方向に円環状に形成した場合、撮像部により撮影された撮影画像には、指示具からの光が、一定の面積を有する光領域として描画されることとなる。

ここで、指示具の先端部の座標を精度よく算出するためには、当該光領域から、指示具の中心軸に対応する画素を精度よく抽出することが必要であるが、光領域の中心位置と、指示具の中心軸とは必ずしも一致しない。このため、光領域の中心位置に基づいて、指示具の先端部の座標を算出する構成とした場合、誤差の発生は不可避となる。

本発明上記課題に鑑みてなされたものであり、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することを目的とする。

本発明の実施形態に係る座標検出システムは、以下のような構成を有する。すなわち、
盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段とを有する。

本発明の各実施形態によれば、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することが可能になる。

実施形態に係る座標検出システムのシステム構成の一例を示す図である。 座標検出システムのハードウェア構成を示す図である。 指示具の構成を示す図である。 指示具の頂点の座標を算出する算出手順を示す図である。 ＣＭＯＳイメージセンサの配置を示す図である。 交線に基づいて指示具の頂点の座標を算出する方法を説明するための図である。 撮像部の内部構成を示す図である。 レンズ歪みがない場合の中心点に対応するＣＭＯＳイメージセンサ上の素子の座標を示す図である。 レンズ歪みがある場合の中心点に対応するＣＭＯＳイメージセンサ上の素子の座標を示す図である。 中心点に対応するＣＭＯＳイメージセンサ上の素子の座標の算出方法を説明するための図である。 座標検出プログラムの機能構成の一例を示す図である。 撮影画像に描画された発光領域を示す図である。 中心点に対応する撮影画像上の画素を示す図である。 座標検出プログラムの他の機能構成図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．座標検出システムのシステム構成＞
はじめに、本実施形態に係る座標検出システムのシステム構成について説明する。図１は、本実施形態に係る座標検出システム１００のシステム構成の一例を示す図である。

図１に示すように、座標検出システム１００は、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、撮像部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄと、指示具１１０とを有する。また、座標検出システム１００のコンピュータ（情報処理装置）１０２には、端末装置１２０が接続される。

座標入力装置１０１は、端末装置１２０において生成された画像を表示したり、指示具１１０により座標入力装置１０１の盤面である入力面に対して指示動作を行うことで手書き入力された内容を表示する。

コンピュータ（情報処理装置）１０２は、端末装置１２０により送信された画像を座標入力装置１０１に表示するよう制御する。図１の例は、端末装置１２０の表示部１２１に表示された画像を表示した場合を示している。

また、コンピュータ１０２は、撮像部１０３ａ〜１０３ｄにおいて撮影された撮影画像に基づいて、座標入力装置１０１の入力面に対して指示具１１０により入力された指示（入力面と指示具１１０の先端部との接触位置）をリアルタイムに解析する。そして、時系列の座標を接続して線を作成し、手書き入力された内容として、座標入力装置１０１に表示するよう制御する。

図１の例では、入力面に対してユーザが三角形の形状に沿って指示具１１０を移動させる指示動作を行ったことで、コンピュータ１０２が、一連の座標を１つのストローク（三角形）として表示中の画像に重畳させた様子を示している。

このように、座標入力装置１０１がタッチパネル機能を有していなくても、本実施形態に係る座標検出システム１００では、指示具１１０の先端部を座標入力装置１０１に接触させるだけで、ユーザは様々な入力を行うことができる。

撮像部１０３ａ〜１０３ｄは、座標入力装置１０１の入力面全体を撮影するための装置であり、座標入力装置１０１の入力面の所定位置（本実施形態においては両端部位置）に配置される。なお、本実施形態では、撮像部１０３ａ、１０３ｂが、座標入力装置１０１の入力面の上半分を撮影し、撮像部１０３ｃ、１０３ｄが座標入力装置１０１の入力面の下半分を撮影するものとする。指示具１１０の先端部の接触位置の座標は、当該撮像部が、指示具１１０を撮影することにより得られた撮影画像に基づいて算出される。

周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１の周囲に配置され、座標入力装置１０１の入力面を照射する。なお、周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１に対して、着脱可能に取り付けられていてもよい。

＜２．座標検出システムのハードウェア構成＞
次に、座標検出システム１００のハードウェア構成について説明する。図２は、座標検出システム１００のハードウェア構成を説明するための図である。

図２において、コンピュータ１０２は、市販の情報処理装置又は座標検出システム用に開発された情報処理装置である。コンピュータ１０２は、アドレスバスやデータバス等のバスライン２１２を介して電気的に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＳＳＤ（Solid State Drive）２０４、ネットワークコントローラ２０５を有する。更に、外部記憶コントローラ２０６、センサコントローラ２０７、ＧＰＵ（Graphics Processing Unit）２０８、キャプチャデバイス２０９を有する。

ＣＰＵ２０１は、座標検出プログラム２２０を実行するとともに、座標検出システム１００の動作全体を制御する。ＲＯＭ２０２にはＩＰＬ（Initial Program Loader）等が記憶されており、主に起動時にＣＰＵ２０１が実行するプログラムが記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１が例えば座標検出プログラム２２０を実行する際のワークエリアとして機能する。

ＳＳＤ２０４は、座標検出プログラム２２０や各種データが記憶された不揮発性メモリである。ネットワークコントローラ２０５は、不図示のネットワークを介してサーバなどと通信する際に通信プロトコルに基づく処理を行う。なお、ここでいうネットワークには、ＬＡＮ（Local Area Network）又は複数のＬＡＮが接続されたＷＡＮ（Wide Area Network、例えば、インタネット）等が含まれる。

外部記憶コントローラ２０６は、着脱可能な外部メモリ２３０からの読み出しを行う。外部メモリ２３０には、例えばＵＳＢ（Universal Serial Bus）メモリ、ＳＤカードなどが含まれる。

センサコントローラ２０７には、４つの撮像部１０３ａ〜１０３ｄが接続されており、これら４つの撮像部１０３ａ〜１０３ｄによる撮影を制御する。

ＧＰＵ２０８は、座標入力装置１０１に表示する画像の各画素の画素値を演算する描画専用のプロセッサである。座標入力装置コントローラ２１１は、ＧＰＵ２０８が作成した画像を座標入力装置１０１に出力する。

キャプチャデバイス２０９は、端末装置１２０が表示部１２１に表示している画像を取り込む（キャプチャする）。

なお、本実施形態に係る座標検出システム１００の場合、コンピュータ１０２は、指示具１１０と通信を行う必要はないが、コンピュータ１０２が指示具１１０と通信を行うための通信機能を有していてもよい。この場合、図示するようにコンピュータ１０２は、指示具コントローラ２１０を有し、指示具１１０との間で通信を行う。これにより、コンピュータ１０２では、指示具１１０からの制御信号を受信することが可能となる。

なお、座標検出プログラム２２０は、外部メモリ２３０に記憶された状態で流通されてもよいし、ネットワークコントローラ２０５を介して不図示のサーバからダウンロードされてもよい。なお、このときのアプリケーションは、圧縮された状態であっても実行形式の状態であってもよい。

＜３．指示具の構成＞
次に、指示具１１０の構成について説明する。図３は、指示具１１０の構成を示す図である。図３に示すように、指示具１１０は、ユーザが把持する把持部３１０と、座標入力装置１０１の入力面に接触する先端部３２０とを有する。

把持部３１０は、ユーザが把持しやすい円筒形状を有しており、内部には発光回路３１１が配されている（ただし、円筒形状は一例であり、他の形状であってもよい）。先端部３２０は、円錐形状を有しており、円環状の発光部３２１、３２２が配されている（ただし、円錐形状は一例であり、他の形状であってもよい）。発光部３２１、３２２は、発光回路３１１によってＯＮ／ＯＦＦが制御され、ＯＮ状態で一定光量で発光する。

なお、先端部３２０のうち、座標入力装置１０１の入力面と直接接触する部分を、以下では、「頂点」と称する。本実施形態において、先端部３２０の頂点３２３は、発光部３２１の横断面（図３の右側参照）である円の中心点３３１と、発光部３２２の横断面（図３の右側参照）である円の中心点３３２とを結ぶ直線上に位置している。なお、中心点３３１、中心点３３２、頂点３２３を通る直線を、指示具１１０の「中心軸」と称する。

換言すると、発光部３２１、３２２は、その横断面が中心軸に対して略直交するように配されており、かつ、その横断面の中心が、中心軸に略一致するように配されている。

＜４．指示具の頂点座標の算出手順の説明＞
次に、座標入力装置１０１の入力面における、指示具１１０の頂点３２３の２次元座標（入力面と指示具１１０の頂点３２３との接触位置の２次元座標）を算出する手順について説明する。図４は、座標入力装置１０１の入力面における、指示具１１０の頂点３２３の座標を算出する算出手順を示す図である。

光学式の座標検出システムにおいて、先端部３２０に円環状の発光部３２１、３２２が配された指示具１１０（図３参照）を用いた場合、図４に示す手順にしたがって撮影画像を処理することで、入力面における頂点３２３の２次元座標を算出できる。

具体的には、まず、撮像部１０３ａ〜１０３ｄが撮影を行い、撮影画像を取得する（手順１）。

続いて、取得した撮影画像に基づいて、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標を算出する（手順２）。

続いて、中心点３３１、３３２に対応する撮影画像上の２次元座標に対応する、ＣＭＯＳイメージセンサ上の素子を特定する（手順３）。更に、特定した素子の３次元座標空間における３次元座標を算出する（手順３）。

ここで、図５（ａ）は撮影画像を生成する撮像部１０３ａのＣＭＯＳイメージセンサ５００ａの、座標検出システム１００における配置を示す図である。

図５（ａ）において、点５０１は、中心点３３２に対応する撮影画像上の２次元座標に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を示している。同様に、点５０２は、中心点３３１に対応する撮影画像上の２次元座標に対応する、ＣＯＭＳイメージセンサ５００ａ上の素子を示している。手順３では、点５０１、５０２の３次元座標空間における座標を算出する。

続いて、発光部３２１、３２２の中心点３３１、３３２と、撮像部１０３ａの主点とを含む３次元座標空間における平面を算出する（手順４）。なお、発光部３２１、３２２の中心点３３１、３３２は、指示具１１０の中心軸を特定する点であることから、手順４で算出する平面は、指示具１１０の中心軸と撮像部１０３ａの主点とを含む平面ということができる（以下、当該平面を「中心軸平面」と称す）。なお、主点とは、撮像部１０３ａの光学系を１枚の薄いレンズに置き換えた場合の、当該薄いレンズと光軸との交点である（撮像部１０３ａの光学系が１枚のレンズから構成される場合には、当該レンズの中心が主点となる）。

ここで、図５（ｂ）は、３次元座標空間における撮像部１０３ａの射影（発光部３２１、３２２の中心点３３１、３３２とＣＭＯＳイメージセンサ５００ａ上の素子との関係）を説明するための数学モデルを示す図である。なお、当該数学モデルは、一般に"世界座標モデル"や"外部モデル"と呼ばれているモデルであり、カメラを扱う技術分野において一般的に知られているモデルである。

図５（ｂ）に示すように、手順４により中心軸平面を算出することは、中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む平面を算出することと等価である。したがって、手順４では、中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む３次元座標空間における平面を、中心軸平面として算出する。

続いて、手順４において算出した中心軸平面と座標入力装置１０１の入力面との交線を算出する（手順５）。

図５（ｃ）は、中心軸平面と、座標入力装置１０１の入力面との関係を示す図である。図５（ｃ）において、平面５３０は、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む中心軸平面である。また、交線５４０ａは、中心軸平面である平面５３０と座標入力装置１０１の入力面との交線を示している。手順４によれば、交線５４０ａが算出される。

なお、図５（ａ）〜（ｃ）では、撮像部１０３ａについてのみ明示しているが、撮像部１０３ｂについても同様の処理を行うことで、交線５４０ｂを算出することができる。

続いて、手順５において算出した交線５４０ａ、５４０ｂと、座標入力装置１０１の入力面における基準方向とのなす角度（旋回角度）を算出し、算出した旋回角度を用いて、入力面における指示具１１０の頂点３２３の２次元座標を算出する（手順６）。

図６は、交線５４０ａと交線５４０ｂに基づいて、入力面における指示具１１０の頂点３２３の２次元座標を算出する方法を説明するための図である。

図６において、交線５４０ａと交線５４０ｂとの交点（点６００）は、座標入力装置１０１の入力面における指示具１１０の頂点３２３の座標を示している。

ここで、座標入力装置１０１の左上端部を原点とし、座標入力装置１０１の横方向をＸ軸、縦方向をＹ軸とする。また、撮像部１０３ａから見た場合のＸ軸方向（基準方向）に対する点６００の旋回角度をα、撮像部１０３ｂから見た場合のＸ軸方向（基準方向）に対する点６００の旋回角度をβとする。更に、座標入力装置１０１のＸ軸方向の幅をＬとする。

かかる前提のもとで、点６００のＹ座標を、Ｘ座標を用いて表すと以下のようになる。

Ｙ＝Ｘｔａｎα （式１）
Ｙ＝（Ｌ−Ｘ）ｔａｎβ （式２）
ここで、式１と式２とにより、Ｙを消去しＸについて整理すると、
Ｘ＝Ｌｔａｎβ／（ｔａｎα＋ｔａｎβ） （式３）
となる。

更に、式３を式１に代入すると、
Ｙ＝Ｌｔａｎα×ｔａｎβ／（ｔａｎα＋ｔａｎβ） （式４）
となる。

つまり、撮像部１０３ａ、１０３ｂにおいて撮影された撮影画像に基づいて、交線５４０ａ、５４０ｂのＸ軸方向（基準方向）からの旋回角度α、βを算出し、式３及び式４に代入すれば、点６００のＸ座標及びＹ座標を算出することができる。なお、ここでは、撮像部１０３ａ、１０３ｂにおいて撮影された撮影画像に基づく手順を説明したが、撮像部１０３ｃ、１０３ｄにおいて撮影された撮影画像に基づく手順も同様である。このため、以下では、撮像部１０３ｃ、１０３ｄにおいて撮影された撮影画像に基づく手順の説明は省略する。

以上のとおり、円環状の発光部３２１、３２２が配された指示具１１０の場合、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標を算出できれば、座標入力装置１０１の入力面における頂点３２３の２次元座標を算出できる。

換言すると、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標に誤差が含まれていた場合、座標入力装置１０１の入力面における頂点３２３の座標にも誤差が含まれることとなる。

ここで、図４で説明した手順は、撮像部１０３ａのレンズ歪みがないことを前提としている。しかしながら、実際の撮像部１０３ａにはレンズ歪みが含まれる。このため、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を特定した際、当該特定された素子の座標には、レンズ歪みの影響が含まれている。

つまり、レンズ歪みを含む撮像部１０３ａの場合、発光部３２１、３２２の中心点３３１、３３２とＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）との関係は、図５（ｂ）に示す関係とは異なる関係となる。

本願出願人は、この点に着目し、指示具１１０の頂点の座標を精度よく算出するために、レンズ歪みの影響を排除する構成とした。以下では、撮像部１０３ａのレンズ歪みの影響について説明するとともに、レンズ歪みの影響を排除する構成について説明する。

＜５．レンズ歪みの影響の説明＞
＜５．１ 撮像部の内部構成＞
レンズ歪みの影響を説明するにあたり、はじめに、撮像部１０３ａの内部構成について説明する。

図７は、撮像部１０３ａの内部構成を示す図である。図７に示すように、撮像部１０３ａは、ＣＭＯＳイメージセンサ５００ａとレンズ７０１ａを有し、レンズ７０１ａは、ｆθ特性と呼ばれるレンズ歪み特性を有する。

このため、撮像部１０３ａに入射する入射角θの光線７１４は、主点（点５１０ａ）を通り、ＣＭＯＳイメージセンサ５００ａ上の素子７１２にて受光される。このとき、ＣＭＯＳイメージセンサ５００ａの中心素子７１１と素子７１２との間の距離は、レンズ７０１ａの焦点距離をｆとすると、ｆθとなる。

なお、入射角θは、光軸（レンズ７０１ａの中心である主点（点５１０ａ）及びＣＭＯＳイメージセンサ５００ａの中心素子７１１を通り、レンズ７０１ａ及びＣＭＯＳイメージセンサ５００ａに対して垂直な線）７１３となす角度である。

＜５．２ レンズ歪みの有無に伴う中心点の座標の差＞
次に、レンズ歪みの有無に伴う、中心点に対応するＣＭＯＳイメージセンサ上の素子の座標の差について説明する。図８は、レンズ歪みがない場合の中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標を示す図である。

図８において、ＣＭＯＳイメージセンサ５００ａ上の素子８３１の位置は、発光部３２１の中心点３３１をＣＭＯＳイメージセンサ５００ａ上に射影した場合の位置を示している。レンズ歪みのないレンズ８０１ａの場合、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線と、光軸７１３とのなす角度をθとすると、素子８３１の中心素子７１１からの距離は、ｆｔａｎ（θ）となる。

一方、図９は、レンズ歪みがある場合の中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標を示す図である。

図９において、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の位置は、発光部３２１の中心点３３１をＣＭＯＳイメージセンサ５００ａ上に射影した場合の位置を示している。レンズ歪みのあるレンズ７０１ａの場合、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線と、光軸７１３とのなす角度をθとすると、素子９３１の中心素子７１１からの距離は、ｆθとなる。

このように、レンズ歪みの有無により、中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標は、ｆｔａｎ（θ）−ｆθだけずれる。

＜６．レンズ歪みの影響を排除した中心点の算出方法＞
次に、レンズ歪みの影響を排除した、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の座標の算出方法について説明する。

中心点３３１は、指示具１１０の内部の点であるため、ＣＭＯＳイメージセンサ５００ａにおいて直接検出することはできない。そこで、発光部３２１の端部の点を検出し、当該端部の点に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標から、中心点３３１に対応する素子の座標を算出する。

図１０は、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の座標の算出方法を説明するための図である。図１０に示すように、発光部３２１の端部の点３２１Ｌにおいて発光した光は、ＣＭＯＳイメージセンサ５００ａ上の素子１０２１Ｒにおいて受光される。また、発光部３２１の端部の点３２１Ｒにおいて発光した光は、ＣＭＯＳイメージセンサ５００ａ上の素子１０２１Ｌにおいて受光される。

ここで、素子１０２１Ｒと中心素子７１１との間の距離は、ｆ（θ−Δθ）となる。また、素子１０２１Ｌと中心素子７１１との間の距離は、ｆ（θ＋Δθ）となる。

なお、Δθは、発光部３２１の端部の点３２１Ｒまたは３２１Ｌと主点（点５１０ａ）とを結ぶ直線と、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線とのなす角度である。

図１０から明らかなように、素子９３１は、素子１０２１Ｌと素子１０２１Ｒとの中点となる。したがって、素子９３１の座標は、素子１０２１Ｌの座標と素子１０２１Ｒの座標とに基づいて、算出することができる。すなわち、撮影画像に描画された、発光部３２１を示す発光領域の中心位置の座標を算出することで、素子９３１の撮影画像上の２次元座標を算出することができる。

このため、本実施形態では、撮影画像に描画された、発光部３２１を示す発光領域の中心位置の座標をはじめに算出し、当該算出した中心位置の座標を、レンズ歪みがないと仮定した場合の座標に変換する。具体的には、当該算出した中心位置の座標にレンズ歪み補正関数を乗じることで補正し、補正した中心位置の座標に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を特定する。

このような構成にすることで、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子であって、レンズ歪みの影響を排除した素子を特定することができる。

＜７．座標検出プログラムの機能構成＞
次に、座標検出プログラム２２０の機能構成について説明する。座標検出プログラム２２０は、
・図１０に示す関係を用いて、発光部の中心点に対応する撮影画像上の２次元座標を算出し、
・図９に示すレンズ歪みに起因する誤差を考慮し、発光部の中心点に対応する撮影画像上の２次元座標を補正し、
・図４に示す手順に従って、入力面における指示具１１０の頂点３２３の２次元座標を算出する、
ように構成されており、図１１に示す機能構成を有している。

図１１は、座標検出プログラム２２０の機能構成の一例を示す図である。座標検出プログラム２２０は、撮像部１０３ａにより撮影された撮影画像を処理する処理部１１００ａと、撮像部１０３ｂにより撮影された撮影画像を処理する処理部１１００ｂとを有する。更に、座標検出プログラム２２０は、処理部１１００ａにおける処理結果と処理部１１００ｂにおける処理結果とを用いて、入力面における頂点３２３の２次元座標を算出する先端座標算出部１１０９を有する。なお、処理部１１００ａにおける処理と処理部１１００ｂにおける処理とは同じであるため、以下では処理部１１００ａと先端座標算出部１１０９について説明する。

処理部１１００ａは、撮影画像取得部１１０１ａ、発光領域抽出部１１０２ａ、中心位置算出部１１０３ａ、１１０４ａ、中心位置補正部１１０５ａ、１１０６ａ、平面算出部１１０７ａ、旋回角度算出部１１０８ａを有する。

撮影画像取得部１１０１ａは、撮像部１０３ａにおいて撮影された撮影画像を所定の周期で取得する。発光領域抽出部１１０２ａは、取得された撮影画像に描画された、発光部３２１、３２２を示す発光領域を抽出する。

図１２は、撮影画像１２００に描画された発光領域１２１０と発光領域１２２０を示す図である。図１２において、発光領域１２１０は、指示具１１０の発光部３２１に対応しており、発光領域１２２０は、指示具１１０の発光部３２２に対応している。

中心位置算出部１１０３ａは、抽出された発光領域に基づいて、発光部３２１の中心点３３１に対応する撮影画像１２００上の２次元座標を算出する。中心位置算出部１１０４ａは、抽出された発光領域に基づいて、中心点３３２に対応する撮影画像１２００上の２次元座標を算出する。

図１３（ａ）は、中心位置算出部１１０３ａ、１１０４ａにより、中心点３３１、３３２に対応する撮影画像１２００上の画素１３１０、１３２０の座標を算出した様子を示している。図１３（ａ）に示すように、発光領域１２１０、１２２０それぞれの重心位置を算出することで、画素１３１０、１３２０の座標を算出することができる。

中心位置補正部１１０５ａは、中心点３３１に対応する撮影画像１２００上の画素１３１０、１３２０の座標を、レンズ歪み補正関数を用いて補正し、レンズ歪みがないと仮定した場合の中心点３３１に対応する撮影画像１２００上の画素の座標を算出する。中心位置補正部１１０６ａは、中心点３３２に対応する撮影画像１２００上の画素１３１０、１３２０の座標を、レンズ歪み補正関数を用いて補正し、レンズ歪みがないと仮定した場合の中心点３３２に対応する撮影画像１２００上の画素の座標を算出する。

図１３（ｂ）は、中心位置補正部１１０５ａ、１１０６ａにより、画素１３１０、１３２０の座標を補正した様子を示している。図１３（ｂ）に示すように、画素１３１０、１３２０それぞれの座標を補正することで、画素１３１２、１３２２の座標が算出される。

平面算出部１１０７ａは、レンズ歪み補正関数により補正された中心点３３１に対応する撮影画像１２００上の画素１３１２、１３２２の座標に基づいて、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）の３次元座標空間における座標を特定する。また、平面算出部１１０７ａは、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）の３次元座標空間における座標と、撮像部１０３ａの主点（点５１０ａ）の３次元座標空間における座標とを含む中心軸平面（平面５３０）を算出する。

旋回角度算出部１１０８ａは、算出された中心軸平面と、座標入力装置１０１の入力面との交線（５４０ａ）を算出し、指示具１１０の頂点３２３の基準方向からの旋回角度（α）を算出する。

先端座標算出部１１０９は、旋回角度算出部１１０８ａにおいて算出された旋回角度（α）と、旋回角度算出部１１０８ｂにおいて算出された旋回角度（β）とに基づいて、入力面における指示具１１０の頂点３２３の位置を示す点６００の座標を算出する。

＜８．まとめ＞
以上の説明から明らかなように、本実施形態に係る座標検出システムでは、
・指示具の先端部に、長手方向に、円環状の発光部を２つ設ける構成とした。
・２つの発光部それぞれの中心点に対応する撮影画像上の座標を算出し、当該算出した２つの中心点の撮影画像上の座標を用いて、座標入力装置の入力面における指示具の頂点の２次元座標を算出する構成とした。
・座標入力装置の入力面における指示具の頂点の２次元座標を算出するにあたっては、２つの発光部それぞれの中心点の撮影画像上の２次元座標を、レンズ歪み補正関数を用いて補正する構成とした。

これにより、レンズ歪みに起因して生じる、指示具の頂点の２次元座標の誤差を排除することが可能となる。

この結果、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することが可能となる。

［第２の実施形態］
上記第１の実施形態では、入力面における指示具１１０の頂点３２３の２次元座標を算出するにあたり、平面算出部１１０７ａ、１１０７ｂそれぞれにおいて算出された中心軸平面と入力面との交線を算出する構成とした。

しかしながら、本発明はこれに限定されず、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する構成としてもよい。以下、本実施形態について説明する。

図１４は、本実施形態に係る座標検出プログラム１４００の機能構成を示す図である。なお、図１４に示す機能構成のうち、図１１に示す座標検出プログラム２２０の機能構成と同じ構成要素については、同じ参照番号を付すこととし、ここでは説明を省略する。

図１１に示す座標検出プログラム２２０の機能構成との相違点は、平面交線算出部１４０１と、先端座標算出部１４０２である。

平面交線算出部１４０１は、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する。平面算出部１１０７ａ、１１０７ｂそれぞれにおいて算出される中心軸平面は、いずれも発光部３２１、３２２の中心点３３１、３３２を含む平面である。したがって、これらの中心軸平面の交線は、指示具１１０の中心軸に等しい。

先端座標算出部１４０２は、平面交線算出部１４０１において算出された交線と、座標入力装置１０１の入力面との交点を算出し、座標入力装置１０１の入力面における指示具１１０の頂点３２３の２次元座標を算出する。

このように、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する構成とした場合であっても、入力面における指示具１１０の頂点３２３の２次元座標を精度よく算出することができる。

［第３の実施形態］
上記各実施形態において中心位置算出部１１０３ａ、１１０４ａは、発光領域１２１０、１２２０の重心位置を算出することで中心点３３１、３３２に対応する撮影画像上の座標を算出する構成としたが、本発明はこれに限定されない。

例えば、発光領域１２１０、１２２０の境界の形状に基づいて、中心点３３１、３３２に対応する撮影画像上の座標を算出する構成としてもよい。

また、上記各実施形態において撮影画像取得部１１０１ａ、１１０１ｂは、撮影画像に含まれる全ての画素を取得する構成としたが、本発明はこれに限定されない。例えば、座標入力装置１０１の入力面から所定の高さまでの領域に含まれる画素のみを取得する構成としてもよい。つまり、ＡＯＩ（Area of Interest）またはＲＯＩ（Region of Interest）を設定し、当該領域に含まれる画素のみを取得する構成としてもよい。

［第４の実施形態］
上記各実施形態では、座標検出プログラム２２０または１４２０の実行開始条件について特に言及しなかったが、例えば、座標検出プログラム２２０または１４２０は、ユーザの所定の指示に基づいて実行を開始する構成としてもよい。

なお、ここでいうユーザの所定の指示には、ユーザによる所定の動作を検知する場合も含まれるものとする。例えば、頂点３２３が座標入力装置１０１の入力面に接触したことを検知するセンサを指示具１１０に配し、当該センサにより接触が検知された場合に、座標検出プログラム２２０または１４２０を実行させる構成としてもよい。

また、上記各実施形態では、入力面に対する指示具１１０の傾きによらず、入力面における指示具１１０の頂点３２３の２次元座標を算出する構成としたが、本発明はこれに限定されない。例えば、入力面に対する指示具１１０の傾きが一定の閾値を超えた場合には、指示具１１０により入力面に入力された指示を無効と判断し、入力面における指示具１１０の頂点３２３の２次元座標を算出しない構成としてもよい。

［第５の実施形態］
上記各実施形態では、指示具の先端部に円環状の発光部を設ける構成としたが、本発明はこれに限定されず、撮影画像内において識別できれば、発光部に限定されるものではない。例えば、円環状の部材に所定の色の塗料（例えば、蛍光塗料）を塗布するようにしてもよいし、当該円環状の部材を、所定の材料（例えば、反射材）により構成するようにしてもよい。

また、上記各実施形態では、指示具の発光部を一定光量で発光させる構成としたが、本発明はこれに限定されず、指示具１１０内に変調回路を設け、変調して発光させる構成としてもよい。

［第６の実施形態］
上記各実施形態では、座標検出システム１００として、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、撮像部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄとが１つの装置として構成される場合について説明した。

しかしながら、本発明はこれに限定されず、座標入力装置１０１、コンピュータ（情報処理装置）１０２、撮像部１０３ａ〜１０３ｄ、周辺発光部１０４ａ〜１０４ｄのうちのいずれか１つまたは複数が、別体として構成されてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：座標検出システム
１０１ ：座標入力装置
１０２ ：コンピュータ（情報処理装置）
１０３ａ〜１０３ｄ ：撮像部
１０４ａ〜１０４ｄ ：周辺発光部
１１０ ：指示具
１２０ ：端末装置
３１０ ：把持部
３１１ ：発光回路
３２０ ：先端部
３２１、３２２ ：発光部
３２３ ：頂点
３３１、３３２ ：中心点
５０１ａ ：ＣＭＯＳイメージセンサ
５３０ ：平面
５４０ａ、５４０ｂ ：交線
７０１ａ ：レンズ
１２００ ：撮影画像
１２１０、１２２０ ：発光領域

特開２００５−１７３６８４号公報 特許第５１２２９４８号

Claims (14)

1. 盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、
   前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
   前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
   を有することを特徴とする座標検出システム。
2. 前記撮像部のレンズ歪み特性に基づいて、前記第１の算出手段により算出された各領域の中心位置を補正する補正手段を更に有することを特徴とする請求項１に記載の座標検出システム。
3. 前記第１の算出手段は、前記領域における重心位置を、前記中心位置として算出することを特徴とする請求項１または２に記載の座標検出システム。
4. 前記第２の算出手段は、
   前記補正手段により補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
   前記撮像部の主点の前記３次元座標空間における座標と、
   を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項２に記載の座標検出システム。
5. 前記指示具の複数の円環状の部材は、所定の軸に直交して配され、かつ、当該所定の軸と、当該複数の円環状の部材の各中心点とが一致するように配されていることを特徴とする請求項１乃至４のいずれか１項に記載の座標検出システム。
6. 盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムにおける座標検出方法であって、
   前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出工程と、
   前記第１の算出工程において算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出工程と
   を有することを特徴とする座標検出方法。
7. 前記撮像部のレンズ歪み特性に基づいて、前記第１の算出工程において算出された各領域の中心位置を補正する補正工程を更に有することを特徴とする請求項６に記載の座標検出方法。
8. 前記第１の算出工程は、前記領域における画素の重心位置を、前記中心位置として算出することを特徴とする請求項６または７に記載の座標検出方法。
9. 前記第２の算出工程は、
   前記補正工程において補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
   前記撮像部の主点の前記３次元座標空間における座標と、
   を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項７に記載の座標検出方法。
10. 指示具により指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置であって、
    前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
    前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
    を有することを特徴とする情報処理装置。
11. 前記撮像部のレンズ歪み特性に基づいて、前記第１の算出手段により算出された各領域の中心位置を補正する補正手段を更に有することを特徴とする請求項１０に記載の情報処理装置。
12. 前記第１の算出手段は、前記領域における画素の重心位置を、前記中心位置として算出することを特徴とする請求項１０または１１に記載の情報処理装置。
13. 前記第２の算出手段は、
    前記補正手段により補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
    前記撮像部の主点の前記３次元座標空間における座標と、
    を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項１１に記載の情報処理装置。
14. 指示具により指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置を、
    前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具の複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
    前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
    して機能させるためのプログラム。

Images