JP5142491B2 - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Description

本発明は、投影面に投影された画像と表示画面上に書き込まれた書き込み画像とを合成するとともに、書き込み画像を電子情報として抽出する画像表示装置に係り、特に、書き込み画像を外光の変化に応じて画像処理を行う画像表示装置、画像表示方法及び画像表示プログラムに関するものである。

今日の画像表示装置は、表示画面に文字や図形、画像等の視覚的情報を表示する基本機能に加え、人との親和性が高い機能を搭載した装置となってきている。

その背景には、画像表示装置のシステムを構成するコンピュータをはじめとした情報機器の高度化や、画像表示装置が、人と協力し複雑な処理を効率的に行わなければならない場面において使用されること等が挙げられる。

例えば、会議や講義等において、表示画面に表示される画像情報に基づいて、参加者が検討を行う場面では、必要に応じて、参加者が表示画面に表示された画像情報に重畳するように情報を表示画面に書き込み検討を進めて行く等、画像表示装置には、検討過程で生じた参加者の検討事項を電子情報としてPC（Personal Computer）等へ取り込む機能等が利用者から望まれた。

このような背景から、以下に示すような、画像表示と書き込み画像とを同一画面上で行い、書き込み画像を電子情報として抽出する画像表示装置が提案されている。

画像表示装置が有するCCD（Charge Coupled Devices）カメラ等の撮影装置を用いて書き込まれた文字や図形を撮影して書き込み画像として電子化し、書き込み画像のRGB値を基に代表色を決定し、決定した代表色に色変換することで書き込まれた情報を抽出する画像表示装置（例えば、特許文献1を参照。）、更に、使用環境の外光を測定し、書き込み画像を抽出する際の色変換処理において、測定した外光に応じてプロジェクタ等の画像投影装置の投影画像の色を黒又は白に切り換え、書き込み画像の色を変更することにより、外光状況に影響されず高品質な書き込み画像を含む合成画像を得ることのできる画像表示装置等がある（例えば、特許文献2を参照。）。
特開２００５―７１１９２号公報 特開２００５−３５４１７１号公報

しかしながら、特開２００５―７１１９２号公報により開示された方法では、外光の変化を考慮していいないため、画像表示装置が使用される環境が著しく暗い環境（例えば、「消灯した室内環境」等。）や明るい環境（例えば、「表示画面に日差しが差し込む環境」）等の場合、書き込み画像のRGB値を基に代表色を決定し、書き込まれた色の判別を行う色判別の精度が低下してしまう問題点がある。

また、特開２００５―３５４１７１号公報により開示された方法では、外光の変化を考慮して、書き込み画像の色を変化させ、書き込み画像を抽出する基の画像である合成画像の品質を向上させる点（どのような使用環境においも安定して書き込み抽出可能な画像を取得する点）においては効果があるが、取得した合成画像から書き込み画像を抽出する際の画像処理（例えば、「背景除去」、「シェーディング補正」、「色変換」等。）に対して、外光の変化を考慮し、書き込み画像抽出を高精度に処理する有効的な手法が提案されておらず、画像処理の過程において、書き込み画像の色判別の誤認判定等、書き込み画像の抽出精度が低下してしまう場合が考えられる。

このように、上記に挙げる従来の方法には、画像表示装置の使用環境によって変化する外光を考慮し、精度良く書き込み画像を合成画像から抽出する点において問題がある。

本発明は、上記従来技術の問題点を鑑み、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像抽出の際の画像処理を制御する画像表示装置、画像表示方法及び画像表示プログラムを提供することを目的とする。

上記目的を達成するため、本発明の画像表示装置は、投影面に画像を投影する画像投影手段と、前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手段と、前記書き込み画像撮影手段により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手段と、前記書き込み画像領域抽出手段により抽出された書き込み画像と前記画像投影手段により前記投影面に投影された投影画像とを合成する画像合成手段とを有する画像表示装置であって、前記書き込み画像領域抽出手段において、前記画像撮影手段により撮影された前記撮像画像を補正する画像処理を行う画像処理手段と、前記画像処理において前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手段とを有し、前記画像処理手段において、前記外光値検出手段により検出された前記画像補正用外光値に基づいて、前記画像処理を制御することを特徴とする。

これによって、画像表示装置は、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像を抽出する際の画像処理を制御することができる。

よって、画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出し、書き込まれた情報を高品質に電子化することができる。

上記目的を達成するため、本発明の画像表示装置は、前記外光値検出手段において、前記書き込み画像撮影手段により撮影された、前記書き込み面に書き込みのない無地画像の輝度分布を基に、出現頻度が最も多い輝度値を前記画像補正用外光値とすることを特徴とする。

これによって、画像表示装置は、画像表示装置の使用環境における外光状態を表す輝度分布特性を算出することができ、輝度分布のうち、出現頻度の多い輝度値から画像補正用の外光値を検出することができる。

上記目的を達成するため、本発明の画像表示装置は、前記画像処理手段において、前記撮像画像の注目画素を、所定の範囲において各色成分毎に平均化し、平均化した前記注目画素の画素値が、背景の画素か書き込まれた文字又は図形の画素かを判別するために設定された背景除去用閾値より大きければ背景の画素と判別し、前記注目画素の画素値を白の値に置き換える背景除去手段を有し、前記背景除去手段において、前記所定の範囲を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする。

これによって、画像表示装置は、背景除去を目的とし、撮像画像における注目画素を、所定の範囲において色成分毎に平均化し、平均化した注目画素の輝度値が背景除去用の閾値より大きければ背景画素と判断し、注目画素の画素値を白の値に置き換える際に、検出された外光値に基づいて平均化の範囲を最適に設定する（拡大又は縮小する）ため、撮像画像に対して外光の変化に応じた背景除去を行うことができる。

よって、書き込まれた文字や図形と背景との判定精度を向上することができる。

上記目的を達成するため、本発明の画像表示装置は、前記画像処理手段において、各画素毎に前記撮像画像の画素値を前記無地画像の画素値で除算し、前記撮像画像の画素値を、画素が表す濃度階調に換算した値に置き換える輝度補正手段と、前記輝度補正手段により輝度補正された画像において、注目画素の画素値が、書き込まれた文字又は図形とノイズとを判別するために設定されたノイズ除去用閾値より大きければノイズの画素と判別し、前記注目画素値を白の値に置き換えるノイズ除去手段と、前記ノイズ除去手段によりノイズ除去された画像に対して輪郭を補正する輪郭補正手段とを有し、前記ノイズ除去手段において、前記ノイズ除去用閾値を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする。

これによって、画像表示装置は、ノイズ除去を目的とし、外光による光量ムラを補正（輝度補正）した画像をノイズ除去用の閾値に基づいてノイズ除去する際、検出された外光値に基づいてノイズ除去用の閾値の設定値を変更するため、撮像画像に対して外光の変化に応じたノイズ除去を行うことができる。

また、撮像画像の画素値を無地画像の画素値で除算し、画素が表す濃度階調に換算する輝度補正処理を行うため、外光による光量ムラ（輝度勾配）を補正（平坦化）することができる。

また、ノイズ除去された画像に対して、書き込まれた文字や図形の書き込み線を輪郭補正するため、書き込まれた文字や図形を鮮明に抽出することができる。

よって、外光状態に影響されることなく高品質な補正画像を得ることができる。

上記目的を達成するため、本発明の画像表示装置は、前記画像処理手段において、前記輝度補正手段、前記ノイズ除去手段及び前記輪郭補正手段とにより画像補正を行った画像の画素値を、各画素毎に所定の範囲において平均化する平均化手段と、前記平均化手段により平均化された画像において、書き込まれた文字や図形の色を判別するために設定された色判別用閾値に基づいて、各画素の色を判別する色判別手段と、前記輝度補正手段、前記ノイズ除去手段及び前記輪郭補正手段とにより画像補正を行った画像において、注目画素と隣接する画素のうち、画素値が黒である割合を算出し、算出された割合が所定の値より大きい場合、前記注目画素の画素値を黒の値に置き換える色判別補正手段とを有し、前記色判別手段において、前記色判別用閾値を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする。

上記目的を達成するため、本発明の画像表示装置は、前記色判別手段において、画素の色を青と判別するための前記色判別用閾値を、前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、大きな値に変化することを特徴とする。

上記目的を達成するため、本発明の画像表示装置は、前記色判別手段において、画素の色を赤と判別するための前記色判別用閾値を、前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、小さな値に変化することを特徴とする。

上記目的を達成するため、本発明の画像表示装置は、前記色判別手段において、画素の色を黒と判別するための前記色判別用閾値を、前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、大きな値に変化することを特徴とする。

これによって、画像表示装置は、書き込み線の色判別を目的とし、画像補正された画像の画素値を色判別用の閾値に基づいて、書き込まれた文字や図形の書き込み線の色を判別する際、検出された外光値に基づいて色判別用の閾値の設定値を変更することができる。

よって、外光状態に影響されることなく高精度な色判別を行うことができる。

上記目的を達成するため、本発明の画像表示装置は、前記画像処理手段において、前記平均化手段、前記色判別手段及び色判別補正手段とにより色判別を行った画像の注目画素において、隣接する画素全てが白であるか否かを判定し、判定結果に基づいて前記注目画素の画素値を白の値に置き換える孤立点除去手段を有することを特徴とする。

これによって、画像表示装置は、色判別後の画像における注目画素において、隣接する画素全てが白であるか否かを判定し、判定結果に基づいて注目画素の画素値を白の値に置き換えるため、画像上に孤立した画素を除去することができる。

上記目的を達成するため、本発明の画像表示方法は、投影面に画像を投影する画像投影手順と、前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手順と、前記書き込み画像撮影手順により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手順と、前記書き込み画像領域抽出手順により抽出された書き込み画像と前記画像投影手順により前記投影面に投影された投影画像とを合成する画像合成手順とを有する画像表示装置における画像表示方法であって、前記書き込み画像領域抽出手順において、前記画像撮影手順により撮影された前記撮像画像を補正する画像処理を行う画像処理手順と、前記画像処理において前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手順とを有し、前記画像処理手順において、前記外光値検出手順により検出された前記画像補正用外光値に基づいて、前記画像処理を制御することを特徴とする。

これによって、画像表示方法は、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像を抽出する際の画像処理を制御することができる。

よって、画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出し、書き込まれた情報を高品質に電子化することができる。

上記目的を達成するため、本発明の画像表示プログラムは、投影面に画像を投影する画像投影手段と、前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手段と、前記書き込み画像撮影手段により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手段と、前記書き込み画像領域抽出手段により抽出された書き込み画像と前記画像投影手段により前記投影面に投影された投影画像とを合成する画像合成手段とをコンピュータに実行させ画像表示を行う画像表示装置における画像表示プログラムであって、前記書き込み画像領域抽出手段において、前記画像撮影手段により撮影された前記撮像画像を補正する画像処理を行う画像処理手段と、前記画像処理において前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手段とを有し、前記画像処理手段を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて、前記画像処理を制御するように機能させる。

これによって、画像表示プログラムは、コンピュータを、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像を抽出する際の画像処理を制御するように機能させることができる。

よって、画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出し、書き込まれた情報を高品質に電子化することができる。

本発明によれば、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像を抽出する際の画像処理を制御する画像表示装置、画像表示方法及び画像表示プログラムを提供することができる。

また、本発明によれば、背景除去を目的とし、撮像画像における注目画素を、所定の範囲（平均化における演算範囲）において色成分毎に平均化し、平均化した注目画素の輝度値が背景除去用の閾値より大きければ背景画素と判断し、注目画素の画素値を白の値に置き換える際に、検出された外光値に基づいて平均化の範囲（平均化における演算範囲）を最適に設定する（拡大又は縮小する）ため、撮像画像に対して外光の変化に応じた背景除去を行うことができる。

よって、上記のように、外光の変化に応じて背景除去を行った結果、書き込まれた文字や図形と背景との判定精度を向上することができる。

また、本発明によれば、ノイズ除去を目的とし、外光による光量ムラを補正（輝度補正）した画像をノイズ除去用の閾値に基づいてノイズ除去する際、検出された外光値に基づいてノイズ除去用の閾値の設定値を変更するため、撮像画像に対して外光の変化に応じたノイズ除去を行うことができる。

よって、上記のように、外光の変化に応じて画像処理の制御を行った結果、外光状態に影響されることなく高品質な補正画像を得ることができる。

また、本発明によれば、書き込み線の色判別を目的とし、画像補正された画像の画素値を色判別用の閾値に基づいて、書き込まれた文字や図形の書き込み線の色を判別する際、検出された外光値に基づいて色判別用の閾値の設定値を変更することができる。

よって、上記のように、外光の変化に応じて書き込み線の色判別を行った結果、外光状態に影響されることなく高精度な色判別を行うことができる。

このように、本発明によれば、画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出することができ、書き込まれた文字や図形を高品位に電子化することができる。

以下、本発明の好適な実施の形態について、図面を用いて詳細に説明する。

図１（a）及び（b）は、本発明の実施例１に係る画像表示装置における外観を示す概略図であり、図１（a）は概略斜視図、図１（b）は概略断面図である。
図１に示すように、実施形態の画像表示装置は、矩形の平面部１０を有し、デスク状の表示部１と本体部２とを備えている。

表示部１は、矩形の平面部１０の中央部分に、内部から投影された画像が表示される矩形スクリーン１１（本発明の表示画面に相当する。）を備えている。

また、図１（b）に示すように画像表示装置の表示部１は、中央部分にスクリーン１１がはめ込まれた平面部と、平面部を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４aとなる位置に配置され、スクリーン１１を裏面側から撮影するCCD（Charge Coupled Devices）カメラ（本発明の撮像部に相当する。）とを備えている。

筐体１２内に配置されたCCDカメラ１４と本体部２とはコードで接続され、筐体１２内に配置されたプロジェクトと図示しない本体部２（投影画像生成部）とは光学的に結合されている。

スクリーン１１は、2重構造をなし、スクリーン１１の裏面側には投影画像が投影される投影面１１aが設けられ、スクリーン１１の表面には水性ペンやホワイトボード用マーカ等（以下、「マーカ等」と言う。）を用いて書き込み可能な書き込み面１１bが設けられ、投影面１１aと書き込み面１１bとは対向して配置され密着して一体化されている。

書き込み面１１b及び投影面１１aはともに透明であるが、投影面１１aの書き込み面１１bと密着する側の表面には微小な凹凸が設けてあり、投影面１１aに画像が投影されると、その光がわずかに散乱して透過するので、書き込み面１１bが設けられたスクリーン１１の表面側の上方等、いろいろな角度からのその投影された画像を視認することができるように構成されている。

書き込み面１１bの表面は、傷が付きにくいように、透明保護シートを被覆することとしても良く、また、透明な塗料等によりコーティングしても良い。

プロジェクタ１３は、反射ミラーやビームスプリッター等の光学系により本体部２のディスプレイと結合され、本体部２で形成された所望の画像をスクリーン１１の投影面１１aに投影することができる。

CCDカメラ１４は、例えばUSB（Universal Serial Bus）インタフェースを介して本体部２にコードで接続され、スクリーン１１の表面側、すなわち書き込み面１１bに書き込まれた文字や図形をスクリーン１１の裏面側、すなわち投影面１１a側から所定の時間間隔で連続撮影し、撮影画像（以下、「撮像データ」と言う。）を得ることができる。

CCDカメラ１４は、画像をデジタル画像として取り込めるものであれば良く、産業用CCDカメラや一般に用いられるデジタルカメラでも良い。また、本体部２とCCDカメラ１４とのインタフェースは、USBの以外のインタフェースでも良いが、より転送速度が速いものが好ましい。

ここで、上記に説明した各装置を制御する本体部２のハードウェア構成について、図１（c）を用いて説明する。

図１（c）は、本発明の実施例１に係る画像表示装置が有する本体部２のハードウェア構成例を示す図である。

本体部２は、図１（c）に示すように、CPU（Central Processing Unit）を備えた制御部１５とRAM（Random Access Memory）やROM（Read Only Member）等を備えた主記憶部１６とHD（Hard Disk）等の補助記憶部１７とCCDカメラ１４及びプロジェクタ１３等の外部装置が接続可能な入出力I/F１８及び１９とから構成されており、制御部１５において本発明の制御プログラムが実行される。

制御部１５で実行される制御プログラムは、例えば、利用者がスクリーン１１の投影面１１aを見ながら、書き込み面１１bに文字や図形をマーカ等を用いて直接書き込み、書き込んだ情報を投影画像とともに電子化したい場合、ダイアログボタンのクリックやハードキースイッチの押下等をトリガに送出された制御命令に従って実行される。

実行された制御プログラムは、書き込み面１１bに書き込まれた文字や図形の情報をCCDカメラ１４で撮影し、撮像データから書き込み画像を抽出する。次に、抽出した書き込み画像とプロジェクタ１３からスクリーン１１の投影面１１aに投影された投影画像とを合成し、合成した画像データを再び投影面１１aに投影する。

このように、書き込まれた文字や図形の情報を電子化することが可能となり、後にスクリーン１１の投影面１１aに投影したり、本体部２が有する補助記憶装置１７に格納する等、情報として有効に利用することができる。

なお、本体部２は、本実施例の画像表示装置専用に作成されたものでなく、本体部２の最小構成要素が備わっているPC（Personal Computer）に本発明を実現可能なプログラム及び関連データがインストールされたものであっても良い。更に、PCの場合、筐体１２の外に配置されていても良い。

このように構成された本実施例の画像表示装置は、プロジェクタ１３により、本体部２で形成された所望の画像をスクリーン１１の投影面１１aに投影し、CCDカメラ１４により、スクリーン１１の書き込み面１１bに書き込まれた文字や図形をスクリーン１１の裏面側から撮影し、撮像データを得ることができる。

次に、本実施例の画像表示装置について、図２の本発明の実施例１に係る画像表示装置における主要機能部の構成例と図３の本発明の実施例１に係る画像表示装置における主な処理手順を示すフローチャートを用いて説明する。

図２に示すように、本体部２は、書き込み画像撮影部２１、書き込み画像領域抽出部２２、画像合成部２３、投影画像生成部２４及び画像投影部２５とから構成されている。

書き込み画像撮影部２１は、書き込み画像撮影手段２１であり、スクリーン１１の書き込み面１１bをCCDカメラ１４で撮影し、書き込み面１１bに書き込まれた文字や図形を含む撮像データを取得する。

書き込み画像領域抽出部２２は、書き込み画像領域抽出手段２２であり、書き込み画像撮影部２１により取得した撮像データから、書き込み面１１bに書き込まれた文字や図形の情報を含む最小の画像領域を画像データ（以下、「書き込み画像」と言う。）として抽出する。

また、書き込み画像領域抽出部２２は、外光値検出部２２１、画像処理部２２２、最小領域抽出部２２３を有し、本発明が実現する画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出する。

画像合成部２３は、画像合成手段２３であり、書き込み画像領域抽出部２１により抽出された書き込み画像とスクリーン１１の投影面１１aに投影された投影画像とを合成する。

投影画像生成部２４は、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の投影面１１aに投影される画像を、所定のアプリケーション・プログラムに従って形成する。

画像投影部２５は、画像投影手段２５であり、投影画像生成部２４により形成された投影画像や画像合成部２３により合成された合成画像（書き込み画像と投影画像とが合成された画像）を、スクリーン１１の投影面１１aに投影する。

また、制御部１５において動作する本発明の制御プログラムが実行された場合、制御プログラムに従って、制御部１５からプロジェクタ１３が黒画像を投影する命令が送出され、送出された命令に従って、プロジェクタ１３に黒画像を投影させる。

書き込み面１１bをCCDカメラ１４によって撮影する場合、スクリーン１１には投影画像が投影されているため、書き込み終了後に書き込み面１１bを撮影した撮像データ内には、マーカ等によって書き込まれた文字や図形の情報とプロジェクタ１３によって投影された投影画像の情報とが混在することになる。

このような画像に含まれる情報は、単なる色情報でしかないため、書き込み画像のみを抽出する際、その判別が困難となる。

そのため、本実施例では、画像投影部２５によって、撮像データに不必要な情報の写り込みを避けるため、プロジェクタ１３を遮光状態にする。

また、プロジェクタ１３がミュート機能を備えていれば、その機能を利用して遮光状態を実現しても良い。

図５は、本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部２１により撮影された撮像データの例を示す図である。

よって、書き込み画像撮影部２１は、画像投影部２５により撮像環境が遮光状態となった際に、スクリーン１１の書き込み面１１bを撮影し、図５に示すような撮像データを取得する。

図３に示す画像表示装置における主な処理手順によれば、制御部１５からの命令に従って、画像投影部２５によりプロジェクタ１３からスクリーン１１の投影面１１aに黒画像が投影され（Ｓ１）、書き込み画像撮影部２１によりCCDカメラ１４からスクリーン１１の書き込み面１１bに書き込まれた文字や図形の情報を撮影し、撮像データを取得する（Ｓ２）。

次に、書き込み画像撮像部２１により取得された撮像データは、書き込み画像領域抽出部２２に送られる。

書き込み画像領域抽出部２２は、外光値検出部２２１により、スクリーン１１の書き込み面１１bに文字や図形が書き込まれていない撮像データ（以下、「無地画像」と言う。）を基に、現在の画像表示装置の使用環境における外光値を検出する（Ｓ３）。

次ぎに、画像処理部２２２により、外光値検出部２２１により検出された外光値に基づいて、外光の変化に応じた背景除去処理（Ｓ４）、画像補正処理（シェーディング補正処理）（Ｓ５）及び色変換処理（Ｓ６）を行う。

そして、最小領域抽出部２２３により、画像処理された画像データから、書き込み画像を抽出する（Ｓ７）。

その後、書き込み画像領域抽出部２２により抽出された書き込み画像は、画像合成部２３に送られ、投影画像生成部２４により生成された投影画像と合成され、画像表示装置が有する補正記憶装置１７に格納されたり、画像投影部２５により再びスクリーン１１の投影面１１aに投影される。

このように、本発明では、書き込み画像領域抽出部２２において、書き込み画像を抽出する画像データに対して、外光値検出部２２１により検出した外光値に基づいて、外光に応じた画像処理を行うことで、外光状態による撮像データへの影響を適切に補正し、高精度に書き込まれた文字や図形の情報を取得することを実現している。

以下に、書き込み画像領域抽出部２２がどのように手段により外光に応じた画像処理を行っているのかについて、図４〜１４を用いて説明する。

書き込み画像領域抽出部２２は、外光値検出部２２１、画像処理部２２２及び最小領域抽出部２２３とから構成されている。

書き込み画像領域抽出部２２では、書き込み画像撮影部２１により撮影された撮像データが入力され、入力された撮像データは、画像処理部２２２により画像補正され、最小領域抽出部２２３により書き込み画像が抽出される。

この時、外光値検出部２２１により検出された外光値に基づいて、画像表示装置の使用環境における外光状態に応じて、画像処理部２２２が有する各機能部が制御される。

外光値検出部２２１は、外光値検出手段５１を有し、画像処理部２２２において撮像データを画像補正するための画像補正用の外光値を検出する。外光値検出部２２１が画像補正用の外光値を検出する方法は、書き込み画像撮影部２１により撮影された、図９に示すような無地画像から輝度分布（ヒストグラム）を算出し、算出した輝度分布（ヒストグラム）のうち、出現頻度が最も多い輝度値を画像補正用の外光値とする。

画像処理部２２２は、画像処理手段を有し、書き込み画像撮影部２１により撮影され取得した撮像データを、高精度に文字や図形の情報を取得できるように画像補正する。そのため、画像処理部２２２は、背景除去部２２２１、シェーディング補正部２２２２及び色変換部２２２３から構成されている。

背景除去部２２２１は、背景除去手段５２を有し、書き込み画像撮影部２１により撮影された撮像データにおいて、注目画素に対して平均化フィルタを用いて閾値を算出し2値化処理することで、文字や図形の書き込み領域以外の背景領域を除去する。また、注目画素における平均化フィルタの範囲（平均化における演算範囲）は、外光の変化に応じて設定する。

図６は、本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部２１により撮影された人の影（手の影）が映り込んだ撮像データの例を示す図である。

背景除去部２２２１は、背景除去手段５２により、図６に示すような影等のノイズを含む背景領域を除去し、書き込み面１１bに書き込まれた文字や図形の書き込み領域のみを抽出する処理を行う。

マーカ等によって書き込まれた文字や図形は、書き込み面１１bに接しており、輪郭が明確でその内部の濃度が高濃度（グレースケールに変換したときの階調が低い）であり、背景領域や影等は、文字や図形に比べて低濃度であることから2値化処理によって、文字や図形とそれ以外の部分を切り分けることができる。

一般的に対象となる画像から背景領域を取り除き対象部分を抽出するにはクリッピング処理を行う。クリッピング処理は、色成分の濃度値f（x,y）、閾値tとした場合、以下に示す式１及び式２に従って領域を2分割する処理である。
f（x,y）≦tのとき …（式１）
f（x,y）＞tのとき …（式２）
すなわち、閾値tに基づいて、背景領域と文字や図形の書き込み領域を分割する。

閾値tを決定する方法には、モード法、p‐タイル法、微分ヒストグラム法等が知られているが、これらの方法では、閾値tを一定値に固定してしまう。本発明では、図６に示したように撮像データにおいて、撮影の際に障害物や人の挙動等によって影やノイズの生じ方にも変化があるため、可変閾値を適用する。可変閾値は、撮像データ中の画素を走査し、注目画素毎に閾値tを変化させる方法で、注目画素に隣接するN×N画素分の局所領域の平均濃度値を閾値tとする。

図７は、本発明の実施例１に係る画像表示装置が有する背景除去部２２２１により用いられる可変閾値算出法の例を示す図である。

背景除去手段５２は、図７に示すように、注目画素（i,j）と注目画素（i,j）に隣接する9画素を演算領域とし、緑色の成分（G成分）の濃度値gの合計を画素数9で除算することで、平均値g_aveを算出する。すなわち、注目画素（i,j）に対して、演算範囲（図７では、3x3画素の演算範囲）に応じた平均化フィルタを適用し平均濃度値を算出している。

この時、外光値検出部２２１により検出された外光値に基づいて、平均化フィルタを適用する背景除去用の演算範囲、すなわちm×m画素の一辺の画素数m（フィルタサイズ）を設定する。

外光値に基づき、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）には、背景除去用の演算範囲を縮小し、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、背景除去用の演算範囲を拡大する。また、設定される背景除去用の演算範囲は、背景領域が除去でき文字や図形の書き込み線が残るような閾値を算出できるように、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）には、m×m画素の一辺の画素数mの値を3以上9以下、また、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、一辺の画素数mの値を5以上15以下の値を設定する。

外光値検出部２２１により検出された外光値に基づいて設定された背景除去用の演算範囲m×m画素において算出された平均値g_aveは、クリッピング処理を行う上で閾値tとなる。

背景除去手段５２は、注目画素の濃度値gが閾値tより小さい場合（g ＜ t）には、式１に従って注目画素を文字や図形の書き込み領域の画素と判断する。また、注目画素の濃度値gが大きい場合（g ≧ t）には、式２に従って注目画素を背景、影又はノイズ等の領域と判断し、この画素を白（255,255,255）として置き換える。

図７では、緑色の成分（G成分）を基に背景除去を行う例を示したが、実際には、マーカ等により書き込まれた文字や図形によって、緑色の成分が反応しにくい色も考えられることから、全ての色成分、すなわちRGB成分の各色成分毎に平均化フィルタを適用し平均濃度値を算出し、各色成分毎の閾値と注目画素の濃度値との大小を比較することで、総合的に背景領域と文字や図形の書き込み領域を判断する。

図８は、本発明の実施例１に係る画像表示装置が有する背景除去部２２２１により撮像データから背景画像を除去した画像データの例を示す図である。

図８に示すように、上記に説明した背景除去手段５２により、撮像データから背景領域を除去し、マーカ等により書き込まれた文字や図形の情報を抽出することができる。

シェーディング補正部２２２２は、輝度補正手段５３を有し、書き込み画像撮影部２１により撮影された撮像データの外光による輝度勾配を、無地画像を用いて平坦化し、輝度補正する。

CCDカメラ１４による撮影の際、スクリーン１１から入射する外光を用いているため、画像表示装置の使用環境（設置場所）によっては、周囲の外光の条件により光量ムラが起こる。

図１０（a）は、本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部２１により撮影された撮像データの輝度勾配（無地画像において外光の変化により光量ムラが発生した場合）の例を示す図である。

図１０（a）に示すように、左側の輝度が高く、撮像データ内に輝度勾配ができており、この光量ムラにより文字や図形の書き込み領域の抽出を行う際に設定している閾値が撮像データ内の画素位置によって変わってしまう。

図１０（b）は、本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部２１により撮影された撮像データの輝度勾配（外光の変化により光量ムラが発生した場合）の例を示す図である。

無地画像内のあるX軸方向の画素ライン（y = J）が、図１０（a）に示すような輝度勾配だったとした場合、この環境下でスクリーン１１の書き込み面１１bに文字や図形を書き込むと、同色のマーカ等で書き込みを行ったとしても、図１０（b）に示すように、撮像データ内において、輝度が高い部分に書き込まれている文字や図形の書き込み線は輝度が高く、輝度が低い部分に書き込まれている文字や図形の書き込み線は輝度が低く撮影され、輝度勾配によって撮像データ内の輝度値は一致せず、文字や図形の書き込み線の位置によって輝度値に差が生じてしまう。これにより、各色成分のRGB値に差が生じる（図１０（b）に示す補正対象）。

そこで、輝度補正手段５３は、撮像データ内の輝度勾配を平坦化するため、図１０（a）に示す無地画像を用いて、撮像データを輝度補正（シェーディング補正）する。

輝度補正手段５３は、文字や図形が書き込まれた撮像データの画素値を無地画像の画素値で除算し、撮像データの画素値を画素が表す濃度階調0〜255の幅（本実施例では256階調）に換算した値で置き換えることで輝度勾配を平坦化するように補正する。

画像表示装置に使用環境に応じて予め撮影した図１０（a）に示す無地画像と、図１０（b）に示す書き込まれた文字や図形を含む撮像データは、その画角が一致していることから、無地画像上の座標（i,j）は、撮像データ上の座標（i,j）と、一対一に対応しており、撮像データのある画素の画素値をそれぞれRc,Gc,Bcとし、これと同じ座標の無地画像上の画素値をRn,Gn,Bnとし、濃度階調数Dとすると、輝度補正後の画素値R,G,Bは、以下の式３〜５により算出できる。
R ＝（Rc/Rn）* D …（式３）
B ＝（Rc/Bn）* D …（式４）
G ＝（Cc/Gn）* D …（式５）
図１０（c）は、本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部２１により撮影された撮像データの輝度勾配（外光の変化により発生した光量ムラを補正した場合）の例を示す図である。

図１０（c）に示すように、上記に説明した輝度補正手段５３により、撮像データ内の輝度勾配を平坦化し、同色により書き込み線においても輝度の落差（補正対象）が解消され、撮像データを鮮明な色合いの補正画像へ画像補正することができる。

図１１は、本発明の実施例１に係る画像表示装置が有するシェーディング補正部２２２２による輝度補正後に鮮明な色合いとなった画像データの例を示す図である。

よって、図１１に示すような、外光状態に影響されることなく、書き込み画像を抽出するための良質な画像を得ることができる。

ここで、輝度補正手段５３により用いる無地画像は、画像表示装置の起動時に自動的に撮影することも、また利用者により任意のタイミングで撮影することも可能である。

シェーディング補正部２２２２は、ノイズ除去手段５４を有し、輝度補正手段５３により輝度補正された補正画像をクリッピング処理することで、文字や図形の書き込み領域以外の背景領域のノイズを除去する。

先に述べた背景除去手段５２により、撮像データ内の文字や図形の書き込み領域以外の背景領域の除去を行っており、その際に、影等を含むノイズも除去されている。

しかし、輝度補正手段５３で説明したように、背景除去手段５２により背景除去を行った撮像データには、外光による光量ムラがあることから、場合によっては、影を含むノイズが残っていることが考えられる。

そこで、ノイズ除去手段５４は、輝度補正手段５３により補正された補正画像に対して、残存するノイズを除去する。

ノイズ除去手段５４は、外光の変化に応じて設定されたノイズ除去用の閾値に基づいて、注目画素を、背景除去手段５２と同じようにクリッピング処理することで、文字や図形の書き込み領域以外の背景領域におけるノイズを除去する。

クリッピング処理を行う際に用いるノイズ除去用の閾値は、外光値検出部２２１により検出された外光値に基づいて、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）には、閾値を大きく設定し、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、閾値を小さく設定する。また、設定されるノイズ除去用の閾値は、背景領域内のノイズを精度良く除去できるように、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）には、225以上235以下、また、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、220以上230以下の値が設定される。

ノイズ除去手段５４は、クリッピング処理において、注目画素の画素値とノイズ除去用の閾値との大小を比較し、式１及び２に従って、ノイズ除去用の閾値より大きければ、注目画素の画素値を白（255,255,255）の画素値に置き換える。

シェーディング補正部２２２２は、輪郭補正手段５５を有し、ノイズ除去手段５４によりノイズ除去された画像に対して、文字や図形の書き込み線の輪郭を補正する。

輪郭補正手段５５は、画像データ内の画素並びから凹凸部を検出し、検出した凹凸部が1画素の場合、凹部は1画素補完し、凸部は1画素除去するスムージング処理を行う。

よって、ノイズ除去手段５４により、輝度補正後の補正画像に対して、背景除去手段５２により除去することのできなかったノイズを除去することができ、輪郭補正手段５５により、ノイズ除去された画像に対して、文字や図形の書き込み線を鮮明にすることができる。

色変換部２２２３は、平均化手段５６を有し、シェーディング補正部２２２２により輝度補正、ノイズ除去及び輪郭補正された補正画像の各画素において、平均化フィルタを用いて各色成分（RGB成分）の平均濃度値を算出する。この処理は、背景除去部２２２１における背景除去手段５２で行う平均化フィルタを用いた注目画素の平均濃度値算出処理を同様である。

また、色変換部２２２３は、色判別手段５７を有し、平均化手段５６により平均化した画像において、文字や図形の書き込み線の色を判別する色判別用の閾値に基づいて色を判別することで、文字や図形の書き込み領域と背景領域とをマーカ等の代表色と白色とに分割する。

この時、外光値検出手段５１により検出された外光値に基づいて、色判別用の閾値を設定する。

スクリーン１１の書き込み面１１bの撮影には、外光を利用しており、通常の会議室等における画像表示装置の使用環境を想定すると、室内の灯りをつけた状態で使用される場合が多く、この時、書き込み画像撮影部２１により撮影された撮像データにおいて、文字や図形の書き込み領域以外の背景領域では白もしくは白に近い明るい色となるため、各色成分のRGB値は高い値になる。

従って、各色成分のRGB情報の相対関係から、赤、青及び黒の色成分情報を抜き出し、それ以外の色成分を背景とすることにより、書き込まれた文字や図形の情報のみを抽出することができる。

図１２は、本発明の実施例１に係る書き込み画像における「赤色書き込み」、「青色書き込み」、「黒色書き込み」及び「背景」の平均的な色成分（RGB成分）の相対関係を表す図である。

例えば、相対関係の一例である図１２によると、補正画像内の各画素において、R＞B＞Gの関係が成立するのは赤、B＞G＞Rの関係が成立するのは青とみなすことで、赤又は青色のマーカ等により書き込まれた文字や図形の情報を抽出することができる。また、黒の書き込みにおいては、RGB3成分ともにある値以下となるので、所定の閾値以下であれば黒の書き込みとみなすことができ、3色のマーカ等による書き込み情報を抽出することが可能になる。

このことから、色判別手段５７は、「赤色書き込み」、「青色書き込み」、「黒色書き込み」及び「背景」を色判別用の閾値に基づいて判別する。

色判別処理の際に用いる色判別用の閾値は、赤色を判別する閾値、青色を判別する閾値、黒色を判別する閾値があり、それぞれの閾値が、外光値検出部２２１により検出された外光値に基づいて設定される。

青色を判別する閾値は、通常、画像表示装置が使用される環境の外光条件ならば、150以上190以下の値が設定され、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、160以上200以下の値が設定される。

また、赤色を判別する閾値は、通常、画像表示装置が使用される環境の外光条件ならば、180以上200以下の値が設定される。

また、黒色を判別する閾値は、RGB3成分のうち、最も大きい値を持つ成分と最も小さい値を持つ成分との差であり、通常、画像表示装置が使用される環境の外光条件ならば、15以上30以下の値が設定される。

よって、色判別手段５７は、外光の変化に応じて設定される色判別用の閾値に基づいて、注目画素の色を判別し、赤に相当するところはRGB（255,0,0）、青はRGB（0,0,255）、黒はRGB（0,0,0）等の値に注目画素の画素値を色変換する。

色変換部２２２３は、色判別補正手段５８を有し、シェーディング補正部２２２２により補正された補正画像において、注目画素と注目画素に隣接する画素のうち、画素値が黒である割合を算出し、算出された割合に基づいて、注目画素の画素値を黒（0,0,0）の値又は色判別手段５７により色変換された画素値に置き換え、補正画像に色変換後の画素値を反映させる。

画素値が黒である割合の算出方法は、注目画素に隣接する画素のうち、白（255,255,255）以外の画素値を持つ画素数と黒（0,0,0）の画素値を持つ画素数とをカウントし、互いのカウントを除算することで、注目画素に隣接する白以外の画素値を持つ画素のうち、黒の画素値である割合を算出する。

図１３は、本発明の実施例１に係る画像表示装置が有する色変換部２２２３による色変換後に鮮明な色合いとなった画像データの例を示す図である。

よって、図１３に示すように、外光状態に影響されることなく、文字や図形の書き込み線を精度良く色変換することができ、書き込み画像を抽出するための鮮明な書き込み線を得ることができる。

図１４は、本発明の実施例１に係る画像表示装置が有する最小領域抽出部２２３により書き込まれた領域部分を抽出する様子を示す図である。

最小領域抽出部２２３は、書き込み画像撮影部２１により撮影し得られた撮像データはCCDカメラ１４の画像サイズになってため、図１４に示すように、文字や図形の書き込み領域だけの最小領域を抽出する。

例えば、シェーディング補正部２２２２及び色変換部２２２３により補正された補正画像において、文字や図形の書き込み領域以外のは白に変換されているので、補正画像を左上から下方向にラスタ走査し、最初に白以外の画素と判断した位置をx1、また、右上から下方向にラスタ走査して行き、最初に白以外の画素と判断した位置をx2、また、左上から右方向にラスタ走査して行き、最初に白以外の画素と判断した位置をyl、また、左下から右方向にラスタ走査して行き、最初に白以外の画素と判断した位置をy2とする。

この座標位置（x1,yl）及び（x2,y2）を、左上、右下の頂点座標とする矩形領域を抽出することで、スクリーン１１の書き込み面１１bの文字や図形の書き込み領域に応じた書き込み画像を得ることができる。

よって、後の画像合成部２３により、書き込み画像と投影画像生成部２４が生成する投影画像とを合成することができる。

このように、本実施例の画像表示装置は、画像表示装置の使用環境によって変化する外光の検出値に従って、書き込み画像を抽出する際の画像処理を制御することができる。

よって、画像表示装置の使用環境による外光状態に影響されることなく高精度に書き込み画像を抽出し、書き込まれた文字や図形の情報を電子化することができる。

次に、上記に説明した書き込み画像領域抽出部２２が有する各機能部がどのような処理手順によって実現されているかについて、外光値検出部２１、画像処理部２２の順に図１５〜３３を用いて説明する。

図１５は、本発明の実施例１に係る画像表示装置が有する外光値検出部２２１による外光を表す輝度分布を示す図である。

外光値検出部２２１は、外光値検出手段５１により、書き込み画像撮影部２１により予め撮影された無地画像を基に、図１５に示すような輝度分布（本実施例の場合、色成分のうちG成分の輝度分布）を算出する。算出された輝度分布を基に、出現頻度が最も多い輝度値であるピーク輝度を検出し、検出したピーク輝度を外光値とする。

図１６は、本発明の実施例１に係る画像表示装置における外光の変化に応じて画像処理部２２２の演算制御を行う処理手順を示すフローチャートである。

以下に、外光値検出部２２１により検出された外光値を基に、画像処理部２２２の演算制御を行う処理手順について、図１６を用いて説明する。

書き込み画像領域抽出部２２は、外光値検出部２２１が有する外光値検出手段５１により、画像表示装置の使用環境における外光状態を表す外光値を、書き込み画像撮影部２１が撮影した無地画像の輝度分布から検出する（Ｓ１１）。

次に、検出した外光値を基に、画像処理部２２２の背景除去部２２２１が有する背景除去手段５２における背景除去用の平均化フィルタを適用する演算範囲を設定する（Ｓ１２）。

次に、検出した外光値を基に、画像処理部２２２のシェーディング補正部２２２２が有するノイズ除去手段５４におけるノイズ除去用の閾値を設定する（Ｓ１３）。

次に、検出した外光値を基に、画像処理部２２２の色変換部２２２３が有する色判別手段５７における色判別用の閾値を設定する（Ｓ１４）。

次に、画像処理部２２２の背景除去部２２２１が有する背景除去手段５２は、設定された背景除去用の演算範囲で背景除去の処理を行う（Ｓ１５）。

次に、画像処理部２２２のシェーディング補正部２２２２が有するノイズ除去手段５４は、設定されたノイズ除去用の閾値でノイズ除去の処理を行う（Ｓ１６）。

次に、画像処理部２２２の色変換部２２２３が有する色判別手段５７は、設定された色判別用の閾値で色判別の処理を行う（Ｓ１７）。

このように、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、画像処理部２２２の各機能部の演算を制御することができる。

図１７は、本発明の実施例１に係る画像表示装置が有する外光値検出部２２１の外光値検出手段５１の処理手順を示すフローチャートである。

外光値検出手段５１は、輝度分布上の輝度値の出現回数を格納するメモリ領域（hist[256]）を確保し、確保したメモリ領域を初期化（hist[256] = {0,…,0}）する（Ｓ１１０１）。

無地画像からラスタ順に画素の色成分であるG値（g（i,j））を取得する（Ｓ１１０２）。本実施例でG成分の輝度値を取得するのは、G成分の値とRGB値を用いて輝度変換を行い算出したY成分の値と差がないため、処理速度を向上させるため、G成分の値を用いている。

取得したG値（g（i,j））を基に、濃度階調毎に輝度分布上（hist[256]）の輝度値（g（i,j））の出現回数をカウント（hist[g（i,j）]++）し（Ｓ１１０３）、次の画素走査に進む（Ｓ１１０４）。

現在走査している画素が、ラスタ順の画素走査において最後の画素であるか否かを判断し（Ｓ１１０５）、最後の画素にまるまで走査を続ける（Ｓ１１０５がNOの場合）。

また、最後の画素と判断された場合（Ｓ１１０５がYESの場合）、輝度分布上で出現頻度が最も多い輝度値を保持する変数（peak_kido）及び最も多い出現回数を保持する変数（cnt）を初期化（peak_kido = 0, cnt = 0）する（Ｓ１１０６）。

次に、輝度分布上に出現した輝度値の出現回数（hist[kido]）を探索し、探索中の時点で最も多い回数（cnt）の輝度値か否かを判定する（Ｓ１１０７）。

判定した時点で出現頻度が最も多い場合（Ｓ１１０７がYESの場合）、判定した時点の輝度値（kido）を、輝度分布上で出現頻度が最も多い輝度値を保持する変数（peak_kido）に代入し（peak_kido = kido）、最も多い出現回数を保持する変数（cnt）に、保持した輝度値（kido）の出現回数（hist[kido]）を代入する（cnt = hist[kido]）（Ｓ１１０８）。

その後、次の輝度値に進む（kido++）（Ｓ１１０９）。

また、判定した時点で出現頻度が少ないと判断された場合（Ｓ１１０７がNOの場合）、次の輝度値に進む（kido++）（Ｓ１１０９）。

探索中の輝度値が、濃度階調数の範囲において、最後の輝度値であるか否かを判断し（Ｓ１１１０）、最後の輝度値にまるまで探索を続ける（Ｓ１１１０がYESの場合）。

濃度階調数の範囲において、最後の輝度値に達した場合（Ｓ１１１０がNOの場合）、処理を終了する。

この時、輝度分布上で出現頻度が最も多い輝度値を保持する変数（peak_kido）に最後に代入された輝度値（kido）がピーク輝度となり、外光値として、以降の画像処理部２２２の演算制御に用いられる。

図１８は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の背景除去部２２２１による平均化フィルタを用いた背景除去法を示す図であり、図１８（a）は、演算範囲を3x3画素領域とした場合を示し、図１８（b）は、演算範囲を5x5画素領域とした場合を示している。

背景除去部２２２１は、背景除去手段５２により、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、平均化フィルタを適用する背景除去用の演算範囲、すなわちm×m画素の一辺の画素数mを設定する。

例えば、外光値に基づき、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）には、背景除去用の演算範囲を縮小し、図１８（a）に示すように、一辺の画素数mを3に設定する。また、背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）には、背景除去用の演算範囲を拡大し、図１８（b）に示すように、一辺の画素数mを5に設定する。また、設定される背景除去用の演算範囲は、背景領域が除去でき文字や図形の書き込み線が残るような閾値を算出できる範囲で、背景の輝度が明るい場合（外光値が所定の閾値より大きい場合）の一辺の画素数の値が背景の輝度が暗い場合（外光値が所定の閾値より小さい場合）の一辺の画素数の値より小さくなるように設定する。

外光値検出部２２１により検出された外光値に基づいて設定された背景除去用の演算範囲m×m画素において、各色成分毎に平均化フィルタを用いて算出された平均濃度値r_ave、g_ave及びb_aveは、クリッピング処理を行う上で閾値となる。

よって、背景除去手段５２は、注目画素（i,j）の濃度値rが閾値r_aveより大きく（r > r_ave）、且つ、注目画素（i,j）の濃度値gが閾値g_aveより大きく（g > g_ave）、且つ、注目画素（i,j）の濃度値bが閾値b_aveより大きい（b > b_ave）場合、式２に従って注目画素（i,j）を背景、影又はノイズ等の領域と判断し、注目画素（i,j）を白（255,255,255）の値に置き換える。

このようにして、背景除去手段５２は、マーカ等により書き込まれた文字や図形によって、緑色の成分が反応しにくい色も考えられることから、全ての色成分、すなわちRGB成分の各色成分毎に平均化フィルタを適用し平均濃度値を算出し、各色成分毎の閾値と注目画素の濃度値との大小を比較することで、総合的に背景領域と文字や図形の書き込み領域を判断する。

図１９は、本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部２２２１において外光の変化に応じて平均化フィルタの演算範囲を制御する処理手順を示すフローチャートである。

背景除去部２２２１が有する背景除去手段５２は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値（ピーク輝度：peak_kido）を取得する（Ｓ１２０１）。

取得した外光値が所定の閾値（th_bg）より大きいかを判定する（Ｓ１２０２）。

外光値が所定の閾値より大きい場合（Ｓ１２０２がYESの場合）、平均化フィルタを用いた演算範囲m×m画素の一辺の画素数mの値を、3以上9以下の値（filtsize1）に設定する（Ｓ１２０３）。

また、外光値が所定の閾値より小さい場合（Ｓ１２０２がNOの場合）、平均化フィルタを用いた演算範囲m×m画素の一辺の画素数mの値を、5以上15以下の値（filtsize2）に設定する（Ｓ１２０４）。

この時、filtsize1とfiltsize2との関係は、filtsize1 < filtsize2の大小関係になるように設定する。

これによって、背景除去部２２２１の背景除去手段５２は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、平均化フィルタを用いた演算範囲m×m画素の一辺の画素数mの値を設定することができ、外光の変化に応じた最適な背景除去を行うことができる。

図２０（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部により背景除去を行う前の撮像データの例を示す図である。
また、図２０（b）及び（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部により背景除去を行った画像データの例を示す図であり、図２０（b）は、従来の外光値を考慮せず背景除去を行った場合の画像データの例を示し、図２０（c）は、本発明が提案する外光値を考慮した背景除去を行った場合画像データの例を示している。

図２０（c）に示すように、本発明が提案する手法では、背景除去後の画像データが、図２０（b）に示す従来の手法に比べ、文字や図形の書き込み線が鮮明になっている。また、本発明が提案する手法では、従来の手法に比べ、背景除去後の画像データにノイズが残存するため、次に説明するシェーディング補正部２２２２が有するノイズ除去手段５４により画像データ内のノイズを除去している。

図２１は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２のシェーディング補正部２２２２の処理手順を示すフローチャートである。

画像処理部２２２が有するシェーディング補正部２２２２は、まず、輝度補正手段５３により、文字や図形が書き込まれた撮像データの画素値を無地画像の画素値で除算し、撮像データの画素値を画素が表す濃度階調0〜255の幅（本実施例では256階調）に換算した値で置き換えることで輝度補正する（Ｓ２０１）。

次に、ノイズ除去手段５４により、輝度補正手段５３により輝度補正された補正画像に対して、外光の変化に応じて設定されたノイズ除去用の閾値に基づいて、注目画素をクリッピング処理することで、文字や図形の書き込み領域以外の背景領域におけるノイズを除去する（Ｓ２０２）。

次に、輪郭補正手段５５により、ノイズ除去手段５４によりノイズ除去された画像データ内の画素並びから凹凸部を検出し、検出した凹凸部が1画素の場合、凹部は1画素補完し、凸部は1画素除去するスムージング処理を行い、文字や図形の書き込み線の輪郭を補正する（Ｓ２０３）。

このように、シェーディング補正部２２２２は、輝度補正手段５３により、撮像データの輝度勾配特性を平坦化し、輝度補正することができ、また、輝度補正後の輝度補正後の補正画像に対して、背景除去手段５２により除去することのできなかったノイズを除去することができ、輪郭補正手段５５により、ノイズ除去された画像に対して、文字や図形の書き込み線を鮮明にすることができる。

図２２は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２のシェーディング補正部２２２２において外光の変化に応じてノイズ除去用閾値を設定変更する処理手順を示すフローチャートである。

シェーディング補正部２２２２が有するノイズ除去手段５４は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値（ピーク輝度：peak_kido）を取得する（Ｓ１３０１）。

取得した外光値が所定の閾値（th_sh）より大きいかを判定する（Ｓ１３０２）。

外光値が所定の閾値より大きい場合（Ｓ１３０２がYESの場合）、ノイズ除去用の閾値th_shadeの値を、225以上235以下の値（th_shade1）に設定する（Ｓ１３０３）。

また、外光値が所定の閾値より小さい場合（Ｓ１３０２がNOの場合）、ノイズ除去用の閾値th_shadeの値を、220以上230以下の値（th_shade2）に設定する（Ｓ１３０４）。

この時、th_shade1とth_shade2との関係は、th_shade1 ＞ th_shade2の大小関係になるように設定する。

これによって、シェーディング補正部２２２２のノイズ除去手段５４は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、ノイズ除去用の閾値th_shadeの値を設定することができ、外光の変化に応じた最適なノイズ除去を行うことができる。

図２３は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２のシェーディング補正部２２２２により書き込み線の輪郭を補正する様子を示す図であり、図２３（a）は、1画素の凹部を補完した場合の書き込み線の輪郭を補正する様子を示し、図２３（b）は、1画素の凸部を除去した場合の書き込み線の輪郭を補正する様子を示している。

シェーディング補正部２２２２が有する輪郭補正手段５５は、図２３（a）に示すように、ノイズ除去後の補正画像に対して、注目画素が白（255,255,255）で、且つ注目画素に隣接する左右の画素が白でない場合、又は、注目画素が白で、且つ注目画素に隣接する上下の画素が白でない場合、書き込まれた文字や図形の書き込み線の凹部と判断し、注目画素を隣接する左右の画素の平均濃度値に置き換え、書き込み線の輪郭を補正する。

また、図２３（b）に示すように、ノイズ除去後の補正画像に対して、注目画素が白でなく、且つ注目画素に隣接する左右の画素が白の場合には、注目画素の上、右下及び左上ともに白でなく、且つ注目画素の下が白である場合、又は、注目画素の下、右上及び左下ともに白でなく、且つ注目画素の上が白である場合、書き込まれた文字や図形の書き込み線の凸部と判断し、注目画素を隣接する左右の画素の平均濃度値に置き換え、書き込み線の輪郭を補正する。

また、注目画素が白でなく、且つ注目画素に隣接する上下の画素が白の場合には、注目画素の右、右上及び右下ともに白でなく、且つ注目画素の左が白である場合、又は、注目画素の左、左上及び左下ともに白でなく、且つ注目画素の右が白である場合、書き込まれた文字や図形の書き込み線の凸部と判断し、注目画素を隣接する左右の画素の平均濃度値に置き換え、書き込み線の輪郭を補正する。

図２４は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２のシェーディング補正部２２２２により書き込み線の輪郭を補正する様子（1画素の除去により「かすれ」が生じた場合）を示す図である。

図２３（a）及び（b）を用いて説明した条件において、注目画素が文字の凸部候補と判断した後、注目画素から見て文字や図形の書き込み線と逆方向の画素が白か否かを判定している理由は、注目画素が1画素の太さの書き込み線である場合に、注目画素が白に置き換わってしまい、図２４に示すように、書き込み線がかすれてしまうことを防ぐためである。

図２５（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２のシェーディング補正部２２２２により画像補正を行う前の撮像データの例を示す図である。

図２５（b）及び（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により画像補正を行った画像データの例を示す図であり、図２５（b）は、従来の外光値を考慮せず画像補正を行った場合の画像データの例を示し、図２５（c）は、本発明が提案する外光値を考慮した画像補正を行った場合の画像データの例を示している。

図２５（c）に示すように、本発明が提案する手法では、画像補正後の画像データが、図２５（b）に示す従来の手法に比べ、文字や図形の書き込み線の途切れや細かい凹凸が抑制されている。また、本発明が提案する手法では、背景除去部２２２１が有する背景除去手段５２において、背景除去後の画像データに残存したノイズを除去している。
よって、図１１に示すような、外光状態に影響されることなく、書き込み画像を抽出するための良質な画像を得ることができる。

図２６は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における平均化手段５６の処理手順を示すフローチャートである。

色変換部２２２３が有する平均化手段５６は、まず、シェーディング星絵部２２２２より画像補正された画像（pImage）を取得し（Ｓ３０１）、平均化後の画像（filtimg）を格納するメモリ領域を確保する（Ｓ３０２）。

次に、取得した補正画像（pImage）を平滑化後の画像（filtimg）にコピー（filtimg = pImage）する（Ｓ３０３）。

平均化手段５６は、補正画像（pImage）に対して画素走査を開始し、現在走査中の注目画素が白か否かを判定する（Ｓ３０４）。

走査中の注目画素が白でない場合（Ｓ３０４がNOの場合）、注目画素に隣接する平均化フィルタを適用する演算範囲において、白以外の色画素の画素数をカウントするカウンタ（totalcount）を初期化し（totalcount = 0）（Ｓ３０５）、演算範囲における補正画像（pImage）の画素が白か否かを判定する（Ｓ３０６）。

また、走査中の注目画素が白の場合（Ｓ３０４がYESの場合）、以降のＳ３０５〜Ｓ３１１までの処理を行わない（Ｓ３１２へ進む）。

画素が白でない場合（Ｓ３０６がNOの場合）、白以外の色画素と判定し、画素数の課カウンタをカウント（totalcount++）し、画素値を加算（filtimg += pImage）する（Ｓ３０７）。

また、画素が白の場合（Ｓ３０６がYESの場合）、Ｓ３０７の処理を行わず、Ｓ３０８の処理へ進む。

次に、平均化フィルタを適用する演算範囲における注目画素に隣接する演算範囲の全ての画素について、白か否かの判定処理を行ったかを判定する（Ｓ３０８）。

演算範囲における全ての画素に対して、白か否かの判定処理を行った場合（Ｓ３０８がYESの場合）、演算範囲において白以外の色画素の合計画素値を白以外の色画素の画素数で除算し平均化する（filtimg /= totalcount）（Ｓ３０９）。

また、演算範囲における全ての画素に対して、まだ、白か否かの判定処理が終わっていない場合（Ｓ３０８がNOの場合）、演算範囲において、次の演算対象となる隣接画素へ移動する（Ｓ３１０）。

平均化後、画素走査位置を、補正画像（pImage）において現在画素走査中のカレント位置に戻す（Ｓ３１１）。

次に、カレント位置が、補正画像（pImage）における画素走査の最後の画素であるか否かを判定する（Ｓ３１２）。

カレント位置が、補正画像（pImage）における画素走査の最後の画素でない場合（Ｓ３１２がNOの場合）、画素走査順（ラスタ走査順）に従って、次の画素位置へカレント位置を進め、補正画像（pImage）を移動する（Ｓ３１３）。

また、カレント位置が、補正画像（pImage）における画素走査の最後の画素の場合（Ｓ３１２がYESの場合）、処理を終了する。

図２７は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３において外光の変化に応じて色判別用閾値を設定変更する処理手順を示すフローチャートである。

色変換部２２２３が有する色判別手段５７は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値（ピーク輝度：peak_kido）を取得する（Ｓ１４０１）。

まず、取得した外光値と外光値に影響されない赤色判別用の閾値（th_red）を基に、書き込み線が赤色か否かを判別する（peak_kido ＞ th_red）（Ｓ１４０２）。

外光値が赤色判別用の閾値より大きい場合（Ｓ１４０２がYESの場合）、書き込み線が赤色であることを表すフラグ（flag_red）をオンにする（flag_red = 1）（Ｓ１４０３）。

また、外光値が赤色判別用の閾値より小さい場合（Ｓ１４０２がNOの場合）、書き込み線が赤色であることを表すフラグ（flag_red）をオフにする（flag_red = 0）（Ｓ１４０４）。

次に、取得した外光値と外光値に影響されない青色判別用の閾値（th_blue）を基に、書き込み線が青色か否かを判別する（peak_kido ＜ th_blue）（Ｓ１４０５）。

外光値が青色判別用の閾値より小さい場合（Ｓ１４０５がYESの場合）、書き込み線が青色であることを表すフラグ（flag_blue）をオンにする（flag_blue = 1）（Ｓ１４０６）。

また、外光値が青色判別用の閾値より大きい場合（Ｓ１４０５がNOの場合）、書き込み線が青色であることを表すフラグ（flag_blue）をオフにする（flag_blue = 0）（Ｓ１４０７）。

これによって、色変換部２２２３の色判別手段５７は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、書き込み線が「赤色」、「青色」又は「赤及び青以外の色」のいずれかであることをフラグ化して一時保持することができ、書き込み線の色判別の際に用いることができる。

図２８は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別手段５７の処理手順を示すフローチャートである。

色変換部２２２３が有する色変換手段５７は、まず、平均化手段５６により平均化された画像（filtimg）を取得し（Ｓ４０１）、色判別後の画像（tmpimg）をメモリ領域に確保する（Ｓ４０２）。

次に、色判別後の画像（tmpimg）に平均化後の画像（filtimg）をコピーする（tmpimg = filtimg）（Ｓ４０３）。

次に、平均化後の画像（filtimg）において画素走査を開始し、画素走査中のRGB成分のうち、最大の輝度値及び最小の輝度値（maxrgb, minrgb）と最大値及び最小値の色（maxcol, mincol）を検出し（Ｓ４０４及びＳ４０５）。

検出した最大の輝度値（maxrgb）から最小の輝度値（minrgb）を減算し、差分の値（diffrgb）を算出する（diffrgb = maxrgb - minrgb）（Ｓ４０６）。

次に、色判別後の画像（tmpimg）において画素走査を開始し、画素走査中の注目画素が白か否かを判別する（Ｓ４０７）。

注目画素が白でない場合（Ｓ４０７がNOの場合）、注目画素が青か否かを判別する（Ｓ０８）。

また、注目画素が白の場合（Ｓ４０７がYESの場合）、Ｓ４０８〜Ｓ４１２までの処理を行わず、Ｓ４１４の処理へ進む。

次に、注目画素が青か否かを判別する（Ｓ４０８）。

注目画素が青の場合（Ｓ４０８がYESの場合）、色判別後の画像（tmpimg）の画素を青（0,0,255）の値へ変換する（Ｓ４０９）。

また、注目画素が青でない場合（Ｓ４０８がNOの場合）、注目画素が赤か否か判別する（Ｓ４１０）。

注目画素が赤の場合（Ｓ４１０がYESの場合）、色判別後の画像（tmpimg）の画素を赤（255,0,0）の値へ変換する（Ｓ４１１）。

また、注目画素が赤でない場合（Ｓ４１０がNOの場合）、注目画素が黒か否か判別する（Ｓ４１２）。

注目画素が黒の場合（Ｓ４１２がYESの場合）、色判別後の画像（tmpimg）の画素を黒（0,0,0）の値へ変換する（Ｓ４１３）。

また、注目画素が黒でない場合（Ｓ４１２がNOの場合）、赤、青及び黒の代表色又は背景の白できない色であると判別し、色判別後の画像（tmpimg）の注目画素を平均化後の画像（filtimg）で補正する（tmpimg = filtimg / 1.5）（Ｓ４１４）。

次に、注目画素のカレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素であるか否かを判定する（Ｓ４１５）。

カレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素でない場合（Ｓ４１５がNOの場合）、画素走査順（ラスタ走査順）に従って、次の画素位置へカレント位置を進め、色判別後の画像（tmpimg）及び平均化後の画像（filtimg）を移動する（Ｓ４１６）。

また、カレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素の場合（Ｓ４１５がYESの場合）、処理を終了する。

図２９（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別手段５７の処理手順（白を判別する場合の処理手順）を示すフローチャートである。

色変換部２２２３が有する色判別手段５７は、図２８で示すＳ４０７において、白色判別を行う際に、まず、色判別後の画像（tmpimg）の注目画素を取得し（Ｓ４０７１）、注目画素の各色成分であるr値、g値及びb値の総和（r+g+b）を取り、総和を取った値が所定の閾値（th_sh）を3倍した値より大きいか否かを判定する（Ｓ４０７２）。

各色成分毎のRGB値の総和の値が所定の閾値（th_sh）より大きい場合（Ｓ４０７２がYESの場合）、注目画素を白と判別し、注目画素の画素値を白（255,255,255）の値に色変換する（Ｓ４０７３）。

また、各色成分毎のRGB値の総和の値が所定の閾値（th_sh）より小さい場合（Ｓ４０７２がNOの場合）、注目画素の色変換を行わない。

図２９（b）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別手段５７の処理手順（青を判別する場合の処理手順）を示すフローチャートである。

色変換部２２２３が有する色判別手段５７は、図２８で示すＳ４０８において、青色判別を行う際に、まず、色判別後の画像（tmpimg）の注目画素を取得し（Ｓ４０８１）、注目画素の画素値において各色成分のうち、最大の濃度値であった色（maxcol）が青、且つ最小の濃度値であった色（mincol）が赤、且つ注目画素のB成分のb値が外光に影響されない青色判別用の閾値（th_blue1）より大きいか否かを判定する（Ｓ４０８２）。

Ｓ４０８２の条件式がYESの場合、注目画素を青と判別し、注目画素の画素値を青（0,0,255）の値に色変換する（Ｓ４０８４）。

また、Ｓ４０８２の条件式がNOの場合、外光値を基に青色と判別されたことを表すフラグ（flag_blue）がオン、且つ最小の濃度値であった色（mincol）が赤、且つ注目画素のB成分のb値が外光値が低い場合の青色判別用の閾値（th_blue2）より大きいか否かを判定する（Ｓ４０８３）。

Ｓ４０８３の条件式がYESの場合、注目画素を青と判別し、注目画素の画素値を青（0,0,255）の値に色変換する（Ｓ４０８４）。

また、Ｓ４０８３の条件式がNOの場合、注目画素の色変換を行わない。

この処理手順の中で、th_blue1は、150以上190以下の値、また、th_blue2は、外光値が低い場合、160以上200以下の値とし、th_blue1とth_blue2との関係は、th_blue1 ＜ th_blue2の大小関係になるように設定する。

図２９（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別手段５７の処理手順（赤を判別する場合の処理手順）を示すフローチャートである。

色変換部２２２３が有する色判別手段５７は、図２８で示すＳ４１０において、赤色判別を行う際に、まず、色判別後の画像（tmpimg）の注目画素を取得し（Ｓ４１０１）、注目画素の画素値において各色成分のうち、最大の濃度値であった色（maxcol）が赤、且つ注目画素のR成分のr値が外光に影響されない赤色判別用の閾値（th_red）より大きいか否かを判定する（Ｓ４１０２）。

Ｓ４１０２の条件式がYESの場合、注目画素を赤と判別し、注目画素の画素値を赤（255,255,0）の値に色変換する（Ｓ４１０４）。

また、Ｓ４１０２の条件式がNOの場合、外光値を基に赤色と判別されたことを表すフラグ（flag_red）がオン、且つ最小の濃度値であった色（mincol）が緑か否かを判定する（Ｓ４１０３）。

Ｓ４１０３の条件式がYESの場合、注目画素を赤と判別し、注目画素の画素値を赤（255,255,0）の値に色変換する（Ｓ４１０４）。

また、Ｓ４１０３の条件式がNOの場合、注目画素の色変換を行わない。

この処理手順の中で、th_redは、通常の外光条件において180以上200以下の値に設定する。

図２９（d）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別手段５７の処理手順（黒を判別する場合の処理手順）を示すフローチャートである。

色変換部２２２３が有する色判別手段５７は、図２８で示すＳ４１０において、黒色判別を行う際に、まず、色判別後の画像（tmpimg）の注目画素を取得し（Ｓ４１２１）、注目画素の画素値において各色成分のうち、最大の濃度値であった色（maxcol）が緑、且つ最小の濃度値であった色（mincol）が青か否かを判定する（Ｓ４１２２）。

Ｓ４１２２の条件式がYESの場合、注目画素を黒と判別し、注目画素の画素値を黒（0,0,0）の値に色変換する（Ｓ４１２４）。

また、Ｓ４１２２の条件式がNOの場合、各色成分のRGB値において最大の濃度値から最小の濃度値を減算して得た差分値（diffrgb）が外光に影響されない黒色判別用の閾値（th_black）より小さいか否かを判定する判定する（Ｓ４１２３）。

Ｓ４１２３の条件式がYESの場合、注目画素を黒と判別し、注目画素の画素値を黒（0,0,0）の値に色変換する（Ｓ４１２４）。

また、Ｓ４１２３の条件式がNOの場合、注目画素の色変換を行わない。

この処理手順の中で、th_blackは、通常の外光条件において15以上30以下の値に設定する。

これによって、色判別部２２２３の色判別手段５７は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、マーカ等の代表色である「赤」、「青」及び「黒」と背景の「白」とを判別するための色判別用の閾値を設定することができ、外光の変化に応じた最適な色判別を行うことができる。

図３０（a）及び（b）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２の色変換部２２２３における色判別補正手段５８の処理手順を示すフローチャートである。

色変換部２２２３が有する色判別補正手段５８は、まず、シェーディング補正部２２２２により画像補正された補正画像（pImage）を取得し（Ｓ５０１）、色判別後の画像（tmpimg）を取得する（Ｓ５０２）。

次に、色判別後の画像（tmpimg）の画素走査を開始し、画素走査中の注目画素が青又は赤か否かを判別する（Ｓ５０３）。

注目画素が青又は赤であった場合（Ｓ５０３がYESの場合）、平均化する補正範囲において、注目画素に隣接する画素の白以外の色画素の画素数をカウントするカウンタ（totalcount）と、そのうち、黒画素の画素数をカウントするカウンタ（count）とを初期化する（totalcout = 0, count = 0）（Ｓ５０４）。

また、注目画素が青又は赤でない場合（Ｓ５０３がNOの場合）、画素走査順（ラスタ走査順）における走査位置の注目画素の画素値で、補正画像（pImage）で同じ座標に位置する画素の画素値を置き換える（Ｓ５０５）。

次に、色判別後の画像（tmpimg）において、画素走査中の注目画素が白か否かを判別する（Ｓ５０６）。

注目画素が白でない場合（Ｓ５０６がNOの場合）、白以外の色画素の画素数をカウントするカウンタをカウントする（totalcount++）（Ｓ５０７）。

また、注目画素が白の場合（Ｓ５０６がYESの場合）、Ｓ５０７の処理を行わず、Ｓ５０８の処理に進む。

次に、色変換後の画像（tmpimg）において、画素走査中の注目画素が黒か否かを判別する（Ｓ５０８）。

注目画素が黒の場合（Ｓ５０８がYESの場合）、黒画素の画素数をカウントするカウンタをカウントする（count++）（Ｓ５０９）。

また、注目画素が黒でない場合（Ｓ５０８がNOの場合）、Ｓ５０９の処理を行わず、Ｓ５１０の処理に進む。

次に、色判別後の画像（tmpimg）における補正範囲全ての画素において、色判別補正を行ったか否かを判定する（Ｓ５１０）。

補正範囲全ての画素において、色判別補正を行った場合（Ｓ５１０がYESの場合）、補正範囲における黒画素の画素数（count）を白以外の色画素の画素数（totalcount）で除算し、白以外の色画素のうち黒画素である割合（rate）を算出する（Ｓ５１１）。

また、補正範囲全ての画素において、まだ、色判別補正が終わっていない場合（Ｓ５１０がNOの場合）、補正範囲内において、次の補正対象となる画素へ移動する（Ｓ５１２）。

補正範囲において、白以外の色画素のうち黒画素である割合（rate）が所定の閾値（本実施例では0.2）より大きいか否かを判定する（Ｓ５１３）。

算出した割合（rate）が所定の閾値（0.2）より大きい場合（Ｓ５１３がYESの場合）、補正画像（pImage）において、画素走査順（ラスタ走査順）における走査位置と同じ座標に位置する画素の画素値を黒（0,0,0）の値に置き換える（Ｓ５０５）。

また、算出した割合（rate）が所定の閾値（0.2）より小さい場合（Ｓ５１３がNOの場合）、補正画像（pImage）において、画素走査順（ラスタ走査順）における走査位置と同じ座標に位置する画素の画素値を、色判別後の画像（tmpimg）の注目画素の画素値に置き換える（Ｓ５０５）。

色判別補正後、画素走査位置を、色判別後の画像（tmpimg）において現在画素走査中のカレント位置に戻す（Ｓ５１５）。

次に、注目画素のカレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素であるか否かを判定する（Ｓ５１６）。

カレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素でない場合（Ｓ５１６がNOの場合）、画素走査順（ラスタ走査順）に従って、次の画素位置へカレント位置を進め、色判別後の画像（tmpimg）を移動する（Ｓ５１７）。

また、カレント位置が、色判別後の画像（tmpimg）における画素走査の最後の画素の場合（Ｓ４１６がYESの場合）、処理を終了する。

これによって、色判別部２２２３の色判別補正手段５８は、色判別手段５７により誤って判別された可能正の高い色成分の画素に対して、精度良く補色することができる。

よって、図１３に示すように、外光状態に影響されることなく、文字や図形の書き込み線を精度良く色変換することができ、書き込み画像を抽出するための鮮明な書き込み線を得ることができる。

このように、上記に説明した処理手順は、プログラムで実行できるため、コンピュータが読み取り可能な記憶媒体に格納することができる。

以上のように、本発明の実施例１によれば、画像表示装置は、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて、書き込み画像撮影部２１により撮影された撮像データから書き込み画像領域抽出部２２により書き込み画像を抽出する際の画像処理部２２２の演算を制御する。

よって、本発明の画像表示装置は、画像表示装置の使用環境によって変化する外光状態に応じて、撮像データに対して画像補正することができ、良質の書き込み画像を抽出することができる。

また、本発明の実施例１によれば、画像表示装置の画像処理部２２２が有する背景除去手段５２は、撮像データにおける注目画素を、所定の演算範囲において色成分毎に平均化し、平均化した注目画素の輝度値が背景除去用の閾値より大きければ背景画素と判断し、注目画素の画素値を白の値に置き換える際に、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて平均化の演算範囲を最適に設定する（拡大又は縮小する）。

よって、本発明の画像表示装置は、撮像データに対して外光の変化に応じた背景除去を行うことができ、書き込まれた文字や図形と背景との判定精度を向上することができる。

また、本発明の実施例１によれば、画像表示装置の画像処理部２２２が有するノイズ除去手段５４は、輝度補正手段５３により外光による光量ムラ（輝度勾配）を補正（平坦化）した画像をノイズ除去用の閾値に基づいてノイズ除去する際に、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいてノイズ除去用の閾値の設定値を変更する。

よって、本発明の画像表示装置は、撮像データに対して外光の変化に応じたノイズ除去を行うことができ、外光状態に影響されることなく高品質な補正画像を得ることができる。

また、本発明の実施例１によれば、画像表示装置の色変換部２２２３が有する色判別手段５７は、シェーディング補正部２２２２により画像補正された画像の画素値を色判別用の閾値に基づいて、書き込まれた文字や図形の書き込み線の色を判別する際、外光値検出部２２１が有する外光値検出手段５１により検出された外光値に基づいて色判別用の閾値の設定値を変更する。

よって、本発明の画像表示装置は、外光状態に影響されることなく高精度な色判別を行うことができる。

図３１（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行う前の撮像データ（暗い外光環境の場合）の例を示す図である。

図３１（b）及び（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行った画像データの例を示す図であり、図３１（b）は、暗い外光環境において従来の方法で行った場合の画像データの例を示し、図３１（c）は、暗い外光環境において本発明が提案する方法で行った場合の画像データの例を示している。

図３２（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行う前の撮像データ（標準的な外光環境の場合）の例を示す図である。

図３２（b）及び（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行った画像データの例を示す図であり、図３２（b）は、標準的な外光環境において従来の方法で行った場合の画像データの例を示し、図３２（c）は、標準的な外光環境において本発明が提案する方法で行った場合の画像データの例を示している。

図３３（a）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行う前の撮像データ（明るい外光環境の場合）の例を示す図である。

図３３（b）及び（c）は、本発明の実施例１に係る画像表示装置が有する画像処理部２２２により画像補正を行った画像データの例を示す図であり、図３３（b）は、明るい外光環境において従来の方法で行った場合の画像データの例を示し、図３３（c）は、明るい外光環境において本発明が提案する方法で行った場合の画像データの例を示している。

図３１〜３３は、実施例１の画像表示装置のスクリーン１１の書き込み面１１bに、約1（mm）の太さのマーカ等により、利用者から文字や図形が書き込まれ、色識別が困難な場合の例である。

図３１〜３３に示すように、従来の手法に比べ、本発明の外光値を考慮した手法は、細線等のように色の判別が困難で、且つ外光条件が変化する環境においても、撮像データから書き込み画像を安定して抽出可能な品質であることが分かる。

このように、本発明の実施例１によれば、画像表示装置は、画像表示装置の使用環境による外光状態に影響されることなく、撮像データから高精度に書き込み画像を抽出することができ、書き込まれた文字や図形の情報を高品質に電子化することができる。

実施例２は、背景除去等の画像補正で除去しきれなかった、隣接する画素全ての画素値が背景の白の値となった孤立点を除去し、画像品質の向上を図るものである。

よって、実施例１とは、孤立点を除去する機能を有している点が異なるだけで、以降の実施例２の説明では、実施例１と同じハードウェア構成、主要機能部及び主要機能部の処理手順について、実施例１の説明で用いた図を用いると伴に、同一符号を付与して説明を省略する。

図３４は、本発明の実施例２に係る画像表示装置が有する書き込み画像領域抽出部の主要機能部の構成例を示すブロック図である。

図３４に示すように、本実施例で説明する孤立点除去機能は、書き込み画像領域抽出部２２の画像処理部２２２の色変換部２２２３が孤立点除去手段５９として有している。

孤立点除去手段５９は、色判別補正手段５８により画像補正された画像が入力画像となり、この画像に対して画素走査を行い、注目画素毎に孤立点か否かを判断し除去する。

このような孤立点除去手段５９を備える理由として、書き込み画像領域抽出部２２のシェーディング補正部２２２２により画像補正後の画像では目立たなかった孤立点が、画像補正後に行う色変換部２２２３により、目立ってしまう場合があるため、良質な書き込み画像を抽出するために、目立った孤立点を除去する必要がある。

以下に、孤立点除去をどのように行うかについて、図３５を用いて説明する。

図３５は、本発明の実施例２に係る画像表示装置が有する画像処理部の色変換部により孤立点除去を行う様子を示す図である。

図３５に示すように、孤立点除去手段５９は、画素走査を行い、白以外の色画素の場合、その画素を注目画素とし、隣接する画素領域（図中の破線領域）を参照する。この時、隣接する上下左右全ての画素の画素値が白であった場合、注目画素を孤立点であると判断し、注目画素の画素値を白（255,255,255）の値に置き換える。

このように、孤立点除去手段５９は、色判別後の画像の注目画素において、隣接する画素全てが白であるか否かを判定し、判定結果に基づいて注目画素の画素値を白の値に置き換えるため、色判別処理によって目立ってしまった孤立点を除去することができる。

以上のように、本発明の実施例２によれば、画像表示装置は、実施例１と同様の作用効果を奏するとともに、孤立点除去手段５９により、色判別処理によって目立ってしまった孤立点を除去し、より良質な書き込み画像を抽出することができる。

実施例に基づき本発明の説明を行ってきたが、上記実施例に挙げた図１（a）及び（b）に示す画像表示装置は、外観及びハードウェア構成の一例であって、この要件に、本発明が限定されるものではない。

例えば、図３６に示すように、スクリーン１１が縦に配置された画像表示装置であっても良い。

また、上記実施例に挙げた背景除去部２２２１において注目画素に隣接する画素領域の平均濃度値を算出し、背景除去用の可変閾値とする方法は、可変閾値算出法の一例であって、この要件に、本発明が限定されるものではない。

例えば、注目画素に隣接する画素領域に対して、閾値算出方法のモード法、p-タイル法、微分ヒストグラム法な等のいずれかの方法を用いて閾値を算出しても良い。実際には、画像を構成する全画素全てに対して上記の方法で閾値を算出しようとすると膨大な計算量になるため（処理速度に影響するため）、代表的な画素についてのみ閾値を算出し、他の画素の閾値は、ないそうによって求める。

また、上記実施例に挙げた256階調の画素値の範囲（輝度値の範囲）は、1画素が表現できる濃度階調数の一例であって、この要件に、本発明が限定されるものではない。

例えば、1画素7bitの128階調や1画素9bitの512階調の画素値の範囲（輝度値の範囲）でも良い。

また、上記実施例に挙げた外光値検出手段５１において、RGB成分のうちG成分の輝度分布特性から最も出現頻度の多い輝度値を外光値とする方法は、外光値を検出する一例であって、この要件に、本発明が限定されることはない。

例えば、RGB成分からY成分を算出し、Y成分の分布特性から最も出現頻度の多い輝度値を外光値としても良い。但し、本実施例では、外光値検出の処理速度を考慮して、Y成分の分布特性と差がないG成分の輝度分布特性を用いている。

最後に、上記実施例に挙げた形状に、その他の要素との組み合わせ等、ここで示した要件に、本発明が限定されるものではない。

これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

本発明の実施例１に係る画像表示装置における外観を示す外観斜視図である。 本発明の実施例１に係る画像表示装置におけるハードウェア構成例を示す概略断面図である。 本発明の実施例１に係る画像表示装置が有する本体部のハードウェア構成例を示す図である。 本発明の実施例１に係る画像表示装置における主要機能部の構成例を示すブロック図である。 本発明の実施例１に係る画像表示装置における主な処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する書き込み画像領域抽出部の主要機能部の構成例を示すブロック図である。 本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部により撮影された撮像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部により撮影された人の影（手の影）が映り込んだ撮像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する背景除去部により用いられる可変閾値算出法の例を示す図である。 本発明の実施例１に係る画像表示装置が有する背景除去部により撮像データから背景画像を除去した画像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する書き込み面に書き込まれていない画像（無地画像）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部により撮影された撮像データの輝度勾配（無地画像において外光の変化により光量ムラが発生した場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部により撮影された撮像データの輝度勾配（外光の変化により光量ムラが発生した場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する書き込み画像撮影部により撮影された撮像データの輝度勾配（外光の変化により発生した光量ムラを補正した場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有するシェーディング補正部による輝度補正後に鮮明な色合いとなった画像データの例を示す図である。 本発明の実施例１に係る書き込み画像における「赤色書き込み」、「青色書き込み」、「黒色書き込み」及び「背景」の平均的な色成分（RGB成分）の相対関係を表す図である。 本発明の実施例１に係る画像表示装置が有する色変換部による色変換後に鮮明な色合いとなった画像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する最小領域抽出部により書き込まれた領域部分を抽出する様子を示す図である。 本発明の実施例１に係る画像表示装置が有する外光値検出部による外光を表す輝度分布を示す図である。 本発明の実施例１に係る画像表示装置における外光の変化に応じて画像処理部の演算制御を行う処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する外光値検出部の外光値検出手段の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部による平均化フィルタを用いた背景除去法（演算範囲を3x3画素領域とした場合）を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部による平均化フィルタを用いた背景除去法（演算範囲を5x5画素領域とした場合）を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部において外光の変化に応じて平均化フィルタの演算範囲を制御する処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部により背景除去を行う前の撮像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部により背景除去を行った画像データ（従来の手法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部の背景除去部により背景除去を行った画像データ（本発明が提案する手法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部において外光の変化に応じてノイズ除去用閾値を設定変更する処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により書き込み線の輪郭を補正する様子（1画素の凹部を補完した場合）を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により書き込み線の輪郭を補正する様子（1画素の凸部を除去した場合）を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により書き込み線の輪郭を補正する様子（1画素の除去により「かすれ」が生じた場合）を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により画像補正を行う前の撮像データの例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により画像補正を行った画像データ（従来の方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部のシェーディング補正部により画像補正を行った画像データ（本発明が提案する方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における平均化手段の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部において外光の変化に応じて色判別用閾値を設定変更する処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別手段の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別手段の処理手順（白を判別する場合の処理手順）を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別手段の処理手順（青を判別する場合の処理手順）を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別手段の処理手順（赤を判別する場合の処理手順）を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別手段の処理手順（黒を判別する場合の処理手順）を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別補正手段の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部の色変換部における色判別補正手段の処理手順を示すフローチャートである。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行う前の撮像データ（暗い外光環境の場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（暗い外光環境において従来の方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（暗い外光環境において本発明が提案する方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行う前の撮像データ（標準的な外光環境の場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（標準的な外光環境において従来の方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（標準的な外光環境において本発明が提案する方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行う前の撮像データ（明るい外光環境の場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（明るい外光環境において従来の方法で行った場合）の例を示す図である。 本発明の実施例１に係る画像表示装置が有する画像処理部により画像補正を行った画像データ（明るい外光環境において本発明が提案する方法で行った場合）の例を示す図である。 本発明の実施例２に係る画像表示装置が有する書き込み画像領域抽出部の主要機能部の構成例を示すブロック図である。 本発明の実施例２に係る画像表示装置が有する画像処理部の色変換部により孤立点除去を行う様子を示す図である。 本発明の変形例に係る画像表示装置における外観を示す外観斜視図及びハードウェア構成例を示す概略断面図である。

符号の説明

１ 表示部
２ 本体部
１０ 矩形の平面部
１１ スクリーン
１１a 投影面
１１b 書き込み面
１２ 筐体
１３ プロジェクタ
１４ CCDカメラ
１４a 視野角
１５ 制御部（CPU）
１６ 主記憶部（RAM,ROM）
１７ 補助記憶部（HD）
１８ 外部入力装置I/F
１９ 外部出力装置I/F
２１ 書き込み画像撮影部（書き込み画像撮影手段）
２２ 書き込み画像領域抽出部（書き込み画像領域抽出手段）
２２１ 外光値検出部
２２２ 画像処理部（画像処理手段）
２２２１ 背景除去部
２２２２ シェーディング補正部
２２２３ 色変換部
２２３ 最小領域抽出部
２３ 画像合成部（画像合成手段）
２４ 投影画像生成部
２５ 画像投影部（画像投影手段）
５１ 外光値検出手段
５２ 背景除去手段
５３ 輝度補正手段
５４ ノイズ除去手段
５５ 輪郭補正手段
５６ 平均化手段
５７ 色判別手段
５８ 色判別補正手段
５９ 孤立点除去手段

Claims (11)

1. 投影面に画像を投影する画像投影手段と、
   前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手段と、
   前記書き込み画像撮影手段により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手段と、
   前記書き込み画像領域抽出手段により抽出された書き込み画像と前記画像投影手段により前記投影面に投影された投影画像とを合成する画像合成手段とを有する画像表示装置であって、
   前記書き込み画像領域抽出手段は、
   前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手段と、
   前記外光値検出手段により検出された前記画像補正用外光値に基づいて、前記画像撮影手段により撮影された前記撮像画像を補正する画像処理を行う画像処理手段とを有し、
   前記画像処理手段は、
   前記撮像画像の注目画素を含む所定周囲範囲の画素において各色成分毎に画素値を平均化した背景除去用閾値を算出し、前記注目画素の画素値が、背景の画素か書き込まれた文字又は図形の画素かを判別するために設定された前記背景除去用閾値より大きければ背景の画素と判別し、前記注目画素の画素値を白の値に置き換える背景除去手段を有し、
   前記背景除去手段は、
   前記所定周囲範囲を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする画像表示装置。
2. 投影面に画像を投影する画像投影手段と、
   前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手段と、
   前記書き込み画像撮影手段により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手段と、
   前記書き込み画像領域抽出手段により抽出された書き込み画像と前記画像投影手段により前記投影面に投影された投影画像とを合成する画像合成手段とを有する画像表示装置であって、
   前記書き込み画像領域抽出手段は、
   前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手段と、
   前記外光値検出手段により検出された前記画像補正用外光値に基づいて、前記画像撮影手段により撮影された前記撮像画像を補正する画像処理を行う画像処理手段とを有し、
   前記画像処理手段は、
   各画素毎に前記撮像画像の画素値を、前記書き込み画像撮影手段により撮影された前記書き込み面に書き込みのない無地画像の画素値で除算し、前記撮像画像の画素値を、画素が表す濃度階調に換算した値に置き換える輝度補正手段と、
   前記輝度補正手段により輝度補正された画像において、注目画素の画素値が、書き込まれた文字又は図形とノイズとを判別するために設定されたノイズ除去用閾値より大きければノイズの画素と判別し、前記注目画素の画素値を白の値に置き換えるノイズ除去手段と、
   前記ノイズ除去手段によりノイズ除去された画像に対して輪郭を補正する輪郭補正手段とを有し、
   前記ノイズ除去手段は、
   前記ノイズ除去用閾値を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする画像表示装置。
3. 前記画像処理手段は、
   前記輝度補正手段、前記ノイズ除去手段及び前記輪郭補正手段とにより画像補正を行った画像の画素値を、各画素毎に所定の範囲において平均化する平均化手段と、
   前記平均化手段により平均化された画像において、書き込まれた文字や図形の色を判別するために設定された色判別用閾値に基づいて、各画素の色を判別する色判別手段と、
   前記輝度補正手段、前記ノイズ除去手段及び前記輪郭補正手段とにより画像補正を行った画像において、注目画素に隣接する画素のうち、画素値が黒である割合を算出し、算出された割合が所定の値より大きい場合、前記注目画素の画素値を黒の値に置き換える色判別補正手段とを有し、
   前記色判別手段は、
   前記色判別用閾値を、前記外光値検出手段により検出された前記画像補正用外光値に基づいて設定することを特徴とする請求項２に記載の画像表示装置。
4. 前記色判別手段は、
   画素の色を青と判別するための前記色判別用閾値を、
   前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、大きな値に変化することを特徴とする請求項３に記載の画像表示装置。
5. 前記色判別手段は、
   画素の色を赤と判別するための前記色判別用閾値を、
   前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、小さな値に変化することを特徴とする請求項３に記載の画像表示装置。
6. 前記色判別手段は、
   画素の色を黒と判別するための前記色判別用閾値を、
   前記外光値検出手段により検出された前記画像補正用外光値の増加に応じて、大きな値に変化することを特徴とする請求項３に記載の画像表示装置。
7. 前記画像処理手段は、
   前記平均化手段、前記色判別手段及び色判別補正手段とにより色判別を行った画像の注目画素において、隣接する画素全てが白であるか否かを判定し、判定結果に基づいて前記注目画素の画素値を白の値に置き換える孤立点除去手段を有することを特徴とする請求項３ないし６のいずれか一項に記載の画像表示装置。
8. 前記外光値検出手段は、
   前記書き込み画像撮影手段により撮影された前記書き込み面に書き込みのない無地画像の輝度分布を基に、出現頻度が最も多い輝度値を前記画像補正用外光値とすることを特徴とする請求項１ないし７のいずれか一項に記載の画像表示装置。
9. 投影面に画像を投影する画像投影手順と、
   前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手順と、
   前記書き込み画像撮影手順により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手順と、
   前記書き込み画像領域抽出手順により抽出された書き込み画像と前記画像投影手順により前記投影面に投影された投影画像とを合成する画像合成手順とを有する画像表示装置における画像表示方法であって、
   前記書き込み画像領域抽出手順は、
   前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手順と、
   前記外光値検出手順により検出された前記画像補正用外光値に基づいて、前記画像撮影手順により撮影された前記撮像画像を補正する画像処理を行う画像処理手順とを有し、
   前記画像処理手順は、
   前記撮像画像の注目画素を含む所定周囲範囲の画素において各色成分毎に画素値を平均化した背景除去用閾値を算出し、前記注目画素の画素値が、背景の画素か書き込まれた文字又は図形の画素かを判別するために設定された前記背景除去用閾値より大きければ背景の画素と判別し、前記注目画素の画素値を白の値に置き換える背景除去手順を有し、
   前記背景除去手順は、
   前記所定周囲範囲を、前記外光値検出手順により検出された前記画像補正用外光値に基づいて設定することを特徴とする画像表示方法。
10. 投影面に画像を投影する画像投影手順と、
    前記投影面に対向して配置された書き込み面に書き込まれた文字や図形を撮影する書き込み画像撮影手順と、
    前記書き込み画像撮影手順により撮影された撮像画像から書き込まれた文字や図形の画像領域を抽出する書き込み画像領域抽出手順と、
    前記書き込み画像領域抽出手順により抽出された書き込み画像と前記画像投影手順により前記投影面に投影された投影画像とを合成する画像合成手順とを有する画像表示装置における画像表示方法であって、
    前記書き込み画像領域抽出手順は、
    前記撮像画像を補正するための画像補正用外光値を検出する外光値検出手順と、
    前記外光値検出手順により検出された前記画像補正用外光値に基づいて、前記画像撮影手順により撮影された前記撮像画像を補正する画像処理を行う画像処理手順とを有し、
    前記画像処理手順は、
    各画素毎に前記撮像画像の画素値を、前記書き込み画像撮影手順により撮影された前記書き込み面に書き込みのない無地画像の画素値で除算し、前記撮像画像の画素値を、画素が表す濃度階調に換算した値に置き換える輝度補正手順と、
    前記輝度補正手順により輝度補正された画像において、注目画素の画素値が、書き込まれた文字又は図形とノイズとを判別するために設定されたノイズ除去用閾値より大きければノイズの画素と判別し、前記注目画素の画素値を白の値に置き換えるノイズ除去手順と、
    前記ノイズ除去手順によりノイズ除去された画像に対して輪郭を補正する輪郭補正手順とを有し、
    前記ノイズ除去手順は、
    前記ノイズ除去用閾値を、前記外光値検出手順により検出された前記画像補正用外光値に基づいて設定することを特徴とする画像表示方法。
11. コンピュータに請求項９又は１０記載の画像表示方法を実行させるための画像表示プログラム。