JP6152662B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は、任意の画像を表示可能な画像処理装置に関し、より詳細には、他の情報処理装置が提供する画像と、ユーザが生成する描画画像とを表示可能な画像処理装置、方法およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが描画した文字や数字、図形等の描画画像を表示可能な電子黒板が利用されている。

このような電子黒板の一例として、特許文献１は、ユーザＰＣが提供する背景画像に、ユーザが描画した描画画像を重畳して表示する画像表示装置を開示する。この画像表示装置では、表示部に表示されている画像をスナップショットとして記憶装置に保存する。

しかしながら、特許文献１に記載の画像表示装置では、表示画像を生成する度にスナップショットを記憶装置に保存するため、記憶装置のメモリ領域を過度に消費してしまうという問題があった。また、多量のスナップショットを記憶装置に保存するため、容量の少ない記憶装置を使用する場合には、既に保存されているスナップショットを上書きしなければならず、ユーザが必要とするスナップショットが失われてしまう虞がある。

さらに、これらの問題を解決すべく、背景画像ごとを比較して変化があれば自動的にスナップショットを保存する方法が考えられるが、このような方法では、差異が微細なスナップショットが多数保存されてしまい、ユーザが閲覧したいスナップショットを多量のスナップショットの中から探し出さなければならず、ユーザ負担が多大となるという問題もあった。

本発明は上述した課題を解決するものであり、背景画像が切り替わる際に、表示装置に表示されている画像を自動的に保存する画像処理装置、方法およびプログラムを提供することを目的とする。

本発明の画像処理装置は、表示装置に画像を表示させ、当該画像のうち、背景画像が切り替わる場合に、表示装置に表示されている画像を記憶装置に保存する。本発明の画像処理装置は、表示装置に表示されている背景画像の特徴領域と、表示装置に表示されるべき背景画像の特徴領域とを比較して、背景画像の切り替わりの有無を判断する。

本発明の画像処理装置は、上記構成を採用することにより、背景画像が切り替わる際に、表示装置に表示されている画像を自動的に保存することができる。

本発明の画像処理システムの一実施形態を示す図。 本発明の画像処理装置のハードウェア構成および機能構成を示す図。 本発明の画像処理装置に実装されるレイアウト管理部の機能構成を示す図。 特徴領域の決定方法の一実施形態を示す図。 本発明の画像処理装置が実行する処理を示すフローチャート。 図５に示すＳ５０９の処理の詳細を示すフローチャート。 図５に示すＳ５１１の処理の詳細を示すフローチャート。 特徴領域の更新処理を示すフローチャート。 描画情報の一実施形態を示す図。 本発明の画像処理装置が表示するＧＵＩ画面の一実施形態を示す図。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の画像処理システムの一実施形態を示す図である。画像処理システム１００は、ネットワーク１１４を介して接続された画像処理装置１１０ａと、画像処理装置１１０ｂと、ユーザＰＣ１３０ｄとを含む。ネットワーク１１４は、ＬＡＮやインターネット等のネットワークを含んで構成される。

画像処理装置１１０ａ，１１０ｂは、ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃが提供する画像を表示するとともに、ユーザが生成する描画画像を表示可能な装置である。また、画像処理装置１１０ａ，１１０ｂは、表示部１１２に対する接触によってイベントを発生させ、ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃに送信する。

ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃは、画像処理装置１１０ａ，１１０ｂに表示すべき画像を提供する情報処理装置である。ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃは、画像信号を出力するインタフェースを備えており、画像信号を所定のレート（例えば、毎秒３０フレーム等）で画像処理装置１１０ａ，１１０ｂに供給する。

本実施形態では、ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃは、物理インタフェースであるＶＧＡ出力端子（図示せず）を備えており、ＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を画像処理装置１１０ａ，１１０ｂに送信することができる。他の実施形態では、ユーザＰＣ１３０ａ，１３０ｂ，１３０ｃは、各種無線通信プロトコルに準拠した無線通信によって画像を送信してもよい。

ユーザＰＣ１３０ｄは、画像処理装置１１０ａ，１１０ｂとの間で画像データやイベント等の種々のデータを通信可能な情報処理装置である。

図１に示す実施形態では、ユーザＰＣ１３０ａ〜１３０ｄとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。また、図１に示す画像処理システム１００では、１または２台のユーザＰＣが画像処理装置１１０ａ，１１０ｂに接続されているが、他の実施形態では、３台以上のユーザＰＣを接続することもできる。

図２は、画像処理装置１１０ａのハードウェア構成および機能構成を示す図である。以下、図２を参照して、画像処理装置１１０ａのハードウェア構成および機能構成について説明する。なお、画像処理装置１１０ｂのハードウェア構成および機能構成は、画像処理装置１１０ａと同一であるため、説明を省略する。

画像処理装置１１０ａは、画像入力インタフェース２３２および画像出力インタフェース２３４を備えており、これらのインタフェースを介してユーザＰＣ１３０ａ，１３０ｂおよび外部記憶装置２４２と接続される。

画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂが提供する画像を形成する画像信号を受信するインタフェースである。本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂからＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像処理装置１１０ａが備える画像取得部２０６にＶＧＡ信号を供給する。

他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０ａ，１３０ｂから画像信号を受信してもよい。

画像出力インタフェース２３４は、画像処理装置１１０ａの表示画像であるスナップショット画像を外部記憶装置２４２に出力する物理インタフェースである。本実施形態では、画像出力インタフェース２３４としてＵＳＢソケットを採用することができる。

画像処理装置１１０ａは、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、接触検知装置２２６と、記憶装置２３０と、通信制御部２５０と、通信部２５２と、表示部１１２とを含んで構成される。

プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどの種々のＯＳを動作させる。プロセッサ２００は、ＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなどが保存される不揮発性メモリである。

ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等によって構成される主記憶装置であり、本発明のプログラムの実行空間を提供する。プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、本発明のプログラムを読み出し、ＲＡＭ２０４に展開して実行する。本発明のプログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２、リポジトリ管理部２２８、スナップショット保存部２３６およびスナップショット送信部２３８が含まれる。

画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像入力インタフェース２３２を介して画像信号を取得する手段である。画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成される画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。

また、画像取得部２０６は、当該画像信号を使用して、表示部１１２に背景画像として表示される画像フレームを形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にバッファリングする。

アプリ画像生成部２１２は、画像処理装置１１０ａに種々の操作を指示するボタンやメニュー等のＧＵＩ（Graphical User Interface）やスナップショット画像のサムネイルを含む画像を生成する手段である。

レイアウト管理部２１４は、背景画像である画像フレームを合成部２１８に提供すると共に、表示部１１２に表示されている背景画像の切り替わりの有無を判断し、背景画像が切り替わる場合に、スナップショット生成部２２２にスナップショット画像を生成させる手段である。レイアウト管理部２１４の機能構成については、図３を参照して詳述する。

接触検知装置２２６は、描画装置２４０等の物体の接触を検知する手段である。本実施形態では、接触検知装置２２６として、特許文献２に示すような赤外線遮断方式による座標入力／検出装置を採用する。この座標入力／検出装置では、表示部１１２の下側両端部に設置された２の受発光装置が、表示部１１２に平行して複数の赤外線を放射し、表示部１１２の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知装置２２６は、物体によって遮断された２の受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置である座標位置を特定する。

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。

座標検出部２２４は、物体が表示部１１２に接触した位置である座標位置を算出すると共に、種々のイベントを発行する手段である。本実施形態では、座標検出部２２４は、接触検知装置２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。座標検出部２２４は、接触位置の座標位置と共に、種々のイベントをイベント処理部２１０に送信する。

座標検出部２２４が発行するイベントには、物体の接触または接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触または接近した状態で接触点または接近点が移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、接触位置座標および接近位置座標である座標位置情報が含まれる。

描画装置２４０は、画像処理装置１１０ａの接触検知装置２２６に接触させて描画する装置である。描画装置２４０は、先端部に物体の接触を検知する接触検知装置を備えたペン形状をしており、当該接触検知装置が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部２２４に送信する。

本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。

イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する手段である。イベント処理部２１０は、座標検出部２２４からイベントを受信すると、イベントの種類および接触位置の座標位置を使用してイベントを発行する。イベント処理部２１０が発行するイベントには、描画指示イベント、消去指示イベントおよび選択通知イベントがある。

描画指示イベントとは、画像処理装置１１０ａに対して描画を指示するイベントである。消去指示イベントとは、画像処理装置１１０ａに対して描画画像の消去を指示するイベントである。描画指示イベントおよび消去指示イベントは、描画装置２４０が表示部１１２に接触することに起因して発行される。

選択通知イベントとは、表示部１１２に表示されたボタンやメニューバー等の種々のＧＵＩが選択されたことを示すイベントである。イベント処理部２１０は、座標検出部２２４が提供する座標位置がＧＵＩの領域内であるときに選択通知イベントを発行する。

描画指示イベント、消去指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられている。これらのイベントをトリガとして動作する画像処理装置１１０ａの機能手段は、当該識別情報を参照して各処理を実行する。また、選択通知イベントには、選択されたＧＵＩの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置１１０ａの機能手段は、当該ＧＵＩの識別情報を参照して各処理を実行する。

描画生成部２１６は、ユーザが描画装置２４０を用いて指示した描画画像を生成する手段である。描画生成部２１６は、座標位置情報が示す画素の色を特定の色に変更して描画画像を生成する。描画生成部２１６は、描画画像の識別情報、描画画像の種類、描画画像の座標情報、描画画像の色情報および描画画像の付加情報等を含む描画情報をＲＡＭ２０４の所定の記憶領域に保存する。

合成部２１８は、アプリ画像生成部２１２が生成する画像と、レイアウト管理部２１４が提供する背景画像と、描画生成部２１６が生成する描画画像とを所定のタイミングで定期的に合成する手段である。合成部２１８は、レイアウト管理部２１４に背景画像の提供要求を送信し、レイアウト管理部２１４からＤＭＡによって画像フレームを取得する。合成部２１８は、合成画像を生成すると表示制御部２２０に提供する。

表示制御部２２０は、表示部１１２を制御する手段である。表示制御部２２０は、合成部２１８から合成画像を受信すると、表示部１１２に合成画像を表示する。

スナップショット生成部２２２は、背景画像と描画画像との合成画像であるスナップショット画像を生成する手段である。スナップショット生成部２２２は、レイアウト管理部２１４が提供する背景画像と、描画生成部２１６が生成した描画画像とを合成してスナップショット画像を生成する。本実施形態では、背景画像および描画画像の合成画像をスナップショット画像として生成するが、他の実施形態では、アプリ画像生成部２１２が生成する画像、背景画像および描画画像の合成画像をスナップショット画像として生成してもよい。

スナップショット生成部２２２は、表示部１１２に表示された画像の取得を指示する選択通知イベントを受信すると、スナップショット画像を生成する。また、スナップショット生成部２２２は、レイアウト管理部２１４の指示により、スナップショット画像を生成する。スナップショット生成部２２２は、スナップショット画像を生成すると、リポジトリ管理部２２８に対し、スナップショット画像を記憶装置２３０に保存させる。

スナップショット保存部２３６は、記憶装置２３０に保存されたスナップショット画像を外部記憶装置２４２に保存する手段である。スナップショット保存部２３６は、スナップショット画像の保存を指示する選択通知イベントを受信すると、記憶装置２３０からリポジトリ管理部２２８を介してスナップショット画像を取得し、画像出力インタフェース２３４に接続された外部記憶装置２４２にスナップショット画像を出力する。

スナップショット送信部２３８は、記憶装置２３０に保存されたスナップショット画像を画像処理装置１１０ｂおよびユーザＰＣ１３０ｄに送信する手段である。スナップショット送信部２３８は、スナップショット画像の送信を指示する選択通知イベントを受信すると、記憶装置２３０からリポジトリ管理部２２８を介してスナップショット画像を取得し、通信制御部２５０にスナップショット画像を出力する。

リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶装置２３０を制御する手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶装置２３０に保存する。また、リポジトリ管理部２２８は、スナップショット保存部２３６またはスナップショット送信部２３８の指示により、記憶装置２３０からスナップショット画像を取得し、画像出力インタフェース２３４または通信制御部２５０に送信する。

通信制御部２５０は、ネットワーク１１４を介した他の画像処理装置１１０ｂやユーザＰＣ１３０ｄとの通信を制御する手段である。通信制御部２５０は、ネットワークインタフェースである通信部２５２を介して、表示部１１２に表示された画像フレームやスナップショット画像等の画像データ、描画情報および種々のイベントなどの情報を通信する。

図３は、レイアウト管理部２１４の機能構成を示す図である。以下、図３を参照して、レイアウト管理部２１４の機能構成について説明する。

レイアウト管理部２１４は、制御部３００と、フレームバッファ３０２と、画像フレーム提供部３０４と、特徴領域決定部３０６とを含む。

制御部３００は、レイアウト管理部２１４の全体制御を行う手段である。制御部３００は、合成部２１８から背景画像の提供要求を受信すると、画像取得部２０６から背景画像である画像フレームを取得し、フレームバッファ３０２を介して合成部２１８に提供する。

また、制御部３００は、表示部１１２に表示されている背景画像の切り替わりの有無を判断する。具体的には、制御部３００は、特徴領域決定部３０６が提供する特徴領域の座標情報を使用して、表示部１１２に表示されている背景画像の特徴領域と、表示部１１２に表示すべき背景画像の特徴領域とを比較し、背景画像の切り替わりの有無を判断する。

背景画像が切り替わった場合、制御部３００は、表示部１１２に表示されているコンテンツが動画であるか否か、すなわち、表示部１１２に表示されている画像が一定時間継続して表示されている静止画であるか判断する。表示部１１２に表示されているコンテンツが静止画である場合には、制御部３００は、画像フレーム提供部３０４を介して、スナップショット生成部２２２にスナップショット画像を生成させる。これにより、有意な背景画像のスナップショット画像を生成することができる。

フレームバッファ３０２は、画像取得部２０６にバッファリングされている背景画像である画像フレームを記憶する記憶手段である。フレームバッファ３０２には、画像フレームを構成する各画素の画素値と、画像フレームの属性情報とが保存される。フレームバッファ３０２には、複数の画像フレームを保存することができる。

画像フレーム提供部３０４は、背景画像である画像フレームをスナップショット生成部２２２に提供する手段である。画像フレーム提供部３０４は、制御部３００の指示により、フレームバッファ３０２から画像フレームを取得し、スナップショット生成部２２２に提供し、スナップショット画像の生成を指示する。

特徴領域決定部３０６は、表示部１１２に表示される画像の特徴領域を決定し、特徴領域の座標情報を生成する手段である。特徴領域決定部３０６は、描画生成部２１６の特徴領域の更新指示により、描画生成部２１６が生成する描画情報を使用して画像の特徴領域を決定し、特徴領域の座標情報を生成する。特徴領域決定部３０６は、制御部３００からの要求に応じて特徴領域の座標情報を提供する。

図４は、特徴領域の決定方法の一実施形態を示す図である。画像フレーム４００〜１４１０は、画像処理装置１１０ａの表示部１１２に表示される画像である。以下、図４を参照して、特徴領域決定部３０６が採用する特徴領域の決定方法について説明する。

まず、画像フレーム４００を参照して、描画画像である一本の線４０１が描画された場合の特徴領域の決定方法について説明する。この場合、線４０１の始点４０２、中点４０３、終点４０４、始点４０２および中点４０３の間の点４０５、中点４０３および終点４０４の間の点４０６を含む５つの矩形領域４０７〜４１１を特徴領域とすることができる。

次に、画像フレーム４２０を参照して、複数の線４２１，４２２，４２３が描画された場合の特徴領域の決定方法について説明する。本実施形態では、５つの特徴領域を決定する。まず、線４２１，４２２，４２３の中点４２４，４２５，４２６を含む矩形領域４２９，４３０，４３１を抽出する。この時点では、矩形領域の数が３つであるため、線４２１の始点４２７を含む矩形領域４３２をさらに抽出する。この時点では、矩形領域の数が４つであるため、線４２２の始点４２８を含む矩形領域４３３をさらに抽出する。５つの矩形領域を抽出すると、これらの矩形領域を特徴領域として決定する。

次に、画像フレーム４４０を参照して、描画画像である１つのオブジェクト４４１が描画された場合の特徴領域の決定方法について説明する。本発明では、線以外の描画図形をオブジェクトとする。この場合、オブジェクト４４１に外接する矩形４４２の中心点４４３および頂点４４４〜４４７を含む５つの矩形領域４４８〜４５２を特徴領域とすることができる。

次に、画像フレーム４６０を参照して、複数のオブジェクト４６１，４６２，４６３が描画された場合の特徴領域の決定方法について説明する。この場合、総てのオブジェクト４６１，４６２，４６３を包含する外接矩形４６４の中心点４６５および頂点４６６〜４６９を含む５つの矩形領域４７１〜４７４を特徴領域とすることができる。

次に、画像フレーム４８０を参照して、オブジェクトおよび線が描画された場合の特徴領域の決定方法について説明する。まず、総てのオブジェクト４８１，４８２，４８３を包含する外接矩形４８４の中心点４８５を含む矩形領域４８８と、対向する２つの頂点４８６，４８７を含む矩形領域４８９，４９０を特徴領域として抽出する。次に、線４９１の中点４９３を含む矩形領域４９５と、線４９２の中点４９４を含む矩形領域４９６を特徴領域として抽出する。図４に示す実施形態では、描画画像として複数の線が描かれているため、２本の線の中点を含む矩形領域を特徴領域として抽出するが、描画画像である線が１本のみ描かれている場合には、当該１本の線の中点を含む矩形領域および始点を含む矩形領域を特徴領域とすることができる。

次に、画像フレーム１４００を参照して、小さなオブジェクト１４０１が描画された場合の特徴領域の決定方法について説明する。この場合、オブジェクト１４０１に外接する矩形１４０２の中心点１４０３を含む矩形領域１４０４と、当該矩形領域の各頂点に接する矩形領域１４０５〜１４０８を特徴領域として抽出することができる。小さなオブジェクトとは、描画画像であるオブジェクトの外接矩形の中心点を含む矩形領域と、当該外接矩形の頂点を含む矩形領域とが重なる程度の大きさのオブジェクトをいう。

次に、画像フレーム１４１０を参照して、短い線１４１１が描画された場合の特徴領域の決定方法について説明する。この場合、線１４１１の中点１４１２を含む矩形領域１４１３と、当該矩形領域に隣接する矩形領域であって線１４１１を包含する矩形領域１４１４，１４１５と、矩形領域１４１４，１４１５に隣接する矩形領域であって線１４１１を包含する矩形領域１４１６，１４１７とを特徴領域として抽出することができる。短い線とは、描画画像である線の中点を含む矩形領域と、当該中点と当該線の始点との中点を含む矩形領域とが重なる程度の大きさの線をいう。

図５は、本発明の画像処理装置が実行する処理を示すフローチャートである。以下、図５を参照して、画像処理装置１１０ａのレイアウト管理部２１４が実行する処理について説明する。

図５の処理は、ステップＳ５００でレイアウト管理部２１４の制御部３００が、合成部２１８から背景画像の提供要求を受信することにより開始する。ステップＳ５０１では、制御部３００は、画像フレームの転送先を指定して、画像取得部２０６に画像フレームの転送を指示する。画像取得部２０６は、レイアウト管理部２１４から画像フレームの転送指示を受信すると、ビデオＲＡＭ２０８に保存されている画像フレームを、指定された転送先であるフレームバッファ３０２内のアドレスに転送し、転送完了通知を制御部３００に送信する。

本実施形態では、制御部３００は、画像フレームの転送先を指定する場合、フレームプールから画像フレームの転送先のアドレスを取得する。フレームプールには、画像フレームを格納可能なフレームバッファ３０２のアドレスが複数保存されている。画像フレームがフレームバッファ３０２に保存されると、フレームプールから画像フレームの転送先のアドレスが削除され、当該アドレスへの画像フレームの転送が禁止される。画像フレームがフレームバッファ３０２から削除されると、画像フレームの転送先のアドレスがフレームプールに追加され、当該アドレスへの画像フレームの転送が可能となる。

ステップＳ５０２では、制御部３００は、画像取得部２０６から転送完了通知を受信したか否か判断する。転送完了通知を受信していない場合は（ｎｏ）、ステップＳ５０２を反復する。一方、転送完了通知を受信した場合には（ｙｅｓ）、処理がステップＳ５０３に分岐する。ステップＳ５０３では、制御部３００は、画像取得部２０６から転送された画像フレームを計数するカウンタの値をインクリメントする。ステップＳ５０４では、制御部３００は、カウンタの値を当該画像フレームの属性情報としてフレームバッファ３０２に保存する。

ステップＳ５０５では、制御部３００は、画像取得部２０６から転送された画像フレームが保存されているフレームバッファ３０２のアドレスを合成部２１８に通知する。合成部２１８は、制御部３００が通知するフレームバッファ３０２のアドレスに保存されている画像フレームをＤＭＡにより取得し、当該画像フレームを用いて合成画像を生成し、表示制御部２２０を介して表示部１１２に合成画像を表示する。

ステップＳ５０６では、制御部３００は、先行する処理でサンプリングした画像フレームのアドレスをフレームバッファ３０２から取得する。ステップＳ５０７では、制御部３００は、ステップＳ５０１の要求の応答として画像取得部２０６から取得した画像フレームが、サンプリングすべき画像フレームであるか否か判断する。

より詳細には、制御部３００は、フレームバッファ３０２に保存されている画像フレームの属性情報であるカウンタ値が、所定の閾値以上であるか否か判断することにより、サンプリングすべき画像フレームであるか否か判断する。カウンタ値が所定の閾値以上である場合、制御部３００は、この画像フレームをサンプリングすべき画像フレームであると判断する。本実施形態では、例えば、フレームレートが６０ｆｐｓである場合、５枚〜１０枚毎に１枚のサンプリング画像を取得するため、フレームレート「６０」の１／１０〜１／５の値を閾値とする。

サンプリングすべき画像フレームでないと判断した場合には（ｎｏ）、処理がステップＳ５０８に分岐する。ステップＳ５０８では、制御部３００は、サンプリングすべきでないと判断した画像フレームをフレームバッファ３０２から削除し、処理がステップＳ５０１に戻る。一方、ステップＳ５０７の判定でサンプリングすべき画像フレームであると判断した場合には（ｙｅｓ）、処理がステップＳ５０９に分岐する。

ステップＳ５０９では、制御部３００は、サンプリングすべきと判断した画像フレームと、ステップＳ５０６で取得したアドレスに保存されている画像フレーム、すなわち、先行する処理でサンプリングした画像フレームとを比較し、変化の有無を判断する。

ステップＳ５１０では、ステップＳ５０９の処理で画像フレームに変化が有ると判断した場合には（ｙｅｓ）、処理がステップＳ５１１に分岐する。一方、画像フレームに変化が無いと判断した場合には（ｎｏ）、処理がステップＳ５０８に分岐する。ステップＳ５０８では、制御部３００は、ステップＳ５０７でサンプリングすべきと判断した画像フレームをフレームバッファ３０２から削除する。

ステップＳ５１１では、制御部３００は、表示部１１２に表示されているコンテンツが動画であるか否か判断する。ステップＳ５１２では、表示部１１２に表示されているコンテンツが動画であると判断した場合には（ｙｅｓ）、処理がステップＳ５１４に分岐する。一方、表示部１１２に表示されているコンテンツが動画でないと判断した場合には（ｎｏ）、処理がステップＳ５１３に分岐する。

ステップＳ５１３では、制御部３００が、画像フレーム提供部３０４に対し、サンプリングすべきと判断した画像フレームをフレームバッファ３０２から取得させ、当該画像フレームをスナップショット生成部２２２に提供してスナップショット画像を生成させる。

ステップＳ５１４では、制御部３００は、前回サンプリングした画像フレームをフレームバッファ３０２から削除する。ステップＳ５１５では、制御部３００は、カウンタをリセットしてカウンタ値をクリアする。

図６は、図５に示すＳ５０９の処理の詳細を示すフローチャートである。以下、図６を参照して、制御部３００が実行する画像フレームの変化の有無を判断する処理について説明する。

図６に示す処理は、ステップＳ６００から開始し、ステップＳ６０１で制御部３００が、特徴領域決定部３０６から特徴領域の座標情報を取得する。ステップＳ６０２では、制御部３００は、比較対象の２の画像フレームについて、当該座標情報が示す特徴領域を構成する各画素の画素値を量子化する。ステップＳ６０３では、制御部３００は、比較対象の２の画像フレームについて、対応する特徴領域の量子化された各画素の画素値の差異を算出する。

ステップＳ６０４では、制御部３００は、特徴領域の画素値の差異が所定の閾値以上であるか否か判断する。本実施形態では、肉眼で観察した場合に特徴領域の画素が変化したと判断できる差異を、所定の閾値としてすることができる。また、本実施形態では、特徴領域を構成する画素のうち少なくとも１つの画素について差異が閾値以上であれば、特徴領域の画素値の差異が閾値以上であると判断するが、他の実施形態では、特徴領域の総ての画素について画素値の差異の平均値を算出し、当該平均値が閾値以上であれば、特徴領域の画素値の差異が閾値以上であると判断してもよい。さらに、特徴領域が複数ある場合には、いずれか一つの特徴領域について、特徴領域の画素値の差異が閾値以上であると判断した場合には、処理がステップＳ６０５に分岐する。

特徴領域の画素値の差異が所定の閾値以上である場合には（ｙｅｓ）、処理がステップＳ６０５に分岐する。ステップＳ６０５では、制御部３００は、画像フレームに変化が有ると判断し、ステップＳ６０７で処理が終了する。一方、特徴領域の画素値の差異が所定の閾値より小さい場合には（ｎｏ）、処理がステップＳ６０６に分岐する。ステップＳ６０６では、制御部３００は、画像フレームに変化が無いと判断し、ステップＳ６０７で処理が終了する。

図７は、図５に示すＳ５１１の処理の詳細を示すフローチャートである。以下、図７を参照して、制御部３００が、背景画像が切り替わるか否か判断する処理について説明する。

図７に示す処理は、ステップＳ７００から開始し、ステップＳ７０１で制御部３００が、ステップＳ５１０で変化が有ると判断した比較対象の２つの画像フレームのカウンタ値の差異を算出する。ステップＳ７０２では、制御部３００は、カウンタ値の差異が所定の閾値以上であるか否か判断する。例えば、フレームレートが６０ｆｐｓで同一の背景画像が２秒以上表示されている場合にスナップショット画像を生成するためには、当該閾値を１２０（＝６０ｆｐｓ×２秒）とする。ユーザは、任意の値を閾値として採用することができる。

カウンタ値の差異が所定の閾値以上である場合には（ｙｅｓ）、処理がステップＳ７０３に分岐する。ステップＳ７０３では、制御部３００は、表示部１１２に表示されているコンテンツは動画ではないと判断し、ステップＳ７０５で処理が終了する。一方、カウンタ値の差異が所定の閾値より小さいと判断した場合には（ｎｏ）、処理がステップＳ７０４に分岐する。ステップＳ７０４では、制御部３００は、表示部１１２に表示されているコンテンツは動画であると判断し、ステップＳ７０５で処理が終了する。

図８は、特徴領域の更新処理を示すフローチャートである。以下、図８を参照して、新たな描画画像が生成された場合に、特徴領域を更新する処理について説明する。

図８（ａ）に示す処理は、描画生成部２１６が描画画像を生成または削除することにより、ステップＳ８００から開始する。ステップＳ８０１では、描画生成部２１６は、残存する総ての描画画像の種類を判断する。

本実施形態では、描画画像の隣接する画素の座標が経時間的に増加または減少する場合には、描画画像の種類が「線」であると判断し、それ以外の場合には「オブジェクト」と判断する。例えば、描画画像を構成する２つの隣接画素のｘ座標およびｙ座標が（１１２，２３４）および（１２３，７８）である場合、ｘ座標は値が増加し、ｙ座標は値が減少しているため、描画生成部２１６は、描画画像の種類が「線」であると判断する。また、描画画像を構成する３つの隣接画素のｘ座標およびｙ座標が（１１２，２３４）、（１２３，７８）および（１４６，１１３）である場合には、ｙ座標は値が減少および増加しているため、描画生成部２１６は、描画画像の種類が「オブジェクト」であると判断する。

ステップＳ８０２では、描画生成部２１６は、描画画像の識別情報、描画画像の種類、描画画像の座標情報、描画画像の色情報および描画画像の付加情報等を含む描画情報をＲＡＭ２０４の所定の記憶領域に保存する。

図９は、描画情報の一実施形態を示す図である。図９に示すデータ構造体９００には、描画画像の種類が「線」である場合の描画情報が格納される。データ構造体９１０には、描画画像の種類が「オブジェクト」である場合の描画情報が格納される。描画画像の種類が「線」であるデータ構造体９００には、描画情報の付加情報９２０が格納されるメモリアドレスが保存される。描画情報の付加情報９２０は、描画画像の起点、中心および終点の座標情報で構成される。

ステップＳ８０３では、描画生成部２１６は、レイアウト管理部２１４の特徴領域決定部３０６に対して特徴領域の更新を指示し、ステップＳ８０４で処理が終了する。

図８（ｂ）に示す処理は、特徴領域決定部３０６が、描画生成部２１６から特徴領域の更新指示を受信することにより、ステップＳ８０５から開始する。ステップＳ８０６では、特徴領域決定部３０６は、描画生成部２１６に描画情報を要求し、描画情報を取得する。ステップＳ８０７では、特徴領域決定部３０６は、描画情報を用いて特徴領域を決定し、当該特徴領域の座標情報を生成する。ステップＳ８０８では、特徴領域決定部３０６は、特徴領域の座標情報をＲＡＭ２０４の所定の記憶領域に保存し、ステップＳ８０９で処理が終了する。

図１０は、本発明の画像処理装置が表示するＧＵＩ画面の一実施形態を示す図である。画面１０００には、スナップショット画像のサムネイル１０１０と、描画画像の色選択やスナップショット画像の指示等を行うためのＧＵＩ１０２０とが含まれる。スナップショット画像のサムネイル１０１０には、画像処理装置１１０ａ，１１０ｂが生成したスナップショット画像が生成順に表示される。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。上述した実施形態では、ネットワーク１１４を介して複数の画像処理装置が通信可能に接続されるが、他の実施形態では、画像処理装置１１０ａをネットワーク１１４に接続せず、スタンドアローンで使用してもよい。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理システム、１１０ａ，１１０ｂ…画像処理装置、１１２…表示部、１１４…ネットワーク、１２４…ケーブル、１３０ａ，１３０ｂ，１３０ｃ，１３０ｄ…ユーザＰＣ

特開２０１２−１６８４５０号公報 特許第４６２７７８１号公報

Claims (9)

1. 表示装置に画像を表示させる画像処理装置であって、
   前記表示装置に表示されている背景画像の特徴領域と、前記表示装置に表示されるべき背景画像の特徴領域とを比較して、背景画像の切り替わりの有無を判断し、
   背景画像の切り替わりが行われたと判断した場合に、比較した各背景画像の画像フレームを計数するカウンタ値の差異が、所定の閾値以上であるかによって、前記背景画像が動画であるかを判断する、判断手段と、
   前記判断手段が背景画像の切り替わりが行われたと判断し、かつ前記背景画像が動画ではないと判断した場合に、前記表示装置に表示されている画像を記憶装置に保存する保存手段と
   を備える、画像処理装置。
2. 前記保存手段は、前記表示装置に表示されている背景画像と描画画像とを合成した合成画像を保存する、
   請求項１に記載の画像処理装置。
3. 前記特徴領域を決定し、当該特徴領域の座標情報を生成する特徴領域決定手段をさらに備える、請求項１または２に記載の画像処理装置。
4. 前記特徴領域決定手段は、
   前記描画画像に線が含まれる場合には、当該線上の点を含む矩形領域を前記特徴領域として決定する、
   請求項３に記載の画像処理装置。
5. 前記特徴領域決定手段は、
   前記描画画像にオブジェクトが含まれる場合には、当該オブジェクトに外接する外接矩形の中心点を含む矩形領域、および前記外接矩形の頂点を含む矩形領域を前記特徴領域として決定する、
   請求項３または４に記載の画像処理装置。
6. 表示装置に画像を表示させる画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
   前記表示装置に表示されている背景画像の特徴領域と、前記表示装置に表示されるべき背景画像の特徴領域とを比較して、背景画像の切り替わりの有無を判断するステップと、
   背景画像の切り替わりが行われたと判断した場合に、比較した各背景画像の画像フレームを計数するカウンタ値の差異が、所定の閾値以上であるかによって、前記背景画像が動画であるかを判断するステップと、
   前記判断手段が背景画像の切り替わりが行われたと判断し、かつ前記背景画像が動画ではないと判断した場合に、前記表示装置に表示されている画像を記憶装置に保存するステップと
   を含む、方法。
7. 前記保存するステップは、前記表示装置に表示されている背景画像と描画画像とを合成した合成画像を保存するステップを含む、請求項６に記載の方法。
8. 前記特徴領域を決定し、当該特徴領域の座標情報を生成するステップを含む、請求項６または７に記載の方法。
9. 請求項６〜８のいずれか１項に記載の方法を画像処理装置が実行するためのコンピュータ実行可能なプログラム。