JP4674508B2 - 情報処理システムおよび情報処理プログラム - Google Patents

Description

本発明は、情報処理システムおよび情報処理プログラムに関する。

従来、文書を検索する技術として、検索対象の文書に対して、予めその文書に含まれる文字列を切り出し、インデックスを作成することによりインデックスからその文書に対して高速にアクセスすることが出来るものが提案されている。また、文書を検索する特許文献として以下のようなものが提案されている。

特許文献１では文書に対してユーザが自由に属性を与えることができ、あとでその属性で検索しカテゴライズすることが出来るというものである。また、特許文献２では、文書を保存する際に、その文書が使用された会議に参加した参加者名や日付なども同時に記載することにより、その文書が利用された状況を記録するというものである。
特開平６−１９５３４３号公報 特開２００２−２５１４０５号公報

しかしながら、検索文書に対してインデックスを付与して文書を検索できるようにした技術では、文書に含まれる文字列を正確に憶えていない場合はこれらを含む文書を検索することが出来ない。また正確に文字列を憶えている場合でも、その文字列を含む文書が大量にある場合、多くの検索結果が提示された場合にユーザへの負担となる。

また、ミーティングで使用した文書の検索に限った場合、その文書を使用した状況でその文書を特定したい場合がある。例えば、社長に対するプレゼンテーションを行った場合の資料を検索する場合、自分と社長が参加していたこと、他のメンバーが参加していたこと、またそれぞれの人物の位置や日付、会議室等でその文書を特定できるのが好ましい。例えば、会議のコンテキスト情報として参加者や使用した文書を保存しておき、そのコンテキスト情報を閲覧することにより、会議の内容を思い出しながら詳細な情報にアクセスすることが出来る技術が提案されている（特願２００４−２７８０９６）しかし、この場合、閲覧する会議のコンテキスト情報が多くなる場合、ユーザが保する情報を探し出すのに時間がかかるという問題がある。

また、特許文献１では、特に会議に出た参加者名やその位置については触れられておらず、仮に属性として参加者名や位置を与えたとしても、その情報を見つける場合は、カテゴライズして閲覧したりしなければならないので手間がかかる。また、特許文献２では、文書を保存する際に、その文書が利用された状況を記録するようにしているが特にこれらの情報を利用して検索することについては言及されていない。

そこで、本発明は、上記問題点に鑑みてなされたもので、文書の内容を正確に覚えていなくても、文書を検索できる情報処理システムおよび情報処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理システムは、情報処理装置上で表示されている画像の切替の認識によって、空間内で使用されたスライド、テキスト文書、及びＷｅｂ文書を含む文書を、空間内で提示された文書として認識する認識部と、少なくとも前記空間内に存在する物体および前記空間内に存在する物体の位置を、前記物体に付与されたＩＤ情報を取得することによってイベント検出する検出部と、前記空間内で提示された文書と、前記検出部によって検出された前記空間内に存在する物体、及び前記空間内に存在する物体の位置とを時間とともに関連付けて記憶する記憶部と、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を検索要求として受け付ける受付部と、前記受付部で受け付けた検索要求に基づいて前記記憶部から文書を検索する検索部と、を具備する。本発明によれば、検索したい文書を使用した時の状況を再構築することによりその文書を検索することが出来るので文書の中の内容を正確に覚えていなくても検索することができる。

前記検出部は、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを検出し、前記記憶部は、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを前記空間内で使用された文書と関連付けて記憶するとよい。本発明によれば、ユーザは、空間内に存在する物体の種類、空間内に存在する物体の位置、物体が人物である場合の該人物の発話状態、物体が機器である場合の該機器の動作状況のうちの少なくとも一つを想起することにより希望の文書を得ることができる。

前記受付部は、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を指定するための手段を所定の領域に配置する形式で前記検索要求を受け付けるとよい。これにより、ユーザはイベントの情報を指定するための手段を所定の領域に配置すればよいため、ユーザの想起が支援される。前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示するための手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。これにより、ユーザは空間内の物体の位置を指示するための手段を空間のレイアウト図上に配置すればよいため、ユーザの想起が支援される。

前記受付部は、前記空間を選択する手段、前記空間において映像が撮影された日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供し、該検索画面上での操作に応じて前記検索要求を受け付ける。これにより、提供される検索画面を見ることによりユーザは想起が支援される。本発明の情報処理システムは、前記検索部により検索された文書にアクセスする情報を表示する表示部をさらに具備する。これにより、ユーザは希望の文書を閲覧することができる。前記情報処理装置上で表示されている画像の切替の認識とは、所定の空間内で使用されている情報処理装置上で表示されているスライドの切り替え、文書ファイルのオープン・クローズ、及びＷｅｂブラウザ上でのＵＲＬの切替の認識である。

本発明の情報処理プログラムは、情報処理装置上で表示されている画像の切替の認識によって、空間内で使用されたスライド、テキスト文書、及びＷｅｂ文書を含む文書を、前記空間内で提示された文書として認識する認識ステップと、少なくとも前記空間内に存在する物体および前記空間内に存在する物体の位置を、前記物体に付与されたＩＤ情報を取得することによってイベント検出する検出ステップと、前記空間内で提示された文書と、前記検出ステップで検出された前記空間内に存在する物体、及び前記空間内に存在する物体の位置を時間とともに関連付けて記憶部に記憶させる記憶ステップと、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を検索要求として受け付ける受付ステップと、前記受付ステップで受け付けた検索要求に基づいて前記記憶部から文書を検索する検索ステップと、をコンピュータに実行させる。本発明によれば、検索したい文書を使用した時の状況を再構築することによりその文書を検索することが出来るので文書の中の内容を正確に覚えていなくても検索することができる。

前記検出ステップでは、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを検出し、前記記憶ステップでは、前記記憶部に、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを前記空間内で使用された文書と関連付けて記憶させるとよい。本発明によれば、ユーザは、空間内に存在する物体の種類、空間内に存在する物体の位置、物体が人物である場合の該人物の発話状態、物体が機器である場合の該機器の動作状況のうちの少なくとも一つを想起することにより希望の文書を得ることができる。

前記受付ステップは、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を指定するための手段を所定の領域に配置する形式で前記検索要求を受け付けるとよい。これにより、ユーザはイベントの情報を指定するための手段を所定の領域に配置すればよいため、ユーザの想起が支援される。前記受付ステップは、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示するための手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。これにより、ユーザは空間内の物体の位置を指示するための手段を空間のレイアウト図上に配置すればよいため、ユーザの想起が支援される。

本発明の情報処理プログラムは、前記空間を選択する手段、前記空間において映像が撮影された日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供するステップをさらに有し、前記受付ステップは、該検索画面上での操作に応じて前記検索要求を受け付けるとよい。

本発明によれば、文書の内容を正確に覚えていなくても、文書を検索できる情報処理システムおよび情報処理プログラムを提供できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の情報処理システムの全体構成を示す図である。図１に示すように、情報処理システム１は、会議情報を記録する会議記録装置１０、会議記録装置１０で記録した会議情報を管理する情報管理装置２０および会議データベース（ＤＢ）３０を備えている。会議記録装置１０は、文書管理装置１１、人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４、機器動作特定装置１５および映像記録装置１６を備えている。以下において、物体には空間内に存在する人物、機器及び設備が含まれる。また空間として会議室を例にとって説明する。

会議記録装置１０は、会議室毎に用意されており、記録開始を指示することにより会議室内での会議の記録を開始する。また、会議記録装置１０には会議室ＩＤが割り当てられており、どの会議室の記録であるかを判断できるようになっている。文書管理装置１１は、各会議で用いられる文書を管理するものであり、空間内で提示された文書を認識する機能を有する。この文書管理装置１１は、例えばプロジェクタによって投影された文書のイメージとその投影時間をキャプチャするハードウエアやソフトウエア、また、上映されているスライド文書のファイル名と各ページのタイトルを時間とともに記録するソフトウエアやアクセスしたＵＲＬ（Uniform Resource Locator）とその時間を記録するためのソフトウエア等により構成される。より具体的には、文書管理装置１１は、プロジェクタに接続されているパーソナルコンピュータ上で表示されているスライドを監視するソフトウエアや文書ファイルのオープン・クローズを監視するソフトウエアなどで構成されている。

会議ＤＢ３０に記録する文書の種類としては、スライド（パワーポイント）やテキスト文書、Ｗｅｂ文書、ホワイトボードのキャプチャイメージ、会議中に取った写真などが考えられる。これらの文書は、提示された時間とともに、人手でイメージをキャプチャし会議ＤＢ３０に登録しても良いし、自動で登録しても良い。自動で登録する場合は、文書管理装置１１が例えば、プロジェクタに接続されているＰＣ上でスライドの切り替えや、テキスト文書のオープン、Ｗｅｂブラウザ上でのＵＲＬの切り替えなどを認識し、その都度そのパーソナルコンピュータのスクリーンやソフトウエアの画面をキャプチャすればよい。そして、その画像が提示されている間の時間とその画像を会議ＤＢ３０に登録する。また、写真やホワイトボードのイメージはそれを取得した時間に対応するレコードの行に記録する。文書の保存方法としては、キャプチャしたイメージでも良いし、文書そのものを保存しても良い。また、Ｗｅｂで管理される文書の場合は単にＵＲＬを保存しリンクをたどることによりその文書にアクセスすることが出来る。

人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４および機器動作特定装置１５は、空間内で発生するイベントを検出する検出部として機能する。以下詳細に説明する。人物位置特定装置１２は、会議室内に存在する物体である人物の存在および人物の位置をイベントとして検出する。例えば人物位置特定装置１２は、会議の最中における各参加者の会議室内での時々刻々の位置情報を特定し保存する。この人物位置特定装置１２は、例えばＩＣタグ（ＲＦＩＤタグ）を利用して会議室内での各参加者の位置を特定する。人物位置特定装置１２は、人物ＩＤを記録したＩＣタグ、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。

会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。例えば、会議室の床面には、格子状に区切られた区画の中央にリーダが埋め込まれている。この格子の対角距離は、ＩＣタグとリーダ間の通信に用いる通信方式に依存する。例えば、指向性、到達距離によって異なる。互いに干渉しないで、且つできるだけすべての床面をカバーできることが望ましい。区画毎に配設されたリーダは、各自の読み取り可能範囲に存在するＩＣタグから人物ＩＤを読み取る。複数のリーダによって読み取られＩＣタグがある場合もある。読み取られた人物ＩＤは、読み取った読取装置を示す読取装置ＩＤとともに情報管理装置２０へ送られる。

また、位置の認識方法としてリーダを机に設置するようにしてもよい。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置を認識できる。各リーダにリーダＩＤを割り当てることにより、リーダＩＤから机のどの位置に存在したのかが分かる。上記の格子状に配置したリーダと組み合わせて使用することもできる。

機器位置特定装置１３は、会議室内の機器や設備の存在や機器や設備の位置を検出し保存する。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。但し、上記の人物ＩＤの代わりに機器ＩＤを記録したＩＣタグを移動する可能性のある機器や設備に付与する。機器には例えばプロジェクタ、パーソナルコンピュータなどが含まれる。設備には例えば、移動式のホワイトボード、テーブル、椅子、机などが挙げられる。

話者認識装置１４は、人物の発話状態をイベントとして検出する。この話者認識装置１４は、会議の最中に時々刻々行なわれた発言の話者を認識し保存する。話者認識装置１４は、各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を内蔵し、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持つ。上記の人物位置特定装置１２と同様に、読取装置によって人物ＩＤとともに発話フラグがオン状態であることも読み取られる。人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置２０へ転送する。

機器動作特定装置１５は、機器の動作状況をイベントとして検出する。この機器動作特定装置１５は、会議の最中に起きたスライドやその他の機材の動作を特定し保存する。機器動作特定装置１５は、会議室内に配設されているさまざまな機器の状態を監視している。例えば、プロジェクタ・ランプや照明の電源のオン／オフを監視し、その状態の変化を情報管理装置２０へ送る。映像記録装置１６は、例えばビデオカメラで構成され、記録しているビデオ画像を情報管理装置２０に送る。

情報管理装置２０は、検出したイベントの情報を検索用のインデックスとして文書管理装置１１で認識された文書の情報に対して付与する機能を有する。会議の開始と終了の処理では、記録を開始する場合、ユーザは会議記録装置１０に会議開始を指示する。情報管理装置２０は、状態が開始である場合、会議ＤＢ３０に問い合わせをし、新しい会議ＩＤを取得する。会議ＩＤと会議室の対（会議ＩＤリスト）を情報管理装置２０内に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。次に、情報管理装置２０は、会議ＤＢ３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議ＤＢ３０に送り保存する。記録を終了する場合、ユーザは会議記録装置１０に会議終了を指示する。会議記録装置１０は、会議室名と状態が終了となったことを情報管理装置２０に送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間を記録する（又は会議の時間も記録する）。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。

情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。ビデオ画像の記録のタイミングは、逐次、記録しても良いが、映像記録装置１６内のデジタル・ビデオ・テープなどに一旦保存し、会議終了後に会議ＤＢ３０に保存するようにしても良い。

会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。検出しなかった場合はオフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用する。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０に送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議ＤＢ３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。

また、機器位置検出装置１３は、機器に機器ＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、液晶プロジェクタ、照明の電源のオン・オフを監視する。オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０に送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議ＤＢ３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。

各レコードには、会議ＩＤを割り当て、開始日時、会議室名、会議時間が記載されている。また、レコード内には、ビデオ映像の他、参加者、機材などの会議又は会議室を構成する各要素に関する情報が時間軸に沿ってそれぞれ保存されている。具体的には、各参加者の会議室内での位置や、発話開始時間が時間に結び付けられて保存される。また、液晶プロジェクタやその他の会議室内に設置される機器・機材に関しては、その設置場所や動作（オン／オフ）状態が時間に結び付けられて保存される。本実施形態では、参加者の位置は格子状に配置されたリーダにより認識した結果が格納される。また、本実施形態では、１台のカメラによって撮影されたビデオ映像が保存されているが、複数台のカメラによって撮影された場合、複数のビデオ映像を保存するようにしてもよい。

図２は、会議ＤＢ３０内のデータ構造を示す図である。会議ＤＢ３０内には図２に示すようなデータが保存されているとする。会議ＤＢ３０は、会議室内で発生するイベントの情報を検索用のインデックスとして会議室で使用された文書に関連付けて記憶している。具体的には、会議ＤＢ３０は、空間内の物体の位置情報、空間内の人物の発話状態、空間内の機器の動作状況をイベントの情報として文書に関連付けて記憶している。

一つの会議につき１つのレコードが用意され、先頭に個々のミーティングを識別するための会議ＩＤ、日付、場所、メンバー、機器、時間がレコード内に記録されている。また２行目には文書の情報としてその会議で使用された文書が格納されているＷｅｂのＵＲＬが記載されている。この例ではカンマで区切られて３つの文書がリストされている。それ以降は、動作状態がイベントの情報として記述されている。動作状態は、秒毎の各参加者の位置情報と参加者の発話状態および機器や設備の位置情報と機器の動作状況が記録されている。例えば、
00:00:01|A:132|C:000|G:056|Z:035;
の場合は会議開始１秒後、人物Ａが発話しており（１で示す）、部屋を矩形状のブロックに区切った場合のＸ軸方向に３、Ｙ軸方向に２の位置にいることを示す。人物Ｃについてはまだ参加していないことを示す。人物Ｇについても発話していない（０で示す）状態で、Ｘ軸方向５、Ｙ軸方向６の位置にいることを示す。また機器Ｚに関しては、電源状態はオフ（０で示す）、Ｘ＝３、Ｙ＝５の位置にあることを示している。

図３は、本発明の実施形態に係る情報処理部４０の構成を示す図である。図３に示すように、情報処理部４０は、検索要求受付部４１、会議室人物ＤＢ４２、検索部４３および検索結果提示部４４を備えている。検索要求受付部４１は、文書に関連付けられたイベントの情報を検索要求として受け取るためのものである。検索要求受付部４１は、検索画面であるミニチュアＧＵＩをディスプレイ装置上に提供し、このＧＵＩ上での操作に応じてイベントの情報を検索要求として受け付ける。

会議室人物ＤＢ４２は、会議室と参加者に関する情報を保持する。会議室人物ＤＢ４２には、参加者となりえる人物の名前、ＩＤ、顔写真、および各会議室のレイアウト図などが格納されており、以下で述べるように検索要求受付部４１のＧＵＩ上に反映される。会議室人物ＤＢ４２の情報は、手動で入力することが出来る。例えば、新入社員が新規に配属された場合、その名前、ＩＤ、写真を会議室人物ＤＢ４２へ格納する。また、会議室が新設された場合は、その部屋名とレイアウト図を会議室人物ＤＢ４２へ登録する。検索部４３は、検索要求受付部４１で受け付けた検索要求に基づいて会議ＤＢ３０を検索する。検索結果提示部４４は、検索部４３による検索結果をディスプレイ装置上に表示する。たとえば、検索結果提示部４４は、検索部４３により検索された文書にアクセスする情報をディスプレイ装置上に表示する。

ここで、情報処理システム１の処理の概要を説明する。情報処理システム１では、会議で使用された文書を検索するための新しい手法を提供する。具体的には情報処理システム１は、ミニチュアＧＵＩを使って検索したい文書を利用したシーンを再構成することにより、その手がかりに合致したシーンに使用された文書を検索することができる。手がかりであるイベント情報として、会議室、参加者や物の位置、誰の発話、発話の順序、使用した機器がある。会議が行われている間、会議中に使用された文書を記録するとともに、これらの手がかりも一緒に記録する。

会議が終了しある時間が経った後、ある参加者がこの会議で使用された文書を検索したいと思ったとき、文書が使用されたシーンの手がかりを思い浮かべ、ミニチュアＧＵＩを通してシステムに手がかりとして与える。ミニチュアＧＵＩは、会議室の見取り図として構成され、参加者のアイコンを自由にその見取り図上に配置できるようになっている。例えば、人物Ａが「社長に対するプレゼンテーションで使用した資料をもう一度見直したい」とする。人物Ａは、このシーンを再現する手がかりとして、そのシーンが起こった会議室、自分（人物Ａ）が座っていた位置、社長の座っていた位置を思い出すことが出来たとする。

人物Ａは、この思い浮かべた内容を手がかりとしてシステムに与える。まず、会議室を覚えているので、会議室名を手がかりとしてシステムに与えることにより、その会議室の見取り図を取り出すことができる。次に、自分（人物Ａ）が座っていた位置を覚えているので、その見取り図上に、自分を示すアイコンを配置する。次に社長が座った位置も覚えているので社長を示すアイコンを配置する。
情報処理システム１は、以上の参加者アイコンの配置をＧＵＩから読み取り、その配置に合致したシーンで利用された文書をユーザに提示する。このように情報処理システム１は、そのシーンに合致したシーンに使用されていた文書を提示するので、複数の会議のコンテキスト情報を見比べる必要がなくなる。また、検索要求としてミニチュアを利用してシーンを構成することができるので、位置情報や発話の順序など自然な方法で指示することができる。

図４は、検索要求受付部４１が提供するミニチュアＧＵＩを示す図である。検索要求受付部４１は、図４のようなＧＵＩ５０を備える。検索要求受付部４１は、ＧＵＩ５０上に、空間を選択する手段としての会議室を選択するためのボタン群１００、映像の撮影日付を選択する手段としての会議の行われた時期を選択するためのカレンダー１１０、空間内の人物を指定する領域としての参加者を指定するための参加者エリア１２０、人物を示すアイコンを表示する人物エリア１３０、ボタン群１００のあるボタンが選択された場合にその会議室の見取り図を表示する領域としての会議室表示エリア１４０、人物の発話状態を指示する手段としての発話を指示するための発話ボタン１５０、ＧＵＩを初期状態に戻すためのリセットボタン１６０、会議中の経過時間を指示する時間スクロールバー１７０を提供する。

ボタン１００は、実際の会議室のレイアウトをサムネイル化したものでも良い。これにより、部屋を選択するときに番号のみでなく、部屋のレイアウトも参考に選択することが出来る。人物エリア１３０には各個人を示す人物アイコンＡ〜Ｄが表示される。人物アイコンＡ〜Ｄ上には人物の顔写真が表示されても良い。人物アイコンＡ〜Ｄの下には個人の名前が付与される。名前が「だれか」となっている人物アイコンは、特定の人物を示さない人物アイコンである。ユーザがＧＵＩ５０上で人物アイコン等を操作すると、検索要求受付部４１は、その操作を検索クエリとして発行する。

次に情報処理部４０による検索処理の手順を示す。図５は、検索要求受付部４１が提供するＧＵＩ２００を示す図である。図６は、本発明の第１実施形態に係る情報処理部４０全体の処理フローチャートである。図７は、本発明の第１実施形態に係る検索部４３の処理フローチャートである。検索したいシーンの手がかりとして、例えば、
・参加者が特定できる場合
・会議室が特定できる場合
・日時が特定できる場合
・発話者が特定できる場合
・参加者の位置が特定できる場合
・会議中の時間的位置が特定できる場合
を利用することが出来る。

ここでは、検索例として、人物Ａおよび人物Ｃが参加していた会議で使用された文書を検索する。図５に示すように人物エリアから参加者エリア１２０に人物Ａおよび人物Ｃのアイコンを移動させる。検索要求受付部４１は、ＧＵＩ２００上で変化を監視し（図６のステップＳ１００）、変化がおこるごとに検索要求を発行する（図６のステップＳ２００）。人物Ａ，Ｃが参加者エリア１２０に移動された状態で発行される検索要求は以下のようになる。
・検索クエリ：参加者：人物Ａ、人物Ｃ

検索部４３は、検索要求を受け取り、会議ＤＢ３０に対して検索を行なう（図６のステップＳ３００）。検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（図７のステップＳ３１０）。ここでは、検索部４３は、会議ＤＢ３０内の各レコードの先頭行のメンバー欄に人物Ａと人物Ｃが含まれるレコードを検索する。この場合ＩＤが００１６のレコードが該当する。次に、検索部４３は、該当レコードがある場合は時間、参加者の位置、発話状態、機器の位置、機器の動作状態がシーンで指定されているかを調べる（ステップＳ３２０）。ここでは、検索部４３は、本クエリでは参加者の指定だけで、位置や発話などの指定はないので各会議の詳細検索は行わない。

検索部４３は、該当するレコードの属性情報と文書情報を検索結果とする（ステップＳ３５０）。ここでは、検索部４３は、該当するＩＤの先頭の行をおよび文書欄を調べ、そこにリストされる文書のリンクを取得する。次に検索部４３は、取得した先頭の行と文書のリンクを検索結果提示部４４に送る。検索結果提示部４４は、会議ＩＤ、日付、場所、参加者、機器、時間と文書のリンクを受け取り、図８に示すようにユーザに対して提示する（図６のステップＳ４００）。

図８は、検索結果表示部４４が提供するＧＵＩ１４０を示す図である。図８において符号１４１は属性情報表示エリア、１４２は文書リンクエリアを示す。ユーザは文書のリンクをクリックすることにより、Ｗｅｂ上に登録されている文書にアクセスすることが出来る。図９は、検索結果表示部４４が提供するＧＵＩ１の他の例を示す図である。参照符号２４１は属性情報を示す。図９のように、ＧＵＩ２４０は、リンク名をそのまま提示するのではなく、文書の拡張子から文書タイプを求め、それに対応するアイコン２４２Ａ〜２４２Ｃを提示したり、実際にその文書にアクセスしその文書の先頭部分をサムネイル化して提示したりしても良い。スライド文書のようにページの概念がある場合は各ページをサムネイル化しても良い。この場合、そのアイコン２４２Ａ〜２４２Ｃまたはサムネイルをクリックすることによりその文書にアクセスすることが出来る。

次は、会議室を特定することにより文書を検索する場合の例について説明する。図１０は、検索要求受付部４１が提供するＧＵＩ２５０を示す図である。図１１は、人物Ａおよび人物Ｃのアイコンを配置させた場合のＧＵＩ２５０を示す図である。ここでは、検索要求受付部４１は、空間のレイアウト図をＧＵＩ２５０上に提供すると共に、空間内の物体である人物や機器の位置を指示するための手段を空間のレイアウト図上に配置する形式で検索要求を受け付ける。また人物のアイコンが空間内の物体の位置を指示するための手段である。

ユーザが文書を検索する際に使用した会議室が特定できる場合は、その会議室名のボタン１００を押下する。すると、検索要求受付部４４は、その会議室のレイアウトが会議室レイアウトエリア１４０に指定した会議室のレイアウト（空間のレイアウト図）が表示される。このとき、検索要求受付部４１は、次のような検索要求を発行する。
・検索クエリ：会議室：１２会議室

検索部４３は、この要求を受け取り、１２会議室で行われている会議を検索する（図６の３００）。検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（ステップＳ３１０）。検索部４３が、図２に示した会議ＤＢ３０を検索する場合、各レコードの先頭部分の場所欄に会議室１２が含まれるレコードを検索する。この場合ＩＤが００１５のレコードが該当する。

次に、検索部４３は、時間、参加者の位置、発話状態、機器の位置、動作状態がシーンで指定されているかを調べる（ステップＳ３２０）。ここでは、検索部４３は、本クエリでは会議室の指定だけで、位置や発話などの指定はないので各会議の詳細検索は行わない。検索部４３は、該当するレコードの属性情報と文書情報を検索結果とする（ステップＳ３５０）。ここでは、検索部４３は、該当するＩＤの先頭の行をおよび文書欄を調べ、そこにリストされる文書のリンクを取得する。次に検索部４３は、取得した先頭の行と文書のリンクを検索結果提示部４４に送る。検索結果提示部４４は、同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のリンクまたはアイコン、サムネイルを提示する（図６のステップＳ４００）。

次は、日付を特定することにより文書を検索する場合の例である。ユーザが文書を検索する際に日付が特定できる場合は、カレンダー１１０上の該当する日付に対してマーキングを行なう。マーキングはマウスなどで日付上をクリックまたはドラッグすることにより行なう。たとえば、２００５年２月９，１０，１１日にマーキングをした場合、検索要求受付部４１は次のような検索要求を発行する。
・検索クエリ：日付：２００５年２月９日、２００５年２月１０日、２００５年２月１１日

検索部４３は、この検索要求を受け取り、この日に行われた会議を会議ＤＢ３０から検索する。検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（ステップＳ３１０）。ここでは、検索部４３が、図２に示す会議ＤＢ３０を検索する場合、各レコードの先頭部分の場所欄に該当する日付が含まれるレコードを検索する。この場合ＩＤが００１４のレコードが該当する。検索部４３は、時間、参加者の位置、発話状態、機器の位置、動作状態がシーンで指定されているかを調べる（ステップＳ３２０）。ここでは、検索部４３は、本クエリでは日付の指定だけで、位置や発話などの指定はないので各会議の詳細検索は行わない。

検索部４３は、該当するレコードの属性情報と文書情報を検索結果とする（ステップＳ３５０）ここでは、検索部４３は、該当するＩＤの先頭の行をおよび文書欄を調べ、そこにリストされる文書のリンクを取得する。次に検索部４３は、取得した先頭の行と文書のリンクを検索結果提示部４４に送る。検索結果提示部４４は、同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のリンクまたはアイコン、サムネイルを提示する（図６のステップＳ４００）。

参加者の位置が特定できる場合は、まず会議室選択エリアの会議室選択ボタン１００で会議室を選択する。すると、検索要求受付部４１は、会議室人物ＤＢ４２へアクセスしてその会議室の平面図がその下の会議室表示部１４０に表示する。この例では、１２会議室が選ばれている。図１１に示すように、次に検索者は、人物Ａの座っていた位置や、人物Ｃが立っていた位置を思い出し、人物アイコンをマウス等でその位置に配置する。このとき、検索要求受付部４１は、次のような検索要求を発行する。
・検索クエリ：会議室：１２会議室
参加者：人物Ａ、人物Ｃ
位置：人物Ａ：Ｘ＝３：Ｙ＝１、人物Ｃ：Ｘ＝６：Ｙ＝５

検索部４３は、この検索要求を受け取り、会議ＤＢ３０内を検索する。図１２は、このときに検索対象となる会議ＤＢ３０のデータ構造を示す図である。図２の会議ＤＢ３０との違いは、秒毎に閲覧されている文書のページやスライドのタイトルなどが付与されている点である。各ページまたはスライドに対して閲覧されるごとにイメージを取得しそのイメージに対してイメージＩＤが振られる。そのイメージＩＤは閲覧されている時間帯に対して各レコードの閲覧されている時間に表示される。取得されたイメージは会議ＤＢ３０内に保存されるものとする。

これらは、手動で画面をキャプチャしイメージを取得して、そのイメージに対してイメージＩＤを付与し、その画面が表示されていた時間帯にイメージＩＤを入力してもよいし、また、自動で行なう場合は、スライドチェンジのタイミングを取得し、その都度、切り替わったスライドをキャプチャしイメージを取得してもよい。また、Ｗｅｂを見る場合などは、Ｗｅｂ上での遷移、例えば参照しているＵＲＬが変更されるごとに、表示されているＷｅｂ文書をキャプチャし、イメージを取得してもよい。また、Ｗｅｂ上の文書を閲覧する場合はキャプチャしたイメージでなく、その文書のＵＲＬそのものを入力しても良い。

図１２の会議ＩＤ００１９のレコードでは、イメージＩＤ１０３４が付与されたスライドが会議開始後の４秒から６秒まで提示されたことを示し、７秒目にイメージＩＤ１０３５のスライドに切り替わったことを示している。検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（ステップＳ３１０）。ここでは、検索部４３は、この検索要求を受け取り、まず、人物Ａ，Ｃが参加した会議を検索する。検索部４３は、図１２の会議ＤＢ３０を検索する場合、各レコードの先頭部分の場所欄に該当する人物Ａ，Ｃが含まれるレコードを検索する。この場合ＩＤが００１９のレコードが該当する。

検索部４３は、該当されたレコードに対して詳細を検索する（ステップＳ３３０）。ここでは、検索部４３は、本クエリでは参加者の位置を指定しているので、各会議情報の詳細検索を行なう。検索部４３は、人物Ａの位置がＸ＝３、Ｙ＝１、人物Ｃの位置がＸ＝６、Ｙ＝５と指定されているので、これらの条件に該当する行を検索する。図１２に示した会議ＤＢ３０の場合、ＩＤ００１９のレコードが該当しその動作状態の
00:00:07|A:031|C:065|G:044|Z:135|イメージ１０３５;
が該当する。

検索部４３は、該当した行の末尾に記述されているイメージＩＤ１０３５を取得する。検索部４３は、更に、イメージＩＤ１０３５で示されるイメージを会議ＤＢ３０に要求し取得する。検索部４３は、該当するＩＤの先頭の行を取得する。次に検索部４３は、該当するレコードの属性情報と該当する時間およびその時間の文書情報を検索結果とする（ステップ３６０）。ここでは、検索部４３は、取得した先頭の行と取得したイメージを検索結果提示部４４に送る。検索結果提示部４４は同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のイメージのサムネイルを作成し提示する（図６のステップＳ４００）。イメージのオリジナルは保存しておく。ユーザがサムネイルをクリックした場合、検索結果提示部４４はそのサムネイルのオリジナルを表示する。以上の様に、参加者の位置を指定した場合は、その位置にいた時間に閲覧した文書が結び付けられて保存されているので、会議の中の個々の文書を検索することが出来る。

次に、参加者が特定できる場合の例について説明する。図１３は、検索要求受付部４１が提供するＧＵＩ３５０を示す図である。参加者の発話状態が特定できる場合は、図１３のように発話者を指定する。図１３では人物Ａが発話しているということを表している。発話状態を指定するには発話ボタン１５０を一度押下してその後で、人物Ａをクリックする。このようにすることで人物Ａが発話していたときに定時されていた文書を検索することが出来る。検索要求受付部４１は以下のような検索要求を発行する。
・検索クエリ：参加者：人物Ａ、人物Ｃ
発話者：人物Ａ

検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（ステップＳ３１０）。ここでは、検索部４３は、検索要求受付部４１からの検索要求を受け取り、まず、人物Ａ，Ｃが参加した会議を検索する。検索部４３は、図１２の会議ＤＢ３０を検索する場合、各レコードの先頭部分の場所欄に該当する人物Ａ，Ｃが含まれるレコードを検索する。この場合ＩＤが００１９のレコードが該当する。検索部４３は、該当するレコードに対して詳細を検索する（ステップＳ３３０）。ここでは、検索部４３は、本クエリでは参加者の発話を指定しているので、各会議情報の詳細検索を行なう。この例では、検索部４３は、該当したレコードの人物Ａの発話状態を調べる。具体的には検索部４３は、以下の行を検索する。
・00:00:00|A:132|C:066|G:000|Z:035;
・00:00:01|A:132|C:066|G:056|Z:035;
・00:00:04|A:132|C:065|G:055|Z:035|イメージ１０３４;
・00:00:05|A:132|C:065|G:055|Z:035|イメージ１０３４;

そして、検索部４３は、該当した行の末尾に記述されているイメージＩＤを取得する。この場合、検索部４３は、始めの２行については記述されていないので何も取得しない。検索部４３は、次の２行に関しては、イメージＩＤ１０３４を取得する。この場合、検索部４３は、同じＩＤなのでイメージＩＤ１０３４のみとする。検索部４３は、更に、イメージＩＤ１０３４で示されるイメージを会議ＤＢ３０に要求し取得する。検索部４３は、該当するＩＤの先頭の行を取得する。検索部４３は、該当するレコードの属性情報と該当する時間およびその時間の文書情報を検索結果とする（ステップＳ３６０）。ここでは、検索部４３は、取得した先頭の行と取得したイメージを検索結果提示部４４に送る。

検索結果提示部４４は、同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のイメージのサムネイルを作成し提示する（図６のステップＳ４００）。イメージのオリジナルは保存しておく。ユーザがサムネイルをクリックした場合、検索結果提示部４４はそのサムネイルのオリジナルを表示する。

次の例では会議中の経過時間を特定することにより文書を検索する例である。図１４は、検索要求受付部４１が提供するＧＵＩ４５０を示す図である。ユーザが文書を検索する際にその会議のどのくらいの時間が経過したときに使用した文書であるか特定できる場合は、スライダバー１７０上の２つのノブ１７１、１７２の位置を利用して時間を特定する。スライダーの右端が経過時間０％（開始時）、左端が１００％（終了時）である。例えば、会議が始まってすぐに閲覧した資料を検索する場合、図１４のように２つのノブ１７１、１７２をセットする。検索部４３は、次のような検索要求を発行する。
・検索クエリ：経過時間：０−１０％

検索部４３は、この検索要求を受け取り、会議時間のはじめから０−１０％に提示された文書を検索する（ステップＳ３０１）。検索部４３は、図１６の会議ＤＢを検索する場合、各レコードの先頭の時間の欄を取得する（ステップＳ３１５）。
例えば会議ＩＤ００１９の場合は
・11:06:42-12:07:43
となる。

検索部４３は、会議の時間から時間長を求め、クエリに指定された時間（％）に該当する時間帯を求め（ステップＳ３２５）、各レコードの属性情報と該当する時間およびその時間の文書情報を検索結果とする（ステップＳ３７０）。具体的には、まず、検索部４３は、この会議の時間から会議の時間長を求める。この場合、３６６１秒となる。検索部４３は、この時間のはじめから０％から１０％までの時間を計算する。この場合、０秒から３６６秒となる。このようにして検索部４３は、全てのレコードから０％から１０％までの時間を求める。

次に検索部４３は、求めた時間に対応する時間帯に閲覧された文書を検索する。ＩＤ００１９の会議の場合、イメージＩＤ１０３４、１０３５が検索される。検索部４３は、更に、イメージＩＤ１０３４、１０３５で示されるイメージを会議ＤＢ３０に要求し取得する。検索部４３は、該当するＩＤの先頭の行を取得する。次に検索部４３は、取得した先頭の行と取得したイメージを検索結果提示部４４に送る。検索結果表示部４４は、同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のイメージのサムネイルを作成し提示する（図６のステップＳ４００）。イメージのオリジナルは保存しておく。ユーザがサムネイルをクリックした場合、検索結果提示部４４はそのサムネイルのオリジナルを表示する。

次の例は、会議室のレイアウトが思い出せない場合でも、自分の周りにいた人や物など断片的なシーンを構成することにより文書を検索する例である。図１５は、検索要求受付部４１が提供するＧＵＩ５５０を示す図である。ここでは、検索要求受付部４１がイベントの情報を指定するための手段を所定の領域であるシーンエリア１９１に配置する形式で検索要求を受け付ける。人物アイコンがイベントの情報を指定するための手段である。

図１５では上記ＧＵＩと異なりシーンボタン１９０が追加されている。ユーザはある文書を検索する場合に、その文書を使用した会議室の名前やレイアウトは思い出せないが自分（人物Ａ）の周りに人物Ｂ，人物Ｃがいたことを憶えているとする。図１５に示すように、シーンボタン１９０を押下することにより、検索要求受付部４１は、シーンエリア１９１を生成する。ユーザは、シーンエリア１９１に人物Ａ，Ｂ，Ｃを順にドラッグする。検索要求受付部４１は、次のような検索要求を発行する。
・検索クエリ：シーン１：人物Ａ、人物Ｂ、人物Ｃ

検索部４３は、この要求を受け取り、人物Ａ，Ｂ，Ｃが隣接して参加した会議で使用された文書を検索する。図１６は、このときの会議ＤＢ３０のデータ構造を示す図である。検索部４３は、参加者、日付、場所、機器などクエリで指定された事柄を含むレコードを検索する（ステップＳ３１０）。ここでは、検索部４３は、検索要求に含まれる人物Ａ，Ｂ，Ｃを含むレコードを検索する。この場合、ＩＤ００２２が該当する。このとき、検索部４３は、検索要求に含まれる参加者および機器類が各会議レコードの参加者および設備・機器の項目のマッチングを取る。検索部４３は、結果として該当するレコードの会議ＩＤを得る。例えば、ここでは、シーン１として人物Ａ，Ｂ，Ｃが指定されているので、検索部４３は、これらを参加者として含む会議を検索する。ここでは会議ＩＤ００２２の会議ＩＤが検索される。

図１７および図１８は、検索部４３が行なう隣接判定を説明するための図である。検索部４３は、参加者が複数人指定されている場合は指定された参加者同士が隣接するブロックに存在するか毎秒事に判定を行なう。まず、検索部４３は、検索された会議ＩＤの動作状態の欄を指定された参加者が隣接するブロックに存在するか否かを検索する。検索部４３は、該当する会議ＩＤのすべての時間に対して以下の作業を行なう。

（１）検索部４３は、一人目の参加者（または機器）について位置情報を取得する。そして、検索部４３は、取得した位置情報にもとづいて、隣接するブロックを求める。この例では、検索部４３は、まず人物Ａの位置情報を取得する。たとえば、会議ＩＤ００２２について人物Ａがある時間、例えば００：００：０５秒に（Ｘ、Ｙ）＝（３，２）にいた場合、Ｘの値を±１、Ｙの値を±１した全てのブロックを求める。この場合、検索部４３は、図１７に示すように、隣接ブロック（３，２）＝（２，１）（３，１）（４，１）（２，２）（４，２）（２，３）（３，３）（４，３）の８個の隣接ブロックを得ることが出来る。

（２）次に、検索部４３は、隣接ブロックに指定された他の参加者が含まれるか判定する。検索部４３は、隣接ブロックに指定された他の参加者が含まれる場合はその参加者の隣接ブロックを求め既存の隣接ブロックに足す。ここではまず、検索部４３は、人物Ａの隣接ブロックに他の参加者が含まれるか判定する。００：００：００秒の場合、0人物Ａの隣接ブロックには人物ＢもＣも含まれない。検索部４３は、参加者全員が隣接ブロックに含まれていない場合は次の時間に対し（１）にもどり処理を行なう。００：００：０１秒においては、人物Ｃが（３，１）に存在するので隣接ブロックに含まれる。

次に検索部４３は、図１８に示すように、人物Ｃの隣接ブロックを求め既存の隣接ブロックに足す。さらに、検索部４３は、足しあわされた図１８に示すブロックに指定された他の参加者が含まれるか調べる。この場合、人物Ｂは、（０，０）で会議に参加していないため含まれない。検索部４３は、参加者全員が隣接ブロックに含まれていない場合は次の時間に対し（１）に戻り処理を行なう。００：００：０４秒においては人物Ａの隣接ブロックに人物Ｃおよび人物Ｂも含まれる。検索部４３は、上記の（１），（２）の作業を該当した会議ＩＤの全ての時間に対して行なう。検索部４３は、全ての時間に対して判定が終了したら、該当するＩＤの先頭の行をおよび文書欄にリストされる文書のリンクを取得する。次に検索部４３は、取得した先頭の行と文書のリンクを検索結果提示部４４に送る。

別の例として、会議ＤＢ３０が図１２に示すように、時間単位で使用された文書やスライドが管理されている場合、該当する会議ＩＤの該当する時間帯のイメージＩＤを取得し、そのイメージＩＤで示されるイメージを取得し検索結果表示部４４に渡す。検索結果提示部４４は、同様に、会議ＩＤ、会議室、日付、参加者、時間などの会議情報とともに、検索された文書のリンクまたはアイコン、サムネイルを提示する（図６のステップＳ４００）。

上述したすべての例では、個々の手掛かりを利用した検索例を示したが、それぞれの検索の手掛かりを同時に指定しても良い。例えば、参加者の位置を示すとともに、話者も指定して、かつ日付を指定することも考えられる。この様に手掛かりが複数指定された場合は、検索部４３は、それら全ての条件を満足するようにＡＮＤ検索を行なう。この場合、検索部４３は、指定された日付に行なわれたレコードを検索し、そのレコードの中から指定された参加者が指定された位置にいて、かつ発話状態である行を探してくる。そして検索部４３は、その行の末尾にイメージＩＤが記述されている場合は、そのイメージＩＤに対応するイメージを取得し、検索結果提示部４４に送ればよい。

以上の説明に加え、例えば参加者の代わりに、機器などを検索に利用しても良い。機器や設備の位置は上述した機器位置特定装置１３により特定され、情報管理装置２０により会議ＤＢ３０に記録しておく。また、発話の記録の代わりに機器の電源状態は機器動作特定装置１５により特定され、情報管理装置２０により会議ＤＢ３０に記録される。

なお、上記実施形態では、空間の例として会議室を例にとって説明したが、本発明はこれに限定されることなく、様々な空間が含まれる。会議ＤＢ３０や情報処理部４０は、ネットワークを介して接続されているユーザに対して上記処理を行なうようにしてもよい。また、イベントを検出する検出部の例として、図１では人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４および機器動作特定装置１５を示したが本発明はこれらに限定されることなく、空間内で発生するイベントを検出するものであればいずれのものも本発明に含まれる。なお、人物や機器などの物体と特定する手段に画像処理技術や音声認識技術を用いるようにしてもよい。

上記実施形態では、人物位置特定装置１２および機器位置特定装置１３は、無線ＩＣタグを移動物に付与し、予め壁や床に埋め込まれたリーダにより電波をキャッチし、タグの位置を推定する技術を用いた例について説明したが、例えば超音波を発するタグを移動物に付与し、予め壁に埋め込まれたリーダにより超音波をキャッチし、その伝播状況からタグの位置を推定する技術を用いたり、マイクロフォンアレーを用いて話者の位置を特定するようにしてもよい。また、機器動作特定装置１５は、電圧の変動を監視することにより機器の動作状態を監視するようにしてもよい。なお、文書に関連付けるイベント情報については、手動により入力しても良いし、各種センサーやソフトウエアなどによってイベントを監視しても良い。

上記実施形態では、検索結果提示部４４は、ディスプレイ装置上に検索結果を表示する例について説明したが、本発明はこれに限定されることなく、例えば検索部４３による検索結果をプリンタから用紙に印字するようにしてもよいし、電子メールを利用して検索結果を利用者に提供してもよい。また、上記実施形態では、イベント情報を指定するの手段および空間内の物体の位置を指示するための手段の例として人物アイコンを示したが、本発明ではこれに限定されることなく、たとえば空間内に存在する機器や設備を表現したアイコンを用いるようにしてもよい。

なお、本発明による情報処理方法は、情報処理システム１又は情報処理部４０により実現される。情報処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現される。ＣＰＵが所定のプログラムを実行することで、情報処理方法の各ステップが実現される。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の情報処理システムの全体構成を示す図である。 会議ＤＢ内のデータ構造を示す図である。 本発明の実施形態に係る情報処理部の構成を示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 情報処理部の全体の処理フローチャートである。 検索部の処理フローチャートである。 検索結果表示部が提供するＧＵＩを示す図である。 検索結果表示部が提供するＧＵＩを示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 人物Ａおよび人物Ｃのアイコンを配置させた場合のＧＵＩを示す図である。 会議ＤＢのデータ構造を示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 検索要求受付部が提供するＧＵＩを示す図である。 会議ＤＢのデータ構造を示す図である。 検索部が行なう隣接判定を説明するための図である。 検索部が行なう隣接判定を説明するための図である。

符号の説明

１ 情報処理システム ２０ 情報管理装置
１０ 会議記録装置 ３０ 会議データベース
１１ 文書管理装置 ４０ 情報処理部
１２ 人物位置特定装置 ４１ 検索要求受付部
１３ 機器位置特定装置 ４２ 会議室人物データベース
１４ 話者特定装置 ４３ 検索部
１５ 機器動作特定装置 ４４ 検索結果提示部
１６ 映像記録装置

Claims (12)

1. 情報処理装置上で表示されている画像の切替の認識によって、空間内で使用されたスライド、テキスト文書、及びＷｅｂ文書を含む文書を、空間内で提示された文書として認識する認識部と、
   少なくとも前記空間内に存在する物体および前記空間内に存在する物体の位置を、前記物体に付与されたＩＤ情報を取得することによってイベント検出する検出部と、
   前記空間内で提示された文書と、前記検出部によって検出された前記空間内に存在する物体、及び前記空間内に存在する物体の位置とを時間とともに関連付けて記憶する記憶部と、
   前記空間内に存在する物体、及び前記空間内に存在する物体の位置を検索要求として受け付ける受付部と、
   前記受付部で受け付けた検索要求に基づいて前記記憶部から文書を検索する検索部と、
   を具備することを特徴とする情報処理システム。
2. 前記検出部は、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを検出し、
   前記記憶部は、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを前記空間内で使用された文書と関連付けて記憶することを特徴とする請求項１に記載の情報処理システム。
3. 前記受付部は、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を指定するための手段を所定の領域に配置する形式で前記検索要求を受け付けることを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示するための手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項１又は２に記載の情報処理システム。
5. 前記受付部は、前記空間を選択する手段、前記空間において映像が撮影された日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供し、該検索画面上での操作に応じて前記検索要求を受け付けることを特徴とする請求項１又は２に記載の情報処理システム。
6. 前記検索部により検索された文書にアクセスする情報を表示する表示部をさらに具備することを特徴とする請求項１から５のいずれか１項に記載の情報処理システム。
7. 前記情報処理装置上で表示されている画像の切替の認識とは、所定の空間内で使用されている情報処理装置上で表示されているスライドの切り替え、文書ファイルのオープン・クローズ、及びＷｅｂブラウザ上でのＵＲＬの切替の認識であることを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。
8. 情報処理装置上で表示されている画像の切替の認識によって、空間内で使用されたスライド、テキスト文書、及びＷｅｂ文書を含む文書を、前記空間内で提示された文書として認識する認識ステップと、
   少なくとも前記空間内に存在する物体および前記空間内に存在する物体の位置を、前記物体に付与されたＩＤ情報を取得することによってイベント検出する検出ステップと、
   前記空間内で提示された文書と、前記検出ステップで検出された前記空間内に存在する物体、及び前記空間内に存在する物体の位置を時間とともに関連付けて記憶部に記憶させる記憶ステップと、
   前記空間内に存在する物体、及び前記空間内に存在する物体の位置を検索要求として受け付ける受付ステップと、
   前記受付ステップで受け付けた検索要求に基づいて前記記憶部から文書を検索する検索ステップと、
   をコンピュータに実行させることを特徴とする情報処理プログラム。
9. 前記検出ステップでは、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを検出し、
   前記記憶ステップでは、前記記憶部に、前記物体が人物である場合の該人物の発話状態、前記物体が機器である場合の該機器の動作状況のうちの少なくとも一つを前記空間内で使用された文書と関連付けて記憶させることを特徴とする請求項８に記載の情報処理プログラム。
10. 前記受付ステップは、前記空間内に存在する物体、及び前記空間内に存在する物体の位置を指定するための手段を所定の領域に配置する形式で前記検索要求を受け付けることを特徴とする請求項８又は９に記載の情報処理プログラム。
11. 前記受付ステップは、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示するための手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項８又は９に記載の情報処理プログラム。
12. 前記空間を選択する手段、前記空間において映像が撮影された日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供するステップをさらに有し、
    前記受付ステップは、該検索画面上での操作に応じて前記検索要求を受け付けることを特徴とする請求項８又は９に記載の情報処理プログラム。

Images