[go: up one dir, main page]

JP2014013494A - 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP2014013494A
JP2014013494A JP2012150556A JP2012150556A JP2014013494A JP 2014013494 A JP2014013494 A JP 2014013494A JP 2012150556 A JP2012150556 A JP 2012150556A JP 2012150556 A JP2012150556 A JP 2012150556A JP 2014013494 A JP2014013494 A JP 2014013494A
Authority
JP
Japan
Prior art keywords
information
search
unit
speaker
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012150556A
Other languages
English (en)
Inventor
Kenzo Chiaki
謙三 千秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012150556A priority Critical patent/JP2014013494A/ja
Publication of JP2014013494A publication Critical patent/JP2014013494A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】会議を円滑に進行させるための情報を発話者に提供する。
【解決手段】表示制御装置は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する結果出力処理部とを備える。
【選択図】図1

Description

本発明は、表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラムに関する。
近年、複数の発話者(参加者)が参加する会議において、この会議の話題とされている情報を複数の発話者が共有できるように、設けられた表示装置に当該情報を表示させて会議が行われる場合がある。上記のようにして行われる会議においては、複数の発話者のうちの何れかの発話者が、会議の進行に応じて変化する会議の話題に合うように、表示装置に表示させる情報を順次切り替えて表示させている。このように、共有するための情報を順次切り替えて表示装置に単に表示させただけでは、各発話者は、表示されている情報が切り替えられたことをそれぞれ認識できたとしても、表示されている情報を発話者が切り替えた編集の意図まで共有することは困難であった。
ところで、情報を編集する編集作業において、情報を切り替えた編集作業の履歴情報を記録する作業状況管理装置がある(例えば、特許文献1を参照)。
特開平7−098734号公報
しかしながら、特許文献1による作業状況管理装置は、情報を切り替える編集作業を行った編集の意図を伝える手段を有するものではない。たとえ、上記の作業状況管理装置を会議に適用しても、順次切り替えて表示する情報を切り替えた編集の意図まで共有できず、会議を円滑に進行させるための情報を発話者に提供することができないという問題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、会議を円滑に進行させるための情報を発話者に提供することができる表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラムを提供することにある。
本発明の一実施形態は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する結果出力処理部とを備えることを特徴とする表示制御装置である。
また、本発明の一実施形態は、上記発明に記載の表示制御装置を備え、前記表示制御装置は、前記第1検索情報を表示部に表示させ、前記第2検索情報を外部装置に表示させることを特徴とする表示システムである。
また、本発明の一実施形態は、上記発明に記載の表示制御装置と、前記表示制御装置から出力される前記第1検索情報を表示する表示部とを備えることを特徴とする表示装置である。
また、本発明の一実施形態は、上記発明に記載の表示制御装置と、前記第1検索情報を表示する端末表示部と、を備え、前記結果出力処理部は、前記第1検索情報を前記端末表示部に表示させることを特徴とする端末装置である。
また、本発明の一実施形態は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する過程と、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力する過程と、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する過程と、を含むことを特徴とする表示制御方法である。
また、本発明の一実施形態は、表示制御装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報をさらに出力するステップを実行させるためのプログラムである。
また、本発明の一実施形態は、表示制御装置と、前記表示制御装置が出力した情報を表示する表示部とを備える表示装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報をさらに出力するステップと、前記第1検索情報及び前記第2検索情報の何れかを前記表示部に表示させるステップと、を実行させるためのプログラムである。
また、本発明の一実施形態は、端末表示部を備えている端末装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を前記端末表示部に表示させるステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力するステップと、を実行させるためのプログラムである。
この発明によれば、会議を円滑に進行させるための情報を発話者に提供することができる。
本発明の第1の実施形態に係る表示制御装置を備える表示システムの概要を示す構成図である。 本実施形態における表示システムの利用形態の一例を示す構成図である。 本実施形態における表示部200とディスプレイ300とにおける表示の一例を示す図である。 本実施形態の表示システムの構成を示すブロック図である。 第2の実施形態における2つのディスプレイにおける表示の一例を示す図である。 第7の実施形態における特定の発話者が発言した発言内容に応じた情報を表示する場合を示す図である。 第7の実施形態における表示システムの構成を示すブロック図である。 第8の実施形態における表示制御装置を備える表示システムの概要を示す図である。 第8の実施形態における表示システムの構成を示すブロック図である。 第9の実施形態における表示部を設けた表示システムの概要を示す図である。 本発明の第10の実施形態に係る検索結果出力装置を備える会議システムの構成の一例を示す構成図である。 本実施形態における会議システムの利用形態の一例を示す構成図である。 本実施形態における会議システムの構成の一例を示すブロック図である。 本実施形態における検索手段制御装置の動作の一例を示すフローチャートである。 本実施形態における選択部の動作の一例を示すフローチャートである。 本発明の第11の実施形態に係る検索結果出力装置の構成の一例を示すブロック図である。 本実施形態における半球状に構成されたディスプレイに出力する会議システムの一例を示す構成図である。SS 第12の実施形態による検索装置の構成の一例を示す第1の図である。 本実施形態における検索装置のブロック図である。 本実施形態における話題提供モードの処理の一例を示すフローチャートである。 本実施形態における会話追跡モードの処理の一例を示すフローチャートである。 本実施形態における話題提供モードの第1の変形例を示すフローチャートである。 本実施形態における話題提供モードの第2の変形例を示すフローチャートである。 第13の実施形態における検索装置のブロック図である。 本実施形態における会話追跡モードの処理の一例を示すフローチャートである。 本実施形態による検索装置の構成の一例を示す第2の図である。 第14の実施形態における検索装置のブロック図である。 本実施形態における会話追跡モードの処理の一例を示すフローチャートである。 第15の実施形態における会話追跡モードの処理の一例を示すフローチャートである。 第16の実施形態における検索装置のブロック図である。RR 第17の実施形態である画像表示装置の概念構成図である。 モード操作制御部による操作モード判定の説明図である。 表示部への操作モードの表示の説明図である。 第18の実施形態における画像表示装置の概念構成図である。 第19の実施形態における画像表示装置の概念構成図である。 第20の実施形態における画像表示装置の概念構成図である。 第21の実施形態における画像表示装置の概念構成図である。
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態を説明する。
図1は、本実施形態における表示制御装置を備える表示システムの概要を示す構成図である。
この図1に示される表示システム1000は、表示制御装置1100を備えている。
表示制御装置1100には、収音部101、表示部200及びディスプレイ300(端末装置)が接続されている。また、表示制御装置1100は、収音部101及び表示部200とともに、例えば、机3に設けられている。なお、表示制御装置1100(端末制御部)と表示部200(端末表示部)を一体化して、端末装置1100Sとしてもよい。
表示部200は、入力された画像情報に応じた画像を表示する。本実施形態の表示部200は、表示されている画像が机3の周囲にいる人(発話者2)から視認されるように、例えば、机3の天板面に設けられている。
ディスプレイ300は、入力された画像情報に応じた画像を表示する。本実施形態のディスプレイ300は、表示されている画像が机3の周囲にいる人(発話者2)から視認されるように、例えば、机3の近傍に設けられている。また、ディスプレイ300は、略水平方向に法線が向けられた表示面を備えており、例えば、該表示面の法線が机3の方向に向けられている。
収音部101は、例えば、音声を収音するマイクロフォンを備えており、複数の発話者2によって発せられた音声を収音する。本実施形態の収音部101には、例えば、収音部101A、収音部101B、収音部101C、収音部101Dの4つの収音部101が含まれており、それぞれ、発話者2によって発せられた音声を収音する。ここで、収音部101Aは、例えば、方向DR1に発せられた音声を収音する。同様に、収音部101Bは、例えば、方向DR2に発せられた音声を、収音部101Cは、例えば、方向DR3に発せられた音声を、収音部101Dは、例えば、方向DR4に発せられた音声を、それぞれ収音する。例えば、図2に示すように、収音部101は、机3の所定の位置、例えば、収音部101A、101B、101C、101Dに対応する位置に着席している発話者2A、2B、2C、2Dの4人の発話者2によって発せられた音声を収音するような感度特性(指向性)を有している。
また、表示制御装置1100は、ネットワーク15を介して検索手段11に接続されている。
検索手段11は、入力された文字情報に関連する情報を検索する。本実施形態の検索手段11は、例えば、インターネットやLANなどのネットワーク15を介して入力された文字情報に関連する情報を検索する検索エンジンである。また、検索手段11は、入力された文字情報に関連する情報を検索した結果を検索結果としてネットワーク15を介して表示制御装置1100に出力する。
図2は、表示システムの利用形態の一例を示す構成図である。
この図2において、机3は、発話者2A、2B、2C、2Dによって囲まれるように設けられる。机3に設けられている収音部101Aは、主に発話者2Aによって発せられた音声を収音する。同様に、収音部101Bは、主に発話者2Bによって、収音部101Cは、主に発話者2Cによって、収音部101Dは、主に発話者2Dによって、それぞれ発せられた音声を収音する。ここで、例えば、表示システム1000は、収音部101A、101B、101C、101Dのうちの、いずれの収音部101に音声が収音されたかを検出することによって、いずれの発話者2によって音声が発せられたのかを判定することができる。
また、この場合において、表示部200は、表示した画像が発話者2A、2B、2C、2Dから視認されるように、発話者2A、2B、2C、2Dに対して画像を表示している。
次に、図3を参照して、表示部200とディスプレイ300の表示を示す。
図3は、表示部200とディスプレイ300とにおける表示の一例を示す図である。この図3においては、表示部200が設けられた机3の天板面を平面視した状態を示す。
この図3に示すように、2つのディスプレイのうち一方の表示部200には、例えば、発話者2(複数の発話者)がそれぞれ発言した発言内容に応じた情報がそれぞれ表示されている。表示部200の表示面において上記情報がそれぞれ表示されている領域は、各々の発話者2に近い位置に設けられている。
例えば、表示部200の表示面において、表示面の一部の領域を示す領域ZA、ZB、ZC、ZDが、発話者2A、2B、2C、2Dに近い位置にそれぞれ設けられている。この領域ZAには、発話者2Aの発言内容(発話内容)に応じた情報「A」が表示されている。他の発話者についても発話者2Aと同様に、領域ZBには、発話者2Bの発言内容(発話内容)に応じた情報「B」が表示され、領域ZCには、発話者2Cの発言内容(発話内容)に応じた情報「C」が表示され、領域ZDには、発話者2Dの発言内容(発話内容)に応じた情報「D」が表示されている。
このように、結果出力処理部1120(図4)が、表示部200にそれぞれの情報を表示することにより、例えば、発話者2は、各々発言した発言内容が、情報生成部1110(図4)によって正しく検出され、検出された発言内容に応じた情報が正しく表示されているか否かを各々確認することができる。
また、2つのディスプレイのうち他方のディスプレイ300には、結果出力処理部1120によって、全ての発話者2のうち複数の発話者2の発話内容に応じた情報の論理積(AND条件)から得られる情報「E」が表示されている。なお、この情報「E」は、全ての発話者2の発話内容に応じた情報の論理積(AND条件)から得られる情報であってもよい。
なお、この図3に示すように、全ての発話者2に応じた情報を表示する場合に限らず、一部の発話者2に応じた情報を表示するようにしてもよい。
なお、表示部200に「A」から「D」として表示される情報は、発話者2がそれぞれ発した音声から発話者2がそれぞれ発言した発言内容として抽出された情報、発話者2がそれぞれ発した音声に対応付けられる情報(第1情報)、発話者2がそれぞれ発した音声に対応付けられる情報(第1情報)に基づいて検索された検索結果(第1の検索結果)、同検索結果(第1の検索結果)に応じた画像情報(第1検索情報)などのうちから選択された情報としてもよい。
図4を参照し、表示システム1000の構成の詳細について説明する。
図4は、本実施形態の表示システムの構成を示すブロック図である。
この図4には、表示システム1000に係る表示制御装置1100、収音部101、表示部200、ディスプレイ300、検索手段11が示されている。
収音部101(収音部101A、収音部101B、収音部101C、収音部101D)は、上述したように、複数の発話者2によって発せられた音声を収音する。
表示制御装置1100は、収音部101によって集音された発話者2が発した音声から、発話者2の発言内容に基づいた情報を得て、表示部200とディスプレイ300に表示させる。
表示制御装置1100は、情報生成部1110と、結果出力処理部1120とを備えている。
情報生成部1110は、発話者2が発した音声から、発話者2が発した音声に対応付けられる情報を生成する。
例えば、発話者2が発した音声から生成される情報であって、発話者2が発した音声に対応付けられる情報には、以下に記す情報のうち何れかの情報を含む。上記情報の一例として、発話者2が発した音声の一部を抽出した音片情報、発話者2が発した音声に含まれる周波数スペクトル情報、発話者2が発した音声から抽出したテキスト情報、発話者2が発した音声から抽出した単語情報、発話者2が発言した発言内容として抽出された情報、及び、上記の情報に対応づけられる情報などがあげられる。発話者2が発した音声から上記の情報を生成する処理には、既知の音声信号処理、或は、複数の既知の音声信号処理を組み合わせた処理を適用できる。
例えば、情報生成部1110は、複数の発話者2が発した音声から抽出した発話者2の発言内容に基づいた第1情報を生成するとともに、少なくとも複数の発話者2のうちの何れかの発話者2が発した音声から抽出した何れかの発話者2の発言内容に基づいた第2情報を生成する。本実施形態の以下の説明においては、発話者2が発した音声から抽出した発話者2の発言内容に基づいた情報に基づいた処理を中心に説明する。
また、情報生成部1110は、発話者2の状態を検出し、状態が検出された発話者2が発した音声に対応付けられる第2情報を生成する。
例えば、情報生成部1110が検出する発話者2の状態には、発話者2の姿勢、顔が向けられている方向、顔の表情、発言頻度、声の大きさ(音声の信号強度)、声の質、声の調子、発話者2の位置などが上げられる。情報生成部1110は、上記の発話者2の状態を判定した判定結果に基づいて、処理の対象とされる特定の発話者2を、複数の発話者2のうちから特定する。
本実施形態の以下の説明においては、例えば、情報生成部1110は、発話者2の位置を検出することにより発話者2を識別し、識別された発話者2が発した音声に対応付けられる第2情報を生成するものとする。
上記の処理における発話者2の位置を検出する処理は、複数の収音部101によって集音された音声の信号強度、位相差に基づいて検出する既知の音声信号処理を適用することができる。
また、さらに、情報生成部1110は、第2画面を見ている発話者2を識別し、識別された発話者2が発した音声に対応付けられる第2情報を生成してもよい。
また、さらに、情報生成部1110は、第2画面を見ていると識別された発話者2が発した音声の音声情報から、発話者2が発言した発言内容と識別された情報(例えば、テキスト情報)から抽出された第2情報(例えば、単語情報)を生成する。
また、情報生成部1110は、発話者2の状態に応じて第2情報を生成する。例えば、情報生成部1110は、発話者2の状態を、検出された発話者2の姿勢により識別してもよい。或は、情報生成部1110は、発話者2の状態を、検出された発話者2の発言頻度(積極性)により識別してもよい。
さらに、情報生成部1110は、第1検索情報を検索する検索条件になる第1情報と、第2検索情報を検索する検索条件になる第2情報とが互いに異なるように、第1情報と第2情報とを生成する。
このような情報生成部1110は、生成した第1情報と第2情報とを検索手段11に送り、第1情報と第2情報とに基づいて検索手段11における検索を実行させる。
結果出力処理部1120は、第1情報に基づいて検索された第1の検索結果を検索手段11から得る。
また、結果出力処理部1120は、第2情報に基づいて検索された第2の検索結果を検索手段11から得る。なお、結果出力処理部1120は、第1情報に基づいて検索された第1の検索結果のうちから、第2情報に基づいて選択して第2の検索結果を得てもよい。
このような結果出力処理部1120は、複数の発話者2が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力する。また、結果出力処理部1120は、上記のように第1検索情報を出力するとともに、少なくとも複数の発話者2のうちの何れかの発話者2が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する。ここで、例えば、第1検索情報は、表示部200に表示させる情報であり、第2検索情報は、ディスプレイ300に表示させる情報である。第1検索情報と第2検索情報のそれぞれは、表示部200とディスプレイ300とに表示させる画像情報に含まれる情報として結果出力処理部1120から出力される。第1検索情報と第2検索情報のそれぞれは、テキスト情報、図形情報、画像情報、及び、それぞれを組み合わせ情報の何れでもよい。
また、結果出力処理部1120は、複数の画面に表示させる情報として、第1画面に表示させる第1検索情報及び第2画面に表示させる第2検索情報を出力する。例えば、第1検索情報は、表示部200に表示させる第1画面に含まれる情報である。より具体的には。第1検索情報は、例えば、以下に記す情報のうち何れかの情報から検索された検索結果に基づいた情報である。第1検索情報を得る検索を行うための情報の一例として、発話者2が発した音声の一部を抽出した音片情報、発話者2が発した音声に含まれる周波数スペクトル情報、発話者2が発した音声から抽出したテキスト情報、発話者2が発した音声から抽出した単語情報、発話者2が発言した発言内容として抽出された情報、及び、上記の情報に対応づけられる情報などがあげられる。また、例えば、第2検索情報は、ディスプレイ300に表示させる第2画面に含まれる情報である。
また、結果出力処理部1120は、情報生成部1110が発話者2の状態を検出し、状態が検出された発話者2が発した音声に対応付けられる第2情報を生成した場合に、状態が検出された発話者2が発した音声に対応付けられる第2情報に基づいた第2検索情報を得る。或は、結果出力処理部1120は、情報生成部1110が発話者2の位置を検出することにより発話者2を識別し、識別された発話者2が発した音声に対応付けられる第2情報を生成した場合に、識別された発話者2が発した音声に対応付けられる第2情報に基づいた第2検索情報を得る。
また、結果出力処理部1120は、情報生成部1110が第2画面を見ている発話者2を識別し、識別された発話者2が発した音声に対応付けられる第2情報を生成した場合に、識別された発話者2が発した音声に対応付けられる第2情報に基づいた第2検索情報を得る。
また、結果出力処理部1120は、第2の検索結果のうちから選択する第2検索情報を、発話者2の状態に応じて選択する。また、結果出力処理部1120は、第1検索情報を得られた順に出力し、第2検索情報を出力する優先度に応じた順に出力する。
次に、表示制御装置1100における処理の一実施態様について説明する。
(手順1)情報生成部1110は、複数の発話者2が発した音声を検出し、検出した音声に対応付けられる情報を生成する。
(手順2)情報生成部1110は、上記手順1において生成された情報、すなわち複数の前記発話者が発した音声に対応付けられる第1情報に基づいて、検索手段11に検索させる。例えば、情報生成部1110は、発話者2が発言した発言内容として抽出された情報(キーワード)を第1情報とする。
(手順3)結果出力処理部1120は、複数の前記発話者が発した音声に対応付けられる第1情報に基づいて、検索手段11によって検索された第1の検索結果を得る。例えば、結果出力処理部1120は、発話者2が発言した発言内容に含まれる情報(キーワード)に基づいた検索により、第1の検索結果を得る。
(手順4)結果出力処理部1120は、第1の検索結果に応じた第1検索情報を生成し、生成した第1検索情報を表示部200に出力する。例えば、結果出力処理部1120は、第1の検索結果として得た情報を示す画像情報(第1検索情報)を生成し、生成した画像情報を表示部200に出力する。
(手順5)結果出力処理部1120は、少なくとも複数の発話者2のうちの何れかの発話者2が発した音声に対応付けられる第2情報に基づいて、検索手段11によって検索された第2の検索結果を得る。例えば、例えば、情報生成部1110は、少なくとも複数の発話者2のうちの何れかの発話者2(特定の発話者2)が発言した発言内容として抽出された情報(キーワード)を第2情報とする。結果出力処理部1120は、特定の発話者2が発言した発言内容に含まれる情報(キーワード)に基づいて検索された第2の検索結果を得る。
(手順6)結果出力処理部1120は、第2の検索結果に応じた第2検索情報を生成し、生成した第2検索情報をディスプレイ300に出力する。例えば、結果出力処理部1120は、特定の発話者2が一人の場合、第2の検索結果として得た情報を示す画像情報(第2検索情報)を生成し、生成した画像情報をディスプレイ300に出力する。或は、結果出力処理部1120は、特定の発話者2が複数の場合、第2の検索結果として得た複数の情報に基づいた論理演算処理を行う。そして、結果出力処理部1120は、演算処理の検索結果に基づいた画像情報(第2検索情報)を生成し、生成した画像情報をディスプレイ300に出力する。
例えば、上記の演算処理において、結果出力処理部1120は、複数の検索結果に基づいた論理積(AND)、又は、論理和(OR)による論理演算処理、若しくは、発話者2の重要度に応じた重み付け演算により得られた優先度処理を行う。
上記の手順に従って、表示制御処理を行うことにより、表示制御装置1100は、前述の図3に示すように、得られた結果を表示部200とディスプレイ300に表示させることができる。
[第2の実施形態]
次に、図5を参照して、表示部200とディスプレイ300の表示を示す。
図5は、2つのディスプレイにおける表示の一例を示す図である。この図5においては、表示部200が設けられた机3の天板面を平面視した状態を示す。
この図5に示す表示部200の表示面において、図3に示した領域ZA、ZB、ZC、ZDに加え、表示部200の表示面の一部の領域を示す領域ZEがさらに設けられている。領域ZEは、机3の天板面を平面視した場合における表示部200の表示面の中央部分に配置される。この領域ZEには、ディスプレイ300に表示した情報「E」が、領域ZEの広さに応じて縮小されて表示されている。
このように、結果出力処理部1120(図4)は、表示部200の表示面に領域ZEが設けられており、表示部200の表示面における領域ZEにも情報「E」を表示させている。これにより、各発話者2は、ディスプレイ300の方向を向かなくても、表示されている情報「E」を確認できるようになる。要するに、仮に図3のように表示した場合、机3に対してディスプレイ300側に位置する発話者2において、発話者2の正面側に机3があり、背面側にディスプレイ300がある。このような、発話者2は、振り向かなければディスプレイ300の表示を確認することができないが、図5のように表示することにより振り向くことなく情報「E」を確認することができるようになる。
[第3の実施形態]
次に、図1から図4を参照して、特定の発話者2が発言した発言内容に応じた情報をディスプレイ300に表示する場合について説明する。
本実施形態においては、前述の(手順1)に代え、(手順1−1)を実施して、(手順2)から(手順6)を実施する。
(手順1−1)情報生成部1110は、複数の発話者2が発した音声を検出し、検出した音声と各発話者との対応付けを行い、検出した音声の信号レベルが大きい発話者2を特定する。情報生成部1110は、検出した音声の信号レベルが大きい発話者2の音声として検出した音声に対応付けられる情報を生成する。
なお、上記(手順1−1)における音声の信号レベルが大きい発話者2を特定する構成の詳細な説明は後述とする。
なお、情報生成部1110は、上記(手順1−1)における発話者2の特定を発話者2の状態に応じて行うこととしてもよい。発話者2の特定を発話者2の状態に応じて行う場合、発話者2が発した音声の大きさ(信号レベル)に代え、発話者2の姿勢、顔が向けられている方向、声の質、声の調子、発話者2の位置などに基づいて実施してもよい。収音部101の集音特性に指向性があることにより、情報生成部1110は、上記発話者2の状態に応じて行う発話者2の特定を、検出した発話者2が発した音声の大きさ(信号レベル)に基づいて実施することができる。
[第4の実施形態]
次に、図1から図4を参照して、特定の発話者2が発言した発言内容に応じた情報をディスプレイ300に表示する場合について説明する。
本実施形態においては、前述の(手順1)に代え、(手順1−2)を実施して、(手順2)から(手順6)を実施する。
(手順1−2)情報生成部1110は、複数の発話者2が発した音声を検出し、検出した音声から各発話者の位置を検出する。情報生成部1110は、検出した音声と各発話者との対応付けを行うとともに、検出した各発話者の位置に応じて、発話者2を特定する。情報生成部1110は、特定した発話者2の音声に対応付けられる情報を生成する。
ここで、情報生成部1110は、例えば、ディスプレイ300に近い位置において発言している発話者2を特定する。これにより、情報生成部1110は、ディスプレイ300に表示されている情報を参照して、発言している発話者2として特定することができる。
なお、上記(手順1−2)における音声から各発話者の位置を特定する構成の詳細な説明は後述とする。
[第5の実施形態]
次に、図1から図4を参照して、特定の発話者2が発言した発言内容に応じた情報をディスプレイ300に表示する場合について説明する。
本実施形態においては、前述の(手順1)に代え、(手順1−3)を実施して、(手順2)から(手順6)を実施する。
(手順1−3)情報生成部1110は、複数の発話者2が発した音声を検出し、検出した音声から各発話者2の発言頻度を検出し、検出した発言頻度情報を記憶領域に記憶させる。情報生成部1110は、検出した音声と各発話者との対応付けを行うとともに、検出した各発話者2の発言頻度情報に応じて、発言頻度の多い発話者2を特定する。情報生成部1110は、特定した発話者2の音声に対応付けられる情報を生成する。
ここで、情報生成部1110は、例えば、発言頻度情報に応じて発話者2の発言量を検出することにより、積極的に発言している発話者2を特定することができる。
なお、上記(手順1−3)における音声から、発言頻度の多い発話者を特定する構成の詳細な説明は後述とする。
[第6の実施形態]
次に、図1から図4を参照して、特定の発話者2が発言した発言内容に応じた情報をディスプレイ300に表示する場合について説明する。
本実施形態においては、前述の(手順1)から(手順5)に続き、次に示す(手順6−1)を実施する。
(手順6−1)結果出力処理部1120は、第2の検索結果に応じた第2検索情報を生成し、生成した第2検索情報をディスプレイ300に出力する。例えば、結果出力処理部1120は、一人の発言中の発話者2(特定の発話者2)を特定できた場合、第2の検索結果として得た情報を示す画像情報(第2検索情報)を生成し、生成した画像情報をディスプレイ300に出力する。或は、結果出力処理部1120は、複数の発言中の発話者2(特定の発話者2)を特定した場合、第2の検索結果として得た複数の情報に基づいた論理演算処理を行う。そして、結果出力処理部1120は、演算処理の検索結果に基づいた画像情報(第2検索情報)を生成し、生成した画像情報をディスプレイ300に出力する。
例えば、上記の演算処理において、結果出力処理部1120は、複数の検索結果に基づいた論理積(AND)、又は、論理和(OR)による論理演算処理、若しくは、発話者2の重要度に応じた重み付け演算により得られた優先度処理を行う。
上記の手順に従って、表示制御処理を行うことにより、表示制御装置1100は、前述の図3に示すように、得られた結果を表示部200とディスプレイ300に表示させることができる。
また、本実施形態において、結果出力処理部1120は、複数の検索結果に基づいた論理積(AND)による論理演算処理を行うことにより、複数の発話者2のうち、同じ発言内容を発言している発話者2が存在していることを検出できる。これにより、検索結果が所望の結果が得られていると判定することができる。
さらに、結果出力処理部1120は、異なる検索結果が得られた場合、同じ発言内容を発言していると判定できる人数を検出することにより、その人数が多いほど同じ発言内容の話題を話していると推定した確度が高いと判定することができる。このような場合、結果出力処理部1120は、同じ発言内容を発言していると判定した人数が多い発言内容に応じた検索結果に応じて第2検索情報を生成する。これにより、結果出力処理部1120は、同じ発言内容を発言していると判定した人数が多い発言内容をディスプレイ300に表示させることができる。
なお、上記(手順6−1)における、特定の発話者2が発言した発言内容を特定する構成の詳細な説明は後述とする。
[第7の実施形態]
次に、図6を参照して、本発明の第7の実施形態を説明する。
図6は、本実施形態における表示制御装置を備える表示システムの概要を示す図である。
この図6に示される表示システム1000Bは、表示制御装置1100B(不図示)を備えている。特に明示しない場合は、上記説明における表示システム1000を表示システム1000Bに、表示制御装置1100を表示制御装置1100Bに読み替える。
表示システム1000Bは、撮像部150を備える。撮像部150は、表示システム1000Bの表示部200に設けられている。この図に示される撮像部150は、一人の発話者2用に設けられている部分のみを示している。
撮像部150は、撮像素子を含む撮像装置を複数備えており、発話者2の状態を検出するための画像をそれぞれ出力する。本実施形態の撮像部150には、例えば、撮像部150A、撮像部150B、撮像部150C、撮像部150Dの4つの撮像部150が含まれており、それぞれ、撮像方向が各発話者2の方向に向けて設けられている。ここで、撮像部150Aは、例えば、方向DR1(図1)の逆方向を撮像する。同様に、撮像部150Bは、例えば、方向DR2(図1)の逆方向を撮像し、撮像部150Cは、例えば、方向DR3(図1)の逆方向を撮像し、撮像部150Dは、例えば、方向DR4(図1)の逆方向を撮像する。
図7を参照し、表示システム1000Bの構成の詳細について説明する。
図7は、本実施形態における表示システムの構成を示すブロック図である。
この図7には、表示システム1000Bに係る表示制御装置1100B、収音部101、撮像部150、表示部200、ディスプレイ300、検索手段11が示されている。
撮像部150(撮像部150A、撮像部150B、撮像部150C、撮像部150D)は、上述したように、発話者2の状況を撮像する。
表示制御装置1100Bは、撮像部150によって撮像された結果に基づいて、収音部101によって集音された発話者2が発した音声から、発話者2の発言内容に基づいた情報を得て、表示部200とディスプレイ300に表示させる。
表示制御装置1100Bは、情報生成部1110Bと、結果出力処理部1120とを備えている。
情報生成部1110Bは、撮像部150から出力される発話者2の状態を検出するための画像に基づいて、発話者2の状態を検出する。情報生成部1110Bによる発話者2の状態は、既知の画像処理方法、又は、既知の画像処理方法の組み合わせにより検出できる。情報生成部1110Bは、撮像部150によって得られた画像に基づいて、発話者2の特定を発話者2の状態に応じて行うこととしてもよい。情報生成部1110Bは、発話者2の特定を発話者2の状態に応じて行う場合、発話者2が発した音声の大きさ(信号レベル)に代え、発話者2の姿勢、顔が向けられている方向、発話者2の位置などに基づいて実施してもよい。撮像部150によって撮像された画像により、情報生成部1110Bは、上記発話者2の状態に応じて発話者2を特定する。
例えば、情報生成部1110Bは、撮像部150によって得られた画像に基づいて、発話者2の姿勢や、発話者2が顔を向けている方向をそれぞれ検出することによって、発話者2が診ている画面を検出する。情報生成部1110Bは、発話者2がうつむき加減で撮像部150の方向を見ている状態であれば、表示部200に表示されている画像を見ていると判定する。また、情報生成部1110Bは、発話者2が撮像部150の方向から視線をそらし、ディスプレイ300に向かう方向に顔を向けている状態であれば、ディスプレイ300に表示されている画像を見ていると判定する。
このように、情報生成部1110Bは、第2画面を見ている発話者2を識別し、識別された発話者2が発した音声に対応付けられる第2情報を生成してもよい。
また、さらに、情報生成部1110Bは、第2画面を見ていると識別された発話者2が発した音声の音声情報から、発話者2が発言した発言内容と識別された情報(例えば、テキスト情報)から抽出された第2情報(例えば、単語情報)を生成する。
また、情報生成部1110Bは、発話者2の状態に応じて第2情報を生成する。例えば、情報生成部1110Bは、発話者2の状態を、検出された発話者2の姿勢により識別してもよい。
本実施形態においては、前述の(手順1)に代え、(手順1−4)を実施して、(手順2)から(手順6)を実施する。
(手順1−4)情報生成部1110Bは、複数の発話者2が発した音声を検出し、検出した音声と各発話者との対応付けを行う。また、情報生成部1110Bは、複数の発話者2の状態(姿勢)を検出し、検出した発話者2の状態(姿勢)に応じて発話者2を特定する。例えば、情報生成部1110Bは、検出した発話者2の状態(姿勢)から、ディスプレイ300を見ている発話者2を特定し、特定した発話者2の音声として検出した音声に対応付けられる情報を生成する。
このように、情報生成部1110Bは、上記(手順1−4)のように発話者2の特定を発話者2の状態に応じて行うことにより、発話者2が発した音声の大きさ(信号レベル)に代え、発話者2の姿勢、顔が向けられている方向、発話者2の位置などに基づいて特定する。
[第8の実施形態]
次に、図8を参照して、本発明の第8の実施形態を説明する。
図8は、本実施形態における表示制御装置を備える表示システムの概要を示す図である。
この図8に示される表示システム1000Cは、表示制御装置1100Cを備えている。特に明示しない場合は、上記説明における表示システム1000を表示システム1000Cに、表示制御装置1100を表示制御装置1100Cに読み替える。
表示システム1000Cは、複数の表示部200を設けた構成とする。
表示制御装置1100Cには、収音部101、複数の表示部200及びディスプレイ300が接続されている。表示制御装置1100Cは、何れかの表示部200に表示させた表示内容をディスプレイ300に表示させる。表示制御装置1100Cは、複数の表示部200のそれぞれに、最寄の発話者2の発言に応じた情報を表示させる。それぞれの表示部200に表示させる表示内容は、表示部200の表示面において、最寄の発話者2に近い方の領域に表示させる情報と、当該発話者2から離れた方の領域に表示させる情報を異なるものとしてもよい。
例えば、表示制御装置1100Cは、複数の表示部200のそれぞれに、最寄の発話者2の発言に応じた情報を表示させる。それぞれの表示部200に表示する表示内容は、表示部200の表示面において、最寄の発話者2に近い方の領域に表示する。
図9は、本実施形態における複数の表示部を設けた表示システムの概要を示す図である。
この図9に示される表示システム1000Cは、複数の表示部200に情報を表示する表示制御装置1100を備えている。複数の表示部200に表示する情報は、前述の表示部200に表示する情報と同様である。
[第9の実施形態]
次に、図10を参照して、表示部200と異なる形状の表示部200Aについて示す。
図10は、本実施形態における表示部を設けた表示システムの概要を示す図である。
この図10に示される表示システム1000Dは、表示制御装置1100を備えている。
表示システム1000Dは、表示部200Aを設けた構成とする。特に明示しない場合は、上記説明における表示部200を表示部200Aに読み替える。
表示制御装置1100Dには、収音部101、表示部200A及びディスプレイ300が接続されている。
表示部200Aは、平面の表示面を有している。例えば、表示部200Aには、LCDなどのフラットパネル型の表示装置を適用できる。
次に、第10の実施形態から第11の実施形態までにおいて、本発明の一実施形態である情報表示システム(会議システム)について説明する。以下の説明において、発話者を特定する処理の詳細を説明する。
[第10の実施形態]
以下、図面を参照して、本発明の一実施態様として適用する音声信号処理について、会議システムに適用した場合を例示して説明する。
図11は、本実施形態における検索手段制御装置1101を備える会議システム1の概要を示す図である。
会議システム1は、検索手段制御装置1101を備えている。
検索手段制御装置1101は、収音部101を備えている。また、検索手段制御装置1101は、収音部101及び表示部200Aとともに、例えば、机3に備えられている。また、検索手段制御装置1101は、ネットワーク15を介して検索手段11に接続されている。
検索手段11は、入力された文字情報に関連する情報を検索する。本実施形態の検索手段11は、例えば、インターネットやLANなどのネットワーク15を介して入力された文字情報に関連する情報を検索する検索エンジンである。また、検索手段11は、入力された文字情報に関連する情報を検索した結果を検索結果としてネットワーク15を介して検索手段制御装置1101に出力する。
表示部200Aは、入力された画像情報に応じた画像を表示する。本実施形態の表示部200Aは、表示されている画像が机3の周囲にいる人(発話者)から視認されるように、例えば、机3の天板面に埋め込まれている。
収音部101は、例えば、音声を収音するマイクロフォンを備えており、複数の発話者2によって発せられた音声を収音する。本実施形態の収音部101には、例えば、収音部101A、収音部101B、収音部101C、収音部101Dの4つの収音部101が含まれており、それぞれ、発話者2によって発せられた音声を収音する。ここで、収音部101Aは、例えば、方向DR1に発せられた音声を収音する。同様に、収音部101Bは、例えば、方向DR2に発せられた音声を、収音部101Cは、例えば、方向DR3に発せられた音声を、収音部101Dは、例えば、方向DR4に発せられた音声を、それぞれ収音する。例えば、図12に示すように、収音部101は、机3の所定の位置、例えば、収音部101A、101B、101C、101Dに対応する位置に着席している発話者2A、2B、2C、2Dの4人の発話者2によって発せられた音声を収音する。
図12は、発話者2に利用されている会議システム1の構成を示す構成図である。
この場合において、収音部101Aは、主に発話者2Aによって発せられた音声を収音する。同様に、収音部101Bは、主に発話者2Bによって、収音部101Cは、主に発話者2Cによって、収音部101Dは、主に発話者2Dによって、それぞれ発せられた音声を収音する。ここで、例えば、会議システム1は、収音部101A、101B、101C、101Dのうちの、いずれの収音部101に音声が収音されたかを検出することによって、いずれの発話者2によって音声が発せられたのかを判定することができる。
また、この場合において、表示部200Aは、発話者2A、2B、2C、2Dに表示した画像が視認されるように、発話者2A、2B、2C、2Dに対して画像を表示している。
次に、図13を参照して、会議システム1の構成の詳細について説明する。
図13は、本実施形態の会議システム1の構成を示すブロック図である。
本実施形態の検索手段制御装置1101は、収音部101と、生成部102と、変換部103と、識別部104と、記憶部105と、選択部106と、出力部107と、結果選択部108と、設定部109と、結果出力部110とを備えている。
収音部101(収音部101A、収音部101B、収音部101C、収音部101D)は、上述したように、複数の発話者2によって発せられた音声を収音する。
生成部102は、音声情報に基づいて音声が発せられた方向の情報を生成する。ここで、音声が発生られた方向とは、例えば、上述したように、図11の方向DR1〜DR4によって示される方向である。本実施形態の生成部102は、例えば、複数の収音部101のうち、いずれの収音部101によって収音された音声であるかを、音声情報に基づいて判定して、音声が発せられた方向の情報を生成する。つまり、生成部102は、収音部101ごとに収音された音声の音量を示す情報に基づいて、音声が発せられた方向の情報を生成する。
変換部103は、発話者2によって発せられた音声情報を文字情報に変換する。本実施形態の変換部103は、例えば、入力された音声情報を、既知の音声認識手段によって音声認識して、音声情報を文字情報に変換する。
識別部104は、音声情報に基づいて、複数の発話者2のうちから当該音声情報の音声を発した発話者2を識別するとともに、識別した発話者2と当該音声情報を変換した文字情報とを関連付けて出力する。本実施形態の識別部104は、例えば、入力された音声情報を、既知の音声認識手段によって音声認識して、発話者2の音声の特徴を抽出する。そして、識別部104は、抽出した発話者2の音声の特徴ごとに音声情報を識別して、発話者2の人数を判定し、音声情報と関連付けるための情報(例えば、発話者2を識別する固有の識別ID)を、判定した発話者2ごとに付与する。例えば、識別部104は、発話者2Aについて識別IDとして2Aを付与し、発話者2Bについて識別IDとして2Bを付与する。識別部104は、発話者2C、発話者2Dについても同様に識別IDを付与する。そして、識別部104は、発話者2ごとに付与した識別IDを、入力された音声情報ごとに付与する。そして、識別部104は、入力された音声情報に付与した識別IDを、変換部103によって、当該音声情報が変換された文字情報に対して付与する。
例えば、発話者2Aによって「ライオン」という音声が発せられた場合に、識別部104は、入力された「ライオン」の音声情報が、発話者2Aの音声情報の特徴と一致していると判定した場合には、音声情報としての「ライオン」に発話者2Aの識別IDとしての“2A”を付与する。そして、識別部104は、音声情報としての「ライオン」が、変換部103によって変換された文字情報としての「ライオン」に、識別ID“2A”を付与する。つまり、識別部104は、発話者2Aと、文字情報としての「ライオン」とを関連付けて、当該文字情報を出力する。
このようにして、識別部104は、識別した発話者2と当該音声情報を変換した文字情報とを関連付けて出力する。
また、識別部104は、識別部104が識別した発話者2ごとに、発話者2が音声を発した頻度を示す頻度情報を生成し、生成した頻度情報と、発話者2とを関連付けて記憶部105に記憶させる。この場合において、記憶部105には、識別部104が識別した発話者2ごとに、頻度と発話者2とが関連付けられて記憶されている。
選択部106は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。この発話者の重要度は、様々に設定されることができる。
例えば、発話者の重要度には、音声情報の重要度が含まれており、本実施形態の選択部106は、例えば、変換部103によって変換された文字情報のうちから、音声情報の重要度に基づいて、特定の文字情報を選択する。
具体的には、音声情報の重要度は、発話者2によって発せられた音声の音量に基づいて定められ、音声情報には、音量の情報が含まれており、選択部106は、音声情報に含まれている音量の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、この場合において選択部106は、音声情報のうちから、より大きな音量によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。
また、具体的には、音声情報の重要度は、音声が発せられた方向に基づいて定められ、選択部106は、生成部102によって生成された、音声が発せられた方向の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、選択部106は、机3の方向(例えば、方向DR1〜DR4)のうちの、所定の方向に向かって着席している発話者2によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。ここで、所定の方向とは、例えば、発話者2のうちの会議を主導する発話者2によって音声が発せられる方向である。なお、所定の方向は、一方向に限られず、複数の方向であってもよい。また、所定の方向には、単一の発話者2によって音声が発生された方向に限られず、複数の発話者2によって音声が発せられた方向を含んでいてもよい。
また、具体的には、音声情報の重要度は、音声が発せられた位置に基づいて定められ、音声情報には、位置の情報が含まれており、選択部106は、音声情報に含まれている位置の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、選択部106は、机3の座席の位置(例えば、収音部101A〜101Dに対応する座席の位置)のうちの、特定の位置に着席している発話者2によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。
また、例えば、発話者の重要度には、発話者2の重要度が含まれており、本実施形態の選択部106は、例えば、発話者2の重要度に基づいて、発話者2のうちから特定の発話者2を選択するとともに、選択した特定の発話者2に関連付けられている文字情報から特定の文字情報を選択する。つまり、選択部106は、変換部103によって変換された文字情報のうちから、特定の発話者2によって発せられた音声情報が変換された文字情報を、特定の文字情報として選択する。
具体的には、発話者2の重要度は、発話者2が音声を発した頻度に基づいて定められており、選択部106は、記憶部105に記憶されている頻度に基づいて、特定の発話者2を選択する。上述したように、記憶部105には、識別部104が識別した発話者2ごとに、頻度と発話者2とが関連付けられて記憶されている。例えば、本実施形態の選択部106は、記憶部105に発話者2ごと記憶されている発話の頻度に基づいて、発話の頻度が高い発話者2を特定の発話者2として選択し、選択した特定の発話者2に関連付けられている文字情報から特定の文字情報を選択する。
出力部107は、入力された文字情報に関連する情報を検索する検索手段11に、選択部106によって選択された特定の文字情報を出力する。本実施形態の出力部107は、例えば、ネットワーク15を介して接続されている検索手段11との通信が可能であり、検索手段11に対して、選択部106によって選択された特定の文字情報を送信する。
また、出力部107は、文字情報に、所定の語句が含まれているか否かに基づいて、文字情報を検索手段11に出力するか否かを判定する。ここで、所定の語句は、例えば、「そうだね」や「へー」などの感動詞や、「いつ」や「どこで」などの疑問詞などである。例えば、出力部107は、文字情報に、所定の語句としての「そうだね」が含まれている場合には、文字情報を検索手段11に出力しないと判定する。また、出力部107は、文字情報に、所定の語句が含まれていない場合には、文字情報を検索手段11に出力すると判定する。
設定部109は、音声情報に基づいて、特徴量を設定する。本実施形態の設定部109は、例えば、収音部101によって収音された音声情報を取得し、取得した音声情報に含まれる特徴量を示す情報(例えば、声紋)を識別して、発話者2の性別や年齢などの属性を推定する。そして、設定部109は、推定した属性を、結果選択部108が選択に用いる特徴量として設定する。
結果選択部108は、特定の発話者2の声の特徴を示す特徴量に基づいて、検索手段11が出力する検索結果を示す情報を選択する。ここで、特定の発話者2の声の特徴を示す特徴量は、例えば、発話者2の性別や年齢などの発話者2の属性を示す特徴量である。また、検索手段11が出力する検索結果を示す情報は、検索手段11に出力された文字情報が、上述したように例えば「ライオン」であれば、動物としてのライオンの写真の画像情報であったり、ライオンを飼育している動物園の名称を示す文字情報であったり、ライオンの生息地域を示す地図の画像情報などである。本実施形態の結果選択部108は、例えば、設定部109によって設定される特徴量(例えば、発話者2の性別や年齢などの属性)に応じて、検索手段11が出力する検索結果を示す情報から、発話者2の属性に合致する情報を選択する。例えば、検索手段11に出力された文字情報が、例えば「ライオン」である場合に、結果選択部108は、推定した発話者2の属性が「子ども」であれば、検索結果を示す情報のうちから、例えば、子ども向けに描かれた「ライオン」のイラストの画像情報を選択する。
結果出力部110は、結果選択部108によって選択された画像情報を、表示部200Aに出力する。このようにして、会議システム1の検索手段制御装置1101は、検索手段11を制御する。
次に、図14を参照して、会議システム1が備える検索手段制御装置1101の動作について説明する。
図14は、本実施形態の会議システム1が備える検索手段制御装置1101の動作を示すフローチャートである。
まず、検索手段制御装置1101の収音部101は、発話者2によって発せられた音声情報を取得(収音)する(ステップS10)。本実施形態の収音部101は、例えば、発話者2Aによって発せられた音声情報を収音部101Aによって収音する。この場合、発話者2Aによって音声が発せられた方向は、図11に示す方向DR1の方向である。つまり、収音部101Aは、発話者2Aによって方向DR1の方向に発せられた音声を収音する。
次に、検索手段制御装置1101の変換部103は、発話者2によって発せられた音声情報を文字情報に変換する(ステップS20)。本実施形態の変換部103は、例えば、音声認識によって音声情報を文字情報に変換する。
次に、検索手段制御装置1101の識別部104は、音声情報に基づいて、複数の発話者2のうちから当該音声情報の音声を発した発話者2を識別するとともに、識別した発話者2と当該音声情報を変換した文字情報とを関連付けて出力する(ステップS30)。つまり、識別部104は、発話者2の識別を行う。具体的には、ステップS10において取得された音声情報を、既知の音声認識手段によって音声認識して、発話者2の音声の特徴を抽出する。ここで、音声の特徴には、声紋の特徴などが含まれる。そして、識別部104は、抽出した発話者2の音声の特徴ごとに音声情報を識別して、発話者2の人数を判定し、音声情報と関連付けるための情報(例えば、発話者2を識別する固有の識別ID)を、判定した発話者2ごとに付与する。そして、識別部104は、発話者2ごとに付与した識別IDを、入力された音声情報ごとに付与する。そして、識別部104は、入力された音声情報に付与した識別IDを、変換部103によって、当該音声情報が変換された文字情報に対して付与する。
次に、検索手段制御装置1101の識別部104は、識別した発話者2ごとに、発話の頻度を発話者2と関連付けて記憶部105に記憶させる(ステップS40)。例えば、識別部104は、発話者2ごとに発話回数を計数し、計数した発話回数を発話者2と関連付けて記憶部105に記憶させる。
次に、検索手段制御装置1101の生成部102は、音声情報に基づいて音声が発せられた方向の情報を生成する(ステップS50)。本実施形態の生成部102は、例えば、収音部101Aが収音した音声情報に基づいて、音声が発せられた方向としての方向DR1を示す情報を生成する。
次に、検索手段制御装置1101の選択部106は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する(ステップS60)。本実施形態の選択部106は、ステップS60において、例えば、図15に示す手順によって特定の文字情報を選択する。
図15は、本実施形態の選択部106の動作の一例を示すフローチャートである。
まず、選択部106は、発話の頻度が所定のしきい値を超えているか否かを判定する(ステップS601)。本実施形態の選択部106は、例えば、記憶部105に記憶されている発話者2が音声を発した頻度の情報(例えば、発話回数)を、発話者2ごとに読み出す。そして、選択部106は、読み出した頻度の情報が所定のしきい値(例えば、1分間あたり5回)を超えているか否かを、発話者2ごとに判定する。そして、選択部106は、少なくとも一人の発話者2について、読み出した頻度の情報が所定のしきい値を超えていると判定した場合(ステップS601:YES)には、処理をステップS602に進める。
そして、選択部106は、所定のしきい値を超えている頻度の情報に関連付けられている発話者2(つまり、発話頻度の高い発話者2)によって発せられた音声が変換されている文字情報を、特定の文字情報として選択して、ステップS60の処理を終了する(ステップS602)。
一方、選択部106は、それぞれの発話者2について、読み出した頻度の情報が所定のしきい値を超えていないと判定した場合(ステップS601:NO)には、処理をステップS611に進める。
次に、選択部106は、発話者2によって発せられた音声の音量が所定のしきい値を超えているか否かを判定する(ステップS611)。本実施形態の選択部106は、例えば、音声情報に含まれている音量の情報を収音部101から取得し、取得した音量の情報が所定のしきい値を超えているか否かを、収音部101ごとに判定する。そして、選択部106は、取得した音量の情報が所定のしきい値を超えていると判定した場合(ステップS611:YES)には、処理をステップS612に進める。
そして、選択部106は、所定のしきい値を超えている音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップS60の処理を終了する(ステップS612)。
一方、選択部106は、それぞれの収音部101から取得した音量の情報が所定のしきい値を超えていないと判定した場合(ステップS611:NO)には、処理をステップS621に進める。
次に、選択部106は、発話者2によって発せられた音声の方向が所定の方向であるか否かを判定する(ステップS621)。本実施形態の選択部106は、例えば、生成部102によって生成された音声が発せられた方向の情報を取得し、取得した方向の情報が所定の方向を示しているか否かを判定する。そして、選択部106は、取得した方向の情報が所定の方向を示していると判定した場合(ステップS621:YES)には、処理をステップS622に進める。
そして、選択部106は、所定の音声の方向を示している音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップS60の処理を終了する(ステップS622)。
一方、選択部106は、選択部106は、取得した方向の情報が所定の方向を示していないと判定した場合(ステップS621:NO)には、処理をステップS631に進める。
次に、選択部106は、発話者2によって音声が発せられた位置が所定の位置であるか否かを判定する(ステップS621)。本実施形態の選択部106は、例えば、音声情報を収音部101から取得し、取得した音声情報に含まれている音声が発せられた位置の情報に基づいて、音声が発せられた位置が所定の位置であるか否かを判定する(ステップS631)。例えば、選択部106は、取得した音声情報が、複数の収音部101のうちのいずれの収音部101によって取得された音声情報であるかに基づいて、発話者2によって声が発せられた位置が所定の位置であるか否かを判定する。そして、選択部106は、取得した音声情報に含まれている位置の情報が所定の位置を示していると判定した場合(ステップS631:YES)には、処理をステップS632に進める。
そして、選択部106は、所定の位置を示している音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップS60の処理を終了する(ステップS632)。
一方、選択部106は、取得した音声情報に含まれている位置の情報が所定の位置を示していないと判定した場合(ステップS631:NO)には、文字情報のうちから特定の文字情報を選択することなく、ステップS60の処理を終了する。
このようにして、選択部106は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。
再び、図14を参照して、会議システム1が備える検索手段制御装置1101の動作について説明する。
検索手段制御装置1101は、上述したステップS60の各ステップにおいて、特定の文字情報を選択できた場合(ステップS65:YES)には、処理をステップS70に進める。一方、検索手段制御装置1101は、上述したステップS60の各ステップにおいて、特定の文字情報を選択できなかった場合(ステップS65:NO)には、処理をステップS10に戻す。
次に、検索手段制御装置1101の出力部107は、入力された文字情報に関連する情報を検索する検索手段11に、選択部106によって選択された特定の文字情報を出力する(ステップS70)。本実施形態の出力部107は、例えば、ネットワーク15を介して接続されている検索手段11に、検索文字列としての特定の文字情報を送信する。このように、検索手段制御装置1101は、特定の文字情報に関連する情報を、検索手段11に検索させて検索手段11を制御する。
次に、検索手段制御装置1101の設定部109は、収音部101から取得した音声情報に基づいて、特定の発話者2の声の特徴を示す特徴量を設定する(ステップS80)。本実施形態の設定部109は、例えば、収音部101から取得した音声情報に基づいて発話者2の性別や年齢などの属性を特徴量として設定する。
次に、検索手段制御装置1101の結果選択部108は、特定の発話者2の声の特徴を示す特徴量に基づいて、検索手段11が出力する検索結果を示す情報を選択する(ステップS90)。本実施形態の結果選択部108は、例えば、ステップS80において、設定部109によって設定された特徴量(例えば、性別や年齢)に基づいて、検索手段11が出力する複数の検索結果のうちから、特定の情報を選択する。
次に、検索手段制御装置1101の結果出力部110は、ステップS90において選択された特定の情報を表示部200Aに出力して、出力した情報の画像を表示部200Aに表示させて、処理を終了する(ステップS100)。
このようにして、検索手段制御装置1101は、発話者2によって発せられた音声情報に基づいて検索手段11を制御して、特定の情報を表示部200Aに表示させる。
以上、説明したように本実施形態の検索手段制御装置1101は、変換部103と、選択部106と、出力部107と、結果出力部110とを備えている。この変換部103は、発話者2によって発せられた音声の音声情報を文字情報に変換する。また、選択部106は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。また、出力部107は、入力された文字情報に関連する情報を検索する検索手段11に、選択部106によって選択された特定の文字情報を出力する。また、結果出力部110は、検索結果を表示する表示装置に前記検索手段による検索結果を出力させる。これにより、本実施形態の検索手段制御装置1101は、発話者2によって発せられた音声情報を自動的に文字情報に変換して検索手段11に検索させるとともに、発話者の重要度に基づいて、検索手段11に検索させる文字情報を選択することができる。これにより、本実施形態の検索手段制御装置1101は、音声情報を自動的に文字情報に変換することができるため、例えば、発話者2によって発せられた音声情報に基づいた文字情報を、発話者2本人または周囲の人が検索手段11に入力する作業を不要にすることができる。さらに、検索手段制御装置1101は、発話者2によって発せられた音声情報に基づいた文字情報のうちから、検索手段11に検索させる文字情報を選択することができるため、例えば、重要度の高い発話内容に絞って検索手段11に検索させることができる。
例えば、本実施形態の検索手段制御装置1101を備える会議システム1を用いて会議を行った場合、発話者2の発話内容に応じて、発話内容に関連する情報を検索手段11に検索させることができる。このように、検索手段制御装置1101は、発話者2の発話内容に関連する情報を自動的に発話者2に提供することができるため、会議の流れが滞ることを低減しつつ、会議の話題を広げたり、深めたりすることができる。さらに、検索手段制御装置1101は、例えば、重要度の高い発話内容に絞って検索手段11に検索させることができるため、発話者2にとって不要な情報が発話者2に提供されることを低減することができる。つまり、本実施形態の検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101が備える選択部106は、音声情報の重要度に基づいて、文字情報から特定の文字情報を選択する。ここで、発話者の重要度には、音声情報の重要度が含まれている。これにより、本実施形態の検索手段制御装置1101は、発話者2によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段11に検索させることができる。つまり、検索手段制御装置1101は、発話者2にとって不要な情報が検索されることを低減することができる。
また、本実施形態の検索手段制御装置1101が備える選択部106は、音声情報に含まれている音量の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、発話者2が発した音声の音量に基づいて定められている。これにより、本実施形態の検索手段制御装置1101は、発話者2によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段11に検索させることができる。例えば、選択部106は、発話者2が他の発話者2に聴取されにくい音量で発話した内容は重要度が低いと判定し、発話者2が他の発話者2に聴取される程度の音量で発話した内容は重要度が高いと判定することができる。例えば、検索手段制御装置1101は、発話者2Aが、隣に着席している発話者2Bと小声で話している内容は重要度が低いと判定して、この小声の音声情報が変換された文字情報を検索手段11に出力しない。つまり、検索手段制御装置1101は、発話者2にとって不要な情報が検索されることを低減することができる。
また、本実施形態の検索手段制御装置1101は、音声情報に基づいて、音声が発せられた方向の情報を生成する生成部102を備えており、選択部106は、生成された方向の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、音声が発せられた方向に基づいて定められている。これにより、本実施形態の検索手段制御装置1101は、発話者2によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段11に検索させることができる。例えば、会議において説明する側の発話者2(例えば、発話者2A及び発話者2B)と、説明される側の発話者2(例えば、発話者2C及び発話者2D)とがいる場合、選択部106は、発話者2A及び発話者2Bによって音声が発せられた方向の音声情報を重要度が高いと判定することができる。これにより、検索手段制御装置1101は、例えば、説明する側の発話者2の音声情報が変換された文字情報を検索手段11に出力することができるため、説明の進行に応じて説明資料を順次表示させることができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101は、発話者2によって発せられた音声を収音する複数の収音部101を備え、生成部102は、収音部101ごとに収音された音声の音量を示す情報に基づいて、音声が発せられた方向の情報を生成する。これにより、本実施形態の検索手段制御装置1101は、例えば、単一の収音部101によって収音された音声情報に基づいて音声が発せられた方向の情報を生成することを要せず、簡易に音声が発せられた方向の情報を生成することができる。
また、本実施形態の検索手段制御装置1101の選択部106は、音声情報に含まれている位置の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、音声が発せられた位置に基づいて定められ、音声情報には、位置の情報が含まれている。これにより、本実施形態の検索手段制御装置1101は、例えば、特定の位置に着席している発話者2によって発せられた音声情報に基づいて、検索手段11に検索させることができる。例えば、検索手段制御装置1101は、特定の位置としての会議の進行役(例えば、議長)の座席に着席している発話者2(例えば、発話者2A)によって発せられた音声情報に基づいて、検索手段11に検索させることができる。これにより、検索手段制御装置1101は、例えば、進行役の発話者2Aの音声情報が変換された文字情報を検索手段11に出力することができるため、会議の進行に応じて関連する資料を順次表示させることができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101は、識別部104を備えている。識別部104は、音声情報に基づいて、複数の発話者2のうちから当該音声情報の音声を発した発話者2を識別するとともに、識別した発話者2と当該音声情報を変換した文字情報とを関連付けて出力する。また、本実施形態の検索手段制御装置1101の選択部106は、発話者2の重要度に基づいて、発話者2のうちから特定の発話者2を選択するとともに、選択した特定の発話者2に関連付けられている文字情報から特定の文字情報を選択する。ここで、発話者の重要度には、発話者2の重要度が含まれている。これにより、本実施形態の検索手段制御装置1101は、例えば、発話者2Aが進行役である場合に、発話者2Aが位置(例えば、座席)を移動しても、発話者2Aによって発せられた音声情報に基づいて、検索手段11に検索させることができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101は、識別部104が識別した発話者2ごとに、頻度と発話者2とが関連付けられて記憶されている記憶部105を備えており、選択部106は、記憶部105に記憶されている頻度に基づいて、特定の発話者2を選択する。ここで、発話者2の重要度は、発話者2が音声を発した頻度に基づいて定められている。これにより、本実施形態の検索手段制御装置1101は、例えば、発言頻度の高い発話者2(例えば、発話者2A)によって発せられた音声情報に基づいて、検索手段11に検索させることができる。また、本実施形態の検索手段制御装置1101は、例えば、発言頻度の低い発話者2(例えば、発話者2D)によって発せられた音声情報に基づいて、検索手段11に検索させることができる。例えば、検索手段制御装置1101は、発言頻度の高い発話者2Aによって発せられた音声情報に基づいて、検索手段11に検索させて、会議の話題を深くするための情報を発話者2に提供することができる。また、例えば、発言頻度の高い発話者2Dによって発せられた音声情報に基づいて検索手段11に検索させて、会議の話題を変えたり、広くしたりするための情報を発話者2に提供することができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101は、特定の発話者2の声の特徴を示す特徴量に基づいて、検索手段11が出力する検索結果を示す情報を選択する結果選択部108を備えている。これにより、本実施形態の検索手段制御装置1101は、例えば、発話者2の重要度としての性別や年齢などの属性によって検索結果を示す情報を選択することができる。例えば、本実施形態の検索手段制御装置1101は、子ども若しくは大人、又は男性若しくは女性によって発せられた音声情報に基づいて、検索結果を示す情報を選択することができる。例えば、検索手段制御装置1101は、発話者2としての大人と子どもとが混在している会議において、子どもの発言に注目したい場合に、発話者2としての子どもによって発せられた音声情報に基づいて、検索結果を示す情報を選択することができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるための情報を発話者2に提供することができる。
また、本実施形態の検索手段制御装置1101は、音声情報に基づいて、特徴量を設定する設定部109を備えている。これにより、本実施形態の検索手段制御装置1101は、例えば、発話者2の重要度としての性別や年齢などの属性を、発話者2が発話したタイミングによって(例えば、リアルタイムに)自動的に設定することができる。つまり、検索手段制御装置1101は、発話者2による設定を必要とせずに、発話者2の重要度を設定することができる。つまり、検索手段制御装置1101は、会議を円滑に進行させるために必要な作業量を低減することができる。
また、本実施形態の検索手段制御装置1101の出力部107は、文字情報に、所定の語句が含まれているか否かに基づいて、文字情報を検索手段11に出力するか否かを判定する。ここで、所定の語句とは上述したように、例えば、「そうだね」や「へー」などの感動詞や、「いつ」や「どこで」などの疑問詞などである。これにより、本実施形態の検索手段制御装置1101は、発話者2によって会議中に発せられる感動詞や疑問詞が音声情報に含まれている場合には、検索手段11に出力しないように制御することができる。つまり、検索手段制御装置1101は、発話者2にとって不要な情報が検索されることを低減することができる。
[第11の実施形態]
以下、図面を参照して、本発明の第2の実施形態を説明する。なお、上述した第1の実施形態と同様である構成及び動作については、説明を省略する。
図16は、本実施形態における検索結果出力装置130の構成を示すブロック図である。
検索結果出力装置130は、検索手段11と、上述した検索手段制御装置1101とを備えている。
検索手段11は、文字情報と、文字情報に関連する関連情報とが関連付けられて予め記憶されており、入力された文字情報に関連付けられている関連情報を、検索結果を示す情報として出力する。本実施形態の検索手段11は、例えば、文字情報と、文字情報に関連する関連情報とが関連付けられて予め記憶されているデータベース111と、入力された文字情報に関連付けられている関連情報を、検索結果を示す情報として出力する検索部112とを備えている。つまり、本実施形態の検索結果出力装置130は、第1の実施形態において説明した検索手段11を、検索結果出力装置130の内部に備えている。
これにより、本実施形態の検索結果出力装置130は、第1の実施形態において説明したネットワーク15を必要としないため、ネットワーク15が設置されていない場所においても使用することができる。また、本実施形態の検索結果出力装置130は、ネットワーク15による通信の遅延が生じないため、発話者2によって発話されてから検索結果を提供するまでの時間を、ネットワーク15を介して検索する場合に比べて、短縮することができる。
なお、上述した各実施形態の説明において、検索手段制御装置1101及び検索結果出力装置130は、机3の天板部分に埋め込まれた表示部200Aに情報を表示させているが、これに限られない。例えば、表示部200Aは、壁に設置されているものでもよく、図17に示すように半球状の表示部200が机3の上に設置されていてもよい。
図17は、半球状に構成された表示部200に出力する会議システム1の一例を示す構成図である。
会議システム1は、机3の上に半球状に構成された表示部200を備えている。検索手段制御装置1101及び検索結果出力装置130は、表示部200に検索結果を示す画像を表示させる。この場合、表示部200に表示される画像は、特定の発話者2にのみ視認されることになる。例えば、検索手段制御装置1101及び検索結果出力装置130は、所定の方向に向かって着席している特定の発話者2(例えば、図17における発話者2A)によって発せられた音声情報に基づいて、文字情報のうちから特定の文字情報を選択することができる。これにより、例えば、検索手段制御装置1101及び検索結果出力装置130は、発話者2Aが特定の情報(例えば、発話者2A自身が作成した会議資料)を検索して表示するように要求する内容を発言した場合に、発話者2Aにのみ視認されるようにして、特定の情報を表示させることができる。
なお、上述した各実施形態において、検索手段制御装置1101及び検索結果出力装置130は、4つの収音部101を備えている構成を一例にして説明したが、これに限られない。検索手段制御装置1101及び検索結果出力装置130は、収音部101の周囲の音声が検出できればよく、例えば、机3の下部などに、単一の又は複数の収音部101を備えていてもよい。これにより、検索手段制御装置1101及び検索結果出力装置130は、例えば、机3の大きさに応じた位置及び数の収音部101を備えることができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上記の実施形態における生成部102、変換部103、識別部104、選択部106、出力部107、結果選択部108、設定部109、又は結果出力部110(以下、これらを総称して制御部CONTと記載する)又はこの制御部CONTが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
次に、第12の実施形態から第16の実施形態までにおいて、本発明の一実施形態である情報表示装置(検索制御装置)について説明する。以下の説明において、発話者が発した発言内容を特定する処理の詳細を説明する。
以下、本発明の一実施形態による検索制御装置、及び検索装置(出力装置)について、図面を参照して説明する。
[第12の実施形態]
図18は、本実施形態による検索装置(情報表示装置1200)のシステム構成の一例を示す第1の図である。
図18において、検索装置(情報表示装置1200)は、ネットワーク15(例えば、インターネット)を介して検索手段11に接続されている。また、検索装置(情報表示装置1200)は、収音部(収音マイク)101に接続されている。これにより、収音部101から使用者(例えば、2名の使用者(U1,U2))の音声情報(例えば、会話の音声信号)が、検索装置(情報表示装置1200)に入力される。
収音部101は、使用者の会話の音声を収音して音声信号(音声情報)に変換する。収音部101は、使用者の音声を変換した音声信号(音声情報)を第1の情報として、検索装置(情報表示装置1200)に出力する。
検索手段11は、キーワード(検索ワード)又はキーワードに基づく検索式に基づいて、キーワードに関連する画像、音声、文章などの情報(第2の情報)を検索する。検索手段11は、例えば、ネットワーク15を介して、検索結果となる情報(第2の情報)を検索してもよいし、自装置内に備えるデータベースに記憶されている情報から検索結果となる情報(第2の情報)を検索してもよい。
また、図19は、本実施形態による検索装置(情報表示装置1200)のブロック図である。
図19において、検索装置(情報表示装置1200)(出力装置)は、制御部1102(検索処理制御部)と、表示部200とを備えている。なお、本実施形態において、制御部1102は、検索制御装置(表示制御装置)として機能する。
制御部1102は、検索装置(情報表示装置1200)の各部を制御する。制御部1102は、収音部101から入力された音声情報(第1の情報)に基づいて、ネットワーク15を介して検索手段11に検索させ、検索結果として画像などの情報(第2の情報)を取得する。また、制御部1102は、検索手段11から取得した検索結果を表示部200に表示させる。
また、制御部1102は、音声認識部1111と、検索制御部1112と、を備えている。
音声認識部1111(抽出部)は、収音部101から入力された音声情報(第1の情報)に含まれる単語を抽出する。すなわち、音声認識部1111は、入力された音声情報を認識して、テキスト情報(文章)に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部1111は、抽出した単語を検索制御部1112に供給する。
検索制御部1112(制御部)は、音声認識部1111によって抽出された単語に基づいて、検索結果として出力される画像などの情報を検索手段11に対して検索させる。すなわち、検索制御部1112は、音声認識部1111によって抽出された単語に基づく検索条件に基づいて、第2の情報を検索手段11に対して検索させる。また、検索制御部1112は、音声認識部1111によって抽出された単語に基づくキーワード(例えば、名詞、固有名詞など)に基づいて検索式を生成し、生成した検索式に基づいて、画像などの情報を検索手段11に対して検索させる。例えば、検索制御部1112は、第1の情報に含まれる単語のうちのキーワードを順次追加した検索式を、検索条件として生成し、生成した検索式に基づいて、画像などの情報を検索手段11に対して検索させる。すなわち、検索制御部1112は、生成した検索式を、ネットワーク15を介して検索手段11に供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。なお、上述のキーワード(検索ワード)は、単語を組み合わせた文字列(例えば、形容詞+名詞など)や文章などでもよい。
ここで、検索制御部1112は、以下の2つの検索モードを有している。
話題提供モード(第1の検索モード)は、検索条件を広げていく(拡張していく)検索モードであり、後述する会話追跡モードよりも検索条件の広い検索モードである。話題提供モードは、例えば、会議などの使用者による会話に含まれる単語をキーワードとして、現在使用者が興味を持っている内容を検索した画像などの情報を使用者の会話における話題を提供する情報として提供する検索モードである。この話題提供モードは、会議におけるブレインストーミングなどにおいて有効な検索モードである。また、話題提供モードにおいて、検索制御部1112は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理和(OR:オア)により結合して、検索式に追加する。
例えば、話題提供モードにおいて、検索制御部1112は、下記の式(1)に示すような検索式を生成する。
検索式=KEY1 or KEY2 ・・・(1)
ここで、KEY1、及びKEY2は、キーワードを示す記号である。
この式(1)の検索式の状態において、音声認識部1111が新たにキーワード(KEY3)を抽出した場合、検索制御部1112は、キーワード(KEY3)を追加した下記の式(2)に示す検索式を生成する。
検索式=KEY1 or KEY2 or KEY3 ・・・(2)
また、会話追跡モード(第2の検索モード)は、検索条件を狭めていく(縮小していく)検索モードであり、話題提供モードよりも検索条件の狭い検索モードである。会話追跡モードは、例えば、会議などの使用者による会話に含まれる単語をキーワードとして、使用者が知りたい内容を絞り込んで検索した画像などの情報を使用者に提供する検索モードである。この会話追跡モードは、会議における意見や情報をまとめる作業などにおいて有効な検索モードである。また、会話追跡モードにおいて、検索制御部1112は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理積(AND:アンド)により結合して、検索式に追加する。
例えば、会話追跡モードにおいて、検索制御部1112は、下記の式(3)に示すような検索式を生成する。
検索式=KEY1 and KEY2 ・・・(3)
ここで、KEY1、及びKEY2は、キーワードを示す記号である。
この式(3)の検索式の状態において、音声認識部1111が新たにキーワード(KEY3)を抽出した場合、検索制御部1112は、キーワード(KEY3)を追加した下記の式(4)に示す検索式を生成する。
検索式=KEY1 and KEY2 and KEY3 ・・・(4)
また、検索制御部1112は、音声認識部1111によって抽出された単語に予め定められた規定ワード(所定の単語)が含まれている場合に、規定ワードに応じて、話題提供モードと会話追跡モードとを切り替える。検索制御部1112は、例えば、表示部200に表示されている画像(画像群)などの情報に興味を持った場合に、話題提供モードから会話追跡モードに遷移させる。すなわち、検索制御部1112は、音声認識部1111によって抽出された単語に、例えば、「何」、「これ」などの代名詞が含まれている場合に、話題提供モードから会話追跡モードに遷移させる。
また、検索制御部1112は、例えば、使用者が検索結果に満足した場合に、会話追跡モードから話題提供モードに遷移させる。すなわち、検索制御部1112は、音声認識部1111によって抽出された単語に、満足したことが分かる規定ワード、例えば、「OK」、「あたり」、「それ」などの名詞又は代名詞が含まれている場合に、会話追跡モードから話題提供モードに遷移させる。
なお、検索制御部1112は、話題提供モードにおいて、検索結果であるの画像などの情報が多くなり過ぎて、不必要な検索結果を多く取得する場合がある。そのため、本実施形態では、検索制御部1112は、話題提供モードにおいて、検索結果の数が予め定められた第1の規定数以上になった場合に、キーワードを検索式から除外して、検索手段11に対して再検索をさせる。この場合、検索制御部1112は、例えば、音声認識部1111によって抽出された古い順(入力された古い順)に検索式からキーワードを除外する。ここで、上記のキーワードを検索式から除外するとは、検索式に含まれているキーワードから一部のキーワードを削除(除外)することである。
また、検索制御部1112は、会話追跡モードにおいて、必要な検索結果を得られない場合がある。そのため、本実施形態では、検索制御部1112は、会話追跡モードにおいて、検索結果の数が予め定められた第2の規定数以下になった場合に、キーワードを検索式から除外して、検索手段11に対して再検索をさせる。この場合、検索制御部1112は、例えば、音声認識部1111によって抽出された古い順(入力された古い順)に検索式からキーワードを除外する。
このように、検索制御部1112は、音声認識部1111によって抽出された単語に基づいて、話題提供モードと会話追跡モードとを選択的に切り替えて検索式を生成する。検索制御部1112は、生成した検索式を検索手段11に供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。検索制御部1112は、検索手段11から取得した検索結果を表示部200に供給し、表示部200に表示させる。
表示部200は、例えば、液晶ディスプレイなどの表示装置である。表示部200は、検索制御部1112から供給された画像などの情報(第2の情報)を表示する。
次に、本実施形態における検索装置(情報表示装置1200)の動作について説明する。
図20は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、まず、制御部1102は、収音部101から音声入力があったか否かを判定する(ステップS101)。すなわち、制御部1102は、収音部101から音声認識部1111に音声情報が入力されたか否かを判定する。制御部1102は、音声情報が入力されたと判定した場合(ステップS101:YES)に、処理をステップS102に進める。制御部1102は、音声情報が入力されていないと判定した場合(ステップS101:NO)に、処理をステップS101に戻し、音声情報が入力されるまでステップS101の処理を繰り返す。
次に、制御部1102は、音声認識及び形態素解析を行う(ステップS102)。すなわち、制御部1102の音声認識部1111は、入力された音声情報を認識して、テキスト情報(文章)に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部1111は、抽出した単語を検索制御部1112に供給する。
次に、制御部1102は、検索ワード(キーワード)追加及び検索処理を実行する(ステップS103)。すなわち、制御部1102の検索制御部1112は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理和(OR)により結合して、検索式に追加する。検索制御部1112は、生成した検索式を検索手段11にネットワーク15を介して供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。
次に、制御部1102は、検索結果を表示部200に表示させる(ステップS104)。すなわち、制御部1102の検索制御部1112は、検索結果として取得した画像などの情報を表示部200に供給して表示させる。これにより、表示部200は、検索制御部1112から供給された検索結果である画像などの情報を表示する。
次に、制御部1102は、入力された音声情報に規定ワードが含まれていたか否かを判定する(ステップS105)。すなわち、制御部1102の検索制御部1112は、音声認識部1111によって抽出された単語の中に、規定ワード(所定の単語)が含まれているか否かを判定する。ここで、規定ワードは、上述したように、例えば、「何」、「これ」などの代名詞である。検索制御部1112は、規定ワード(所定の単語)が含まれていると判定した場合(ステップS105:YES)に、処理を話題提供モードから会話追跡モード(図21のステップS111)に遷移させる。また、検索制御部1112は、規定ワード(所定の単語)が含まれていると判定した場合(ステップS105:NO)に、処理をステップS106に進める。
次に、ステップS106において、制御部1102は、検索結果が規定数(第1の規定数)以上であるか否かを判定する。すなわち、制御部1102の検索制御部1112は、検索手段11から取得した検索結果(第2の情報)の数が規定数(第1の規定数)以上であるか否かを判定する。検索制御部1112は、検索結果の数が規定数(第1の規定数)以上であると判定した場合(ステップS106:YES)に、処理をステップS107に進める。また、検索制御部1112は、検索結果の数が規定数(第1の規定数)未満であると判定した場合(ステップS106:NO)に、処理をステップS101に戻す。
次に、ステップS107において、制御部1102は、古い文章(音声情報)に含まれている単語を削除して、処理をステップS101に戻す。すなわち、制御部1102の検索制御部1112は、音声認識部1111によって抽出された古い順(入力された古い順)に検索式からキーワードを除外して、処理をステップS101に戻す。
このように、本実施形態における話題提供モードでは、制御部1102は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理和(OR)により結合して、検索式に追加して、検索手段11に検索結果である画像などの情報を検索させる。そして、制御部1102は、検索結果を表示部200に表示させるとともに、検索結果の数が予め定められた第1の規定数以上になった場合に、キーワードを検索式から除外して、検索手段11に対して再検索をさせる。
また、図21は、本実施形態における会話追跡モードの処理の一例を示すフローチャートである。
この図において、まず、制御部1102は、収音部101から音声入力があったか否かを判定する(ステップS111)。すなわち、制御部1102は、収音部101から音声認識部1111に音声情報が入力されたか否かを判定する。制御部1102は、音声情報が入力されたと判定した場合(ステップS111:YES)に、処理をステップS112に進める。制御部1102は、音声情報が入力されていないと判定した場合(ステップS111:NO)に、処理をステップS111に戻し、音声情報が入力されるまでステップS111の処理を繰り返す。
次に、制御部1102は、音声認識及び形態素解析を行う(ステップS112)。すなわち、制御部1102の音声認識部1111は、入力された音声情報を認識して、テキスト情報(文章)に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部1111は、抽出した単語を検索制御部1112に供給する。
次に、制御部1102は、検索ワード(キーワード)追加及び検索処理を実行する(ステップS113)。すなわち、制御部1102の検索制御部1112は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理積(AND)により結合して、検索式に追加する。検索制御部1112は、生成した検索式を検索手段11にネットワーク15を介して供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。
次に、制御部1102は、検索結果を表示部200に表示させる(ステップS114)。すなわち、制御部1102の検索制御部1112は、検索結果として取得した画像などの情報を表示部200に供給して表示させる。これにより、表示部200は、検索制御部1112から供給された検索結果である画像などの情報を表示する。
次に、制御部1102は、入力された音声情報に規定ワードが含まれていたか否かを判定する(ステップS115)。すなわち、制御部1102の検索制御部1112は、音声認識部1111によって抽出された単語の中に、規定ワード(所定の単語)が含まれているか否かを判定する。ここで、規定ワードは、上述したように、例えば、「OK」、「あたり」、「それ」などの名詞又は代名詞である。検索制御部1112は、規定ワード(所定の単語)が含まれていると判定した場合(ステップS115:YES)に、処理を会話追跡モードから話題提供モード(図20のステップS101)に遷移させる。また、検索制御部1112は、規定ワード(所定の単語)が含まれていると判定した場合(ステップS115:NO)に、処理をステップS116に進める。
次に、ステップS116において、制御部1102は、検索結果が規定数(第2の規定数)以下であるか否かを判定する。すなわち、制御部1102の検索制御部1112は、検索手段11から取得した検索結果の数が規定数(第2の規定数)以下であるか否かを判定する。検索制御部1112は、検索結果の数が規定数(第1の規定数)以下であると判定した場合(ステップS116:YES)に、処理をステップS117に進める。また、検索制御部1112は、検索結果の数が規定数(第2の規定数)を超えると判定した場合(ステップS116:NO)に、処理をステップS111に戻す。なお、本実施形態において、上述した第1の規定数と第2の規定数とは、(第1の規定数>第2の規定数)の関係にあり、第1の規定数と第2の規定数とは、検索結果が適切な数を維持するように、予め定められている。
次に、ステップS117において、制御部1102は、古い文章(音声情報)に含まれている単語を削除して、処理をステップS111に戻す。すなわち、制御部1102の検索制御部1112は、音声認識部1111によって抽出された古い順(入力された古い順)に検索式からキーワードを除外して、処理をステップS111に戻す。
このように、本実施形態における会話追跡モードでは、制御部1102は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理積(AND)により結合して、検索式に追加して、検索手段11に検索結果である画像などの情報を検索させる。そして、制御部1102は、検索結果を表示部200に表示させるとともに、検索結果の数が予め定められた第2の規定数以下になった場合に、キーワードを検索式から除外して、検索手段11に対して再検索をさせる。
以上、説明したように、本実施形態における制御部1102(検索制御装置)は、音声認識部1111と、検索制御部1112と、を備えている。音声認識部1111は、入力された音声情報(第1の情報)に含まれる単語を抽出する。検索制御部1112は、音声認識部1111によって抽出された単語に基づく検索条件に基づいて、検索結果として出力される画像などの情報を検索手段11に対して検索させる。そして、検索制御部1112は、検索条件を広めていく話題提供モードと、検索条件を狭めていく会話追跡モードとを有する。
これにより、本実施形態における検索装置(情報表示装置1200)は、話題提供モードにおいて、例えば、使用者の会話から現在、使用者が興味を持っている内容を検索した検索結果を表示部200に表示する。そして、本実施形態における検索装置(情報表示装置1200)は、会話追跡モードにおいて、そこから使用者が知りたい内容を絞り込むように、検索した検索結果を表示部200に表示する。そのため、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に幅広い情報を提供しつつ、知りたい内容に絞り込んだ情報を提供することができる。例えば、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者が意図して選定した固定の検索条件ではなく、使用者の自然な会話の中から抽出した検索条件により、多種多様な幅広い話題を提供しつつ、使用者が興味を持った話題を掘り下げた情報を提供することができる。よって、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
また、本実施形態では、検索制御部1112は、音声認識部1111によって抽出された単語に予め定められた所定の単語(規定ワード)が含まれている場合に、所定の単語に応じて、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの2つの検索モードを適切に切り替えることができるので、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
また、本実施形態では、検索制御部1112は、音声認識部1111によって抽出された単語のうちのキーワード(検索ワード)を順次追加した検索式を、検索条件として生成し、生成した検索式に基づいて、画像などの情報を検索手段11に対して検索させる。
これにより、音声情報が順次入力されることによって、検索条件を広めていくこと、及び検索条件を狭めていくことが可能になる。そのため、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、話題提供モード及び会話追跡モードの検索を検索手段11に対して適切にさせることができる。
また、本実施形態では、検索制御部1112は、話題提供モードにおいて、キーワードを論理和(OR)により結合して検索式に追加し、会話追跡モードにおいて、キーワードを論理積(AND)により結合して検索式に追加する。
これにより、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、簡易な手段により適切に、2つの検索モードによる検索式を生成することができる。
また、本実施形態では、検索制御部1112は、キーワードを音声認識部1111によって抽出された古い順に検索式から除外する。
これにより、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、古いキーワードを検索式から削除するので、適切な検索条件により、検索手段11に対して検索させることができる。
また、本実施形態では、検索制御部1112は、話題提供モードにおいて、検索結果の数が予め定められた第1の規定数以上になった場合に、キーワードを検索式から除外する。
これにより、検索結果の数が低減される。そのため、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、検索結果であるの画像などの情報が多くなり過ぎて、不必要な検索結果を使用者に提供する状態になることを低減することができる。
また、本実施形態では、検索制御部1112は、会話追跡モードにおいて、検索結果の数が予め定められた第2の規定数以下になった場合に、キーワードを検索式から除外する。
これにより、検索結果の数が増加される。そのため、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、絞込み過ぎて必要な検索結果を使用者に提供できない状態になることを低減することができる。
また、本実施形態では、音声認識部1111は、入力された音声情報を認識してテキスト情報に変換するとともに、テキスト情報に含まれる単語を抽出する。
これにより、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、収音部101から入力された音声情報から単語を抽出し、抽出した単語に基づく検索条件により画像などの情報(第2の情報)を検索することができる。そのため、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者が意識していない自然な会話の中から、適切な情報(第2の情報)を検索して提供することができる。
また、本実施形態における検索装置(情報表示装置1200)(出力装置)は、制御部1102と、制御部1102によって検索された画像などの情報を出力する表示部200とを備える。
これにより、本実施形態における検索装置(情報表示装置1200)は、検索した画像などの情報を使用者に適切に提供することができる。
なお、上述した本実施形態では、検索制御部1112が、規定ワード(所定の単語)が含まれているか否かによって話題提供モードと会話追跡モードとを切り替える一例を説明したが、他の条件によってこの2つのモードを切り替えることも可能である。
次に、この2つのモードを切り替える変形例について説明する。
<第1の変形例>
第1の変形例では、検索制御部1112は、予め定められた所定の時間に応じて、話題提供モードと会話追跡モードとを切り替える。ここで、所定の時間とは、例えば、会議の予定期間の3分の2(2/3)の時間、終了予定時間の10分前の時間、会議開始からの所定の経過時間などである。
図22は、本実施形態における話題提供モードの第1の変形例を示すフローチャートである。
この図における話題提供モードの処理は、ステップS105aの処理が異なる点を除いて図20に示される話題提供モードの処理と同様である。ここでは、ステップS105aの処理について説明する。
ステップS105aにおいて、制御部1102の検索制御部1112は、所定の時間が経過したか否かを判定する。ここで、所定の時間は、上述したように、例えば、会議の予定期間の3分の2(2/3)の時間である。検索制御部1112は、所定の時間が経過したと判定した場合(ステップS105a:YES)に、処理を話題提供モードから会話追跡モードに遷移させる。また、検索制御部1112は、所定の時間が経過していないと判定した場合(ステップS105a:NO)に、処理をステップS106に進める。
なお、図示を省略するが、会話追跡モードにおいても図22と同様に、所定の時間に応じて、会話追跡モードから話題提供モードに切り替えてもよい。
このように、検索制御部1112は、予め定められた所定の時間に応じて、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの2つの検索モードを適切に切り替えることができるので、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。例えば、会議において、所定の時間に応じて、話題提供モードと会話追跡モードとを切り替えるので、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、会議の進行に合せて有益な情報を提供することができる。
<第2の変形例>
第2の変形例では、検索制御部1112は、音声認識部1111によって抽出された単語に検索式に含まれるキーワードが含まれている場合に、話題提供モードと会話追跡モードとを切り替える。すなわち、検索制御部1112は、音声情報(例えば、会話における音声情報)の中に、同じキーワード(検索ワード)が出てきた場合に、話題提供モードと会話追跡モードとを切り替える。
図23は、本実施形態における話題提供モードの第1の変形例を示すフローチャートである。
この図における話題提供モードの処理は、ステップS105bの処理が異なる点を除いて図20に示される話題提供モードの処理と同様である。ここでは、ステップS105bの処理について説明する。
ステップS105bにおいて、制御部1102は、入力された音声情報に同一の検索ワード(キーワード)が含まれているか否かを判定する。すなわち、制御部1102の検索制御部1112は、音声認識部1111によって抽出された単語の中に、検索式に含まれるキーワードが含まれているか否かを判定する。検索制御部1112は、抽出された単語の中に、検索式に含まれるキーワードが含まれていると判定した場合(ステップS105b:YES)に、処理を話題提供モードから会話追跡モードに遷移させる。また、検索制御部1112は、抽出された単語の中に、検索式に含まれるキーワードが含まれていないと判定した場合(ステップS105b:NO)に、処理をステップS106に進める。
このように、検索制御部1112は、音声認識部1111によって抽出された単語に検索式に含まれるキーワードが含まれている場合に、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの2つの検索モードを適切に切り替えることができるので、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
<第3の変形例>
第3の変形例では、検索制御部1112は、特定の話者が話している場合に、話題提供モードと会話追跡モードとを切り替える。
例えば、音声認識部1111は、収音部101から入力された音声情報に基づいて、話者を識別し、話者を示す情報と抽出した単語とを関連付けて、検索制御部1112に供給する。なお、音声認識部1111は、話者の識別を声紋などの音声情報における特徴量に基づいて行ってもよいし、複数の収音部101から入力される音声情報により、音声の方向から識別してもよい。
検索制御部1112は、例えば、話者が会議における議長のように会議をまとめる立場の人であった場合に、会議がまとめに移行したと判定し、話題提供モードから会話追跡モードに切り替える。また、検索制御部1112は、例えば、話者が参考意見を述べる立場の人や、様々な意見を出す立場にある人である場合に、会話追跡モードからに話題提供モード切り替える。
このように、検索制御部1112は、特定の話者が話している場合に、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの2つの検索モードを適切に切り替えることができるので、本実施形態における制御部1102及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
なお、本実施形態において、話題提供モードと会話追跡モードとを切り替える際に、検索制御部1112は、例えば、検索式を一旦削除して、直近のキーワード、又は直近の所定の数のキーワードによって、検索式を新たに生成してもよい。例えば、話題提供モードから会話追跡モードに切り替った場合には、検索制御部1112は、直近の所定の数のキーワードを論理積(AND)により結合して、検索式を生成してもよい。また、例えば、会話追跡モードから話題提供モードに切り替った場合には、検索制御部1112は、直近の所定の数のキーワードを論理和(OR)により結合して、検索式を生成してもよい。
また、検索制御部1112は、話題提供モードと会話追跡モードとを切り替える際に、直近の直近の所定の数のキーワードのみの演算子を変更してもよい。例えば、話題提供モードから会話追跡モードに切り替った場合には、検索制御部1112は、直近の所定の数のキーワードを論理積(AND)により結合して、残りを論理和(OR)のままで検索式を生成してもよい。また、例えば、会話追跡モードから話題提供モードに切り替った場合には、検索制御部1112は、直近の所定の数のキーワードを論理和(OR)により結合して、残りを論理積(AND)のままで検索式を生成してもよい。
また、検索制御部1112は、話題提供モードと会話追跡モードとを切り替える際に、検索式はそのまま維持し、新たに追加するキーワードから演算子を変更して検索式を生成してもよい。
次に、第2の実施形態による検索制御装置、及び検索装置(出力装置)について、図面を参照して説明する。
[第13の実施形態]
第13の実施形態における検索装置(情報表示装置1200)のシステム構成は、図18に示される第12の実施形態における検索装置(情報表示装置1200)のシステム構成と同様である。
図24は、第13の実施形態による検索装置(情報表示装置1200)のブロック図である。
図24において、検索装置(情報表示装置1200)(出力装置)は、制御部1102aと、表示部200とを備えている。なお、本実施形態において、制御部1102aは、検索制御装置として機能する。
この図において、図19と同一の構成については同一の符号を付し、その説明を省略する。
制御部1102aは、検索装置(情報表示装置1200)の各部を制御する。制御部1102aは、収音部101から入力された音声情報(第1の情報)に基づいて、ネットワーク15を介して検索手段11に検索させ、検索結果として画像などの情報を取得する。また、制御部1102aは、検索手段11から取得した画像などの情報を表示部200に表示させる。なお、本実施形態では、制御部1102aは、入力された音声情報(文章)が否定文であった場合に、使用者がその文章に含まれる単語を望んでいないと判定し、先のキーワードからその否定文に含まれる単語を除いて再検索する。
また、制御部1102aは、音声認識部1111と、検索制御部1112と、否定文検出部1113とを備えている。
否定文検出部1113(検出部)は、収音部101から入力された音声情報に含まれる否定文を検出する。ここで、否定文とは、否定を示す単語を含む文章である。また、否定を示す単語とは、「でない」、「じゃない」、「ちがう」、「だめ」などである。例えば、否定文検出部1113は、音声認識部1111が音声情報を認識したテキスト情報、及び音声認識部1111によって抽出された単語を、音声認識部1111から取得する。否定文検出部1113は、音声認識部1111から取得したテキスト情報、及び単語に基づいて否定文を検出する。否定文検出部1113は、例えば、テキスト情報に基づいて文章を抽出し、抽出した文章の中に否定を示す単語が含まれているか否かに基づいて否定文を検出する。否定文検出部1113は、検出した否定文及び否定文に含まれる単語を検索制御部1112に供給する。
検索制御部1112は、否定文検出部1113によって否定文が検出された場合に、否定文に含まれるキーワードを検索式から除外する。例えば、検索制御部1112は、否定文検出部1113から供給された否定文があるか否かを判定する。さらに、検索制御部1112は、否定文があると判定した場合に、否定文検出部1113から供給された単語が検索式の中にあるか否かを判定する。そして、検索制御部1112は、検索式の中にあると判定された単語を検索式から削除する。また、検索制御部1112は、否定文があると判定した場合に、新たに入力された音声情報(第1の情報)に含まれるキーワードを2つの検索モードに応じて、論理和(OR)又は論理積(AND)により結合して検索式に追加する。
検索制御部1112において、その他の処理は、第12の実施形態と同様であるので、ここでは説明を省略する。
次に、本実施形態における検索装置(情報表示装置1200)の動作について説明する。
図25は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部1102aが、否定文による判定処理を行う点が、図20に示される第12の実施形態における話題提供モードの処理と異なる。
この図において、まず、制御部1102aは、収音部101から音声入力があったか否かを判定する(ステップS201)。すなわち、制御部1102aは、収音部101から音声認識部1111に音声情報が入力されたか否かを判定する。制御部1102aは、音声情報が入力されたと判定した場合(ステップS201:YES)に、処理をステップS202に進める。制御部1102aは、音声情報が入力されていないと判定した場合(ステップS201:NO)に、処理をステップS201に戻し、音声情報が入力されるまでステップS201の処理を繰り返す。
次に、制御部1102aは、音声認識及び形態素解析を行う(ステップS202)。すなわち、制御部1102aの音声認識部1111は、入力された音声情報を認識して、テキスト情報(文章)に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部1111は、抽出した単語を検索制御部1112に供給する。また、音声認識部1111は、変換したテキスト情報(文章)と抽出した単語とを否定文検出部1113に供給する。
次に、制御部1102aは、否定文があるか否かを判定する(ステップS203)。まず、制御部1102aの否定文検出部1113は、音声認識部1111から取得したテキスト情報、及び単語に基づいて否定文を検出する。否定文検出部1113は、検出した否定文及び否定文に含まれる単語を検索制御部1112に供給する。検索制御部1112は、否定文検出部1113から供給された否定文があるか否かを判定する。検索制御部1112は、否定文があると判定した場合(ステップS203:YES)に、処理をステップS204に進める。また、検索制御部1112は、否定文がないと判定した場合(ステップS203:NO)に、処理をステップS205に進める。
次に、ステップS204において、制御部1102aは、検索ワード(キーワード)削除及び検索処理を実行する。すなわち、制御部1102aの検索制御部1112は、検索式の中にあると判定された単語を検索式から削除する。検索制御部1112は、生成した検索式を検索手段11にネットワーク15を介して供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。
また、ステップS205において、制御部1102aは、検索ワード(キーワード)追加及び検索処理を実行する。すなわち、制御部1102aの検索制御部1112は、新たに入力された音声情報(第1の情報)に含まれるキーワードを論理和(OR)により結合して、検索式に追加する。検索制御部1112は、生成した検索式を検索手段11にネットワーク15を介して供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。
次のステップS206からステップS209までの処理は、図20に示されるステップS104からステップS107までの処理と同様であり、ここでは説明を省略する。
また、図示を省略するが、会話追跡モードの処理においても、図25のステップS203及びステップS204と同様に、制御部1102aは、否定文による判定処理を実行する。
以上、説明したように、本実施形態における制御部1102aは、否定を示す単語を含む文章である否定文であって、音声情報(第1の情報)に含まれる否定文を検出する否定文検出部1113を備えている。検索制御部1112は、否定文検出部1113によって否定文が検出された場合に、否定文に含まれるキーワードを検索式から除外する。
これにより、本実施形態における制御部1102a及び検索装置(情報表示装置1200)は、検索式からキーワード(検索ワード)を取り除くことができる。例えば、本実施形態における制御部1102a及び検索装置(情報表示装置1200)は、音声認識部1111による認識間違いが起こった場合などに、先の検索式から間違ったキーワード(検索ワード)を取り除くことができる。よって、本実施形態における制御部1102a及び検索装置(情報表示装置1200)は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
次に、第14の実施形態による検索制御装置、及び検索装置(出力装置)について、図面を参照して説明する。
[第14の実施形態]
図26は、本実施形態による検索装置(情報表示装置1200)の構成の一例を示す第2の図である。
図26において、検索装置(情報表示装置1200)は、ネットワーク15(例えば、インターネット)を介して検索手段11及び類語検索手段12に接続されている。また、検索装置(情報表示装置1200)は、収音部101に接続されている。これにより、収音部101から使用者(例えば、2名の使用者(U1,U2))の音声情報(例えば、会話の音声信号)が、検索装置(情報表示装置1200)に入力される。
この図において、図19と同一の構成については同一の符号を付し、その説明を省略する。なお、本実施形態では、類語検索手段12に接続されている点が上記の第12及び第13の実施形態と異なる。
類語検索手段12は、ネットワーク15を介して入力された単語に基づいて、入力された単語に関連する関連単語である類語を検索し、検索した類語を、ネットワーク15を介して出力する。類語とは、例えば、「りんご」という単語に対して、「アップル」、「Apple」などである。類語検索手段12は、例えば、ネットワーク15を介して、類語を検索してもよいし、自装置内に備えるデータベース(例えば、類語辞書)に記憶されている情報から類語を検索してもよい。
図27は、第14の実施形態による検索装置(情報表示装置1200)のブロック図である。
図27において、検索装置(情報表示装置1200)(出力装置)は、制御部1102bと、表示部200とを備えている。なお、本実施形態において、制御部1102bは、検索制御装置として機能する。
この図において、図24と同一の構成については同一の符号を付し、その説明を省略する。
制御部1102bは、検索装置(情報表示装置1200)の各部を制御する。制御部1102bは、収音部101から入力された音声情報(第1の情報)に基づいて、ネットワーク15を介して検索手段11に検索させ、検索結果として画像などの情報を取得する。また、制御部1102bは、検索手段11から取得した画像などの情報を表示部200に表示させる。また、本実施形態では、制御部1102bは、音声情報(第1の情報)に含まれる単語に関連する類語を類語検索手段12から取得し、取得した類語に基づいて、検索結果として画像などの情報を取得する。
また、制御部1102bは、音声認識部1111と、検索制御部1112と、否定文検出部1113と、類語取得部1114と、を備えている。
類語取得部1114(取得部)は、音声認識部1111によって抽出された単語に基づいて、単語に関連する類語(関連単語)を取得する。すなわち、類語取得部1114は、検索制御部1112から供給された単語を、ネットワーク15を介して類語検索手段12に供給して、類語検索手段12に類語を検索させる。そして、類語取得部1114は、類語検索手段12からネットワーク15を介して供給された類語を検索制御部1112に供給する。
検索制御部1112は、音声認識部1111によって抽出された単語に基づいて、類語取得部1114から類語を取得し、取得した類語と音声認識部1111によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段11に対して検索させる。例えば、検索制御部1112は、まず、音声認識部1111によって抽出された単語に基づく検索条件により、画像などの情報を検索手段11に対して検索させる。そして、検索制御部1112は、音声認識部1111によって抽出された単語に基づく検索結果の数が予め定められた第3の規定数以下になった場合に、類語と音声認識部1111によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段11に対して検索させる。
検索制御部1112において、その他の処理は、第13の実施形態と同様であるので、ここでは説明を省略する。
次に、本実施形態における検索装置(情報表示装置1200)の動作について説明する。
図28は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部1102bが、類語に基づく検索処理を行う点が、図25に示される第2の実施形態における話題提供モードの処理と異なる。
この図において、ステップS201からステップS207の処理は、図25に示される第13の実施形態と同様である。ここでは、ステップS208a以降の処理について説明する。
ステップS208aにおいて、制御部1102bは、検索結果が規定数(第1の規定数)以上であるか否かを判定する。すなわち、制御部1102bの検索制御部1112は、検索手段11から取得した検索結果の数が規定数(第1の規定数)以上であるか否かを判定する。検索制御部1112は、検索結果の数が規定数(第1の規定数)以上であると判定した場合(ステップS208a:YES)に、処理をステップS209に進める。また、検索制御部1112は、検索結果の数が規定数(第1の規定数)未満であると判定した場合(ステップS208a:NO)に、処理をステップS210に進める。
ステップS209の処理は、図25に示される第13の実施形態と同様であるので、ここでは説明を省略する。
ステップS210において、制御部1102bは、検索結果が規定数(第3の規定数)以下であるか否かを判定する。すなわち、制御部1102bの検索制御部1112は、検索手段11から取得した検索結果の数が規定数(第3の規定数)以下であるか否かを判定する。検索制御部1112は、検索結果の数が規定数(第3の規定数)以上であると判定した場合(ステップS210:YES)に、処理をステップS211に進める。また、検索制御部1112は、検索結果の数が規定数(第3の規定数)を超えると判定した場合(ステップS210:NO)に、処理をステップS201に戻す。
次に、ステップS211において、制御部1102bは、類語の検索、及び類語をキーワードとして追加する。すなわち、検索制御部1112は、音声認識部1111によって抽出されたキーワード(検索ワード)に基づいて、類語取得部1114から類語を取得する。検索制御部1112は、取得した類語を検索式に追加して新たな検索式を生成し、処理をステップS201に戻す。結果として、検索制御部1112は、新たに生成した検索式に基づいて、画像などの情報を検索手段11に対して検索させる。
なお、ステップS211において、取得した類語を検索式に追加する場合、検索制御部1112は、例えば、キーワードと対応する類語とを論理和(OR)により結合して検索式に追加する。
また、図示を省略するが、会話追跡モードの処理においても、図28のステップS210及びステップS211と同様に、制御部1102bは、類語を検索式に追加する処理を実行する。なお、会話追跡モードの処理においても、取得した類語を検索式に追加する場合、検索制御部1112は、例えば、キーワードと対応する類語とを論理和(OR)により結合して検索式に追加する。
以上、説明したように、本実施形態における制御部1102bは、音声認識部1111によって抽出された単語に基づいて、単語に関連する類語(関連単語)を取得する類語取得部1114を備えている。検索制御部1112は、音声認識部1111によって抽出された単語に基づいて、類語取得部1114から類語を取得し、取得した類語と、音声認識部1111によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段11に対して検索させる。
これにより、類語を含めた検索条件により、画像などの情報を検索できるので、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、柔軟な検索が可能になる。よって、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
また、本実施形態では、検索制御部1112は、音声認識部1111によって抽出された単語(検索ワード)に基づく検索結果の数が予め定められた規定値(第3の規定数)以下になった場合に、類語と単語(検索ワード)とに基づく検索条件に基づいて、画像などの情報を検索手段11に対して検索させる。
これにより、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、柔軟に検索結果の数を調整することができる。よって、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
なお、本実施形態によれば、制御部1102b(検出制御装置)は、音声認識部1111と、検索制御部1112とを備えている。音声認識部1111は、入力された音声情報に含まれる単語を抽出する。検索制御部1112は、音声認識部1111によって抽出された単語に基づいて、検索結果として出力される画像などの情報を検索手段11に対して検索させる。そして、制御部は、検索制御部1112は、単語に基づく検索結果の数が予め定められた規定数以下になった場合に、単語に関連する類語(関連単語)に基づいて、画像などの情報を検索手段11に対して検索させる。
これにより、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、柔軟に検索結果の数を調整することができる。よって、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、使用者に有益な情報を適切に提供することができる。
次に、第15の実施形態による検索制御装置、及び検索装置(出力装置)について、図面を参照して説明する。
[第15の実施形態]
第15の実施形態における検索装置(情報表示装置1200)のシステム構成は、図26に示される第14の実施形態における検索装置(情報表示装置1200)のシステム構成と同様である。
また、検索装置(情報表示装置1200)の構成は、図27に示される第14の実施形態における検索装置(情報表示装置1200)のシステム構成と同様である。
本実施形態において、検索制御部1112は、音声認識部1111によって抽出された単語に予め定められた復活を示す単語(復活語)が含まれている場合に、検索式から除外したキーワードを検索式に追加する。ここで、予め定められた復活を示す単語とは、例えば、「さっきのやつ」、「ちょっと前の」などの単語である。例えば、検索制御部1112は、音声認識部1111によって抽出された単語に上述した復活を示す単語が含まれているか否かを判定する。さらに、検索制御部1112は、上述した復活を示す単語が含まれていると判定した場合に、過去に検索式から除外したキーワードを検索式に追加する。この場合、検索制御部1112は、例えば、除外したキーワードのうちの新しいものから検索式に追加して復活させる。なお、除外したキーワードを復活させる場合には、検索制御部1112は、復活させるキーワードを2つの検索モードに応じて、論理和(OR)又は論理積(AND)により結合して検索式に追加する。
検索制御部1112において、その他の処理は、第14の実施形態と同様であるので、ここでは説明を省略する。
次に、本実施形態における検索装置(情報表示装置1200)の動作について説明する。
図29は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部1102bが、単語に復活語を含むか否かの判定処理を行う点が、図28に示される第14の実施形態における話題提供モードの処理と異なる。
この図において、まず、制御部1102bは、収音部101から音声入力があったか否かを判定する(ステップS301)。すなわち、制御部1102bは、収音部101から音声認識部1111に音声情報が入力されたか否かを判定する。制御部1102bは、音声情報が入力されたと判定した場合(ステップS301:YES)に、処理をステップS302に進める。制御部1102bは、音声情報が入力されていないと判定した場合(ステップS301:NO)に、処理をステップS301に戻し、音声情報が入力されるまでステップS301の処理を繰り返す。
次に、制御部1102bは、音声認識及び形態素解析を行う(ステップS302)。すなわち、制御部1102bの音声認識部1111は、入力された音声情報を認識して、テキスト情報(文章)に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部1111は、抽出した単語を検索制御部1112に供給する。また、音声認識部1111は、変換したテキスト情報(文章)と抽出した単語とを否定文検出部1113に供給する。
次に、制御部1102bは、単語に復活語を含むか否かを判定する(ステップS303)。まず、制御部1102bの検索制御部1112は、音声認識部1111から取得した単語の中に、上述した予め定められた復活を示す単語である復活語を含んでいるか否かを判定する。検索制御部1112は、復活語を含んでいると判定した場合(ステップS303:YES)に、処理をステップS304に進める。また、検索制御部1112は、復活語を含んでいないと判定した場合(ステップS303:NO)に、処理をステップS305に進める。
次に、ステップS304において、制御部1102bは、検索ワード(キーワード)復活及び検索処理を実行する。すなわち、制御部1102bの検索制御部1112は、例えば、過去に検索式から除外したキーワードのうちの新しいものから順に検索式に復活させる。検索制御部1112は、生成した検索式を検索手段11にネットワーク15を介して供給し、検索結果である画像などの情報を、ネットワーク15を介して検索手段11から取得する。その後、検索制御部1112は、処理をステップS308に進める。
次のステップS305からステップS313までの処理は、図28に示されるステップS206からステップS211までの処理と同様であり、ここでは説明を省略する。
また、図示を省略するが、会話追跡モードの処理においても、図28のステップS303及びステップS304と同様に、制御部1102bは、単語に復活語を含むか否かの判定処理を実行する。
以上、説明したように、本実施形態における制御部1102bの検索制御部1112は、音声認識部1111によって抽出された単語に予め定められた復活を示す単語が含まれている場合に、検索式から除外したキーワードを検索式に追加する。
これにより、検索式から誤って削除(除外)したキーワード(検索ワード)を復活させることができるので、本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、適切に検索処理を行うことができる。本実施形態における制御部1102b及び検索装置(情報表示装置1200)は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
次に、第16の実施形態による検索制御装置、及び検索装置(出力装置)について、図面を参照して説明する。
[第16の実施形態]
図30は、第16の実施形態による検索装置(情報表示装置1200)のブロック図である。
図30において、検索装置(情報表示装置1200)(出力装置)は、制御部1102bと、表示部200と、検索部11aと、類語検索部12aと、を備えている。なお、本実施形態において、制御部1102bと、検索部11aと、類語検索部12aとは、検索制御装置130Bとして機能する。
この図において、図27と同一の構成については同一の符号を付し、その説明を省略する。
本実施形態における検索制御装置130B及び検索装置(情報表示装置1200)は、検索部11aと、類語検索部12aとを備えている点が第15の実施形態と異なる。
検索部11a(検索手段)は、第15の実施形態における検索手段11と同様の機能を有し、キーワード(検索ワード)又はキーワードに基づく検索式に基づいて、キーワードに関連する画像、音声、文章などの情報を検索する。検索部11aは、例えば、ネットワークを介して、検索結果となる情報を検索してもよいし、内部に備えるデータベース(不図示)に記憶されている情報から検索結果となる情報を検索してもよい。
類語検索部12aは、第15の実施形態における類語検索手段12と同様の機能を有し、類語取得部1114から供給された単語に基づいて、供給された単語に関連する関連単語である類語を検索し、検索した類語を、類語取得部1114に出力する。類語検索部12aは、例えば、ネットワークを介して、類語を検索してもよいし、内部に備える不図示のデータベース(例えば、類語辞書)に記憶されている情報から類語を検索してもよい。
なお、本実施形態における検索制御装置130B及び検索装置(情報表示装置1200)は、第15の実施形態における動作と同様であるので、ここでは省略する。
以上、説明したように、本実施形態における検索制御装置130Bは、画像などの情報を検索する検索部11a(検索手段)を備えている。
これにより、本実施形態における検索制御装置130Bは、ネットワークに接続できない環境(オフライン)においても、使用者に有益な情報を適切に提供することができる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、第1の情報として音声情報を用いる形態を説明したが、これに限定されるものではない。例えば、チャットやメールなどによるテキスト情報によるコミュニケーションに対して、上記の各実施形態を適用することも可能である。この場合、音声認識の機能が不要になるので、上記の各実施形態を簡易な構成により実現することができる。
また、上記の各実施形態において、検索結果の一例として画像などの情報を検索する形態を説明したが、音声を含む音情報、映像情報、テキスト情報などを検索する形態でもよい。また、上記の各実施形態において、検索装置(情報表示装置1200)が出力部として表示部200を備える形態を説明したが、出力部は、音情報を出力するスピーカなどの出力装置でもよいし、他の形態でもよい。また、検索装置(情報表示装置1200)は、検索結果を出力するインターフェースを出力部として備え、外部に接続された表示部200やスピーカにインターフェースを介して出力する形態でもよい。
また、上記の各実施形態において、会議など複数の使用者が検索装置(情報表示装置1200)を使用する形態を説明したが、1人の使用者によって、検索装置(情報表示装置1200)が使用される形態でもよい。このように、検索装置(情報表示装置1200)は、1人で何かを検討したり、まとめたりする場合においても、有益な情報を適切に提供することができる。
また、上記の各実施形態において、検索式を生成する論理演算子として論理和と論理積とを用いる形態を説明したが、他の論理演算子を用いる形態でもよい。
また、上記の各実施形態における各実施形態又は各変形例との組み合わせは、上記に限定されるものではない。例えば、上記の第14の実施形態は、第13の実施形態と組み合わせて実施する形態を説明したが、第12の実施形態と組み合わせて実施する形態でもよい。また、同様に、上記の第15の実施形態は、第14の実施形態と組み合わせて実施する形態を説明したが、第12又は第13の実施形態と組み合わせて実施する形態でもよい。また、同様に、上記の第16の実施形態は、第14又は第15の実施形態と組み合わせて実施する形態を説明したが、第12又は第13の実施形態と組み合わせて実施する形態でもよい。
なお、上記の各実施形態における制御部1102(1102a,1102b)及び検索制御装置130Bが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、制御部1102(1102a,1102b)及び検索制御装置130Bが備える各部はメモリおよびCPU(中央演算装置)により構成され、制御部1102(1102a,1102b)及び検索制御装置130Bが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、上述の制御部1102(1102a,1102b)、検索制御装置130B及び検索装置(情報表示装置1200)は内部に、コンピュータシステムを有している。そして、上述した制御部1102(1102a,1102b)、検索制御装置130B及び検索装置(情報表示装置1200)の処理過程(処理手順)は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われてもよい。
また、制御部1102(1102a,1102b)、検索制御装置130B及び検索装置(情報表示装置1200)が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部1102(1102a,1102b)、検索制御装置130B及び検索装置(情報表示装置1200)が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
次に、第17の実施形態から第21の実施形態までにおいて、本発明の一実施形態である情報表示装置について説明する。以下の説明において、表示制御装置によって表示内容が制御される表示部の詳細を説明する。
[第17の実施形態]
以下、図面等を参照して、本発明の実施形態について説明する。図31は、本発明の一実施形態である情報表示装置1200を示す。図32は、表示制御装置1100による操作モード判定の説明図である。図33は、表示部200による操作モードの表示の説明図である。
情報表示装置1200は、表示部200に表示した画像をタッチ操作することで表示に対して操作する表示操作モード(以下タッチモードと呼ぶ)と、当該情報表示装置1200に接続された外部装置1500の操作が可能な移動操作モード(以下マウスモードと呼ぶ)の、2つの操作モードを切り換えて操作可能に構成されている。
情報表示装置1200は、表示入力部1300と、表示制御装置1100とを備える。
表示入力部1300は、全体形状が略直方体状の筐体1311と、筐体1311の上面に配設された表示部200と、を備えている。筐体1311の内部には、画像投影部1330と、タッチ操作検出部1340および移動量検出部1350が配設されている。
表示制御装置1100は、当該情報表示装置1200を統括制御するものであり表示入力部1300から出力部65を介して接続されている。
表示部200は、筐体1311の上面略全体を覆うように配設された板状の表示板21と、その内面(筐体1311の内部に対向する面)に形成されたスクリーン22と、により構成されている。
表示板21は、たとえば透明アクリルやポリカーボネート等、可視光および赤外光を透過可能な素材によって所定厚さに形成されており、その板面方向に全反射を利用して導光可能となっている。
スクリーン22は、表示板21の内面に、照射された可視光を乱反射するように形成された光散乱層である。
そして、表示部200は、後述する画像投影部1330から投射された画像光をスクリーン22で散乱させて、表示板21の外面側から視認可能に表示する。
画像投影部1330は、詳細には示さないが、投射光源と画像透光表示部と光学系とにより構成されており、画像光を表示板21(スクリーン22)に向けて投射するように、筐体1311の内部所定位置に配設されている。画像投影部1330は、後述する表示制御装置1100(画像処理装置62)から入力される画像情報の画像光をスクリーン22に投射する。
タッチ操作検出部1340は、検出光源41と、検出光受光装置42と、により構成されている。
検出光源41は、検出光としての赤外光(検出赤外光)を出射する光源であって、表示部200における表示板21の側端面に、表示板21の内部に検出赤外光を照射するように配設されている。検出光源41によって表示板21の側端面から内部に照射された検出赤外光は、表示板21の内外面で全反射を繰り返して反対側の側端に至るようになっている。
検出光受光装置42は、詳しくは図示しないが、結像光学系と受光素子等とを備え、検出光源41が出射する波長の検出赤外光を画像として撮影可能ないわゆる赤外線カメラである。検出光受光装置42は、スクリーン22の全域を撮影可能として、筐体1311の内部所定位置に配設されている。
上記のように構成されたタッチ操作検出部1340は、表示部200における表示板21の外面への操作主体である手(指または掌等)の接触による検出赤外光の散乱を、検出光受光装置42が撮像する。すなわち、表示板21の外面に手等が接触すると、その接触部分では表示板21の内部における検出赤外光の反射光路に乱が生じ、検出赤外光が表示板21の内面側に漏出する。検出光受光装置42は、この表示板21の内面側に漏出した検出赤外光を撮像する。
そして、タッチ操作検出部1340は、検出光受光装置42による、表示板21の外面への手の接触情報が含まれる撮像情報を、出力部65を介して表示制御装置1100に出力する。
移動量検出部1350は、本実施形態では、当該情報表示装置1200が設置された面(設置面)を照射する赤外光源51と、赤外光源51が照射した赤外光の設置面からの反射光を受光する受光部52とにより構成されている。移動量検出部1350は、受光部52が受光した設置面からの赤外反射光の変化から、受光部52の移動(すなわち、情報表示装置1200の移動)を検出し、その検出情報(移動情報)を表示制御装置1100(CPU61)へ出力する。
表示制御装置1100は、CPU61、画像処理装置62、メモリ63、ストレージ66、外部装置1500へと接続される出力ケーブル64、等を備えて構成されている。表示制御装置1100は、メモリ63に格納されたプログラムによるCPU61の駆動によって、ストレージ66に格納された画像情報を画像処理装置62で処理して画像投影部1330に出力し、画像投影部1330を介して表示部200に表示させる。
また、表示制御装置1100は、タッチ操作検出部1340(検出光受光装置42)から入力された表示板21の外面への接触操作情報が含まれる撮像を解析し、操作モード(タッチモードまたはマウスモード)の判定と、それぞれの制御とを行う。
画像処理装置62は、タッチ操作検出部1340(検出光受光装置42)から入力された表示板21の撮像を解析し、操作モード判定のための判定基礎情報を作成する。
本実施形態における操作モード判定のための判定基礎情報は、表示部200における表示板21の外面に手が接触した、その位置、接触面積、数等である。
画像処理装置62は、作成したこれらの判定基礎情報を、CPU61に出力する。
CPU61は、画像処理装置62から入力された判定基礎情報に基づいて操作モード(タッチモードまたはマウスモード)の判定を行うと共に、それぞれの制御を行う。
CPU61による操作モードの判定は、たとえば、表示部200における表示板21の外面に手が接触したその接触領域の面積を定められた判定基準(基準面積)と比較し、接触領域の面積が基準面積を越えない場合にはタッチモードと判定し、接触面積が基準面積を越える場合にはマウスモードと判定する。
すなわち、図32(a),(b)に示すように表示板21を指先で操作している場合には接触領域:TA(S)の面積は合計しても小さく、タッチモードと判定する。一方、情報表示装置1200全体を移動操作しようとして掴んだ場合には、図32(c)に示すように表示板21に掌が接触して接触領域:TA(L)の面積は大きくなるため、マウスモードと判定するものである。
また、操作モードの判定は、接触領域の数に基づいて行っても良い。たとえば、図32(d)に示すように、接触領域:TAが4箇所以上でマウスモードと判定する等である。なお、接触面積と接触領域の数との両者を加味した判定基準を定めても良い。
さらに、CPU61は、操作モード判定によってマウスモードと判定した場合には、加えて操作する手の向きを識別して操作の前後方向を判別するようにしても良い。すなわち、情報表示装置1200を移動操作しようとして表示部200(表示板21)に手を置くと、図32(d)に示すように、指先による複数の小さい接触領域:TA(S)と、掌による広い接触領域:TA(L)とが検出される。そこで、複数の小さい接触領域:TA(S)の側を前方側:F、広い接触領域:TA(L)の側を手前(後方)側:R、と識別して移動座標を設定し、以後、その移動座標に基づいて制御する。
また、CPU61は、図33に示すように、適用する操作モード(タッチモードまたはマウスモード)を、操作する手によって隠されることのない表示部200(表示板21)の周辺部に表示する。これにより、操作者に適用操作モードが解り、誤操作を防ぐことができる。図33では、マウスのシンボル:Sと文字表記:Lとによってマウスモードを表示している。
なお、適用する操作モードを操作者に認識させる制御としては、表示部200における表示をOFFとする構成としても良い。マウスモードでは表示部200が手で覆われて視認が困難となって表示部200における表示の必要性は少なく、これによって省電力にもなる。
CPU61は、上記のようにして操作モードを判定した後、その判定結果に応じてタッチモードまたはマウスモードのそれぞれの制御を行う。
タッチモードでは、タッチ操作検出部1340から入力された検出光受光装置42の撮像から、手の表示板21の外面への接触とその移動を解析し、その接触および移動を、表示板21に表示された画像(たとえばサムネイル等)に対するクリックや、表示画像の拡大・縮小および移動操作として認識して制御する。
マウスモードでは、移動量検出部1350から入力された当該情報表示装置1200の移動情報に基づく信号を、出力ケーブル64を介して接続された外部装置1500に出力し、外部装置1500を操作する。
なお、表示制御装置1100における、表示入力部1300との接続は、有線または無線の何れによっても良く、また、表示制御装置1100は表示入力部1300の内部(筐体1311の内部)に配設しても良い。さらに、表示制御装置1100は、パーソナルコンピュータによって構成しても良い。
上記にように構成された情報表示装置1200は、表示制御装置1100におけるCPU61がタッチモードとマウスモードとを判定し、タッチモードでは表示部200に表示された画像に接触すること画像と対応した入力が可能であると共に、マウスモードでは当該情報表示装置1200を移動させることで、外部装置1500の操作が可能となる。これにより、表示装置とマウスとの両方の機能を有するものとなる。
[第18の実施形態]
つぎに、図34示す本発明の第18実施形態を説明する。
図34は、本発明の第18実施形態における情報表示装置1200Bの概念構成図である。
なお、第18実施形態における情報表示装置1200Bの基本構成は前述した第17実施形態における情報表示装置1200と同様であり、同様の構成要素には同符号を付して説明を省略する。
図34に示す情報表示装置1200Bは、筐体1311と、筐体1311の上部に配設された表示部200と、画像投影部1330と、タッチ操作検出部1340と、移動量検出部1350と、圧力センサ1370と、表示制御装置1100と、を備えている。また、情報表示装置1200Bには、ディスプレイ300が接続されている。
表示部200における表示板21は、所定の板厚で中空半球状に形成されており、その内周面全域にスクリーン22が形成されている。
画像投影部1330は、投射表示部31と、投影受光光学系32とにより構成されている。
投射表示部31は、LCDによる画像透光表示部と図示しない投射光源とにより構成されている。
投影受光光学系32は、画角が略180°の魚眼レンズである対物レンズ32Aを備えており、表示部200の全域を画角内として配設されている。
そして、投影受光光学系32は、画像光を表示板21(スクリーン22)に向けて投射するように、半球状の表示部200の略中心に配設されている。投影受光光学系32は、表示制御装置1100(画像処理装置62)から入力される画像情報の画像光をスクリーン22に投射する。なお、この投影受光光学系32は、タッチ操作検出部1340の入射光学系も兼ねている。
タッチ操作検出部1340は、検出光源41と、検出光受光装置42とにより構成されている。
検出光源41は、表示部200における表示板21の側端面に、表示板21の内部に検出赤外光を照射するように配設されている。検出光源41によって表示板21の側端面から内部に照射された検出赤外光は、表示板21の内外面で全反射を繰り返して反対側の側端に至るようになっている。
検出光受光装置42は、ダイクロイックミラー42Mと、CCD等による赤外光受光センサ42Sとにより構成されている。
ダイクロイックミラー42Mは、特定波長の赤外光(検出光源41が出射する検出赤外光)のみを反射し可視光は透過する周波数特性を備えた反射鏡である。ダイクロイックミラー42Mは、投影受光光学系32における投射表示部31と投影受光光学系32の間の光路中に、光路に対して所定の角度で介設されている。
赤外光受光センサ42Sは、投影受光光学系32から入射してダイクロイックミラー42Mによって反射された検出光源41由来の検出赤外光を検出可能に配設されている。
このような検出光受光装置42は、画像投影部1330と投影受光光学系32を共用するため、全体をコンパクトに構成できると共に、画像の歪み補正が不要または容易である。
移動量検出部1350は、筐体1311の底部に回転自在に設けられたボール53と、ボール53の直交する2方向における回転を検出する図示しないセンサとを備え、筐体1311(すなわち情報表示装置1200B)の移動に伴うボール53の回転をセンサによって検出して出力する、いわゆるトラックボールである。
圧力センサ1370は、筐体1311と表示部200における表示板21との間に介設されている。圧力センサ1370は、表示板21に作用する押圧力を検出して、その検出情報を表示制御装置1100に出力する。
なお、表示板21に作用する押圧力を検出する構成としては、圧力センサ1370に限らず、所定の押圧力でON/OFFするスイッチを用いても良い。また、その配設位置は、たとえば、筐体1311の裏面として、設置面との間に介在する構成であっても良い。
ディスプレイ300は、マウスモードでは表示部200が手で覆われて視認が困難となるため、表示部200に代わって画像等を表示する。そして、その画面上にマウスモードの操作をポインタで表すことで操作性が向上する。
表示制御装置1100は、圧力センサ1370から入力される表示部200(表示板21)に作用する押圧力の検出情報に基づいて、操作モード(タッチモードまたはマウスモード)を判定し、それぞれの制御を行う。
操作モードの判定は、圧力センサ1370から入力される表示板21に作用する押圧力を判定基準(閾値)と比較し、押圧力が定められた基準圧力を越えない場合にはタッチモードと判定し、押圧力が基準圧力を越える場合にはマウスモードと判定する。
すなわち、表示板21を指先で操作している場合には作用する押圧力は小さいためにタッチモードとし、情報表示装置1200全体を移動操作しようとして掴んだ場合には少なくとも手の重量が作用して押圧力が大きくなるためにマウスモードと判定する。
表示制御装置1100は、上記のようにして操作モードを判定した後、その判定結果に応じてタッチモードまたはマウスモードのそれぞれの制御を行う。この制御については、前述の第17の実施形態と同様であるが、マウスモードの場合には、ディスプレイ300上に表示部200に代わって画像等を表示し、その画面上にマウスモードの操作をポインタで表示する。
[第19の実施形態]
つぎに、図35示す本発明の第19の実施形態を説明する。
図35は、本発明の第19の実施形態における情報表示装置1200Cの概念構成図である。
なお、第19の実施形態における情報表示装置1200Cの基本構成は前述した第18の実施形態における情報表示装置1200Bと同様であり、同様の構成要素には同符号を付して説明を省略する。
第19の実施形態に係る情報表示装置1200Cは、前述した第18の実施形態おける情報表示装置1200Bに対して、筐体1311の形状と、圧力センサ1370の構成が異なる。
情報表示装置1200Cは、タッチモードにおいて手(掌)190を置くためのパームレスト1312を備えている。
すなわち、筐体1311の一方側方に突設された、上面が外側に向かって下がり勾配のパームレスト1312が形成されている。
パームレスト1312の上面には、圧力センサ1370が設けられている。
圧力センサ1370は、パームレスト1312に置かれた手190の圧力を検知し、その検知情報を表示制御装置1100に出力する。
表示制御装置1100は、圧力センサ1370からパームレスト1312に置かれた手190の圧力検知情報が入力されると、マウスモードと判定するものである。
なお、パームレスト1312に置かれた手190の検出は、圧力センサに限らず、押圧スイッチや赤外線感知スイッチ等であっても良い。
[第20の実施形態]
つぎに、図36示す本発明の第20の実施形態を説明する。
図36は、本発明の第20の実施形態における情報表示装置1200Dの概念構成図である。
なお、第20の実施形態における情報表示装置1200Dの基本構成は前述した第18の実施形態における情報表示装置1200Bと同様であり、同様の構成要素には同符号を付して説明を省略する。
第20の実施形態に係る情報表示装置1200Dは、前述した第18の実施形態おける情報表示装置1200Bに加えて、タッチモード時において当該情報表示装置1200Dの移動を規制する移動規制機構1390を備える。
移動規制機構1390は、筐体1311の底部に設けられたスライドパッド91と、スライドパッド91を移動駆動するアクチュエータ92と、により構成されている。
スライドパッド91は、摩擦係数が小さく耐摩耗性の高い素材(たとえばポリアセタール樹脂等)によって形成され、筐体1311の内部に引っ込んだ退避状態と、筐体1311の底面から所定量突出した作用状態との間で移動可能に設けられている。
アクチュエータ92は、たとえば電気的に駆動するソレノイド等であり、表示制御装置1100によって駆動制御され、スライドパッド91を、筐体1311の内部に引っ込んだ退避状態から、底面から突出した作用状態に移動操作する。
表示制御装置1100は、操作モード判定によってタッチモードと判定した場合には、スライドパッド91を退避状態とし、マウスモードと判定した場合には、アクチュエータ92を駆動してスライドパッド91を筐体1311の底面から突出させる。
これにより、タッチモードでは筐体1311の底面全体が設置面に当接して移動しづらく安定した操作が可能となると共に、マウスモードではスライドパッド91のみが設置面に当接して円滑な移動が可能となる。
[第21の実施形態]
つぎに、図37示す本発明の第21の実施形態を説明する。
図37は、本発明の第21の実施形態における情報表示装置1200Eの概念構成図である。
なお、第21の実施形態における情報表示装置1200Eの基本構成は前述した第17の実施形態における情報表示装置1200と同様であり、同様の構成要素には同符号を付して説明を省略する。
第21の実施形態に係る情報表示装置1200Eは、前述した第17の実施形態における情報表示装置1200に加えて、音声生成部1380を備える。
音声生成部1380は、CPU61に接続され、ストレージ66に保存されている楽曲を情報表示装置1200Eより流すことが可能となっている。
第21の実施形態においてマウスモードの際に、移動量検出部1350から入力された当該情報表示装置1200の移動情報に基づくCPU61からの指令によって、音声生成部1380における楽曲が変更され、または音声の強弱の変更等が行われる。
以上、本実施形態によると、以下の効果を有する。
(1)本発明の情報表示装置1200は、表示部200に表示した画像を接触操作することで表示に対して操作するタッチモードと、当該情報表示装置1200の全体を移動操作することで諸々の操作が可能なマウスモードの2つの操作モードで操作できる。
(2)情報表示装置1200は、タッチモードとマウスモードの操作モードの切り換えが、表示部200への接触状態に基づく判定によって行われるため、操作モードの切り換えが容易に行える。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。例えば、上記各実施形態における表示部200の形状、タッチ操作検出部1340および移動量検出部1350の構成や、構成の組み合わせは、各実施形態に限定されるものではなく、適宜変更可能である。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
なお、上述した各実施形態の説明において、表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、机3の天板部分に埋め込まれた表示部200、200Aに情報を表示させているが、これに限られない。例えば、表示部200は、壁に設置されているものでもよく、図1に示すように半球状の表示部200が机3の上に設置されていてもよい。
図1は、半球状に構成された表示部200に出力する表示システム1000の一例を示す構成図である。
表示制御装置1100は、表示部200に検索結果を示す画像を表示させる。この場合、表示部200に表示される画像は、特定の発話者2にのみ視認されることになる。例えば、表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、所定の方向に向かって着席している特定の発話者2(例えば、図2、図7における発話者2A)によって発せられた音声情報に基づいて、文字情報のうちから特定の文字情報を選択することができる。これにより、例えば、表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、発話者2Aが特定の情報(例えば、発話者2A自身が作成した会議資料)を検索して表示するように要求する内容を発言した場合に、発話者2Aにのみ視認されるようにして、特定の情報を表示させることができる。
なお、上述した各実施形態において、表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、4つの収音部101を備えている構成を一例にして説明したが、これに限られない。表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、収音部101の周囲の音声が検出できればよく、例えば、机3の下部などに、単一の又は複数の収音部101を備えていてもよい。これにより、表示制御装置1100、検索手段制御装置1101及び検索結果出力装置130は、例えば、机3の大きさに応じた位置及び数の収音部101を備えることができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上記の実施形態における情報生成部1110、結果出力処理部1120、生成部102、変換部103、識別部104、選択部106、出力部107、結果選択部108、設定部109、又は結果出力部110(以下、これらを総称して制御部CONTと記載する)又はこの制御部CONTが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この制御部CONTが備える各部は、メモリおよびCPU(中央演算装置)により構成され、制御部CONTが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、制御部CONTが備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部CONTが備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1000…表示システム
1100…表示制御装置、1110…情報生成部、1120…結果出力処理部、
1200…情報表示装置、
2…発話者、11…検索手段、
101…収音部、200…表示部(表示装置)、300…ディスプレイ(外部装置)

Claims (27)

  1. 発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、
    複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する結果出力処理部と
    を備えることを特徴とする表示制御装置。
  2. 前記情報生成部は、
    前記複数の発話者が発した音声から抽出した前記発話者の発言内容に基づいた前記第1情報を生成するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声から抽出した前記何れかの発話者の発言内容に基づいた前記第2情報を生成する
    ことを特徴とする請求項1に記載の表示制御装置。
  3. 前記結果出力処理部は、
    複数の画面に表示させる情報として、第1画面に表示させる前記第1検索情報及び第2画面に表示させる前記第2検索情報を出力する
    ことを特徴とする請求項1又は請求項2に記載の表示制御装置。
  4. 前記情報生成部は、
    前記発話者の状態を検出し、前記状態が検出された発話者が発した音声に対応付けられる第2情報を生成し、
    前記結果出力処理部は、
    前記状態が検出された発話者が発した音声に対応付けられる第2情報に基づいた前記第2検索情報を得る
    ことを特徴とする請求項3に記載の表示制御装置。
  5. 前記情報生成部は、
    前記発話者の位置を検出することにより前記発話者を識別し、前記識別された前記発話者が発した音声に対応付けられる第2情報を生成し、
    前記結果出力処理部は、
    前記識別された発話者が発した音声に対応付けられる第2情報に基づいた前記第2検索情報を得る
    ことを特徴とする請求項4に記載の表示制御装置。
  6. 前記情報生成部は、
    第2画面を見ている前記発話者を識別し、前記識別された発話者が発した音声に対応付けられる第2情報を生成する、
    ことを特徴とする請求項3から請求項5の何れか1項に記載の表示制御装置。
  7. 前記情報生成部は、
    前記第2画面を見ていると識別された前記発話者が発した音声の音声情報から、前記発話者が発言した発言内容と識別された情報から抽出された前記第2情報を生成する
    ことを特徴とする請求項6に記載の表示制御装置。
  8. 前記情報生成部は、
    前記発話者の状態に応じて前記第2情報を生成する
    ことを特徴とする請求項4から請求項7の何れか1項に記載の表示制御装置。
  9. 前記結果出力処理部は、
    前記第2の検索結果のうちから選択する前記第2検索情報を、前記発話者の状態に応じて選択する
    ことを特徴とする請求項4から請求項8の何れか1項に記載の表示制御装置。
  10. 前記情報生成部は、
    前記発話者の状態を、検出された前記発話者の姿勢により識別する
    ことを特徴とする請求項4から請求項9の何れか1項に記載の表示制御装置。
  11. 前記情報生成部は、
    前記発話者の状態を、検出された前記発話者の発言頻度(積極性)により識別する
    ことを特徴とする請求項4から請求項10の何れか1項に記載の表示制御装置。
  12. 前記情報生成部は、
    前記第1検索情報を検索する検索条件になる前記第1情報と、前記第2検索情報を検索する検索条件になる前記第2情報とが互いに異なるように、前記第1情報と前記第2情報とを生成する
    ことを特徴とする請求項1から請求項11の何れか1項に記載の表示制御装置。
  13. 前記結果出力処理部は、
    前記第1検索情報を得られた順に出力し、
    前記第2検索情報を出力する優先度に応じた順に出力する
    ことを特徴とする請求項1から請求項12の何れか1項に記載の表示制御装置。
  14. 前記情報生成部は、
    前記複数の発話者が発した音声に含まれる単語を抽出する抽出部と、
    前記抽出部によって抽出された前記単語に基づく検索条件を定める前記第1情報に基づいた検索を検索手段に実行させ、前記第1の検索結果を得るように制御する検索処理制御部と、
    を備え、
    前記検索処理制御部は、
    前記検索条件を広めていく第1の検索モードと、前記検索条件を狭めていく第2の検索モードとを有する
    ことを特徴とする請求項1から請求項13の何れか1項に記載の表示制御装置。
  15. 前記情報生成部は、
    前記発話者によって発せられた音声の音声情報を文字情報に変換する変換部と、
    前記発話者の重要度に基づいて、前記文字情報から特定の文字情報を選択する選択部と、
    入力された文字情報に関連する情報を検索する検索手段に、前記選択部によって選択された前記特定の文字情報を前記第1情報として出力する出力部と、
    を備え、
    前記結果出力処理部は、
    前記検索手段による前記第1の検索結果に応じた前記第1検索情報を出力する
    ことを特徴とする請求項1から請求項14の何れか1項に記載の表示制御装置。
  16. 前記表示制御装置に対して行われる操作を検出する操作検出部と、
    を備え、
    前記操作検出部は、
    前記操作が、前記第1検索情報を表示する表示部の駆動に関する第一操作か、外部装置の駆動に関する第二操作かを判別し、
    前記結果出力処理部は、
    前記操作が前記第一操作と判別された場合に、該操作の内容に応じて前記表示部を駆動し、前記操作が前記第二操作と判別された場合に、該操作の内容に応じた駆動信号を前記外部装置へ出力する
    ことを特徴とする請求項1から請求項15の何れか1項に記載の表示制御装置。
  17. 請求項1に記載の表示制御装置
    を備え、
    前記表示制御装置は、
    前記第1検索情報を表示部に表示させ、前記第2検索情報を外部装置に表示させる
    ことを特徴とする表示システム。
  18. 請求項1に記載の表示制御装置と、
    前記表示制御装置から出力される前記第1検索情報を表示する表示部と
    を備えることを特徴とする表示装置。
  19. 前記表示部は、
    備える表示面に球面の一部又は平面を含む
    ことを特徴とする請求項18に記載の表示装置。
  20. 前記表示部に画像を投影する画像投影部と、
    を備え、
    前記表示制御装置は、
    少なくとも外部装置に表示する前記第2検索情報を出力する信号出力部と、
    該表示制御装置に対して行われる操作を検出する操作検出部と、
    を備え、
    前記表示制御装置は、
    前記操作が、前記表示部の駆動に関する第一操作か、前記外部装置の駆動に関する第二操作かを判別し、前記操作が前記第一操作と判別された場合、該操作の内容に応じて前記表示部を駆動し、前記操作が前記第二操作と判別された場合に、該操作の内容に応じた駆動信号を前記信号出力部より前記外部装置へ出力する
    ことを特徴とする請求項18又は請求項19に記載の表示装置。
  21. 請求項1に記載の表示制御装置と、
    前記第1検索情報を表示する端末表示部と、
    を備え、
    前記結果出力処理部は、
    前記第1検索情報を前記端末表示部に表示させる
    ことを特徴とする端末装置。
  22. 請求項1に記載の表示制御装置によって制御される端末装置であって、
    前記第1検索情報を表示する端末表示部と、
    前記第1検索情報を前記表示制御装置から得て前記端末表示部に表示させる端末制御部と
    を備えることを特徴とする端末装置。
  23. 発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する過程と、
    複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力する過程と、
    少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力する過程と、
    を含むことを特徴とする表示制御方法。
  24. 表示制御装置が備えるコンピュータに、
    発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
    複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するステップと、
    少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報をさらに出力するステップ
    を実行させるためのプログラム。
  25. 表示制御装置と、前記表示制御装置が出力した情報を表示する表示部とを備える表示装置が備えるコンピュータに、
    発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
    複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を出力するステップと、
    少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報をさらに出力するステップと、
    前記第1検索情報及び前記第2検索情報の何れかを前記表示部に表示させるステップと、
    を実行させるためのプログラム。
  26. 端末表示部を備えている端末装置が備えるコンピュータに、
    発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
    複数の前記発話者が発した音声に対応付けられる第1情報に基づいて検索された第1の検索結果に応じた第1検索情報を前記端末表示部に表示させるステップと、
    少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第2情報に基づいて検索された第2の検索結果に応じた第2検索情報を出力するステップと、
    を実行させるためのプログラム。
  27. 備える端末表示部に表示する表示内容が、請求項1に記載の表示制御装置によって制御される端末装置が備えるコンピュータに、
    前記端末表示部が前記第1検索情報を表示するステップと、
    前記第1検索情報を前記表示制御装置から得て前記端末表示部に表示させるステップと、
    を実行させるためのプログラム。
JP2012150556A 2012-07-04 2012-07-04 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム Pending JP2014013494A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012150556A JP2014013494A (ja) 2012-07-04 2012-07-04 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012150556A JP2014013494A (ja) 2012-07-04 2012-07-04 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2014013494A true JP2014013494A (ja) 2014-01-23

Family

ID=50109143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012150556A Pending JP2014013494A (ja) 2012-07-04 2012-07-04 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2014013494A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006088A1 (ja) * 2014-07-10 2016-01-14 株式会社 東芝 電子機器及び方法及びプログラム
JP2016024589A (ja) * 2014-07-18 2016-02-08 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
JP2016024590A (ja) * 2014-07-18 2016-02-08 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
WO2018087967A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 情報処理装置および情報処理方法
JP6345327B1 (ja) * 2017-09-07 2018-06-20 ヤフー株式会社 音声抽出装置、音声抽出方法および音声抽出プログラム
JP2020034897A (ja) * 2018-08-02 2020-03-05 サウンドハウンド,インコーポレイテッド 自然言語会話に関連する情報の視覚的提示
CN111372004A (zh) * 2019-04-25 2020-07-03 深圳市泰衡诺科技有限公司 相机控制方法、移动终端及计算机可读存储介质
JPWO2019073669A1 (ja) * 2017-10-13 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2020213115A1 (ja) * 2019-04-18 2020-10-22
JPWO2021171449A1 (ja) * 2020-02-27 2021-09-02
CN113424124A (zh) * 2019-04-29 2021-09-21 谷歌有限责任公司 根据自动化助理请求自动调整设备位置和/或接口的定向的电动计算设备

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006088A1 (ja) * 2014-07-10 2016-01-14 株式会社 東芝 電子機器及び方法及びプログラム
JPWO2016006088A1 (ja) * 2014-07-10 2017-04-27 株式会社東芝 電子機器及び方法及びプログラム
JP2016024589A (ja) * 2014-07-18 2016-02-08 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
JP2016024590A (ja) * 2014-07-18 2016-02-08 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
WO2018087967A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 情報処理装置および情報処理方法
US11289099B2 (en) 2016-11-08 2022-03-29 Sony Corporation Information processing device and information processing method for determining a user type based on performed speech
JP6345327B1 (ja) * 2017-09-07 2018-06-20 ヤフー株式会社 音声抽出装置、音声抽出方法および音声抽出プログラム
JP2019045818A (ja) * 2017-09-07 2019-03-22 ヤフー株式会社 音声抽出装置、音声抽出方法および音声抽出プログラム
JPWO2019073669A1 (ja) * 2017-10-13 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020034897A (ja) * 2018-08-02 2020-03-05 サウンドハウンド,インコーポレイテッド 自然言語会話に関連する情報の視覚的提示
JPWO2020213115A1 (ja) * 2019-04-18 2020-10-22
WO2020213115A1 (ja) * 2019-04-18 2020-10-22 日本電信電話株式会社 発話画像化装置、発話画像化方法及びプログラム
JP7287459B2 (ja) 2019-04-18 2023-06-06 日本電信電話株式会社 発話画像化装置、発話画像化方法及びプログラム
US12205610B2 (en) 2019-04-18 2025-01-21 Nippon Telegraph And Telephone Corporation Speech imaging apparatus, speech imaging method and program
CN111372004A (zh) * 2019-04-25 2020-07-03 深圳市泰衡诺科技有限公司 相机控制方法、移动终端及计算机可读存储介质
CN113424124A (zh) * 2019-04-29 2021-09-21 谷歌有限责任公司 根据自动化助理请求自动调整设备位置和/或接口的定向的电动计算设备
JP2022529868A (ja) * 2019-04-29 2022-06-27 グーグル エルエルシー 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス
US11727931B2 (en) 2019-04-29 2023-08-15 Google Llc Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests
JP7386876B2 (ja) 2019-04-29 2023-11-27 グーグル エルエルシー 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス
JPWO2021171449A1 (ja) * 2020-02-27 2021-09-02
JP7163968B2 (ja) 2020-02-27 2022-11-01 日本電気株式会社 サーバ装置、会議支援システム、会議支援方法及びプログラム

Similar Documents

Publication Publication Date Title
JP2014013494A (ja) 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム
JP6738445B2 (ja) デジタルアシスタントサービスの遠距離拡張
JP7100092B2 (ja) ワードフロー注釈
US12211502B2 (en) Natural assistant interaction
US12067985B2 (en) Virtual assistant operations in multi-device environments
US11756574B2 (en) Multiple state digital assistant for continuous dialog
US11183193B1 (en) Digital assistant hardware abstraction
US11755276B2 (en) Reducing description length based on confidence
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
CN109416591A (zh) 用于增强型用户交互的图像数据
US20230368812A1 (en) Determining whether speech input is intended for a digital assistant
WO2020240838A1 (ja) 会話制御プログラム、会話制御方法および情報処理装置
US11164576B2 (en) Multimodal responses
US11935530B2 (en) Multimodal responses
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
US20190035420A1 (en) Information processing device, information processing method, and program
JP2013164642A (ja) 検索手段制御装置、検索結果出力装置及びプログラム
JP2006121264A (ja) 動画像処理装置、動画像処理方法およびプログラム
CN111460263A (zh) 视听场景中的自动参考查找
US20230410540A1 (en) Systems and methods for mapping an environment and locating objects
JP2019091290A (ja) 情報処理システム、情報処理装置およびプログラム
EP3910467A1 (en) Digital assistant hardware abstraction
Müller et al. Experience sharing by retrieving captured conversations using non-verbal features
WO2024233145A2 (en) Multi-modal digital assistant
CN117642717A (zh) 基于环境上下文的语音解译