[go: up one dir, main page]

JP2007041988A - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2007041988A
JP2007041988A JP2005227527A JP2005227527A JP2007041988A JP 2007041988 A JP2007041988 A JP 2007041988A JP 2005227527 A JP2005227527 A JP 2005227527A JP 2005227527 A JP2005227527 A JP 2005227527A JP 2007041988 A JP2007041988 A JP 2007041988A
Authority
JP
Japan
Prior art keywords
information
user
emotion
content
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005227527A
Other languages
English (en)
Inventor
Koji Asano
康治 浅野
Noriyuki Yamamoto
則行 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005227527A priority Critical patent/JP2007041988A/ja
Priority to US11/498,348 priority patent/US8407055B2/en
Priority to CNB2006101515617A priority patent/CN100394438C/zh
Publication of JP2007041988A publication Critical patent/JP2007041988A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 ユーザの感情をより精度良く認識できるようにする。
【解決手段】 メタ情報抽出部３４は、ユーザが視聴しているコンテンツのメタ情報、例えば、コンテンツが属するジャンルの情報を抽出する。感情予測部３５は、メタ情報から、ユーザの感情を予測する。ユーザが視聴しているコンテンツから、ユーザがどのような感情を抱くかが予測される。その予測結果は、感情認識部３６に供給される。感情認識部３６には、ユーザ情報取得部１３から、ユーザの表情、ジェスチャー、声といった情報が供給される。それらの供給された情報から特徴量が抽出され、ユーザの感情が予測される。感情認識部３６は、感情予測部３５からの予測結果と、ユーザ情報取得部１３からの情報から予測された予測結果から、ユーザの感情を認識する。本発明は、ユーザに情報を推薦する装置に適用することができる。
【選択図】 図１

Description

本発明は情報処理装置および方法、並びにプログラムに関し、特に、コンテンツに付随する情報とユーザの表情などの情報を用いて、ユーザの感情を認識するようにした情報処理装置および方法、並びにプログラムに関する。
人間（ユーザ）の声の調子や顔の表情から、そのユーザの感情を認識（推測）することが提案されている。（例えば、特許文献１、非特許文献１参照）
特開平１０−２２８２９５号公報 松本，他著「ロボットでの利用を目的とした顔画像情報と音声情報の統合による感情認識」、第２２回日本ロボット学会学術講演会
ユーザの感情を認識する従来の方式は、マイクロホンを利用してユーザの声を取得し、その声の調子などを判断してユーザの感情を認識したり、カメラを利用してユーザの顔を撮像し、その撮像された顔の表情を判断してユーザの感情を認識したりしていた。
しかしながら、このようなマイクロホンやカメラから取得される音声信号や画像信号からユーザの感情を認識する場合、誤認識してしまう可能性が高く（精度が低く）、より高精度にユーザの感情を認識する（より的確にユーザの感情を推測する）ことが望まれている。
本発明は、このような状況に鑑みてなされたものであり、より精度良く、ユーザの感情を認識（推測）することができるようにするものである。
本発明の一側面の情報処理装置は、コンテンツに関するメタ情報を取得する取得手段と、前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段と、前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段とを備える。
前記認識手段は、前記予測手段による予測結果に基づいて、前記ユーザの感情に重み付けするようにすることができる。
前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段をさらに備え、前記認識手段は、前記音特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とするようにすることができる。
前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段をさらに備え、前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とするようにすることができる。
前記取得手段により取得される前記メタ情報は、前記コンテンツに関するテキスト情報であるようにすることができる。
前記取得手段は、コンテンツにオーディ情報が含まれる場合、前記オーディオ情報から特徴量を抽出し、抽出された前記特徴量を前記メタ情報とするようにすることができる。
前記取得手段は、コンテンツに音声情報が含まれる場合、前記音声情報に基づく音声を音声認識し、音声認識の結果から抽出されたテキストを前記メタ情報とするようにすることができる。
前記取得手段は、コンテンツに映像情報が含まれる場合、前記映像情報に基づく映像に出演している出演者に関する情報を前記メタ情報とするようにすることができる。
前記取得手段は、コンテンツに時間情報が付随している場合、前記時間情報に基づき、前記コンテンツの進行に伴い、メタ情報を抽出するようにすることができる。
前記予測手段は、前記ユーザの感情を予測するためのテーブルを保持し、前記認識手段による認識結果は、前記予測手段に供給され、前記予測手段は供給された認識結果により保持しているテーブルを更新するようにすることができる。
本発明の一側面の情報処理方法は、コンテンツに関するメタ情報を取得する取得ステップと、前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップとを含む。
本発明の一側面のプログラムは、コンテンツに関するメタ情報を取得する取得ステップと、前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップとを含む処理をコンピュータに実行させる。
本発明の一側面においては、ユーザが視聴しているコンテンツから推測されるユーザの感情と、コンテンツを視聴しているユーザからの情報が用いられ、ユーザの感情が認識される。
以上のように、本発明の一側面によれば、ユーザの感情を認識することができる。
また、本発明の一側面によれば、ユーザが視聴しているコンテンツの情報と、ユーザ自身の仕草などからの情報とから、ユーザの感情を認識することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、コンテンツに関するメタ情報を取得する取得手段（例えば、図１のメタ情報抽出部３４）と、前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段（例えば、図１の感情予測部３５）と、前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段（例えば、図１の感情認識部３６）とを備える。
前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段（例えば、図２の音響特徴抽出部６９）をさらに備える。
前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段（例えば、図２の画像特徴抽出部６７）をさらに備える。
以下に、本発明の実施の形態について図面を参照して説明する。
［システムの構成例］
図１は、本発明を適用したシステムの一実施の形態の構成を示す図である。図１に示したシステムは、ユーザの感情を認識（推測）するシステムである。図１に示したシステムは、ユーザ自体から取得される情報（声の調子や顔の表情など）の他に、ユーザが閲覧（視聴、聴取）しているコンテンツの情報も取得し、ユーザの感情を認識する。認識されたユーザの感情は、例えば、ユーザに対して推薦する情報を選択するときの情報として利用することができる。
図１に示したシステムは、ユーザに対してコンテンツを供給するコンテンツ再生部１１、ユーザの感情を認識する感情認識装置１２、および、ユーザからの情報を取得し、感情認識装置１２に供給するユーザ情報取得部１３から構成されている。
コンテンツ再生部１１は、感情認識装置１２からコンテンツ（コンテンツデータ）が供給される。コンテンツ再生部１１は、ＰＣ（Personal Computer）２１、テレビジョン受像機２２、音声再生装置２３から構成される。なお、ここでは、コンテンツ再生部１１は、このような装置から構成されるとして説明を続けるが、これらの装置に限定されるのではなく、他の装置が追加されても良い。
ここでは、ＰＣ２１は、ゲームなどのコンテンツを再生する装置であり、テレビジョン受像機２２は、テレビジョン放送の番組やＤＶＤ(Digital Versatile Disc)が再生されることにより得られるコンテンツを再生する装置であり、音声再生装置２３は、ラジオ放送の番組やＣＤ（Compact Disc）が再生されることにより得られるコンテンツを再生する装置であるとして説明を続ける。また、これらの装置が、再生するコンテンツのデータは、感情認識装置１２から供給される。
感情認識装置１２は、コンテンツ取得部３１、コンテンツ蓄積部３２、コンテンツ供給部３３、メタ情報抽出部３４、感情予測部３５、感情認識部３６から構成されている。コンテンツ取得部３１は、テレビジョン放送、ラジオ放送、ネットワークなどを通じて、映像、音楽、ゲームなどのコンテンツを取得する。ネットワークに、ＤＶＤプレーヤやＣＤプレーヤなどの装置が接続されていれば、それらの装置で再生されるコンテンツも取得できるように構成されている。
コンテンツ取得部３１は、コンテンツを取得する際、ＥＰＧ（Electronic Program Guide）やクローズドキャプション情報、レビュー文などの取得可能な付随情報も同時に取得する。コンテンツ蓄積部３２は、コンテンツ取得部３１で取得されたコンテンツやそのコンテンツに付随する情報を蓄積する。
コンテンツ供給部３３は、コンテンツ取得部３１で取得されたコンテンツ、またはコンテンツ蓄積部３２に蓄積されているコンテンツを、コンテンツ再生部１１を構成するＰＣ２１、テレビジョン受像機２２、または、音声再生装置２３などの装置のうち、コンテンツに適した装置に対して、コンテンツを供給し、ユーザが視聴できるようにする。
メタ情報抽出部３４は、コンテンツ取得部３１で取得されたコンテンツ、またはコンテンツ蓄積部３２が保持しているコンテンツに関するメタ情報を抽出する。メタ情報としては、例えば、コンテンツがテレビジョン放送の番組であれば、その番組が属するジャンル、あらすじ、レビュー文といった番組に付随するテキスト情報などを解析して得られるキーワードなどである。また、メタ情報としては、コンテンツが音楽であれば、歌詞やレビュー文などが解析されることにより取得されるキーワードや、曲が音響的に解析されることにより取得される、テンポや明るい曲、暗い曲といった情報などである。
感情予測部３５は、コンテンツ供給部３３でコンテンツ再生部１１に供給しているコンテンツに関連し、メタ情報抽出部３４で抽出されたメタ情報を利用して、ユーザの感情を予測する。この感情予測部３５は、図３と図４を参照して後述するように表形式または確率形式で保持する情報に基づいて予測処理を行う。感情認識部３６は、ユーザ情報取得部１３により取得されるユーザの表情、ジェスチャー、音声などからユーザの感情を認識する。
ユーザ情報取得部１３は、カメラ４１とマイクロホン４２から構成されている。カメラ４１は、ユーザの顔の表情や全体を撮影し、そのデータを、感情認識部３６に供給するように構成される。カメラ４１から感情認識部３６に供給される情報は、静止画像のデータであっても良いし、動画像のデータであっても良い。マイクロホン４２は、ユーザから発せられる音（例えば、声や拍手による音）を集音し、そのデータを、感情認識部３６に供給する。
なお、ここでは、図１に示したように、感情認識装置１２に、コンテンツ再生部１１にコンテンツデータを供給される部分を設けるとして説明を続けるが、感情認識装置１２に、コンテンツデータを供給するための部分を設けない構成としても良い。例えば、コンテンツ取得部３１、コンテンツ蓄積部３２、コンテンツ供給部３３、およびメタ情報抽出部３４は、感情認識装置１２に含まれず、他の装置（独立した装置）として設けるようにしても良い。
コンテンツデータを供給するための部分（ここでは、コンテンツ処理部と称する）を、感情認識装置１２と別に設けた場合、コンテンツ処理部から、コンテンツデータやメタ情報が、感情認識装置１２に供給される構成とされればよい。また、コンテンツ処理部は、例えば、コンテンツデータを処理できるＤＶＤプレーヤなどに組み込まれる構成としても良い。
図２は、感情認識部３６の詳細な構成例を示す図である。感情認識部３６は、感情予測情報取得部６１、感情認識用モデル選択部６２、感情認識用モデル保持部６３、マッチング部６４、感情情報出力部６５、画像データ取得部６６、画像特徴抽出部６７、音声データ取得部６８、および、音響特徴抽出部６９から構成される。
感情予測情報取得部６１は、感情予測部３５（図１）からの予測情報（予測結果）を取得する。感情予測情報取得部６１により取得された予測情報は、感情認識用モデル選択部６２に供給される。感情認識用モデル選択部６２は、感情予測部３５からの予測情報（予測されたユーザの感情）に基づき、該当する感情認識用モデルを感情認識用モデル保持部６３から選択し、マッチング部６４に供給する。
マッチング部６４は、画像特徴抽出部６７と音響特徴抽出部６９から、それぞれ供給される特徴量と、感情認識用モデル選択部６２から供給される感情認識用モデルとの間のマッチングを行い、各モデルに対するスコアを計算する。マッチング部６４に供給される特徴量は、画像特徴抽出部６７と音響特徴抽出部６９からそれぞれ供給されるが、画像特徴抽出部６７と音響特徴抽出部６９には、画像データ取得部６６と音声データ取得部６８から、それぞれデータが供給される。
すなわち、画像データ取得部６６は、カメラ４１（図１）から供給される画像データを取得し、その取得された画像データを、画像特徴抽出部６７に供給する。画像特徴抽出部６７は、供給された画像データから、ユーザの感情を認識するのに必要な特徴量を抽出し、マッチング部６４に供給する。
また、音声データ取得部６８は、マイクロホン４２（図１）から供給される音声データを取得し、その取得された音声データを、音響特徴抽出部６９に供給する。音響特徴抽出部６９は、供給された音声データから、ユーザの感情を認識するのに必要な特徴量を抽出し、マッチング部６４に供給する。
マッチング部６４は、上記したように、画像特徴抽出部６７と音響特徴抽出部６９から、それぞれ供給される特徴量と、感情認識用モデル選択部６２から供給された感情認識用モデルとの間のマッチングを行い、各モデルに対するスコアを計算する。
このように、マッチング部６４は、カメラ４１やマイクロホン４２から取得されるデータから判断されるユーザの感情と、ユーザが視聴しているコンテンツから取得されるメタ情報を用いて（基づいて）、マッチングの処理を行う（ユーザの感情を認識する）ことで、より詳細にマッチングを行うことが可能となる。
マッチング部６４により計算されたスコアは、感情情報出力部６５に供給される。感情出力部６５は、感情予測部３５（図１）によって予測された感情に基づき、マッチング部６４で計算されたスコアに対して補正をかけ、最終的な感情認識結果（感情情報）を出力する。
感情情報出力部６５から出力される感情情報は、例えば、ユーザに番組を推薦するときなど、ユーザの嗜好情報の１つとして用いられる。また、ネットワークなどを介して情報検索などが行なわれるときに、ユーザが求めている情報を、より的確に提供できるようにするための情報として用いられるようにすることも可能である。
感情情報出力部６５から出力される感情情報は、感情予測部３５にフィードバックされるような構成としても良い。フィードバックされる構成とすることによって、感情予測部３５を、感情認識装置１２のユーザに適応させ、感情認識の精度を高めることができる。すなわち、このときのメタ情報の状況と、実際に認識された感情に基づいて、確率テーブルの更新が行われるようにしても良い。
感情認識用モデル選択部６２による感情認識用モデルの選択と、感情情報出力部６５によるマッチングスコアの補正はそれぞれ独立に行うことができ、いずれか一方のみでも、両方を併用することも可能である。
ここで、感情予測部３５に保持される感情に関するデータについて、図３と図４を参照して説明する。図３および図４に示した感情に関するデータは、コンテンツがテレビジョン放送の番組である場合を例に挙げている。感情予測部３５に保持されるデータは、図３に示したように、ジャンル情報と予測される感情を表形式に示したテーブル８１か、あるいは図４に示したように、ジャンル情報と感情を関連付けた確率形式で示したテーブル８２である。
図３に示した表形式は、番組のジャンル情報と、番組のジャンル情報から出現が予測されるユーザ感情がリストアップされた予測感情が関連付けられたテーブル８１である。例えば、図３に示したテーブル８１には、ジャンル情報として、“バラエティ”、“スポーツ”、“恋愛ドラマ”、“ホラー映画”というジャンルが設けられている。そして、ジャンル情報毎に、予測されるユーザの感情（予測感情）がリストアップされ関連付けられている。
例えば、“バラエティ”というジャンル情報には、予測感情として、“幸福”、“笑い声”、“拍手”、“驚き”、“怒り”、“嫌悪”という感情が、リストアップされ、関連付けられている。他のジャンル情報に関しても、図３に示すように、それぞれ、予測感情が関連付けられている。
このようなテーブル８１が、感情予測部３５に保持される場合、感情予測部３５からは、ユーザにより視聴されているコンテンツに対応する予測感情の情報（テーブル８１の一部分の情報）が出力される（感情認識部３６に供給される）。
図４に示した確率形式は、番組のジャンル情報と、番組のジャンル情報から出現が予測されるユーザ感情がリストアップされた予測感情が関連付けら、さらに、各予測感情の出現する可能性（確率値）が関連付けられたテーブル８２である。例えば、図４に示したテーブル８２には、図３に示したテーブル８１と同様に、ジャンル情報として、“バラエティ”、“スポーツ”、“恋愛ドラマ”、“ホラー映画”というジャンルが設けられている。
そして、ジャンル情報毎に、予測されるユーザの感情（予測感情）が関連付けられている。例えば、“バラエティ”というジャンル情報には、予測感情として、“驚き”、“恐怖”、“嫌悪”、“怒り”、“幸福”、“悲しみ”、“笑い声”、“拍手”、“泣き声”、“叫び声”という感情が関連付けられている。これらの関連付けられている予測感情毎に、所定のジャンルで所定の予測感情が発生する確率値が関連付けられている。
例えば、“バラエティ”というジャンル情報の“驚き”という予測感情には、“０．１”という確率値が関連付けられている。他の予測感情や、他のジャンル情報の予測感情も、図４に示すように、それぞれ確率値が関連付けられている。
このように、図４に示したような確率形式のテーブル８２においては、番組のジャンル情報がＪの時、ユーザ感情（Ｅ）が出現する確率Ｐ（Ｅ｜Ｊ）が、表形式で保持される。
このようなテーブル８２が、感情予測部３５に保持される場合、感情予測部３５からは、ユーザにより視聴されているコンテンツに対応する予測感情と確率値に関する情報（テーブル８２の一部分の情報）が出力される（感情認識部３６に供給される）。
［感情認識装置の動作について］
次に、図５のフローチャートを参照し、感情認識装置１２の動作について説明する。ステップＳ１１において、ユーザが視聴しているコンテンツが取得される。取得されるコンテンツは、コンテンツ供給部３３（図１）が、コンテンツ再生部１１に供給しているコンテンツであり、コンテンツ取得部３１により取得されたコンテンツまたはコンテンツ蓄積部３２に蓄積されていたコンテンツである。
ステップＳ１２において、取得されたコンテンツのメタ情報が取得される。メタ情報抽出部３４は、コンテンツ供給部３３により供給されているコンテンツのメタ情報を抽出し、感情予測部３５に供給する。メタ情報は、上記したように、コンテンツがテレビジョン放送の番組であれば、その番組が属するジャンル、あらすじ、レビュー文といった番組に付随するテキスト情報であり、それらの情報を解析して得られるキーワードなどである。
また、ユーザが視聴しているコンテンツに音声が含まれる場合、音声認識装置（不図示、感情予測部３５に音声を認識（解析）する装置が備えられる構成とする）によって、コンテンツ中の発話内容からキーワードがメタ情報として抽出されるようにしても良い（発話内容を音声認識し、テキストに変換し、そのテキストからメタ情報を抽出するようにしても良い）。このようにした場合、感情予測部３５は、音声から抽出されるキーワードとそのキーワードに対応した感情が関連付けられた表形式（図３に示したテーブル８１）、あるいは確率形式（図４に示したテーブル８２）のテーブルも保持する。
また、ユーザが視聴（聴取）しているコンテンツが音楽である場合、その曲の音響的な特徴量がメタ情報として抽出されるようにしても良い。このようにした場合、感情予測部３５は、曲から特徴量を抽出できる装置を備える構成とされる。このようにした場合、感情予測部３５は、曲から抽出される特徴量から判断される曲の印象、例えば、明るい、暗いといった印象（分類）と、予想されるユーザの感情が関連付けられた表形式、あるいは確率形式のテーブルも保持する。
さらに、ユーザが視聴しているコンテンツが映像情報を含む場合、コンテンツの出演者の情報をメタ情報として利用することができる。出演者をメタ情報として利用する場合、例えば、コンテンツの映像情報から、出演者の顔を認識する技術を用いて出演者を特定することにより、出演者の情報をメタ情報として抽出することが可能である。出演者を特定する処理を行うとき、例えば、コンテンツの映像情報から、顔と認識される画像を抽出し、その抽出された画像と、出演者を特定するための画像（例えば、コンテンツ蓄積部３２に、出演者の画像データを蓄積しておき、その画像データに基づく画像）とのマッチングを取ることにより、出演者が特定される。
番組のＥＰＧなどから、どの出演者がどの時間帯に出演しているかという情報を取得することも可能である。出演者を特定するとき、ＥＰＧから取得される情報により、その時間帯に出演している出演者を絞り込み、絞り込まれた出演者の画像と、コンテンツの映像情報から取得される顔の画像とをマッチングするようにすれば、マッチングにかかる時間（出演者を特定するのにかかる時間）を短くすることが可能となるとともに、マッチング精度を高めることも可能となる。
ＥＰＧなどの情報を利用することにより、感情予測部３５の予測を、時間に応じて動的に変化させることも可能となる。ＥＰＧは、コンテンツに付随する情報であり、放送時間、番組、番組の出演者などが関連付けられている情報である。
よって、番組のＥＰＧを用いることにより、上記したように出演者を特定する際の処理に利用したり、時間経過とともに、感情予測部３５の予測を動的に変化させるようにしたりするようなことも可能となる。感情予測部３５の予測を動的に変化させるには、メタ情報抽出部３４で抽出されるメタ情報を動的に変化させることにより行うことが可能である。
このようにすることで、より精細に感情の予測を行うことが可能である。例えば、テレビジョン放送の番組中で、お笑い芸人の出演している部分では、笑いや幸福の予測値を高くすることといった処理を行うことが可能となる。
このようなメタ情報から１つだけ用いて予測を行うことも可能であるし、複数組み合わせて用いて予測を行うことも可能である。また、メタ情報として、さまざまな情報を用いることで、より精密にユーザの感情を予測することにより、予測精度を高めることが可能である。
上記したように、コンテンツの進行に合わせて、表形式のテーブル８１や確率形式のテーブル８２が動的に更新されるようにし、予測精度を向上させるようにしても良い。
ここでは、コンテンツはテレビジョン放送の番組であり、メタ情報としてジャンル情報が抽出されるとして説明を続ける。
ステップＳＳ１２において、メタ情報が抽出（取得）されると、感情予測部３５は、ステップＳ１３において、ユーザの感情を予測する。感情予測部３５は、上述した図３に示したテーブル８１または図４に示したテーブル８２を保持している。そのテーブル８１またはテーブル８２を参照し、供給されたメタ情報（この場合、ジャンル情報）に対応する情報を、テーブル８１またはテーブル８２から抽出する。抽出された情報は、予測感情として、感情認識部３６（図１）に供給される。
ステップＳ１４において、予測感情に基づき、感情認識用モデルが選択される。感情認識用モデルは、“怒り”、“幸福”、“悲しみ”といった直接的にユーザの感情を表すモデルであっても良いし、“笑い声”、“拍手”といった間接的にユーザの感情を表すモデル（ユーザが所定の感情のときに起こす動作などを表すモデル）であっても良い。感情認識用モデルは、既存のHidden Markov Model（HMM）やSupport Vector Machine（SVM）などの機械学習に基づくモデルを利用することができる。
また、ＨＭＭを利用し、顔の表情、例えば、“怒り”、“嫌悪”、“恐れ”、“悲しみ”、“幸福”、“驚き”といった表情の認識を行うことも可能である。本実施の形態においては、ＨＭＭの方式だけでユーザの感情を認識するのではなく、より精度良くユーザの感情を認識するために、ユーザが視聴しているコンテンツの情報（メタ情報）も用いるようにしている。
ステップＳ１４において、感情認識用モデル選択部６２により選択された感情認識用モデルは、マッチング部６４に供給される。ステップＳ１５において、マッチング部６４は、ユーザからの情報を取得する。ユーザからの情報は、画像特徴抽出部６７から供給されるユーザの顔の表情やジェスチャーといった情報（特徴量）と、音響特徴抽出部６９から供給されるユーザの声や拍手といった情報（特徴量）である。すなわち、ユーザ自身の表情や仕草からユーザの感情を認識するための情報である。
ステップＳ１６において、マッチング部６４は、画像特徴抽出部６７と音響特徴抽出部６９からそれぞれ供給された特徴量と、感情認識用モデル選択部６２から提供された感情認識用モデルとの間のマッチングを行う。このマッチングにより、感情認識用モデル毎にスコアが計算される。すなわち、ユーザが視聴しているコンテンツから認識された感情認識用モデルと、コンテンツを視聴しているユーザの実際の仕草から判断（認識）されるユーザの感情とのマッチング（スコア計算）が行われる。
マッチングの処理が行われる際、感情予測部３５で予測された情報に基づき、マッチングの際のスコアに重み付けを行うようにしても良い。重み付けを行うことにより、より精細にマッチングを行う（ユーザの感情を認識する）ことが可能となる。
マッチングの方式（ユーザの感情の認識の方式）としては、例えば、ベイズ決定則に基づく認識方式を適用することができる。ベイズ決定則に基づく認識方式の場合、センサーからの観測信号入力（画像特徴抽出部６７と音響特徴抽出部６９からの特徴量）をｘとし、その時の感情をｅとすると、事後確率ｐ（ｅ｜ｘ）を最大化する感情ｅを認識結果とすることにより行われる。
この事後確率は、ベイズの定理により以下のように記述できる
ｐ（ｅ｜ｘ）＝ｐ（ｘ｜ｅ）・ｐ（ｅ）／ｐ（ｘ）
ここでｐ（ｅ）は、感情ｅの事前確率を表すが、これに感情予測部３５で求められた確率（すなわち、コンテンツのメタ情報から判断されるユーザの感情）を利用することによって、認識精度を高めることができる。
ステップＳ１７において、感情出力部６５は、感情予測部３５によって予測された感情に基づき、マッチング部６４で計算されたスコアに対して補正をかけ、最終的な感情認識結果を出力する。
感情出力部６５から出力される感情認識結果を、感情予測部３５にフィードバックすることによって、感情予測部３５をユーザに適応させ、精度を高めることができる。すなわちこのときのメタ情報の状況と、実際に認識された感情に基づいて、テーブル（テーブル８１やテーブル８２）の更新が行なわれるようにしても良い。また、ユーザが何らかの情報を、ネットワークを介して取得するとき（検索するとき）、感情認識結果が、ユーザの嗜好を表す情報の１つとして用いられ、ユーザに適した情報が取得されるようにしても良い。
なお、感情認識用モデル選択部６２による感情認識用モデルの選択と、感情出力部６５によるマッチング部６４によるマッチングのスコアの補正は、それぞれ独立に行うことができ、いずれか一方のみでも、両方を併用することも可能である。
なお、本実施の形態においては、上述したようにメタ情報の抽出を、コンテンツの再生と同時に行うようにしたが、コンテンツ蓄積部３２に蓄積されているコンテンツに対しては、事前にメタ情報を抽出しておき、そのメタ情報も蓄積されるようにしても良い。このようにすることで、コンテンツの再生時の処理負担を軽減するが可能となる。
このように、ユーザが視聴しているコンテンツに関するメタ情報を利用して、ユーザの感情を認識することで、より正確にユーザの感情を認識することが可能となる。視聴されているコンテンツに対する個人の嗜好情報を抽出するという点からも、メタ情報に記載されている情報に関連した感情が精度よく抽出できる。
本発明を適用することで、視聴されているコンテンツに対するユーザの評価をより正確にフィードバックすることができ、ユーザのコンテンツに対する嗜好情報を精緻化することが可能となる。
［記録媒体について］
図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。
入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。
入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したシステムの一実施の形態の構成を示す図である。 感情認識部の詳細な構成例を示す図である。 感情予測部が保持する予測用データの例である。 感情予測部が保持する予測用データの例である。 感情認識装置の動作を説明するフローチャートである。 記録媒体について説明するための図である。
符号の説明
１１ コンテンツ再生部， １２ 感情認識装置， １３ ユーザ情報取得部， ２１ ＰＣ， ２２ テレビジョン受像機， ２３ 音声再生装置， ３１ コンテンツ取得部， ３２ コンテンツ蓄積部， ３３ コンテンツ供給部， ３４ メタ情報抽出部， ３５ 感情予測部， ３６ 感情認識部， ６１ 感情予測情報取得部， ６２ 感情認識用モデル選択部， ６３ 感情認識用モデル保持部， ６４ マッチング部， ６５ 感情情報出力部， ６６ 画像データ取得部， ６７ 画像特徴抽出部， ６８ 音声データ取得部， ６９ 音響特徴抽出部

Claims (12)

  1. コンテンツに関するメタ情報を取得する取得手段と、
    前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段と、
    前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段と
    を備える情報処理装置。
  2. 前記認識手段は、前記予測手段による予測結果に基づいて、前記ユーザの感情に重み付けする
    請求項１に記載の情報処理装置。
  3. 前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段をさらに備え、
    前記認識手段は、前記音特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とする
    請求項１に記載の情報処理装置。
  4. 前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段をさらに備え、
    前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とする
    請求項１に記載の情報処理装置。
  5. 前記取得手段により取得される前記メタ情報は、前記コンテンツに関するテキスト情報である
    請求項１に記載の情報処理装置。
  6. 前記取得手段は、コンテンツにオーディ情報が含まれる場合、前記オーディオ情報から特徴量を抽出し、抽出された前記特徴量を前記メタ情報とする
    請求項１に記載の情報処理装置。
  7. 前記取得手段は、コンテンツに音声情報が含まれる場合、前記音声情報に基づく音声を音声認識し、音声認識の結果から抽出されたテキストを前記メタ情報とする
    請求項１に記載の情報処理装置。
  8. 前記取得手段は、コンテンツに映像情報が含まれる場合、前記映像情報に基づく映像に出演している出演者に関する情報を前記メタ情報とする
    請求項１に記載の情報処理装置。
  9. 前記取得手段は、コンテンツに時間情報が付随している場合、前記時間情報に基づき、前記コンテンツの進行に伴い、メタ情報を抽出する
    請求項１に記載の情報処理装置。
  10. 前記予測手段は、前記ユーザの感情を予測するためのテーブルを保持し、
    前記認識手段による認識結果は、前記予測手段に供給され、前記予測手段は供給された認識結果により保持しているテーブルを更新する
    請求項１に記載の情報処理装置。
  11. コンテンツに関するメタ情報を取得する取得ステップと、
    前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、
    前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップと
    を含む情報処理方法。
  12. コンテンツに関するメタ情報を取得する取得ステップと、
    前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、
    前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2005227527A 2005-08-05 2005-08-05 情報処理装置および方法、並びにプログラム Pending JP2007041988A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005227527A JP2007041988A (ja) 2005-08-05 2005-08-05 情報処理装置および方法、並びにプログラム
US11/498,348 US8407055B2 (en) 2005-08-05 2006-08-03 Information processing apparatus and method for recognizing a user's emotion
CNB2006101515617A CN100394438C (zh) 2005-08-05 2006-08-07 信息处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005227527A JP2007041988A (ja) 2005-08-05 2005-08-05 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2007041988A true JP2007041988A (ja) 2007-02-15

Family

ID=37700071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005227527A Pending JP2007041988A (ja) 2005-08-05 2005-08-05 情報処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8407055B2 (ja)
JP (1) JP2007041988A (ja)
CN (1) CN100394438C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102606A (ja) * 2012-11-19 2014-06-05 Nippon Telegr & Teleph Corp <Ntt> 対話状態推定装置、対話状態推定方法、およびプログラム
CN108427916A (zh) * 2018-02-11 2018-08-21 上海复旦通讯股份有限公司 一种用于客服坐席情绪的监控系统及监控方法
KR20210015410A (ko) * 2019-08-02 2021-02-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP2022516288A (ja) * 2019-01-02 2022-02-25 ズークス インコーポレイテッド 階層型機械学習ネットワークアーキテクチャ
WO2024166510A1 (ja) * 2023-02-06 2024-08-15 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
US20090060287A1 (en) * 2007-09-05 2009-03-05 Hyde Roderick A Physiological condition measuring device
US20090112693A1 (en) * 2007-10-24 2009-04-30 Jung Edward K Y Providing personalized advertising
US20090112694A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Targeted-advertising based on a sensed physiological response by a person to a general advertisement
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US9513699B2 (en) * 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20090112696A1 (en) * 2007-10-24 2009-04-30 Jung Edward K Y Method of space-available advertising in a mobile device
KR20100000336A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
US8577685B2 (en) * 2008-10-24 2013-11-05 At&T Intellectual Property I, L.P. System and method for targeted advertising
KR101541497B1 (ko) * 2008-11-03 2015-08-04 삼성전자 주식회사 컨텐츠를 기록한 기록매체, 사용자 관련정보 수집 기능을 구비한 컨텐츠 제공 장치, 컨텐츠 제공 방법, 사용자 관련정보 제공 방법 및 컨텐츠 검색 방법
JP5359534B2 (ja) * 2009-05-01 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US20110143728A1 (en) * 2009-12-16 2011-06-16 Nokia Corporation Method and apparatus for recognizing acquired media for matching against a target expression
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
TW201220216A (en) * 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
US20120143693A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
US9514481B2 (en) * 2010-12-20 2016-12-06 Excalibur Ip, Llc Selection and/or modification of an ad based on an emotional state of a user
US20120259240A1 (en) * 2011-04-08 2012-10-11 Nviso Sarl Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
US9183509B2 (en) * 2011-05-11 2015-11-10 Ari M. Frank Database of affective response and attention levels
CN102427553A (zh) * 2011-09-23 2012-04-25 Tcl集团股份有限公司 一种电视节目播放方法、系统及电视机和服务器
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
WO2013091677A1 (en) * 2011-12-20 2013-06-27 Squarehead Technology As Speech recognition method and system
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
JP5941350B2 (ja) * 2012-06-25 2016-06-29 日本放送協会 聴覚印象量推定装置及びそのプログラム
CN102831184B (zh) * 2012-08-01 2016-03-02 中国科学院自动化研究所 根据对社会事件的文字描述来预测社会情感的方法及系统
US9104467B2 (en) 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9477993B2 (en) 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
WO2014061015A1 (en) * 2012-10-16 2014-04-24 Sobol Shikler Tal Speech affect analyzing and training
TWI489451B (zh) * 2012-12-13 2015-06-21 Univ Nat Chiao Tung 基於語音情感辨識之音樂播放系統及其方法
CN103945140B (zh) * 2013-01-17 2017-11-28 联想(北京)有限公司 视频字幕的生成方法及系统
US10225608B2 (en) * 2013-05-30 2019-03-05 Sony Corporation Generating a representation of a user's reaction to media content
KR20150011697A (ko) * 2013-07-23 2015-02-02 삼성전자주식회사 방송 프로그램 정보 제공 방법, 장치 및 기록매체
US9788777B1 (en) * 2013-08-12 2017-10-17 The Neilsen Company (US), LLC Methods and apparatus to identify a mood of media
US10503357B2 (en) 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
US9558180B2 (en) 2014-01-03 2017-01-31 Yahoo! Inc. Systems and methods for quote extraction
US9971756B2 (en) * 2014-01-03 2018-05-15 Oath Inc. Systems and methods for delivering task-oriented content
TWI603213B (zh) * 2014-01-23 2017-10-21 國立交通大學 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
US9449221B2 (en) * 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
US9390706B2 (en) 2014-06-19 2016-07-12 Mattersight Corporation Personality-based intelligent personal assistant system and methods
US9600743B2 (en) 2014-06-27 2017-03-21 International Business Machines Corporation Directing field of vision based on personal interests
US9922350B2 (en) 2014-07-16 2018-03-20 Software Ag Dynamically adaptable real-time customer experience manager and/or associated method
US10380687B2 (en) 2014-08-12 2019-08-13 Software Ag Trade surveillance and monitoring systems and/or methods
US9471837B2 (en) 2014-08-19 2016-10-18 International Business Machines Corporation Real-time analytics to identify visual objects of interest
US9449218B2 (en) * 2014-10-16 2016-09-20 Software Ag Usa, Inc. Large venue surveillance and reaction systems and methods using dynamically analyzed emotional input
JPWO2016088566A1 (ja) * 2014-12-03 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
CN104615252B (zh) * 2015-02-16 2019-02-05 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
US10021459B2 (en) * 2015-10-07 2018-07-10 Oath Inc. Computerized system and method for determining media based on selected motion video inputs
CN113532464B (zh) * 2015-10-08 2024-10-25 松下电器（美国）知识产权公司 控制方法、个人认证装置和记录介质
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
CN105898411A (zh) * 2015-12-15 2016-08-24 乐视网信息技术（北京）股份有限公司 视频推荐方法、系统及服务器
US10255487B2 (en) * 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
WO2017217038A1 (ja) 2016-06-14 2017-12-21 ソニー株式会社 情報処理装置および記憶媒体
US20180232370A1 (en) * 2016-07-05 2018-08-16 Cynny Spa Local processing of biometric data for a content selection system
CN106649712B (zh) * 2016-12-20 2020-03-03 北京小米移动软件有限公司 输入表情信息的方法及装置
CN107053191B (zh) 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
US10037767B1 (en) * 2017-02-01 2018-07-31 Wipro Limited Integrated system and a method of identifying and learning emotions in conversation utterances
CN107085815B (zh) * 2017-03-27 2021-01-12 探客柏瑞科技（北京）有限公司 一种通过监测互动行为自动评估儿童社交能力的方法
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US10652454B2 (en) * 2017-06-29 2020-05-12 International Business Machines Corporation Image quality evaluation
US20190266617A1 (en) * 2018-02-28 2019-08-29 International Business Machines Corporation Reader reaction learning-based article cataloging management
US10891969B2 (en) * 2018-10-19 2021-01-12 Microsoft Technology Licensing, Llc Transforming audio content into images
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
KR102110393B1 (ko) * 2019-08-16 2020-05-14 (주)아크릴 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램
US11133025B2 (en) 2019-11-07 2021-09-28 Sling Media Pvt Ltd Method and system for speech emotion recognition
DE102022206595A1 (de) * 2022-06-29 2024-01-04 Psa Automobiles Sa Stimmungsermittlung einer Person durch Bildanalyse und Musikanalyse

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2967058B2 (ja) 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 階層的感情認識装置
IL127792A (en) * 1998-04-21 2003-04-10 Ibm System and method for identifying and selecting portions of information streams for a television system
US6144938A (en) * 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
JP2000259831A (ja) 1999-03-05 2000-09-22 Atr Media Integration & Communications Res Lab 表情検出装置
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
JP4802434B2 (ja) * 2000-02-28 2011-10-26 ソニー株式会社 音声認識装置及び音声認識方法、並びにプログラムを記録した記録媒体
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US20020029203A1 (en) * 2000-09-01 2002-03-07 Pelland David M. Electronic personal assistant with personality adaptation
US20020174425A1 (en) * 2000-10-26 2002-11-21 Markel Steven O. Collection of affinity data from television, video, or similar transmissions
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
EP1340375A1 (en) * 2000-11-22 2003-09-03 Koninklijke Philips Electronics N.V. Method and apparatus for generating recommendations based on current mood of user
US7058566B2 (en) * 2001-01-24 2006-06-06 Consulting & Clinical Psychology, Ltd. System and method for computer analysis of computer generated communications to produce indications and warning of dangerous behavior
US7346492B2 (en) * 2001-01-24 2008-03-18 Shaw Stroz Llc System and method for computerized psychological content analysis of computer and media generated communications to produce communications management support, indications, and warnings of dangerous behavior, assessment of media images, and personnel selection support
IL144818A (en) * 2001-08-09 2006-08-20 Voicesense Ltd Method and apparatus for speech analysis
JP2003248837A (ja) 2001-11-12 2003-09-05 Mega Chips Corp 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US20030219708A1 (en) * 2002-05-23 2003-11-27 Koninklijke Philips Electronics N.V. Presentation synthesizer
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
JP2004171288A (ja) 2002-11-20 2004-06-17 Autobus:Kk 自動車販売支援装置、自動車販売支援方法、及び自動車販売支援プログラム
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP2005202854A (ja) * 2004-01-19 2005-07-28 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
EP1582965A1 (en) * 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US20070223871A1 (en) * 2004-04-15 2007-09-27 Koninklijke Philips Electronic, N.V. Method of Generating a Content Item Having a Specific Emotional Influence on a User
JP4546767B2 (ja) 2004-06-09 2010-09-15 日本放送協会 感情推定装置及び感情推定プログラム
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US8065154B2 (en) * 2004-07-30 2011-11-22 The Research Foundation of State Univesity of New York Augmentative communications device for the speech impaired using commercial-grade technology
US7714878B2 (en) * 2004-08-09 2010-05-11 Nice Systems, Ltd. Apparatus and method for multimedia content based manipulation
US20060122834A1 (en) * 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
JP4160554B2 (ja) 2004-12-13 2008-10-01 株式会社東芝 画像認識装置及び画像認識装置方法
US7788087B2 (en) * 2005-03-01 2010-08-31 Microsoft Corporation System for processing sentiment-bearing text

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102606A (ja) * 2012-11-19 2014-06-05 Nippon Telegr & Teleph Corp <Ntt> 対話状態推定装置、対話状態推定方法、およびプログラム
CN108427916A (zh) * 2018-02-11 2018-08-21 上海复旦通讯股份有限公司 一种用于客服坐席情绪的监控系统及监控方法
JP2022516288A (ja) * 2019-01-02 2022-02-25 ズークス インコーポレイテッド 階層型機械学習ネットワークアーキテクチャ
KR20210015410A (ko) * 2019-08-02 2021-02-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
WO2021025264A1 (ko) * 2019-08-02 2021-02-11 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR102775773B1 (ko) * 2019-08-02 2025-03-06 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
WO2024166510A1 (ja) * 2023-02-06 2024-08-15 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
US8407055B2 (en) 2013-03-26
CN1908965A (zh) 2007-02-07
US20070033050A1 (en) 2007-02-08
CN100394438C (zh) 2008-06-11

Similar Documents

Publication Publication Date Title
JP2007041988A (ja) 情報処理装置および方法、並びにプログラム
JP4873018B2 (ja) データ処理装置、データ処理方法、及び、プログラム
JP4175390B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8126309B2 (en) Video playback apparatus and method
JP2010154397A (ja) データ処理装置、データ処理方法、及び、プログラム
JP2011217197A (ja) 電子機器、再生制御システム、再生制御方法及びプログラム
JP2007519987A (ja) 内部及び外部オーディオビジュアルデータの統合解析システム及び方法
JP2007534235A (ja) ユーザに対する特定の感情的影響を有するコンテンツアイテムを生成する方法
JP2009009184A (ja) 情報処理装置および方法、並びにプログラム
JP2011239141A (ja) 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム
JP2011511499A (ja) 画像を再生するための方法及び装置
JP2008170685A (ja) 音声評価装置及びカラオケ装置
JP4192703B2 (ja) コンテンツ処理装置、コンテンツ処理方法及びプログラム
JP2008517315A (ja) メディアコンテンツ項目のカテゴリに関してユーザに通知するためのデータ処理装置及び方法
JP2007264569A (ja) 検索装置、制御方法及びプログラム
CN112233647A (zh) 信息处理设备和方法以及计算机可读存储介质
JP2004233541A (ja) ハイライトシーン検出システム
US20060084047A1 (en) System and method of segmented language learning
JP2006279111A (ja) 情報処理装置、情報処理方法およびプログラム
JP4873162B2 (ja) 映像コンテンツ再生装置
JP5912729B2 (ja) 音声認識装置、音声認識プログラム、及び音声認識方法
JP2009147775A (ja) 番組再生方法、装置、プログラム及び媒体
JP4631251B2 (ja) メディア検索装置およびメディア検索プログラム
JP2008141621A (ja) 映像抽出装置及び映像抽出プログラム
JP2007226649A (ja) 検索装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090924