[go: up one dir, main page]

JP7424285B2 - 情報処理システム、情報処理方法、および記録媒体 - Google Patents

情報処理システム、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP7424285B2
JP7424285B2 JP2020516042A JP2020516042A JP7424285B2 JP 7424285 B2 JP7424285 B2 JP 7424285B2 JP 2020516042 A JP2020516042 A JP 2020516042A JP 2020516042 A JP2020516042 A JP 2020516042A JP 7424285 B2 JP7424285 B2 JP 7424285B2
Authority
JP
Japan
Prior art keywords
user
behavior
positive
negative
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516042A
Other languages
English (en)
Other versions
JPWO2019207896A1 (ja
Inventor
正道 飛鳥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019207896A1 publication Critical patent/JPWO2019207896A1/ja
Application granted granted Critical
Publication of JP7424285B2 publication Critical patent/JP7424285B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/0404—Electrodes for external use
    • A61N1/0408—Use-related aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/0404—Electrodes for external use
    • A61N1/0408—Use-related aspects
    • A61N1/0456—Specially adapted for transcutaneous electrical nerve stimulation [TENS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014—External stimulators, e.g. with patch electrodes
    • A61N1/36025—External stimulators, e.g. with patch electrodes for treating a mental or cerebral condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)

Description

本開示は、情報処理システム、情報処理方法、および記録媒体に関する。
従来、特定の状況におけるユーザの感情を測定したり、その感情の対象を推定したりして、その感情に対してフィードバックを行うことが行われていた。
例えば下記特許文献１では、ユーザの感情推定と、その感情をユーザに抱かせた対象とを取得し、推定したユーザの感情がポジティブなときには、その感情を維持するための提示情報をユーザに提示し、推定したユーザの感情がネガティブなときには、対象を取り除くための提示情報をユーザに提示することが開示されている。
また、下記特許文献２は、対話したときの会話の内容から、ポジティブ、ネガティブを検出する技術に関するものである。また、下記特許文献３では、表情に基づき、ポジティブ、ネガティブの精神状態を判断するシステムが開示されている。また、下記特許文献４では、ユーザの感情の変化に基づいて、決定したロボットの行動に対応付けられた適正度を変更することで、ユーザの感情変化に基づいたロボットの行動の適正を適切に学習する行動制御システムが開示されている。
また、下記特許文献５では、対話システムにおいて、ユーザの発話や動作から、ネガティブ、ポジティブを推定し、その感情に対応する応答を行うことで、システムがユーザに共感していると感じさせ、ユーザとシステムとの間に信頼感を生じさせることが開示されている。
特開２０１７－２０１４９９号公報 特開２０１７－０９１５７０号公報 特開２０１６－１４７００６号公報 特開２０１６－０１２３４０号公報 特開２００６－１７８０６３号公報
しかしながら、ユーザの感情に対する応答に関しては、いずれもユーザの感情に寄り添う（すなわち、共感を示す）応答や、ユーザのポジティブな感情を維持する応答を行うのみであり、ユーザの状態をさらに良くすることについては考慮されていない。
また、上記特許文献１では、ユーザがネガティブな感情のときに、ユーザをその感情にさせている対象を取り除くための情報を提示することが開示されているが、この場合、対象の取得が必須となり、また、対象を取り除くことができない場合には、ユーザのネガティブな感情を改善することは困難となる。
そこで、本開示では、ユーザの感情に応じて、ユーザの状態をより良い状態に改善し、暮らしの質を向上させることが可能な情報処理システム、情報処理方法、および記録媒体を提案する。
本開示によれば、ユーザがポジティブかネガティブかを推定し、前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部を備え、前記制御部は、前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、情報処理システムを提案する。
本開示によれば、プロセッサが、ユーザがポジティブかネガティブかを推定することと、前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを行うことと、を含み、前記行うことは、前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザがポジティブかネガティブかを推定し、前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部として機能させ、前記制御部は、前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、ためのプログラムが記録された、記録媒体を提案する。
以上説明したように本開示によれば、ユーザの感情に応じて、ユーザの状態をより良い状態に改善し、暮らしの質を向上させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 第１の実施例による情報処理装置の構成の一例を示すブロック図である。 第１の実施例による（感情）Ｐ／Ｎ判定用の判定ＤＢのデータ構成の一例を示す図である。 第１の実施例によるフィードバック決定用のフィードバックＤＢのデータ構成の一例を示す図である。 第１の実施例による情報処理システムのＦＢ処理の全体の流れの一例を示すフローチャートである。 第１の実施例によるＰ／Ｎ判定処理およびＰ／Ｎフィードバック決定処理の一例を示すフローチャートである。 第２の実施例による情報処理装置の構成の一例を示すブロック図である。 第２の実施例による学習用ＤＢのデータ構成の一例を示す図である。 第２の実施例による学習処理の流れの一例を示すフローチャートである。 第３の実施例による情報処理装置の構成の一例を示すブロック図である。 第３の実施例による脳刺激処理の流れの一例を示すフローチャートである。 第４の実施例によるＰ／Ｎ判定用のデータベースのデータ構成の一例を示す図である。 第４の実施例による倫理的Ｐ／Ｎ判定および法的Ｐ／Ｎ判定を考慮したフィードバック処理の流れの一例を示すフローチャートである。 第５の実施例によるリフレーミングＦＢを含むフィードバック決定用のフィードバックＤＢのデータ構成の一例を示す図である。 第５の実施例によるリフレーミングを含むフィードバック処理の流れの一例を示すフローチャートである。 第６の実施例による倫理的Ｐ／Ｎ判定および法的Ｐ／Ｎ判定を考慮したＰ／Ｎ判定用のデータベースのデータ構成の一例を示す図である。 第６の実施例によるリフレーミングＦＢを含むフィードバック決定用のフィードバックＤＢのデータ構成の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．各実施例
２－１．第１の実施例（行動促進、抑制）
（２－１－１．構成例）
（２－１－２．動作処理）
２－２．第２の実施例（データベースの学習）
（２－２－１．構成例）
（２－２－２．動作処理）
２－３．第３の実施例（脳刺激）
（２－３－１．構成例）
（２－３－２．動作処理）
２－４．第４の実施例（倫理、法の考慮）
（２－４－１．構成例）
（２－４－２．動作処理）
２－５．第５の実施例（リフレーミング）
（２－５－１．構成例）
（２－５－２．動作処理）
（２－５－３．共感を示す応答の追加）
（２－５－４．リフレーミングの自動生成）
２－６．第６の実施例（スモールコミュニティへの適用例）
（２－６－１．構成例）
（２－６－２．動作処理）
３．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本実施形態による情報処理システムは、ユーザの行動や状況に基づいてユーザの感情を推定し、推定した感情に応じたフィードバックにより、ユーザの暮らしをより良い状態に改善、すなわち、ユーザのＱＯＬ（Quality of Life）を向上させるエージェントシステムである。人が、環境や状況、または人等に対して怒りや悲しみなどネガティブな感情を持つことは、危険を察知して回避するために必要ではあるが、過度のネガティブな感情はストレスにつながり免疫系などに悪影響を及ぼす場合がある。一方、ポジティブな感情を持つことは、免疫系などにも好影響を与え、より好ましい状態と言える。
（背景）
近年、ユーザの発話音声を認識し、ユーザの質問や要求に対して直接的に、短期的な１セッション（要求と応答で完結）で応答を行う音声エージェントが普及してきている。かかる音声エージェントは、例えば家庭用のホームエージェントとして、キッチンやダイニング等に置かれる、専用のスピーカー装置（いわゆる、ホームエージェント装置）に実装されている。
また、上述した従来技術では、推定したユーザの感情に応じた応答を行う音声エージェントも提案されている。
しかしながら、いずれも、ユーザの感情と同じ感情をシステム側が表すことでユーザに共感を示すものであり、ポジティブ／ネガティブに関わらずユーザの状態の改善（ユーザの生活や暮らしなど、長い期間で見た状態の改善を含む）については十分に考慮されていなかった。
そこで、本実施形態では、ユーザの感情に応じたフィードバックにより、ユーザの状態をより良い状態に改善し、暮らしの質を向上させることを可能とする。
具体的には、本実施形態による情報処理システム（エージェントシステム）は、特定の状況におけるユーザの行動認識と、その際の感情推定を行い、推定した感情に応じて、その際の行動の促進（当該行動の増加）や抑制（当該行動の減少）を図るフィードバックを与えることで、ユーザの暮らしをより良い状態に改善する。例えば、本実施形態による情報処理システムは、ユーザの感情がポジティブな場合は、その時の行動を促進するためのポジティブフィードバック（行動分析学に基づく正の強化子）を与えてその行動を増加させる。また、本実施形態による情報処理システムは、ユーザの感情がネガティブな場合は、その時の行動を抑制するためのネガティブフィードバック（行動分析学に基づく負の強化子）を与えてその行動を軽減させる。また、本実施形態による情報処理システムは、ユーザがネガティブと捉えた状況または行動に対して、ポジティブな解釈を提示するリフレーミングを行うことで、ユーザの感情をポジティブに変換させることも可能である。
ここで、図１に、本実施形態による情報処理システムの概要について説明する図を示す。図１は、リフレーミングの一例について説明する図である。図１に示すように、例えばユーザがデザート（例えばシュークリームなど賞味期限が短い食べ物等）を食べ忘れたまま外出してしまい、ネガティブな感情を抱いている際に、エージェントが「きっとお子さんが喜んで食べてますよ！」や、「きっとお子さんが見つけて喜んで食べてますよ！『パパが僕のために残してくれたのかな』って」等、ポジティブな解釈を与えることで、状況や行動を変化させずとも、ユーザをポジティブな状態に改善することが可能となる。エージェントによるリフレーミングは、例えば、ユーザが装着しているＨＭＤ（情報処理装置１０）のイヤホンから音声のみで提示してもよいし、さらに、ＨＭＤの表示部にエージェントキャラクターの映像等を、ＡＲ（Augmented Reality）表示してもよい。
ユーザの状況認識や行動認識、および感情推定は、様々なセンシングデータや、ユーザによる入力情報（スケジュール情報、メール、ソーシャルネットワーク等への投稿メッセージ等）、外部からの取得情報（日時、地図、天候、監視カメラ映像等）、または、機械学習を用いて、認識され得る。センシングデータの具体例については後述するが、例えば、カメラやマイクロホン、加速度センサ、ジャイロセンサ、位置情報取得部、生体センサ（例えば、体温、脈拍、心拍、発汗、瞬き、脳波）、視線センサ、または環境センサ（例えば、気温、湿度、照度、風圧）等のセンサにより検知された情報が想定され得る。これらのセンサは、例えば情報処理装置１０に設けられていてもよいし、情報処理装置１０と通信接続する他のウェアラブル装置やスマートフォン等により実現されてもよい。
また、図１で想定したような、ユーザがデザートを食べ忘れたまま外出し、ネガティブな感情を抱いていることは、例えば、まず、ユーザの買い物記録（例えばクレジットカードや電子マネーの使用履歴）や冷蔵庫のカメラ、スマートフォンのカメラ、ソーシャルネットワークへの投稿等によりユーザがデザートを購入して冷蔵庫に入れたこと、および、そのデザートの賞味期限等が取得できる。次いで、ユーザの位置や動き、日時等からユーザが通勤中であることを取得できる。これにより、ユーザが家にデザートを置いたまま（状況認識）、食べ忘れて外出してしまったこと（行動認識）が把握できる。そして、このような状況における行動について、ユーザがネガティブな感情になっている場合、上述したように、「きっとお子さんが喜んで食べてますよ！などポジティブな解釈を与えることで、ユーザをポジティブな状態に改善することが可能となる。
ユーザがネガティブな感情になっているか否かは、例えば、予め用意した、状況と行動に感情（ネガティブ／ポジティブ）が対応付けられたデータベースから判定してもよい。また、リフレーミングのタイミングは、ユーザが、「外出」等の行動を起こした時でもよいし、さらに、腹の音（腹鳴）が鳴った時、デザートを食べ忘れたことに関して何らかの呟き、またはソーシャルネットワークへの投稿等を行った時、食べ物屋や食べ物の看板等を注視して溜息をした時、下を向いて歩いてる時（落ち込むことがあったと推定され得る）、眼の動きや脳波等から何かを思い出していることが推定された時、血糖値や脳波等から空腹状態や、食べ物のことを考えていることが推定された時等に行うようにしてもよい。
以上、本開示の一実施形態による情報処理システムについて説明した。本実施形態による情報処理システム（エージェントシステムとも称する）は、様々な装置で実現される。例えば、本実施形態によるエージェントシステムは、スマートフォン、タブレット端末、携帯電話、ホームエージェント（スピーカー装置）等の専用端末、プロジェクター、若しくは、ＨＭＤ（Head Mounted Display）やスマートバンド、スマートウォッチ、耳に装着するスマートイヤーなどのウェアラブルデバイスといった出力装置により実現され得る。ＨＭＤとしては、例えば、イヤホンとシースルー表示部を備え、日常的に装着可能な眼鏡型のＨＭＤであってもよい（図１参照）。
また、本実施形態によるエージェントシステムは、これらの出力装置、またはサーバ上で実行されるアプリケーションであり、複数の装置により実現されてもよい。また、本実施形態によるエージェントシステムは、適宜任意の出力装置からフィードバックを行ってもよい。例えばユーザが家に居る間は、部屋にあるスピーカー装置や表示装置（テレビ受像機や、プロジェクター、部屋に設置された大型の表示装置など）から主に行われ、ユーザが外に居る間は、スマートフォン、スマートバンド、スマートイヤホン等により主に行われてもよい。また、複数の装置からほぼ同時にフィードバックが行われてもよい。
また、ユーザへのフィードバック（促進、抑制、リフレーミング）は、音声出力、画像表示、テキストの表示、または、身体への触覚刺激や脳刺激等により行われ得る。
続いて、本実施形態による情報処理システムについて、複数の実施例を用いて具体的に説明する。
＜＜２．各実施例＞＞
＜２－１．第１の実施例（行動促進、抑制）＞
（２－１－１．構成例）
図２は、第１の実施例による情報処理装置１０ａの構成の一例を示すブロック図である。図２に示すように、情報処理装置１０ａは、制御部１００ａ、通信部１１０、入力部１２０、出力部１３０、および、記憶部１４０を有する。
制御部１００ａは、演算処理装置および制御装置として機能し、各種プログラムに従って１０ａ内の動作全般を制御する。制御部１００ａは、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００ａは、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部１００ａは、状況認識部１０１、行動認識部１０２、判定部１０３、およびフィードバック決定部１０４としても機能する。
状況認識部１０１は、ユーザの置かれている環境を状況として認識する。具体的には、状況認識部１０１は、センサ部１２２により検知されたセンシングデータ（音声やカメラ映像、生体情報、モーション情報等）に基づいて、ユーザ状況を認識する。例えば、状況認識部１０１は、ユーザの位置、移動速度、および加速度センサデータに基づいて、ユーザが利用している乗り物（電車、バス、車、自転車等）を認識する。また、センサ部１２２は、状況認識として、環境を言語のＡＮＤ条件でラベリングしてもよい（例えば、「電車＆満員」（満員電車）や、「部屋＆子供」（子供部屋）等）。
また、状況認識部１０１は、ユーザが実際に知覚（体験）した状況を認識するようにしてもよい。例えば、状況認識部１０１は、ユーザの視線方向を撮像した撮像画像（例えばＨＭＤに設けられたユーザの視界を撮像画角とするカメラ）や、ユーザの耳元に位置するマイクロホンにより集音した音声データのみを使用することで、ユーザが実際に知覚している状況を認識することができる。または、状況認識部１０１は、ユーザが注意を向けている状況のみに限定するために、目の開閉をセンシングして目を長時間閉じている時のデータを除外したり、脳波など脳活動をセンシングして注意（集中）しているとき以外のデータを除外するようにしてもよい。
また、状況認識部１０１は、センサ部１２２により検知されたセンシングデータに限定されず、ユーザが入力した情報（スケジュール情報、メール内容、ソーシャルネットワークへの投稿内容等）や、情報処理装置１０ａが取得した情報（日時、天候、交通情報、ユーザの購入履歴、周辺に設置されているセンサ装置（監視カメラ、監視マイク等）から取得したセンシングデータ等）などを参照して状況を認識してもよい。
また、状況認識部１０１は、現実世界の状況だけでなく、ソーシャルネットワーク上での状況（例えばユーザが参加している音楽グループ内でのやり取り、閲覧、ダウンロード等）や、ＶＲ（Virtual Reality）世界の状況を認識してもよい。
また、状況認識部１０１は、状況認識の方法として、センシングデータと教師データとして言語ラベルとを与え、深層学習によって学習させたニューラルネットワークを用いてもよい。
行動認識部１０２は、ユーザの行動を認識する。具体的には、行動認識部１０２は、センサ部１２２により検知されたセンシングデータ（音声やカメラ映像、生体情報、モーション情報等）に基づいて、ユーザ行動を認識する。例えば、行動認識部１０２は、加速度センサやジャイロセンサ、マイクロホン等により検知したセンシングデータに基づいて、「立つ、座る、歩く、走る、横になる、転ぶ、話す」といった行動をリアルタイムで認識する。
判定部１０３は、状況認識部１０１が認識したユーザ状況、および行動認識部１０２が認識したユーザ行動に基づいて、ユーザ感情を判定する。「感情」は、喜びや怒りなどの基本感情で表現してもよいが、ここでは一例として、ポジティブ／ネガティブ（以下、Ｐ／Ｎとも称す）を用いてもよい。感情のポジティブ／ネガティブは、例えば、人間の感情を「覚醒度（arousal）」と「感情の快／不快（valence）」の２軸で整理するRussellの円環モデルにおける「感情の快／不快」軸に相当する。ポジティブな感情には、例えば、喜び、幸福、興奮、リラックス、満足等が含まれる。また、ネガティブな感情には、例えば、心配、怒り、不満、苛立ち、不愉快、悲しみ、憂鬱、退屈等が含まれる。なお、感情のポジティブとネガティブの度合いは、誘発性（valence）で表現し、－１から１に正規化したものとしてもよい。誘発性が「－１」の感情はネガティブな感情、「０」の感情はニュートラルな感情、「１」の感情はポジティブな感情となる。
本実施形態による判定部１０３は、予め生成されたＰ／Ｎ判定用の判定ＤＢ（データベース）１４１を用いて、ユーザ行動およびユーザ状況から、ユーザ感情（Ｐ／Ｎ）判定してもよい。ここで、図３に、本実施形態による（感情）Ｐ／Ｎ判定用の判定ＤＢ１４１のデータ構成の一例を示す。図３に示すように、判定ＤＢ１４１には、状況と行動に、（感情）Ｐ／Ｎが予め対応付けられたデータが格納されている（１；ポジティブ、－１；ネガティブ）。これにより、判定部１０３は、ユーザの状況および行動に基づいて、ユーザ感情が、ポジティブであるか、ネガティブであるかを判定する。図３に示す表における「*」印は、「don’t care」を意味し、ユーザＩＤが「*」の場合は、誰にでも適用できるデータであることを示し、状況／行動が「*」の場合は、どのような状況／行動にも適用できるデータであることを示す。判定ＤＢ１４１に蓄積されているＰ／Ｎ判定データは、例えば、一般知識や、社会通念、または、ユーザへの好悪や嗜好に関するアンケート結果に基づいて予め生成されたものであってもよいし、次に説明する学習により自動生成されたものであってもよい。
図３に示す例を参照した場合、判定部１０３は、どのユーザであっても、電車内で座っている状況において、誰かに席を譲る行動を取った場合（具体的には、電車内で座っていた状態から立った状態に変化した場合など）、「Ｐ／Ｎ；１（ポジティブ）」であると推定する。また、図３に示す例を参照した場合、判定部１０３は、どのユーザでも、また、どのような状況であっても、「怒鳴る」や「殴る」といった行動を認識した場合は、「Ｐ／Ｎ；－１（ネガティブ）」であると推定する。
なお、図３に示す例では、一例として、ポジティブ感情やネガティブ感情を、「１」と「－１」の離散値で示したが、本実施形態はこれに限定されず、例えば、連続値で表してもよい。
フィードバック決定部１０４は、判定部１０３の判定結果に基づいて、ユーザへのフィードバックを決定する機能を有する。具体的には、フィードバック決定部１０４は、判定部１０３の判定結果に基づいて、フィードバックＤＢ１４２を利用して、ユーザへのフィードバック（以下、「ＦＢ」とも称す）を決定する。ここで、図４に、本実施形態によるフィードバック決定用のフィードバックＤＢ１４２のデータ構成の一例を示す。図４に示すように、フィードバックＤＢ１４２には、ユーザＩＤ、状況、行動、および（感情）Ｐ／Ｎに予め対応付けられたＦＢ内容に関する情報（ＦＢのタイプ、ＦＢの内容、および優先度）が格納されている。ＦＢのタイプは、図４に例示した聴覚（音声）や視覚（映像）の他、触覚刺激（電気、温度、風、圧力等）、嗅覚（匂い）等であってもよい。フィードバック決定部１０４は、ＦＢタイプに応じて、出力方法（音声出力、表示出力、触覚刺激出力等）を決定する。また、複数の出力装置がある場合は、フィードバック決定部１０４は、ＦＢタイプに応じて適切な出力装置を決定し得る。なお、フィードバックＤＢ１４２に蓄積されているフィードバックデータは、例えば、一般知識や、社会通念、または、ユーザへの好悪や嗜好に関するアンケート結果に基づいて予め生成されたものである。
ポジティブな行動に対しては、その行動を強化するために、ユーザにとって快となる内容のＦＢを行い、ネガティブな行動に対しては、その行動を抑制するために、ユーザにとって不快となる内容のＦＢを行う。ＦＢは、１つのみ実行してもよいし、複数実行してもよい。複数のＦＢ候補から選定する場合、図４に示す優先度に応じて決定してもよい。図４に示す優先度は、予め設定される。
図４に示す例では、例えば、ユーザＩＤ；Ｕ１のユーザは、例えば予め取得したアンケート結果により、犬が好きで、猫が嫌いなことが既知であるため、ポジティブ感情と判定された際の行動に対しては、ユーザが好きな犬の鳴き声やアニメーションを提示することで、ユーザの気分を良くし、当該行動を強化させる。一方、ネガティブ感情と判定された際の行動に対しては、ユーザが嫌いな猫の鳴き声やアニメーションを提示することで、ユーザの気分を一時的に害させるが、今後、当該行動が減少することで、長い期間から見ると、ユーザの状態を改善することが可能となる。また、図４に示す「快音」は、一般的に心地よいとされる音楽（メロディ）や、川のせせらぎ等、リラックス効果や幸福感、満足感を与える音楽などが想定される。また、ユーザが好きな動物やキャラクターの声、ユーザが好きな音楽などであってもよい。一方、「不快音」は、一般的に人が不快感を覚える音（例えば、黒板に爪を立てた音や、甲高い金属音、警告音、特定周波数の音など）や、ユーザが個人的に不快と感じる音（発砲スチロールのこすれる音などの効果音、嫌いな動物やキャラクターの声、ユーザが嫌いな音楽など）であってもよい。
（通信部１１０）
通信部１１０は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等により、ネットワークを介して外部装置と通信接続してもよい。
（入力部１２０）
入力部１２０は、情報処理装置１０ａに対する入力情報を取得し、制御部１００ａに出力する。入力部１２０は、例えば、操作入力部１２１とセンサ部１２２を含む。
操作入力部１２１は、ユーザによる情報処理装置１０ａに対する操作入力情報を検出する。操作入力部１２１は、例えば、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１２１は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
センサ部１２２は、ユーザ状況やユーザ行動を認識するための各種センシングデータを検知するセンサである。センサ部１２２は、例えば、カメラ（ステレオカメラ、可視光カメラ、赤外線カメラ、深度カメラ等）、マイクロホン、ジャイロセンサ、加速度センサ、地磁気センサ、生体センサ（心拍、体温、発汗、血圧、脈拍、呼吸、視線、瞬目、眼球運動、凝視時間、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳｐＯ２（血中酸素飽和度）等）、ＧＮＳＳ（Global Navigation Satellite System）等の位置情報取得部、環境センサ（照度センサ、気圧センサ、温度（気温）センサ、湿度センサ、高度センサ）、超音波センサ、赤外線センサ等が想定される。位置情報取得部は、ＧＮＳＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。各センサは、複数あってもよい。また、マイクロホンは、指向性マイクであってもよい。
（出力部１３０）
出力部１３０は、制御部１００ａの制御に従って、ユーザへのフィードバックを出力する機能を有する。出力部１３０は、例えば、表示部１３１と音声出力部１３２を含む。表示部１３１は、画像（静止画や動画）やテキストを表示する表示装置である。表示部１３１は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイなどの表示装置により実現される。出力部１３０は、例えば眼鏡型のＨＭＤに設けられたシースルー表示部であってもよい。この際、フィードバック画像等の表示情報は、実空間に重畳してＡＲ（Augmented Reality）表示される。また、音声出力部１３２は、エージェント音声や、音楽、メロディ、効果音等を出力する。各表示部１３１および音声出力部１３２は、複数あってもよい。また、音声出力部１３２は、指向性スピーカーであってもよい。
（記憶部１４０）
記憶部１４０は、制御部１００ａの処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
また、記憶部１４０は、判定ＤＢ１４１およびフィードバックＤＢ１４２を記憶する。判定ＤＢ１４１は、図３を参照して説明したように、状況認識結果および行動認識結果に基づいて、ユーザ感情がネガティブかポジティブかを判定するためのデータを有する。また、フィードバックＤＢ１４２は、図４を参照して説明したように、Ｐ／Ｎ判定結果に基づいて、ユーザへのフィードバックを決定するためのデータを有する。本実施形態では一例として、行動分析学に基づき、行動促進のためのポジティブＦＢとして正の強化子（報酬）、また、行動抑制のためのネガティブＦＢとして負の強化子（罰）が蓄積されている。
以上、本実施形態による情報処理装置１０ａの構成について具体的に説明した。なお情報処理装置１０ａの構成は、図２に示す例に限定されない。情報処理装置１０ａは、複数の装置により実現されてもよい。例えば、情報処理装置１０ａの少なくとも一部が、ネットワーク上のサーバに設けられていてもよい。具体的には、情報処理装置１０ａの制御部１００ａの各機能および記憶部１４０の各ＤＢが、サーバに設けられていてもよい。また、センサ部１２２が、外部装置に設けられていてもよいし、情報処理装置１０ａと外部の両方に設けられていてもよい。
また、図２では、入力部１２０および出力部１３０の具体例を示したが、本実施形態はこれに限定されない。また、情報処理装置１０ａは、出力部１３０として、表示部１３１を有さない構成であってもよいし、音声出力部１３２を有さない構成であってもよい。また、情報処理装置１０ａは、行動促進ＦＢ機能と、行動抑制ＦＢ機能のうち、いずれかを備えるものであってもよい。
（２－１－２．動作処理）
続いて、本実施形態による情報処理システムのＦＢ処理について、図５および図６を用いて具体的に説明する。
図５は、本実施形態による情報処理システムのＦＢ処理の全体の流れの一例を示すフローチャートである。
図５に示すように、まず、情報処理装置１０ａは、状況認識（ステップＳ１０３）、および、行動認識（ステップＳ１０６）を行う。これらは、図５に示すフローの順番に限定されず、逆順であってもよいし、並列に行われてもよい。また、これらは、継続的／定期的に行われ得る。
次に、情報処理装置１０ａは、状況認識結果および行動認識結果に基づいて、判定ＤＢ１４１を参照し、Ｐ／Ｎ判定を行う（ステップＳ１０９）。
次いで、情報処理装置１０ａは、Ｐ／Ｎ判定結果に基づいて、フィードバックＤＢ１４２を参照し、フィードバックを決定する（ステップＳ１１２）。
そして、情報処理装置１０ａは、決定したフィードバックを実行する（ステップＳ１１５）。
以上のステップＳ１０３～Ｓ１１５に示す処理を、システムが終了するまで（例えばユーザによる明示的な終了指示など）繰り返す（ステップＳ１１８）。
続いて、Ｐ／Ｎ判定処理およびＰ／Ｎフィードバック決定処理の流れについて、図６を参照して説明する。図６は、Ｐ／Ｎ判定処理およびＰ／Ｎフィードバック決定処理の一例を示すフローチャートである。
図６に示すように、まず、情報処理装置１０ａの判定部１０３は、状況認識結果および行動認識結果に基づいて、判定ＤＢ１４１を用いて、Ｐ／Ｎ判定を行う（ステップＳ１２３）。
次に、フィードバック決定部１０４は、判定部１０３によりポジティブ判定された場合（ステップＳ１２６／Ｙｅｓ）、正の強化子ＦＢに決定する（ステップＳ１２９）。例えば、ユーザＵ１が「人に出会う」状況で「挨拶」行動を取り、ポジティブと判定された場合、図４に示すＦＢのうち、ＩＤ；Ｒ２とＩＤ；Ｒ４のフィードバックが適合する。フィードバック決定部１０４は、例えばユーザＵ１が装着しているシースルーのＨＭＤの表示部１３１に、犬が楽しそうに尻尾を振っている映像を提示したり、ＨＭＤの音声出力部１３２から心地良い音を流したりする。１つのフィードバックのみ実行される場合には、優先度の高いＩＤ；Ｒ４のみがフィードバックされる。このように、正の強化子ＦＢとして、心地良い音を流したり、心地良い振動を与えたり、好きな音楽を流したり、好きな動物の映像を流したり、好きなキャラクターにポジティブな言葉を話させたりすることで、ユーザはより気分が良くなり、この「挨拶」行動が強化される。
一方、ネガティブ判定された場合（ステップＳ１３２／Ｙｅｓ）、フィードバック決定部１０４は、負の強化子ＦＢに決定する（ステップＳ１３５）。例えば、ユーザＵ２が下を向いて歩いているときについて説明する。状況認識部１０１は、ユーザＵ２の位置情報からユーザＵ２が自宅と勤務地の間を移動している「通勤」の状況であると認識し、行動認識部１０２は、加速度センサからユーザＵ２が歩いていることと、頭部の加速度センサからユーザＵ２が下を向いていることを認識し、下を向いて歩いている行動であると認識する。
判定部１０３は、通勤中に下を向いて歩く行動がポジティブかネガティブかを判定する。具体的には、判定ＤＢ１４１を参照する。下を向いて歩くと気分が落ち込み易くなることから、予め、判定ＤＢ１４１には、図４のＩＤ；Ｄ５に示すように、「下を向いて歩く」行動は、Ｐ／Ｎ；－１、すなわちネガティブな感情であることが対応付けられている。従って判定部１０３は、ＩＤ；Ｄ５に基づいて、ネガティブと判定する。次いで、フィードバック決定部１０４は、ユーザＵ２が「通勤」の状況で「下を向く＆歩く」という行動を取り、ネガティブ判定（Ｐ／Ｎ；－１）であるため、図４に示すフィードバックＤＢ１４２の一例を参照し、ＩＤ；Ｒ１とＩＤ；Ｒ５のＰ／Ｎフィードバックに決定する。フィードバック決定部１０４は、例えばユーザＵ２が装着しているシースルーのＨＭＤの表示部１３１に、一般的に嫌われている虫が動く映像を提示したり、ＨＭＤの音声出力部１３２から不快音を流したりする。１つのフィードバックのみ実行される場合には、優先度の高いＩＤ；Ｒ５のみがフィードバックされる。
このように、負の強化子ＦＢとして、嫌な音を流したり、嫌な振動を与えたり、嫌いな動物の映像を流したり、好きなキャラクターにネガティブな言葉を話させたりすることで、ユーザＵ２の「下を向いて歩く」行動を弱化、すなわち抑制することができる。なお加えて、上を向いて歩いているときに、フィードバックとして、好きな音楽を流すなどの強化を併せて行うことで、上を向いて歩く行動が促進され、下を向いて歩く行動を、より抑制することができる。
なお、ニュートラルな感情の場合もあるため、ポジティブ／ネガティブのいずれにも相当しない場合は（ステップＳ１３２／Ｎｏ）、何らフィードバックは行わない。
＜２－２．第２の実施例（データベースの学習）＞
続いて、第２の実施例について、図７～図９を参照して説明する。上述した第１の実施例で利用した判定ＤＢ１４１やフィードバックＤＢ１４２のデータは、学習により生成することも可能である。
より具体的には、本実施例による情報処理システムでは、ユーザのセンシングデータに基づいてユーザ感情を認識し、感情認識結果を、その時の状況および行動と共にデータベースに記録しておくことで、判定ＤＢ１４１やフィードバックＤＢ１４２のデータ学習を行うことを特徴とする。以下、本実施例による情報処理装置１０ｂの構成と動作処理について具体的に説明する。
（２－２－１．構成例）
図７は、本実施例による情報処理装置１０ｂの構成の一例を示すブロック図である。図７に示すように、情報処理装置１０ｂは、制御部１００ｂ、通信部１１０、入力部１２０、出力部１３０、および、記憶部１４０ｂを有する。なお、図２を参照して説明した構成と同符号の構成の内容は上述した通りであるため、ここでの説明は省略する。
制御部１００ｂは、演算処理装置および制御装置として機能し、各種プログラムに従って１０ｂ内の動作全般を制御する。また、制御部１００ｂは、状況認識部１０１、行動認識部１０２、判定部１０３、フィードバック決定部１０４、感情認識部１０５、および、学習部１０６としても機能する。
記憶部１４０ｂは、判定ＤＢ１４１、フィードバックＤＢ１４２、および、学習用ＤＢ１４３を格納する。
感情認識部１０５は、センサ部１２２等により取得されたセンシングデータに基づいて、ユーザ感情を認識する。例えば感情認識部１０５は、ユーザの顔を撮像した撮像画像から表情を解析して感情認識してもよいし、心拍や脈拍等の生体センサデータを解析して感情認識してもよい。感情認識のアルゴリズムについては特に限定しない。また、感情認識は、喜びや怒りなどの基本感情で表現してもよいが、上述した第１の実施例と同様に、一例として誘発性（valence）で表現し、－１から１に正規化するようにしてもよい。誘発性が「－１」の感情はネガティブな感情、「０」の感情はニュートラルな感情、「１」の感情はポジティブな感情となる。例えば感情認識部１０５は、生体センサデータの値を所定の閾値と比較し、誘発性（感情の快／不快）を算出し、感情を認識する。なお、ここでは一例として、「－１」、「０」、「１」といった離散値で表す例について説明したが、本実施形態はこれに限定されず、連続値で表してもよい。例えば、生体センサデータ等のセンシングデータ（アナログ値）を蓄積し、これを感情の値として定量化してもよい。
感情認識部１０５による感情認識結果は、同時刻の状況認識部１０１による状況認識結果と、行動認識部１０２による行動認識結果と共に、学習用ＤＢ１４３に蓄積される。
学習用ＤＢ１４３には、状況認識部１０１による状況認識結果と、行動認識部１０２による行動認識結果と、感情認識部１０５による感情認識結果が、時刻と共に蓄積されている。ここで、学習用ＤＢ１４３のデータ構成の一例を図８に示す。図８に示す例では、感情認識結果を誘発性で表現している。図８に示すように、例えば、ユーザＵ１が「通勤中に犬と出会った」状況において「歩く」行動や「立ち止まる」行動を取っている際の感情認識結果は、「誘発性：１」（すなわち、ポジティブ感情）であったことが記録されている。一方、ユーザＵ１が「通勤中に猫と出会った」状況において「歩く」行動を取っている際の感情認識結果は、「誘発性：－１」（すなわち、ネガティブ感情）であったことが記録されている。これら学習用ＤＢ１４３に蓄積されているデータは、学習部１０６が、判定ＤＢ１４１のデータ学習や、フィードバックＤＢ１４２のデータ学習を行う際に利用される。
学習部１０６は、学習用ＤＢ１４３に蓄積されたデータを利用して、判定ＤＢ１４１のデータ学習、および、フィードバックＤＢ１４２のデータ学習を行い得る。詳細については、次の図９に示すフローチャートの説明において述べる。
（２－２－２．動作処理）
図９は、本実施例による学習処理の流れの一例を示すフローチャートである。図９に示すように、学習部１０６は、学習用ＤＢ１４３に学習データが追加されたか否かを判断し（ステップＳ２０３）、学習データが追加された場合（ステップＳ２０３／Ｙｅｓ）、判定ＤＢ１４１にデータを追加するＰ／Ｎ判定データ学習や（ステップＳ２０６）、フィードバックＤＢ１４２にデータを追加するＰ／Ｎ ＦＢデータ学習（ステップＳ２０９）を行う。なお、学習部１０６による学習は、学習用ＤＢ１４３に学習データが追加される度に行ってもよいし、一定期間毎に、新たに追加された学習データに基づいて行うようにしてもよい。
まず、判定ＤＢ１４１におけるＰ／Ｎ判定データ学習の具体例について、図８に示す表を用いて説明する。例えば図８に示すＩＤ；Ｌ１とＩＤ；Ｌ３のように、ユーザＵ１が近所で挨拶したときに感情がポジティブになったことが一定回数よりも多い場合、学習部１０６は、ユーザＵ１は近所で挨拶すると感情がポジティブになるというデータを生成し、判定ＤＢ１４１に追加する。例えば図３のＩＤ；Ｄ４に示すような、[ユーザＩＤ；Ｕ１，状況；近所，行動；挨拶する，Ｐ／Ｎ；１]を、Ｐ／Ｎ判定データとして追加する。
また、学習部１０６は、このようなユーザＵ１のＰ／Ｎ判定データを追加したとき、既に他のユーザ、例えばユーザＵ２も近所で挨拶するとポジティブになるというＰ／Ｎ判定データ［Ｕ２，近所，挨拶する，１］があった場合、これら２つのＰ／Ｎ判定データを汎化して、誰でも近所で挨拶すると感情がポジティブになるというＰ／Ｎ判定データ［＊，近所，挨拶する，１］を生成し、データ整理を行ってもよい。
なお、学習が行われていない時のために、初期の判定ＤＢ１４１には、一般知識からのＰ／Ｎ判定データや、ユーザに好悪など嗜好のアンケートを行った結果に基づくＰ／Ｎ判定データを入れておいてもよい。
次に、フィードバックＤＢ１４２におけるＰ／Ｎフィードバックデータ学習の具体例について、図８に示す表を用いて説明する。例えば図８に示すＩＤ；Ｌ２［Ｕ１，通勤＆犬と出会う，歩く，１］と、ＩＤ；Ｌ４［Ｕ１，近所＆犬と出会う，立ち止まる，１］のように、あるユーザＵ１の同じ感情を持つデータから、状況および行動のそれぞれのＡＮＤ条件を取ると、犬と出会う状況では感情がポジティブになることが分かる（［Ｕ１，犬と出会う，＊，１］として判定ＤＢ１４１にＰ／Ｎ判定データを追加学習してもよい）。この場合、ユーザＵ１のポジティブな行動に対するフィードバック（正の強化子）として「犬」が利用できるため、例えば図４のＩＤ：Ｒ２に示すようなフィードバックデータ［Ｕ１，＊，＊，１，犬］を生成することができる。
また、学習部１０６は、このようなユーザＵ１のＰ／Ｎフィードバックデータを追加したとき、既に他のユーザ、例えばユーザＵ２もポジティブなフィードバックとして「犬」が利用できるというフィードバックデータ［ユーザＩＤ；Ｕ２，状況；＊，行動；＊，Ｐ／Ｎ；１，ＦＢ内容；犬］があれば、これら２つのフィードバックデータを汎化して、誰に対してもポジティブなフィードバックとして「犬」が利用できるという正の強化子のフィードバックデータ［ユーザＩＤ；＊，状況；＊，行動；＊，Ｐ／Ｎ；１，ＦＢ内容；犬］を生成し、データ整理を行ってもよい。
なお、学習が行われていない時のために、初期のフィードバックＤＢ１４２には、一般知識からのフィードバックデータや、ユーザに好悪など嗜好のアンケートを行った結果に基づくフィードバックデータを入れておいてもよい。
以上、第２の実施例として、データベースの学習について説明した。なお、判定部１０３は、感情認識部１０５による感情認識結果に基づいてＰ／Ｎ判定を行ってもよい。
＜２－３．第３の実施例（脳刺激）＞
本実施形態による行動の促進や抑制のフィードバックは、行動分析学に基づく正や負の強化子を与えることに限定されず、例えば、ｔＤＣＳ（Transcranial direct current
stimulation；経頭蓋直流刺激）などのように、脳に直接刺激を与えることで、その行動を促進したり抑制したりすることも可能である。ｔＤＣＳでは、頭部に微弱な直流を流すことにより、知覚や行動を促進したり抑制したりすることが可能である。具体的には、陽極刺激を行うことにより、ジャンプなどの運動機能が促進されたり、陰極刺激を行うことにより痒みなどの知覚が抑制されることが知られている。
そこで本実施例では、ユーザの脳に対して陽極刺激または陰極刺激を行うことで、ユーザの行動を促進または抑制するフィードバックを可能とする。
（２－３－１．構成例）
図１０は、本実施例による情報処理装置１０ｃの構成の一例を示すブロック図である。図１０に示すように、情報処理装置１０ｃは、出力部１３０ｃとして、脳刺激部１３３を有する。
脳刺激部１３３は、ユーザの脳に対して陽極刺激を行うことでユーザの行動を促進し、また、ユーザの脳に対して陰極刺激を行うことでユーザの行動を抑制するフィードバックを行い得る。脳刺激部１３３は、例えば電極により実現される。脳刺激部１３３は、例えばユーザの頭部に装着されるヘッドバンド（頭部の全周を回るバンド、または、側頭部または／および頭頂部を通るバンド）において、両耳の間の頭部に接する面に設けられるようにしてもよい。脳刺激部１３３（電極）は、例えば、ヘッドバンド装着時に、ユーザ頭部両側の感覚運動野に接触するよう複数配置される。また、情報処理装置１０ｃが、このようなヘッドバンドを備えたＨＭＤにより実現されてもよい。なお、ヘッドバンドやＨＭＤの形状については特に限定しない。
その他の構成は、第１の実施例と同様である。また、本実施例に、第２の実施例（データベースの学習機能）を適用してもよい。また、判定部１０３は、第２の実施例で説明した感情認識部１０５による感情認識結果に基づいてＰ／Ｎ判定を行ってもよい。
（２－３－２．動作処理）
図１１は、本実施例による脳刺激処理の流れの一例について説明する図である。図１１に示すように、まず、情報処理装置１０ｃは、状況認識（ステップＳ３０３）、および、行動認識（ステップＳ３０６）を行う。これらは、図１１に示すフローの順番に限定されず、逆順であってもよいし、並列に行われてもよい。また、これらは、継続的／定期的に行われ得る。
次に、情報処理装置１０ｃは、状況認識結果および行動認識結果に基づいて、判定ＤＢ１４１を参照し、Ｐ／Ｎ判定を行う（ステップＳ３０９）。
次いで、情報処理装置１０ｃは、Ｐ／Ｎ判定結果に応じて、脳刺激フィードバックを行う（ステップＳ３１２）。具体的には、情報処理装置１０ｃは、ポジティブ判定の場合は、脳刺激部１３３により陽極刺激の脳フィードバックを与えて行動を促進し、ネガティブ判定の場合は、脳刺激部１３３により陰極刺激の脳フィードバックを与えて行動を抑制する。例えば、情報処理装置１０ｃは、あるユーザが、自宅の近所で人に気分良く挨拶をしたと認識した時に（状況、行動、およびポジティブ感情の認識）、同時に陽極刺激の脳フィードバックを与えることで、その挨拶行動をより促進させることが可能となる。また、情報処理装置１０ｃは、例えばあるユーザが、交差点で猫が車に轢かれて動かなくなっているところを見て悲しくなり、ネガティブな感情になっている時に、脳刺激部１３３により陰極刺激を与えることで、そのネガティブな感情を抑制することが可能となる。行動認識部１０２は、ＨＭＤに設けられた外向きカメラや視線センサ（赤外線センサなど）により、ユーザの視線や注視点、注視対象を判断し、ユーザが、車に轢かれて動かなくなっている動物を見ている（知覚している）ことを認識し得る。
以上のステップＳ３０３～Ｓ３１２に示す処理を、システムが終了するまで（例えばユーザによる明示的な終了指示など）繰り返す（ステップＳ３１５）。
＜２－４．第４の実施例（倫理、法の考慮）＞
続いて、本実施形態による第４の実施例について図１２および図１３を参照して説明する。上述した各実施形態では、ユーザの感情がポジティブになる行動を促進するフィードバックを行う旨を説明したが、その行動が倫理的または法的に好ましくない行動であっても強化されてしまう場合がある。この場合、ユーザが最終的に不利益を被るだけでなく、周りの人々に迷惑をかけることになる。
そこで、本実施例では、感情のポジティブ／ネガティブ判定のみならず、倫理的、または法的にネガティブとなる行動であるか否かを確認した上で、問題が無い場合に、行動促進フィードバックを行うようにする。
（２－４－１．構成例）
本実施例による情報処理装置１０ｄの構成は、上述した第１～第３の実施例による各情報処理装置１０ａ、１０ｂ、１０ｃのいずれの構成であってもよい。すなわち、本実施例は、第１の実施例、第２の実施例、または、第３の実施例のいずれとも組み合わせることが可能である。また、第２の実施例で説明した感情認識部１０５による感情認識結果に基づいて判定部１０３がＰ／Ｎ判定を行ってもよい。
本実施例による情報処理装置１０ｄは、判定部１０３により感情のＰ／Ｎ判定を行うと共に、倫理的Ｐ／Ｎ判定と、法的Ｐ／Ｎ判定とを行う。倫理的Ｐ／Ｎ判定と法的Ｐ／Ｎ判定の判定用データは、例えば判定ＤＢ１４１に格納される。
ここで、図１２に、本実施例による倫理的Ｐ／Ｎ判定と法的Ｐ／Ｎ判定の判定用データベースのデータ構成の一例を示す。倫理的Ｐ／Ｎ判定用データとして、一般的に、また、社会通念上考えられる倫理的にポジティブな（好ましい）行動や、ネガティブな（好ましくない）行動が予め登録されている。また、法的Ｐ／Ｎ判定用データとして、法的にポジティブな（合法である）行動や、ネガティブな（違法である）行動が予め登録されている。また、倫理的Ｐ／Ｎ判定や、法的Ｐ／Ｎ判定の基準は、国や地域によって異なる場合もあるため、図１２に示すように、データ項目に「地域」を含めるようにしてもよい。これにより、例えばＧＰＳ等からユーザの位置を特定できれば、ユーザが現在居る場所の国や地域が分かるため、その国や地域の倫理や法に基づいたＰ／Ｎ判定が可能となる。
（２－４－２．動作処理）
図１３は、本実施例による倫理的Ｐ／Ｎ判定および法的Ｐ／Ｎ判定を考慮したフィードバック処理の流れの一例を示すフローチャートである。
図１３に示すように、まず、情報処理装置１０ｄの判定部１０３は、状況認識結果および行動認識結果に基づいて、表示部１３１（例えば図３に示す表）を参照し、感情Ｐ／Ｎ判定を行う（ステップＳ４０３）。
次に、ポジティブ判定された場合（ステップＳ４０６／Ｙｅｓ）、判定部１０３は、同状況認識結果および行動認識結果に基づいて、表示部１３１（例えば図１２に示す表）を参照し、法的Ｐ／Ｎ判定を行う（ステップＳ４０９）。例えば人を殴るという行動は、どのような状況であっても、法的にはネガティブな行動（問題のある行動）であると判定される。
次いで、法的にネガティブではないと判定された場合（ステップＳ４１２／Ｎｏ）、判定部１０３は、同状況認識結果および行動認識結果に基づいて、表示部１３１（例えば図１２に示す表）を参照し、倫理的Ｐ／Ｎ判定を行う（ステップＳ４１５）。例えば大声で怒鳴るといった行動は、法的にネガティブでなくとも、倫理的にはネガティブな行動（問題のある行動）であると判定される。
以上説明した倫理的Ｐ／Ｎ判定（ステップＳ４０９）および法的Ｐ／Ｎ判定（ステップＳ４１５）は、少なくとも、感情Ｐ／Ｎ判定（ステップＳ４０３）においてポジティブ判定がされた場合に行われ得る。例えば、そのユーザにとっては怒鳴ることや殴ることが、ポジティブな感情になるものであっても、これらの行動は、倫理的または法的にネガティブな行動であるため、行動促進するべきではないためである。一方、怒鳴ることや殴ることが、ユーザにとってネガティブな感情になるものである場合、倫理的Ｐ／Ｎ判定や法的Ｐ／Ｎ判定を行わなくとも、当該行動が抑制されるＦＢが行われるため、図１３に示すフローチャートでは、感情がポジティブと判定された場合に倫理的Ｐ／Ｎ判定や法的Ｐ／Ｎ判定を行うようにしている。
次いで、感情がネガティブと判定された場合（ステップＳ４２１／Ｙｅｓ）、または、感情がポジティブと判定された場合であっても（ステップＳ４０６／Ｙｅｓ）、法的にネガティブと判定された場合（ステップＳ４１２／Ｙｅｓ）、または、倫理的にネガティブと判定された場合（ステップＳ４１８／Ｙｅｓ）、フィードバック決定部１０４は、その行動を抑制するため、負の強化子ＦＢに決定する（ステップＳ４２４）。
一方、感情がポジティブと判定され（ステップＳ４２１／Ｙｅｓ）、さらに、法的にも倫理的にもネガティブではない（ポジティブである）と判定された場合（ステップＳ４１２／Ｎｏ、ステップＳ４１８／Ｎｏ）、フィードバック決定部１０４は、当該行動に対するＦＢを、正の強化子ＦＢに決定する（ステップＳ４２７）。
これにより、本実施例による情報処理システムでは、例えば、ユーザＵ２が人を殴るなど暴力をふるうことに快感を覚えるような人間だった場合に、電車の中でぶつかってきた人を思わず殴ってしまい、快感を覚えたとしても、倫理的にも法的にも好ましい行動ではないため、そのような行動は促進せず、負の強化子ＦＢにより抑制することが可能となる。なお、人を殴るといった行動の認識は、例えば、ユーザＵ２が装着しているＨＭＤ（情報処理装置１０ｄ）に設けられた加速度センサ（センサ部１２２の一例）のセンシングデータと、ＨＭＤに設けられたカメラ（センサ部１２２の一例）の映像を解析することで認識できる。具体的には、例えば行動認識部１０２は、加速度センサのセンシングデータに、人を殴る行動に特有な加速度の変化が表れていると解析するとともに、カメラ映像から、手前側（ユーザ側）から伸びた腕が相手に接触したことが解析された場合、ユーザが相手を殴ったという行動を認識することができる。
＜２－５．第５の実施例（リフレーミング）＞
続いて、本実施形態による第５の実施例について説明する。本実施例では、ユーザが感情的にネガティブと感じた行動に対して、ポジティブと捉えられる解釈を提示するリフレーミングを行うことで、ユーザのネガティブな感情を軽減するとともに、ポジティブな状況での行動に反転して促進することを可能とする。
リフレーミング効果の具体例について以下説明する。例えばあるユーザが、歩き疲れた帰りの電車でうまい具合に席に座ることができ、最寄り駅に到着したと思って立ち上がったところ、まだ手前の駅だと気が付いた。再度座ろうと思い席を振り返ると、既に他の人が座っていたため、ユーザは、どっと疲れが出るとともに、少し落ち込む気分になってしまった。仕方がないのでそのまま立っていると、ＨＭＤのイヤホンスピーカー等から、「間違えて立ってしまったけど、他の人に席を譲ってあげられたと思えば良いことをしたね」というエージェントの声が聞こえた。ユーザはエージェントの言葉で「自分は良いことをしたのか」と、物事をポジティブな方向に捉えることができ、落ち込んでいた気持ちが消えて、気持ちが軽くなることが期待できる。
この際、システム側は、例えばユーザが装着しているＨＭＤ（情報処理装置１０ｅ）のＧＰＳの位置情報、および、加速度センサ情報に基づいて、ユーザが電車に乗っている状況だと認識する。さらに、情報処理装置１０ｅは、加速度センサ情報を解析し、ユーザが座っている状態から立ち上がった状態に遷移したことを認識（行動認識）する。次いで、情報処理装置１０ｅは、ユーザが電車から降りずに立ったままであることを認識する。また、情報処理装置１０ｅは、カメラにより取得したユーザの顔の表情や、脈拍データ等から、ユーザの感情がネガティブな状態であることを認識する。そして、情報処理装置１０ｅは、ユーザが電車内で座席に座っていた状況と、座席から立ち上がったが駅から降りないという行動と、感情がネガティブであるという判定結果に応じて、フィードバックＤＢ１４２を参照し、対応するリフレーミングＦＢ（例えば、上述したようなフレーズ）がある場合はリフレーミングＦＢ（例えば、音声出力部１３２からのエージェント音声による出力）を行う。
（２－５－１．構成例）
本実施例による情報処理装置１０ｅの構成は、上述した第１～第４の実施例による各情報処理装置１０ａ、１０ｂ、１０ｃ、１０ｄのいずれの構成であってもよい。すなわち、本実施例は、第１の実施例、第２の実施例、第３の実施例、または、第４の実施例のいずれとも組み合わせることが可能である。また、第２の実施例で説明した感情認識部１０５による感情認識結果に基づいて、判定部１０３がＰ／Ｎ判定を行ってもよい。
本実施例による情報処理装置１０ｅは、フィードバック決定部１０４により、フィードバックＤＢ１４２を参照し、感情のＰ／Ｎ判定結果に応じて、ユーザへのフィードバック（行動促進ＦＢ、行動抑制ＦＢ、または、リフレーミングＦＢ）を決定する。ここで、図１４に、本実施例によるリフレーミングＦＢを含むフィードバック決定用のフィードバックＤＢ１４２のデータ構成の一例を示す。
図１４に示すフィードバックデータのうち、ＩＤ；Ｒ６、ＩＤ；Ｒ７に、リフレーミングＦＢの一例を挙げる。いずれのＦＢタイプも言語であり、基本的には、ネガティブな感情になったユーザの解釈に対して、評価基準を転換したポジティブな解釈を提示するものを想定する。このような評価基準の転換には、利己的な評価から利他的な評価への転換、主観的な評価から客観的な評価への転換、相対的評価の評価基準のシフトなどが考え得る。
例えば、電車が遅延して会社に遅れそうになり、ユーザの感情がネガティブ（苛立ち、心配、など）になったとき、情報処理装置１０ｅは、フィードバックＤＢ１４２を用いて、電車の遅延情報から人身事故ではないという情報を取得できた場合、「電車が遅れるのは困るけど、怪我人が出ていないようで良かったね」のように、利他的なポジティブ解釈を提示してもよい。あるいは、電車の中で誰かがユーザにぶつかってきたり、誰かに足を踏まれたりして、ユーザがネガティブな感情になったとき、情報処理装置１０ｅは、フィードバックＤＢ１４２を用いて、「相手が倒れなくて良かったね」のように、利他的なポジティブ解釈を提示してもよい。
かかる利他的なポジティブ解釈を、よりユーザに受け入れられるようにするため、情報処理装置１０ｅは、特に相手が老人や子供、怪我人、妊婦などの弱者の場合にのみ、提示するようにしてもよい。
また、情報処理装置１０ｅは、ユーザが、他人が掃除した場所を見て「まだ汚い」とネガティブな感情になったときに、クリーン度のような客観的な評価を提示したり、ユーザが行った掃除の結果と比較するのではなく掃除前と比較することを促す等、主観的な評価から客観的な評価に転換するリフレーミングを行ってもよい。
本実施形態による情報処理装置１０ｅは、以上説明したようにフィードバックＤＢ１４２に予め登録されているフィードバックデータに基づいて、状況と行動と感情の条件が一致するリフレーミングＦＢを抽出してユーザに提示してもよいし、状況に応じてリフレーミングを自動生成したり、また、フィードバックＤＢ１４２のデータを自動的に追加（学習）することも可能である。このようなリフレーミングの自動生成については後述する。なお、情報処理装置１０ｅは、行動促進ＦＢ機能と、行動抑制ＦＢ機能と、リフレーミングＦＢ機能のうち、少なくともリフレーミングＦＢ機能を備えるものであってもよい。
（２－５－２．動作処理）
図１５は、本実施例によるリフレーミングを含むフィードバック処理の流れの一例を示すフローチャートである。
図１５に示すように、情報処理装置１０ｅの判定部１０３は、状況認識結果および行動認識結果に基づいて、表示部１３１（例えば図３に示す表）を参照し、感情のＰ／Ｎ判定を行う（ステップＳ５０３）。若しくは、判定部１０３は、感情認識部１０５の認識結果に基づいて感情のＰ／Ｎ判定を行ってもよい。
次に、ポジティブ判定された場合（ステップＳ５０６／Ｙｅｓ）、フィードバック決定部１０４は、フィードバックＤＢ１４２を参照し、対応する正の強化子ＦＢに決定する（ステップＳ５０９）。例えば図１４に示す表のＩＤ；Ｒ２、ＩＤ；Ｒ４などである。
一方、ネガティブ判定された場合（ステップＳ５１２／Ｙｅｓ）、フィードバック決定部１０４は、フィードバックＤＢ１４２を参照し、認識された状況、行動、および感情に対応するリフレーミングＦＢがあるか否かを判断する（ステップＳ５１５）。
次いで、リフレーミングＦＢがある場合（ステップＳ５１５／Ｙｅｓ）、フィードバック決定部１０４は、対応するリフレーミングＦＢに決定する（ステップＳ５２１）。例えば図１４に示す表のＩＤ；Ｒ６、ＩＤ；Ｒ７などである。
一方、リフレーミングＦＢがない場合（ステップＳ５１５／Ｎｏ）、フィードバック決定部１０４は、対応する負の強化子ＦＢに決定する（ステップＳ５１８）。例えば図１４に示す表のＩＤ；Ｒ１、ＩＤ；Ｒ３、ＩＤ；Ｒ５などである。
（２－５－３．共感を示す応答の追加）
以上説明した例では、システム側はユーザのネガティブな感情には触れずにリフレーミングを行っているが、ネガティブな感情に対して共感性の高い応答を追加することで、より効果的にユーザのネガティブな感情を和らげ、ポジティブな解釈へと変換させるようにしてもよい。例えばリフレーミングＦＢの条件をより限定し、対応するリフレーミングＦＢの内容に、ネガティブな感情に共感性を示す応答を追加する。
より具体的には、例えば図１４に示す表のうち、ＩＤ；Ｒ６の「状況」の条件を、「疲れている＆電車＆座る」とし、リフレーミングＦＢの内容を、「今日は疲れたから立っているのはつらいね。それにもかかわらず、他の人に席を譲ってあげられたのは良いことをしたね」とすることで、ユーザのネガティブな感情に共感性の高い応答を返すことが可能となる。「疲れている」の状況は、例えば状況認識部１０１は、加速度センサデータから当日の消費カロリを算出し、平均（例えばユーザの１日の平均消費カロリ）と比較して、所定の閾値（例えば１２０％）を超える場合は、疲れていると判断するようにしてもよい。
（２－５－４．リフレーミングの自動生成）
本実施形態による情報処理装置１０ｅは、上述した第２の実施例の構成を適用し、例えば学習用ＤＢ１４３を用いて、リフレーミングＦＢを含むフィードバックＤＢ１４２の学習を行うことが可能である。
・利他的解釈への変換
例えば情報処理装置１０ｅは、「落とした／置き忘れた－拾う／利用する」、「立つ－座る」、「利用する－利用しない」等の、対応する行動をルールとして予め持ち、同じような状況（電車内、会議室、家、会社など）において当該対応する行動が取られ、かつ、感情が真逆の状況が学習用ＤＢ１４３にある場合、リフレーミングＦＢを自動生成することが可能である。
例えば、図８に示す学習用ＤＢ１４３に蓄積されたデータのうち、ＩＤ；Ｌ６［Ｕ１，家＆チョコ，食べる，１］と、ＩＤ；Ｌ７［Ｕ２，家＆ケーキ，置き忘れる，－１］は、『置き忘れる』と『利用する（食べる）』といった対応行動に該当し、かつ、感情が相反するものとなっている。かかるデータは、食べ物を置き忘れて感情がネガティブになる人が居る一方で、置き忘れた食べ物を他者（家族など）が食べて感情がポジティブになる可能性を示唆している。学習部１０６は、これらのデータに基づいて、［ユーザＩＤ；＊，状況；［食べ物］，行動；置き忘れる，Ｐ／Ｎ；－１，ＦＢタイプ；言語，ＦＢ内容；「[食べ物]を忘れたのは悲しいけど、見つけた人は[食べ物]を食べられて幸せかもね」]といったリフレーミングＦＢの内容（テキスト）を生成し得る。
また、図８に示す学習用ＤＢ１４３に蓄積されたデータのうち、ＩＤ；Ｌ８［Ｕ３，会社＆傘，置き忘れる，－１］と、ＩＤ；Ｌ９［Ｕ４，会社＆傘，利用する，１］も、『置き忘れる』と『利用する』といった対応行動に該当し、かつ、感情が相反するものとなっている。かかるデータは、傘を置き忘れて感情がネガティブになる人が居る一方で、置き忘れた傘を他者（職場の人や家族など、ある程度物の共有が行われ得る環境を想定）が使えて感情がポジティブになる可能性を示唆している。学習部１０６は、これらのデータに基づいて、［ユーザＩＤ；＊，状況；［もの］，行動；置き忘れる，Ｐ／Ｎ；－１，ＦＢタイプ；言語,ＦＢ内容「［もの］を置き忘れたのは悲しいけど、見つけた人は[もの]を[利用できて]幸せかもね」］といったリフレーミングＦＢの内容（テキスト）を生成し得る。
若しくは、情報処理装置１０ｅは、多数のユーザによりテキストや音声が投稿されているソーシャルメディア上から、同じ様な状況であっても相反する感情となっている際の、その状況に対する解釈を含むポストを抽出してデータベース化し、リフレーミングＦＢの内容（テキスト）を生成することも可能である。例えば、情報処理装置１０ｅは、ソーシャルメディア上から、「電車で座れなかった（状況）－今日はとても疲れているから座りたかった（解釈）－むかつく（感情）」を含むポストと、「電車で座れなかった（状況）－でも座れた人がいるみたい（解釈）－よかったかな（感情）」を含むポストを抽出した場合、似たような状況においてネガティブな感情になっているユーザに、ポジティブな感情になっている他ユーザの解釈を提示する。具体的には、例えば情報処理装置１０ｅは、ユーザが電車で座れずにいてネガティブな感情になっているときに、ソーシャルメディア上から収集した上記ポストに基づいて、「でも座れた人がいるみたいだね」と、ポジティブな解釈を提示することができる。
また、情報処理装置１０ｅは、リフレーミングＦＢに対するユーザ評価（明示的な評価、および感情認識結果（実際にポジティブな感情に変化したか）等）を取得し、有効なリフレーミングを学習するようにしてもよい。
・相対的評価の提示
また、情報処理装置１０ｅは、「強い、高い、大きい、きれい」といった「比較」に関わるキーワードを予め知識データベースとして有している際に、ユーザが、これらのキーワードを発言すると共に、ネガティブな感情になっている場合、相対的評価を提示してリフレーミングを行うことが可能である。リフレーミング内容は、例えばソーシャルメディア上から、「比較」に関わるキーワードを含む、似たような状況に対する相反する感情と、その評価（解釈）を含むポストを抽出して生成し得る。例えば、「子供服が汚い（状況［評価対象］）－洗濯が大変になる（評価）－怒り（感情）」を含むポストと、「子供服が汚い（状況［評価対象］）－元気で遊んでいる（評価）－うれしい（感情）」を含むポストとを抽出した場合、似たような相対的評価でネガティブな感情になっているユーザに、評価基準を転換したポジティブな解釈を提示することが可能となる。具体的には、例えば情報処理装置１０ｅは、ユーザが子供の服が汚れていることにネガティブな感情になっているときに、ソーシャルメディア上から収集した上記ポストに基づいて、「でも元気に遊んでいるね！」と、ポジティブな解釈を提示することができる。
＜２－６．第６の実施例（スモールコミュニティへの適用例）＞
本実施形態による情報処理システムは、例えば家族や会社、部署内、学校のクラス、町内会等のスモールコミュニティにおいて、ポジティブ行動の促進ＦＢ、ネガティブ行動の抑制ＦＢ、およびリフレーミングＦＢを提供することも可能である。スモールコミュニティの場合、メンバーや場所が限定されるため、より正確な状況認識や行動認識が可能となる。
一例として、例えば子供が部屋掃除を行う状況を想定し、掃除行動を促進すると共に、掃除途中に遊ぶ等の行動を抑制する。また、子供の掃除の仕方が不十分だと、親は子供を叱ってしまい、余計に子供の掃除行動を抑制してしまうことが多いため、このような親のネガティブな感情をリフレーミングで改善する。
（２－６－１．構成例）
本実施例による情報処理装置１０ｆの構成は、上述した第１～第５の実施例による各情報処理装置１０ａ～１０ｅのいずれの構成であってもよい。すなわち、本実施例は、第１の実施例、第２の実施例、第３の実施例、第４の実施例、または、第５の実施例のいずれとも組み合わせることが可能である。また、第２の実施例で説明した感情認識部１０５による感情認識結果に基づいて、判定部１０３がＰ／Ｎ判定を行ってもよい。
本実施例による情報処理装置１０ｆは、フィードバック決定部１０４により、フィードバックＤＢ１４２を参照し、感情のＰ／Ｎ判定結果に応じて、ユーザ（子供や親）へのフィードバック（行動促進ＦＢ、行動抑制ＦＢ、または、リフレーミングＦＢ）を決定する。また、フィードバック決定部１０４は、第４の実施例で説明した倫理的Ｐ／Ｎ判定や法的Ｐ／Ｎ判定を考慮して、ユーザ（子供や親）へのフィードバックを決定してもよい。
ここで、図１６に、本実施例による倫理的Ｐ／Ｎ判定および法的Ｐ／Ｎ判定を考慮したＰ／Ｎ判定用のデータベースのデータ構成の一例を示す。例えば図１６のＩＤ；Ｄ３に示すように、例えば子供にとって掃除中に遊ぶことは楽しいため感情Ｐ／Ｎはポジティブとなるが、倫理的にはネガティブな状態（好ましくない状態）となる。また、図１７に、本実施例によるリフレーミングＦＢを含むフィードバック決定用のフィードバックＤＢ１４２のデータ構成の一例を示す。例えば図１７のＩＤ；Ｒ１に示すように、子供が子供部屋を掃除することは、ポジティブな状態であるため、ロボットが喜ぶ等の、子供の掃除行動を促進するＦＢが登録される。
（２－６－２．動作処理）
続いて、本実施例による具体的な動作処理について説明する。本実施例には、例えば、図１５に示す動作処理を適用し、Ｐ／Ｎ判定に基づく行動促進／抑制処理や、リフレーミング処理を行うことが可能である。
例えば情報処理装置１０ｅは、家の各部屋に設置されたカメラの映像から、状況認識部１０１により、子供部屋に親と子供がいることを認識する。さらに、情報処理装置１０ｅは、カメラの映像から、行動認識部１０２により、子供が掃除をしていることを認識する。
次いで、情報処理装置１０ｅの判定部１０３は、判定ＤＢ１４１を参照し、子供が子供部屋で掃除していることのＰ／Ｎ判定を行う（図１５に示すステップＳ５０３）。具体的には、例えば図１６のＩＤ；Ｄ２から、掃除行動が、感情的にはネガティブであっても（感情的Ｐ／Ｎ判定；－１）、法的に問題なく（法的Ｐ／Ｎ判定；０）、倫理的にはポジティブ（１；倫理的Ｐ／Ｎ判定；１）であると判断する。この場合、判定部１０３は、倫理的判定を優先し、ポジティブと判定する。
次に、情報処理装置１０ｅのフィードバック決定部１０４は、子供が子供部屋で掃除している行動のＰ／Ｎが、（倫理的に）ポジティブであると判定されたため（図１５に示すステップＳ５０６／Ｙｅｓ）、当該行動を促進するＦＢ、例えば図１７に示すＩＤ；Ｒ１に従って、例えば子供部屋に置いてあるロボットに対し、喜びの動作をするよう制御信号を送信する（図１５に示すステップＳ５０９）。子供は、掃除をするとロボットが喜ぶため、掃除行動を自発的によく行うようになることが期待できる。
一方、子供が掃除を止めて、おもちゃで遊び出したのを認識すると、情報処理装置１０ｅの判定部１０３は、図１６のＩＤ；Ｄ３から、掃除中に遊ぶのは、倫理的にネガティブであると判断する（図１５に示すステップＳ５０３）。
この場合、情報処理装置１０ｅのフィードバック決定部１０４は、子供が掃除中に遊んでいる行動のＰ／Ｎが、（倫理的に）ネガティブであると判定されたため（図１５に示すステップＳ５１２／Ｙｅｓ）、当該行動を抑制するＦＢ、例えば図１７に示すＩＤ；Ｒ２に従って、例えば子供部屋に置いてあるロボット（例えば子供が好きな犬のロボットなど）に対し、悲しみの動作をするよう制御信号を送信する（図１５に示すステップＳ５１８）。子供は、掃除中に遊ぶとロボットが悲しむため、掃除中に遊ぶことは控えることが期待できる。
続いて、子供が掃除を終わらせた後に、親が、まだ部屋が散らかっていると感じて、「ぜんぜん綺麗になってないじゃない！」等と叱りつけた場合におけるリフレーミングの提示について説明する。情報処理装置１０ｅの状況認識部１０１は、子供部屋に設けられたカメラの映像を解析し、掃除前の子供部屋の散らかり具合（物が散乱している様子など）や、掃除後の部屋の状況を認識し得る。状況認識部１０１は、子供による掃除の前後の映像を比較し、掃除の達成度（例えば、散らかっている物の数の減少具合、物が置かれていない床面積の増加率等）を算出し得る。
また、情報処理装置１０ｅの行動認識部１０２は、マイクロホンから集音した親の発話音声を解析し、親が子供を叱っていることを認識し得る。また、情報処理装置１０ｅの感情認識部１０５は、部屋に設置されているカメラの映像から解析した親の表情や、母親が装着するスマートバンド等から取得した脈拍数や、部屋に設置された又は親が装着しているＨＭＤのマイクロホンから取得した発話音声データの音声認識結果に基づいて、親の感情がネガティブであると判定し得る。
このように、子供が掃除を行った状況において、親が子供を叱る行動を取り、親の感情がネガティブになっている場合、情報処理装置１０ｅのフィードバック決定部１０４は、フィードバックＤＢ１４２を参照し、リフレーミングＦＢがある場合は、これを実行する（図１５に示すステップＳ５１５／Ｙｅｓ、Ｓ５２１）。例えば、情報処理装置１０ｅのフィードバック決定部１０４は、図１７に示すＩＤ；Ｒ４に従って、例えば掃除の達成度が、所定値以上改善されている場合、「○○ちゃんの掃除は完璧とは言えないけど、掃除を始める前よりは○○％綺麗になったよ」と、客観的な評価をリフレーミングとして提示する。これにより親の怒りは収まると共に、掃除の結果を客観的に捉えられるようになり、子供を誉めたり、足りないと感じる部分については教えたりすることができる。また、子供は、掃除をしたのに叱られたままとなることがなく、掃除行動を抑制してしまうことを回避することができる。
＜＜３．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情に応じて、ユーザの状態をより良い状態に改善し、暮らしの質を向上させることが可能となる。本実施形態による情報処理システムは、上述した行動促進ＦＢ、行動抑制ＦＢ、及びリフレーミングＦＢ機能のうち、少なくともいずれかを実行し得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザがポジティブかネガティブかを推定し、
前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部を備える、情報処理システム。
（２）
前記制御部は、
予め学習された、状況および行動うちの少なくとも何れか一方と、その状況または行動の際の感情の状態におけるポジティブまたはネガティブとの関係性を示すデータに基づき、
前記ユーザの状況および行動のうちのいずれかに応じて、当該ユーザがポジティブかネガティブかを推定する、前記（１）に記載の情報処理システム。
（３）
前記制御部は、
前記ユーザの感情を推定することにより、当該ユーザがポジティブかネガティブかを推定する、前記（１）に記載の情報処理システム。
（４）
前記制御部は、前記ユーザのセンシングデータに基づいて、前記ユーザの感情がポジティブかネガティブかを推定する、前記（３）に記載の情報処理システム。
（５）
前記制御部は、
前記ユーザと対話を行うエージェントを制御し、
前記ユーザがポジティブであると推定された時は、当該ユーザの行動を促進する機能として、前記エージェントが当該ユーザに対してポジティブフィードバックを与える、前記（１）から４のいずれか１項に記載の情報処理システム。
（６）
前記制御部は、
前記ポジティブフィードバックとして、所定の快適な音声、画像、または振動の少なくともいずれかを前記ユーザに提示する、前記（５）に記載の情報処理システム。
（７）
前記制御部は、
前記ユーザがポジティブであると推定された時は、当該ユーザの行動を促進する機能として、当該ユーザの脳に対して陽極刺激を与える、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
前記制御部は、
前記ユーザと対話を行うエージェントを制御し、
前記ユーザがネガティブであると推定された時は、当該ユーザの行動を抑制する機能として、前記エージェントが当該ユーザに対してネガティブフィードバックを与える、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
前記制御部は、
前記ネガティブフィードバックとして、所定の不快な音声、画像、または振動の少なくともいずれかを前記ユーザに提示する、前記（８）に記載の情報処理システム。
（１０）
前記制御部は、
前記ユーザがネガティブであると推定された時は、当該ユーザの行動を抑制する機能として、当該ユーザの脳に対して陰極刺激を与える、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
前記制御部は、
前記ユーザがポジティブであると推定された時、当該ユーザの行動が、法的および倫理的に問題ないと判断された場合に、当該行動を促進するポジティブフィードバックを与える、前記（１）～（１０）のいずれか１項に記載の情報処理システム。
（１２）
前記制御部は、
前記ユーザと対話を行うエージェントを制御し、
前記ユーザがネガティブであると推定された時は、当該ユーザの状況または行動と、その状況または行動に対するポジティブな解釈を表すテキストが記憶されている場合、前記エージェントにより当該ポジティブな解釈を示すテキストを提示する制御を行う、前記（１）～（１１）のいずれか１項に記載の情報処理システム。
（１３）
前記制御部は、
類似する状況における、類似または対応する行動に対して相反する感情を示す情報に基づいて、前記ポジティブな解釈を表すテキストを生成し、前記ユーザに提示する制御を行う、前記（１２）に記載の情報処理システム。
（１４）
プロセッサが、
ユーザがポジティブかネガティブかを推定することと、
前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを行うことと、
を含む、情報処理方法。
（１５）
コンピュータを、
ユーザがポジティブかネガティブかを推定し、
前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部として機能させるためのプログラムが記録された、記録媒体。
１０、１０ａ～１０ｆ 情報処理装置
１００ 制御部
１０１ 状況認識部
１０２ 行動認識部
１０３ 判定部
１０４ フィードバック決定部
１０５ 感情認識部
１０６ 学習部
１１０ 通信部
１２０ 入力部
１２１ 操作入力部
１２２ センサ部
１３０ 出力部
１３１ 表示部
１３２ 音声出力部
１３３ 脳刺激部
１４０ 記憶部
１４１ 判定ＤＢ
１４２ フィードバックＤＢ
１４３ 学習用ＤＢ

Claims (15)

  1. ユーザがポジティブかネガティブかを推定し、
    前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
    前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
    前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部を備え、
    前記制御部は、
    前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、
    情報処理システム。
  2. 前記制御部は、
    予め学習された、状況および行動うちの少なくとも何れか一方と、その状況または行動の際の感情の状態におけるポジティブまたはネガティブとの関係性を示すデータに基づき、
    前記ユーザの状況および行動のうちのいずれかに応じて、当該ユーザがポジティブかネガティブかを推定する、請求項１に記載の情報処理システム。
  3. 前記制御部は、
    前記ユーザの感情を推定することにより、当該ユーザがポジティブかネガティブかを推定する、請求項１に記載の情報処理システム。
  4. 前記制御部は、前記ユーザのセンシングデータに基づいて、前記ユーザの感情がポジティブかネガティブかを推定する、請求項３に記載の情報処理システム。
  5. 前記制御部は、
    前記ユーザと対話を行うエージェントを制御し、
    前記ユーザがポジティブであると推定された時は、当該ユーザの行動を促進する機能として、前記エージェントが当該ユーザに対してポジティブフィードバックを与える、請求項１に記載の情報処理システム。
  6. 前記制御部は、
    前記ポジティブフィードバックとして、所定の快適な音声、画像、または振動の少なくともいずれかを前記ユーザに提示する、請求項５に記載の情報処理システム。
  7. 前記制御部は、
    前記ユーザがポジティブであると推定された時は、当該ユーザの行動を促進する機能として、当該ユーザの脳に対して陽極刺激を与える、請求項１に記載の情報処理システム。
  8. 前記制御部は、
    前記ユーザと対話を行うエージェントを制御し、
    前記ユーザがネガティブであると推定された時は、当該ユーザの行動を抑制する機能として、前記エージェントが当該ユーザに対してネガティブフィードバックを与える、請求項１に記載の情報処理システム。
  9. 前記制御部は、
    前記ネガティブフィードバックとして、所定の不快な音声、画像、または振動の少なくともいずれかを前記ユーザに提示する、請求項８に記載の情報処理システム。
  10. 前記制御部は、
    前記ユーザがネガティブであると推定された時は、当該ユーザの行動を抑制する機能として、当該ユーザの脳に対して陰極刺激を与える、請求項１に記載の情報処理システム。
  11. 前記制御部は、
    前記ユーザがポジティブであると推定された時、当該ユーザの行動が、法的および倫理的に問題ないと判断された場合に、当該行動を促進するポジティブフィードバックを与える、請求項１に記載の情報処理システム。
  12. 前記制御部は、
    前記ユーザと対話を行うエージェントを制御し、
    前記ユーザがネガティブであると推定された時は、当該ユーザの状況または行動と、その状況または行動に対するポジティブな解釈を表すテキストが記憶されている場合、前記エージェントにより当該ポジティブな解釈を示すテキストを提示する制御を行う、請求項１に記載の情報処理システム。
  13. 前記制御部は、
    類似する状況における、類似または対応する行動に対して相反する感情を示す情報に基づいて、前記ポジティブな解釈を表すテキストを生成し、前記ユーザに提示する制御を行う、請求項１２に記載の情報処理システム。
  14. プロセッサが、
    ユーザがポジティブかネガティブかを推定することと、
    前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
    前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
    前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを行うことと、
    を含み、
    前記行うことは、
    前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、
    情報処理方法。
  15. コンピュータを、
    ユーザがポジティブかネガティブかを推定し、
    前記ユーザがポジティブであると推定された時に、当該ユーザの行動を促進する機能、
    前記ユーザがネガティブであると推定された時に、当該ユーザの行動を抑制する機能、および、
    前記ユーザがネガティブであると推定された時に、当該ユーザの状況または行動に対してポジティブな解釈を提示する機能のうちの、いずれかを有する制御部として機能させ、
    前記制御部は、
    前記促進する機能、前記抑制する機能および前記提示する機能のうちの、いずれかにより前記ユーザに提示する情報を、前記情報のうち前記ユーザごとに設定された情報と、前記ユーザに限定されない情報と、のうち少なくとも一方から選択し、複数の前記情報が選択された場合に、前記情報のそれぞれに対して予め設定された優先度に従い選択する、
    ためのプログラムが記録された、記録媒体。
JP2020516042A 2018-04-25 2019-02-04 情報処理システム、情報処理方法、および記録媒体 Active JP7424285B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018083548 2018-04-25
JP2018083548 2018-04-25
PCT/JP2019/003924 WO2019207896A1 (ja) 2018-04-25 2019-02-04 情報処理システム、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019207896A1 JPWO2019207896A1 (ja) 2021-07-26
JP7424285B2 true JP7424285B2 (ja) 2024-01-30

Family

ID=68295079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516042A Active JP7424285B2 (ja) 2018-04-25 2019-02-04 情報処理システム、情報処理方法、および記録媒体

Country Status (3)

Country Link
US (1) US20210145340A1 (ja)
JP (1) JP7424285B2 (ja)
WO (1) WO2019207896A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168526B (zh) 2018-10-09 2024-08-27 奇跃公司 用于虚拟和增强现实的系统和方法
US11835798B2 (en) * 2018-12-12 2023-12-05 Solos Technology Limited Eyewear systems, apparatuses, and methods for providing assistance to a user
JP7254346B2 (ja) * 2019-08-26 2023-04-10 株式会社Agama-X 情報処理装置及びプログラム
JP7359437B2 (ja) * 2019-12-11 2023-10-11 株式会社Agama-X 情報処理装置、プログラム、及び、方法
WO2021240714A1 (ja) * 2020-05-28 2021-12-02 日本電信電話株式会社 心理状態分析方法、心理状態分析装置及びプログラム
JP2022000721A (ja) * 2020-06-19 2022-01-04 株式会社東海理化電機製作所 制御装置、プログラム、記憶装置およびシステム
JP7567311B2 (ja) 2020-09-18 2024-10-16 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法及びプログラム
WO2022059784A1 (ja) * 2020-09-18 2022-03-24 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法及びプログラム
JP7625504B2 (ja) 2021-10-07 2025-02-03 マクセル株式会社 イオン・オゾン発生装置
JP2022006199A (ja) * 2021-11-06 2022-01-12 直樹 関家 認識と感情の推定方法
EP4331483A1 (en) * 2022-08-29 2024-03-06 ASICS Corporation Emotion estimating device, emotion estimating system, and emotion estimating method
JP2023065513A (ja) * 2023-02-23 2023-05-12 直樹 関家 感情分類の方法及び装置
WO2025028399A1 (ja) * 2023-08-01 2025-02-06 ソフトバンクグループ株式会社 行動制御システム及び情報処理システム
WO2025028459A1 (ja) * 2023-08-02 2025-02-06 ソフトバンクグループ株式会社 行動制御システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118720A (ja) 2002-09-27 2004-04-15 Toshiba Corp 翻訳装置、翻訳方法及び翻訳プログラム
JP2011107936A (ja) 2009-11-17 2011-06-02 Nissan Motor Co Ltd 情報提供装置及び方法
JP2016512671A (ja) 2013-02-25 2016-04-28 リングリー インコーポレイテッドＲｉｎｇｌｙ Ｉｎｃ． モバイル通信装置
JP2016526447A (ja) 2013-06-29 2016-09-05 シンク, インク.Thync, Inc. 認知状態を修正又は誘発する経皮電気刺激装置
JP2017201499A (ja) 2015-10-08 2017-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017528245A5 (ja) 2015-09-16 2018-10-25

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US6185534B1 (en) * 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US20060179022A1 (en) * 2001-11-26 2006-08-10 Holland Wilson L Counterpart artificial intelligence software program
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
JP6111932B2 (ja) * 2013-08-26 2017-04-12 ソニー株式会社 行動支援装置、行動支援方法、プログラム、および記憶媒体
JP6720146B2 (ja) * 2014-09-17 2020-07-08 ネウロリーフ リミテッド 神経刺激および身体パラメータの感知のためのヘッドセット
US9805128B2 (en) * 2015-02-18 2017-10-31 Xerox Corporation Methods and systems for predicting psychological types
WO2018045438A1 (en) * 2016-09-12 2018-03-15 Embraer S.A. Brain stimulation system and method to provide a sense of wellbeing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118720A (ja) 2002-09-27 2004-04-15 Toshiba Corp 翻訳装置、翻訳方法及び翻訳プログラム
JP2011107936A (ja) 2009-11-17 2011-06-02 Nissan Motor Co Ltd 情報提供装置及び方法
JP2016512671A (ja) 2013-02-25 2016-04-28 リングリー インコーポレイテッドＲｉｎｇｌｙ Ｉｎｃ． モバイル通信装置
JP2016526447A (ja) 2013-06-29 2016-09-05 シンク, インク.Thync, Inc. 認知状態を修正又は誘発する経皮電気刺激装置
JP2017528245A5 (ja) 2015-09-16 2018-10-25
JP2017201499A (ja) 2015-10-08 2017-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
舞田，行動分析学で社員のやる気を引き出す技術，第1版，日本，日本経済新聞出版社，2012年01月05日，p.170,183-184
須永他，日本語におけるネガティブ言語変換システムの開発，情報処理学会 シンポジウム エンタテインメントコンピューティングシンポジウム ２０１７，日本，情報処理学会，2017年09月09日，p.352-356

Also Published As

Publication number Publication date
US20210145340A1 (en) 2021-05-20
WO2019207896A1 (ja) 2019-10-31
JPWO2019207896A1 (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
JP7424285B2 (ja) 情報処理システム、情報処理方法、および記録媒体
CN110214301B (zh) 信息处理设备、信息处理方法和程序
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
WO2021193086A1 (ja) 情報処理装置および方法、並びにプログラム
WO2025028399A1 (ja) 行動制御システム及び情報処理システム
JP2025048826A (ja) システム
JP2025022825A (ja) 行動制御システム
WO2025023259A1 (ja) 行動制御システム
JP2025048955A (ja) システム
JP2025022856A (ja) 行動制御システム
WO2024214793A1 (ja) 行動制御システム、制御システム、及び情報処理システム
JP2025026419A (ja) 行動制御システム
JP2025027451A (ja) 制御システム
WO2024219312A1 (ja) 行動制御システム
JP2025028020A (ja) 行動制御システム
JP2025036199A (ja) 制御システム
JP2025013317A (ja) 制御システム
JP2025036198A (ja) 制御システム
WO2024214708A1 (ja) 行動制御システム
WO2024219321A1 (ja) 行動制御システム
JP2025040406A (ja) 制御システム
JP2025032987A (ja) 行動制御システム
JP2024164821A (ja) 行動制御システム
JP2025022854A (ja) 行動制御システム
JP2025013311A (ja) 制御システム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424285

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151