[go: up one dir, main page]

JP2016076799A - 家電管理システム、家電、リモコン装置、ロボット - Google Patents

家電管理システム、家電、リモコン装置、ロボット Download PDF

Info

Publication number
JP2016076799A
JP2016076799A JP2014205268A JP2014205268A JP2016076799A JP 2016076799 A JP2016076799 A JP 2016076799A JP 2014205268 A JP2014205268 A JP 2014205268A JP 2014205268 A JP2014205268 A JP 2014205268A JP 2016076799 A JP2016076799 A JP 2016076799A
Authority
JP
Japan
Prior art keywords
home appliance
unit
robot
user
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014205268A
Other languages
English (en)
Inventor
圭司 坂
Keiji Saka
圭司 坂
実雄 阪本
Jitsuo Sakamoto
実雄 阪本
俊介 山縣
Shunsuke Yamagata
俊介 山縣
前田 隆宏
Takahiro Maeda
隆宏 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014205268A priority Critical patent/JP2016076799A/ja
Priority to PCT/JP2015/074117 priority patent/WO2016052018A1/ja
Publication of JP2016076799A publication Critical patent/JP2016076799A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザにとって利便性を高める。
【解決手段】本発明の家電管理システム(1)において、発話管理サーバ10は、家電(20)から取得した状態情報を、通信ネットワークに接続された複数の家電(20)のうち少なくとも一つの家電(20)に対して出力する出力制御部(18)を備えている。
【選択図】図1

Description

本発明は、家電管理システム、家電、リモコン装置、ロボットに関する。
近年、音声認識の技術を利用して、ユーザによる音声コマンドに対応した操作を行い、音声により自機器の状態を示す状態情報をユーザに通知する家電がインターネット等の通信ネットワークを介して最新の情報を発信したり、通信ネットワークを介してスマートフォンからの伝言などを再生したりする、ネットワーク対応型の家電が提案されている(例えば特許文献1)。
特開2008−046424号公報(2008年2月28日公開)
しかしながら、上記のようなネットワーク型の家電は、ユーザにとって便利であるが、以下に示すような問題点を有しているため、ユーザにとって利便性は十分ではない。
(1)
従来の発話機能を持つ家電は、各家電毎に発話コンテンツが1対1で設定されており、ユーザがいないところで発話して聞き逃したり、適切なタイミングで発話コンテンツが聞けなかったりするという問題がある。
例えば、聞き逃しの例として、リビングから離れた洗濯室で、洗濯機が完了通知を発話した場合を挙げることができる。
また、タイミングが不適切な例として、レコーダの録画開始処理を失敗した場合、次回レコーダを操作したときに録画開始処理を失敗したことを示すエラー通知が行われることを挙げることができる。
また、無駄な発話によるストレスの例として、複数の家電がそれぞれ発話コンテンツを持つことにより、同じ情報を何度もユーザが聞くことになるケースを挙げることができる。例えば、天気予報をエアコン/冷蔵庫/空気清浄機が別々に喋る場合を挙げることができる。
さらに、スマートフォンからの伝言を再生する機能を有する家電では、伝言を聞くユーザを認識/指定することができないため、伝言が正しく伝わらない可能性がある。
(2)
従来の、音声認識により、音声コマンドに対応した家電操作を行うリモートコントロールシステムでは、操作対象の家電がどの位置にあるかを認識することができないという問題が生じる。
また、上記のリモートコントロールシステムでは、家電に対して操作指示をした場合に、家電が操作命令通りに動作したかを確認する術がなく、操作に失敗した場合のフィードバックを行うことができないという問題が生じる。
通常、家電自体が状態を通知する際に報知音(ビープ音)が鳴るが、音声ではないため人間が直感的に理解するには慣れが必要である。
(3)
上記のリモートコントロールシステムのように音声コマンドのみで操作を行った場合、ユーザの意図しない家電操作が行われる虞がある。例えば、リモートコントロールシステムの近くでユーザが会話しているときに、ユーザが音声コマンドと意図せず、当該音声コマンドに相当する音声を発した場合、リモートコントロールシステムは音声コマンドが入力されたと認識して家電操作を行うことを挙げることができる。
本発明は、上記の各問題点に鑑みなされたものであって、その目的は、ユーザにとっての利便性を高めることのできる、家電管理システム、家電、リモコン装置、ロボット、及び表情データ配信システムを提供することである。
上記の課題を解決するために、本発明の一態様に係る家電管理システムは、複数の家電と当該家電を管理する管理サーバとが互いに通信ネットワークを介して接続された家電管理システムにおいて、上記家電は、それぞれ、自機器の状態を示す状態情報を、上記通信ネットワークを介して上記管理サーバに出力する第1状態情報出力部と、上記通信ネットワークを介して上記管理サーバから取得した状態情報を報知する状態情報報知部と、を備え、上記管理サーバは、上記家電から取得した状態情報を、上記通信ネットワークに接続された複数の家電のうち少なくとも一つの家電に対して出力する第2状態情報出力部を備えていることを特徴としている。
本発明の一態様によれば、他の家電の状態情報を取得した家電から、他の家電の状態情報をユーザに報知することができるという効果を奏する。
本発明の実施形態1に係る家電管理システムの概略構成図である。 図1に示す家電管理システムを構成する家電及び発話管理サーバの概略構成ブロックである。 図1に示す家電管理システム内の発話管理サーバに格納されている発話コンテンツの例を示す図である。 本発明の実施形態1の変形例に係る家電管理システムを構成する家電の概略構成ブロック図である。 本発明の実施形態2に係るリモートコントロールシステムの概略構成図である。 図5に示すリモートコントロールシステムを構成するロボットの概略構成ブロック図である。 図5に示すリモートコントロールシステムにおけるリモート処理の流れを示すタイミングチャートである。 図6に示すロボットの動作を説明する図である。 図6に示すロボットとユーザとの対話によるロボットの誤動作防止を説明するための図である。 図5に示すリモートコントロールシステムにおけるロボットの誤動作防止を目的としたリモート処理の流れを示すタイミングチャートである。 本発明の実施形態3に係るリモートコントロールシステムの概略構成図である。 図11に示すリモートコントロールシステムを構成するロボットの概略構成ブロック図である。 図12に示すロボットの表情を変更するための表情データのダウンロードを説明する図である。 図13においてダウンロードする表情データの通常状態の例を示す図である。 図13においてダウンロードする表情データの特定状態の例を示す図である。
〔実施形態1〕
以下、本発明の実施の形態について、詳細に説明する。
(家電管理システムの構成)
図1は、本実施形態に係る家電管理システム1の構成を示す図である。家電管理システム1は、図1に示すように、クラウド上にある発話管理サーバ(管理サーバ)10と、ローカル上にある複数の家電20(A,B,C,D,・・・)とが互いに通信ネットワークを介して接続している。また、上記発話管理サーバ10は、クラウド上で、天気予報等のコンテンツを提供する外部コンテンツサーバ30に接続され、上記通信ネットワークを介して、ローカル上で、スマートフォン(端末装置)40に接続されている。上記通信ネットワークとしては、例えば、インターネットが利用できる。また、電話回線網、移動体通信網、CATV(Cable TeleVision)通信網、衛星通信網などを利用することもできる。
上記家電管理システム1では、発話管理サーバ10が、ある家電20(例えば家電A)の状態(運転状況等)を示す状態情報を、通信ネットワークを介して取得し、別の家電20(例えば家電B)に家電Aの状態情報を、通信ネットワークを介して送信し、当該家電Bから家電Aの状態情報をユーザに対して報知するようになっている。この仕組みについての詳細は、後述する。
上記発話管理サーバ10及び家電20の詳細について以下に説明する。図2は、発話管理サーバ10及び家電20の概略構成ブロック図を示す。
(発話管理サーバ)
発話管理サーバ10は、図2に示すように、制御部11、記憶部12、通信部13を含んでいる。
制御部11は、発話管理サーバ10の各部の動作を制御するブロックである。すなわち、制御部11は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成り、記憶部12に記憶されている発話管理サーバ10における各種制御を実施するためのプログラムを読み出して実行することで、発話管理サーバ10の各部の動作を統括的に制御する。
また、制御部11は、状態情報取得部14、状態特定部15、発話コンテンツ選択部16、出力先選択部17、出力制御部18、コンテンツ取得部19としての機能を有する。
状態情報取得部14は、家電20の状態を示す状態情報を、当該家電20から取得するブロックである。具体的には、状態情報取得部14は、通信部13を介して、通信ネットワークに接続されている複数の家電20の何れかの家電20から送信される状態情報を取得している。この状態情報には、家電20を識別する識別情報が含まれている。これにより、状態情報取得部14は、取得した状態情報が複数の家電20のうちどの家電20から送信された状態情報であるかを示す識別情報を含んだ状態情報を状態特定部15に送る。
状態特定部15は、状態情報取得部14から送られた状態情報から、家電20の状態を特定するブロックである。ここで家電20の状態とは、例えば、家電が冷蔵庫であれば、ドアが開放されている状態、家電がエアコンであれば、エラーにより停止している状態、家電がテレビであれば、電源がオン状態等であり、家電により様々な状態が存在することになる。従って、状態特定部15は、状態情報から、家電が上述したような状態の何れであるかを特定し、特定した家電の状態を示す特定状態情報を発話コンテンツ選択部16に送る。特定状態情報は、後述する状態1〜3等を示している。
発話コンテンツ選択部16は、状態特定部15から送られた特定状態情報に応じた発話コンテンツを記憶部12内の発話コンテンツ格納部121から選択するブロックである。
ここで、発話コンテンツについて説明する。発話コンテンツは、主に、以下の3種類に分類できる。
(1)各家電20からの通知:例えば、動作完了、エラー、タイマー起動等。
(2)外部コンテンツサーバ30からのクラウド情報:例えば、天気予報、ニュース等。
(3)スマートフォン40またはPC(図示せず)などからの操作による情報:例えば、設定変更、伝言、タイマー設定等。
発話コンテンツは、記憶部12内の発話コンテンツ格納部121内に格納されている。発話コンテンツ格納部121では、例えば図3に示すように、発話コンテンツを状態特定部15で特定した家電20の状態と対応付けて格納している。ここで、図3に示す発話コンテンツは、上述した(1)の各家電からの通知に対応した内容となっている、また、状態1〜3は、上述した状態特定部15にて特定された特定状態情報を示している。具体的には、状態1は家電がレコーダであり、録画に失敗したことを示し、状態2はエアコンが異常停止したことを示し、状態3は冷蔵庫のドアが開放されていることを示し、各発話コンテンツは、これら状態1〜3に対応した内容となっている。なお、発話コンテンツは、通常、テキストデータで格納されているが、音声ファイルで格納してもよい。音声ファイルで格納している場合には、家電20内での音声合成処理が不要となる。
出力先選択部17は、発話コンテンツ選択部16にて選択された発話コンテンツの出力先を選択するブロックである。具体的には、出力先選択部17は、発話コンテンツに応じて、記憶部12内の出力先データベース122に格納された出力先である家電20を選択する。なお、出力先の選択基準について詳細は後述する。
出力制御部(第2状態情報出力部)18は、出力先選択部17にて選択された出力先である家電20に対して、発話コンテンツ選択部16にて選択された発話コンテンツを状態情報として通信部13に送信(出力)させるブロックである。
なお、発話管理サーバ10は、制御部11内にコンテンツ取得部19を備えている。このコンテンツ取得部19は、図1に示す外部コンテンツサーバ30から外部のコンテンツを取得するブロックである。具体的には、コンテンツ取得部19は、スマートフォン40等から天気予報を取得するための指示を受け付けると、発話管理サーバ10に接続された外部コンテンツサーバ30から天気情報を外部のコンテンツとして取得する。
(家電)
本実施形態において、家電20として想定しているのは、エアコン、テレビ、レコーダ、冷蔵庫、照明機器等である。なお、図2に示す家電20は、本実施形態において必要な構成要素のみを記載し、その他の家電毎の機能については省略している。
家電20は、図2に示すように、制御部21、音声出力部22、通信部23を含んでいる。
制御部21は、家電20の各部の動作を制御するブロックである。制御部21は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成り、データ格納部(図示せず)に記憶されている家電20における各種制御を実施するためのプログラムを読み出して実行することで、家電20の各部の動作を統括的に制御する。
また、制御部21は、状態情報抽出部24、発話コンテンツ取得部25、音声合成部26、出力制御部27としての機能を有する。
状態情報抽出部24は、家電20の状態を示す状態情報を抽出するブロックである。具体的には、状態情報抽出部24は、家電が異常停止したこと、録画予約に失敗したこと、ドアが開放状態であること等をセンサ等から状態情報として抽出する。状態情報抽出部24は、抽出した状態情報を通信部23を介して発話管理サーバ10に送信する。従って、状態情報抽出部24及び通信部23は、自機器の状態を示す状態情報を、上記通信ネットワークを介して上記発話管理サーバ10に出力する第1状態情報出力部として機能している。
発話コンテンツ取得部25は、発話管理サーバ10から送信された発話コンテンツを取得するブロックである。ここで、発話コンテンツ取得部25が取得する発話コンテンツは、自機器である家電20以外の家電20の状態を示す状態情報から導き出された発話コンテンツである。この発話コンテンツは、図3に示すように、テキストデータであり、音声として出力するために、音声合成部26に送られる。
音声合成部26は、音声データを生成(音声合成)するブロックである。具体的には、音声合成部26は、テキストデータからなる発話コンテンツを音声データとして生成する。
出力制御部27は、音声合成部26にて生成された音声データを音声出力部22に出力させることで音声出力を行うブロックである。
音声出力部22は、例えば、スピーカ等であり、音声データを出力しようとする家電20を操作しているか、あるいはこの家電20の近くに居るユーザに音声データを出力することで、発話コンテンツを報知する。
従って、出力制御部27及び音声出力部22は、上記通信ネットワークを介して上記発話管理サーバ10から取得した状態情報を報知する状態情報報知部として機能している。なお、状態情報を報知する場合、上述にように、音声により報知すること以外に、映像で報知するようにしてもよい。この場合、報知する家電20がテレビであれば、テレビの表示画面に報知すべき状態情報を映像、例えば文字を表示することが考えられる。
(出力先となる家電の選択)
次に、発話コンテンツの出力先となる家電の選択について説明する。出力先の選択の基準は、以下のように、大きく分けて5通りあるが、これらの基準に限定されるものではない。
(1)ユーザが操作している家電を出力先として選択
具体的には、発話管理サーバ10は、アクティブな家電をユーザが操作している家電(出力先)として選択する。または、発話管理サーバ10は、家電が備える人感センサ等により当該家電の近くにユーザが居ることが検出された家電をユーザが操作している家電(出力先)として選択する。さらに、発話管理サーバ10は、家電が操作されたタイミングを検出することで、当該家電をユーザが操作している家電(出力先)として選択する。例えばユーザがテレビを見ている場合には、当該テレビを出力先として選択し、例えば洗濯機による洗濯が終了したことを当該テレビの表示画面に表示する。
(2)ユーザによって予め設定した家電を出力先として選択
具体的には、ユーザが居る頻度の高い部屋に設置された家電を出力先として予め設定する。例えば、ユーザがリビングに居る頻度がかい場合、リビングに設置されているエアコンが発話するように設定する。つまり、エアコンを出力先として選択する。
(3)報知する内容に応じた家電を出力先として選択
具体的には、各家電がそれぞれの商品性に最も適したコンテンツを発話するように設定する。例えば、コンテンツが天気関連であればエアコン、洗濯機等の家電、コンテンツが食材関連であれば冷蔵庫、レンジ等の家電が発話するように設定する。つまり、これらの家電を発話コンテンツの出力先として選択する。
(4)対象ユーザに応じた家電を出力先として選択
具体的には、ユーザに応じて発話する家電を設定する。例えば、ユーザが母親であれば、キッチン家電を出力先として選択し、ユーザが子供であれば、子供部屋のエアコンを出力先として選択する。ここで、ユーザの特定は、家電が備えているカメラ、音声認識機能による音声認識を利用して行う方法や、各ユーザが身につけているウエアラブル機器や携帯電話(スマートフォンを含む)を用いて行う方法がある。ウエアラブル機器、携帯電話では、ブルートゥースを用いて通信を行っている。ブルートゥースでは、電波の強度でおおよその距離(ユーザと家電との距離)が分かるので、当該距離が所定距離以内であれば家電の近くにいると判断できる。
(5)報知すべき情報の情報源と、実際に報知する家電とを1対多の関係となるように出力先を選択
具体的には、報知するコンテンツが家電のエラー関連の情報であれば、全ての家電を出力先として設定する。例えば、報知するコンテンツがエアコンの異常停止を示す情報であれば、家電管理システム1を構成している全ての家電を出力先として選択し、全ての家電からエアコンの異常停止をユーザに報知する。この場合、全ての家電を出力先として選択するが、各家電からのコンテンツの報知は一斉に行う必要はない。例えば、ユーザが移動中である場合、まず、現時点でユーザの一番近くにある家電から報知し、ユーザの移動に合わせて、都度、近くにある家電から報知するようにしてもよい。
また、上記(1)〜(5)に記載の出力先の選択方法以外に、例えば、報知すべき内容がリピートする必要のあるコンテンツ(録画予約情報)と、リピートしなくてよいコンテンツ(天気予報)とに応じて出力先を選択してもよい。リピートする必要のあるコンテンツの場合には、最初に報知したのち、所定時間経過後に、再度、同一内容のコンテンツを報知することになる。この場合、再度の報知に用いる家電は、上記(1)のように現在アクティブな家電としてもよいし、上記(2)のように予め設定した家電としてもよい。
また、コンテンツを報知する家電を、時間により変更するようにしてもよい。例えば、報知するコンテンツが朝のアラームである場合、コンテンツを報知する家電を寝室のエアコンに設定する。
また、上記(1)〜(5)に記載の出力先の選択方法以外に、例えば、報知すべき内容がリピートする必要のあるコンテンツ(録画予約情報)と、リピートしなくてよいコンテンツ(天気予報)とに応じて出力先を選択してもよい。リピートする必要のあるコンテンツの場合には、最初に報知したのち、所定時間経過後に、再度、同一内容のコンテンツを報知することになる。この場合、再度の報知に用いる家電は、上記(1)のように現在アクティブな家電としてもよいし、上記(2)のように予め設定した家電としてもよい。
また、コンテンツを報知する家電を、時間により変更するようにしてもよい。例えば、報知するコンテンツが朝のアラームである場合、コンテンツを報知する家電を寝室のエアコンに設定する。
ここで、本実施形態では、図1に示すように、クラウド上に発話管理サーバ10を備えた家電管理システム1の例について説明したが、本発明はこれに限定されるものではなく、例えば、発話管理サーバ10の機能を家電20に持たせてもよい。以下に、発話管理サーバ10の機能を有する家電について説明する。
〔変形例1〕
図4は、発話管理サーバ10の機能を備えた家電50のブロック図である。なお、図4において、図2に示す発話管理サーバ10、家電20が備える各部と同一の機能を有する部には同一符号を付記し、詳細な説明は省略する。
家電50は、図4に示すように、制御部51、音声出力部22、通信部23、記憶部12を含んでいる。
制御部51は、状態情報取得部14、状態特定部15、発話コンテンツ選択部16、出力先選択部17、状態情報抽出部24、発話コンテンツ取得部25、音声合成部26、出力制御部27として機能する。すなわち、制御部51は、図2に示す発話管理サーバ10と同じ状態情報取得部14、状態特定部15、発話コンテンツ選択部16、出力先選択部17として機能し、さらに、図2に示す家電20と同じ状態情報抽出部24、発話コンテンツ取得部25、音声合成部26、出力制御部27として機能する。
家電50は、図示しないが、複数の他の家電と通信ネットワークを介してデータの送受が行えるようになっている。従って、家電50は、自機器の状態情報を、通信ネットワークを介して他の家電50に送信する一方、他の家電50の状態情報を、通信ネットワークを介して受信するようになっている。つまり、家電50は、図1に示すような発話管理サーバ10を介して他の家電50とデータの送受を行うようになっていない。
家電50が自機器の状態情報を送信する場合、送信先(出力先)の選択基準は、前記実施形態1で説明した選択基準と同じである。従って、家電50は、上記選択基準を用いて、自機器内で出力先の家電50を選択し、選択した家電50に状態情報を送信する。
このように、家電50自身が状態情報の通知先を設定するようにしてよい。この通知先の設定は、出力先選択部17において行われる。すなわち、家電50においては、出力先選択部17が状態情報の通知先を設定する通知先設定部として機能する。通知先の設定の仕方としては、例えば、以下の2通りあるが、これらに限定されるものではない。
(6)ユーザが報知(通知)すべき情報の情報源に対し、実際に報知する家電を音声によって設定する。すなわち、上記出力先選択部(通知先設定部)17は、上記状態情報の通知先をユーザの音声に応じて設定する。家電50は、音声認識機能(図示しない)により、ユーザの音声を認識することで、上記の設定を実現している。
具体的には、状態情報の取得先(情報源)である家電50、例えば洗濯機に対し、ユーザは発話によって洗濯の終了を別の家電50である冷蔵庫に報知するように設定する。これにより洗濯機の終了は冷蔵庫からユーザに報知(通知)される。
(7)ユーザが報知(通知)すべき情報の情報源に対し、実際に報知する家電を報知する場所によって設定する。すなわち、上記出力先選択部(通知先設定部)17は、上記状態情報の通知先を、上記通信ネットワークに接続された家電が少なくとも一つ設置された部屋に設定する。ここの設定は、(6)と同じようにユーザが音声により設定してもよいが、手動で設定してもよい。
具体的には、状態情報の取得先(情報源)である家電50、例えば洗濯機に対し、ユーザは発話によって洗濯の終了をキッチン(部屋)に報知するように設定する。これにより洗濯機の終了はキッチンにある冷蔵庫からユーザに報知(通知)される。キッチンにある家電が冷蔵庫だけでなく電子レンジや照明もある場合、電子レンジや照明もユーザに報知する家電群として冷蔵庫とともに設定してもよい。
〔変形例2〕
本発明を用いれば、発話機能を持たない家電の状態情報を、発話機能を有する家電から報知するようにできる。すなわち、発話機能を持たない家電は、ユーザの近くにある別の家電(発話機能を有する家電)を用いて、自機器の状態情報をユーザに伝える。例えば、リビングにおいて、エアコンに発話機能がない場合、同じリビングに設置されたテレビの発話機能を用いて、エアコンの状態情報を報知する。
これにより、発話機能を持たなくても、発話機能を持った家電に代弁してもらうことで、ユーザに発話機能の無い家電の状態情報を報知することが可能となる。
なお、上記実施形態1及び変形例1,2では、出力先を家電単位で選択するようにしているが、出力先を部屋単位で選択するようにしてもよい。この場合、選択した部屋において稼働中の家電を用いてコンテンツを報知するようにすればよい。これにより、コンテンツを報知させる家電が稼働していないことによる、報知不可状態を回避でき、ユーザに対して確実にコンテンツを報知させることができる。
また、上記実施形態1及び変形例1,2では、家電からコンテンツを報知する場合、家電側のタイミングで報知しているが、ユーザが家電に指示をして、別の家電の状態情報を報知させるようにしてもよい。例えば、エアコンが設置された部屋から別の部屋に移動したユーザが、移動先の部屋に設置された家電に対して、エアコンの状態情報を報知するように指示する。
さらに、上記実施形態1及び変形例1,2では、コンテンツを報知する手段として音声による出力、すなわち家電に発話させる例について主に記載したが、コンテンツを報知する手段として発話させる必要はなく、実施形態1でも説明したように、映像として表示するようにしてもよいし、発話でなく、警報音のような意味を持たせた音を発するようにしてもよい。
以上、本実施形態によれば、各発話対応家電の発話コンテンツをクラウドサーバ上に集約し、配信先の家電を選択することで、ユーザにより確実に発話内容を伝えることができると言う効果を奏する。
さらに、本実施形態によれば、ユーザは離れた位置にある家電の情報を聞き逃したり、適切なタイミングで聞いたりすることができる。また、情報が集約されることにより発話コンテンツを管理することができ、同じ発話コンテンツを何度も聞くことがなくなる。さらに、複数のユーザが居る場合(家庭など)、それぞれの家電に使用頻度が多いユーザを紐付けして設定することで、適切なユーザが発話コンテンツを聞くことができるという効果を奏する。
〔実施形態2〕
以下、本発明の他の実施形態について、詳細に説明する。
(リモートコントロールシステムの構成)
図5は、本実施形態に係るリモートコントロールシステム2の構成を示す図である。リモートコントロールシステム2は、図5に示すように、音声発話機能、音声認識機能、赤外線送信機能を有するロボット(リモコン装置)60と、当該ロボット60によって操作指示される、音声発話機能、赤外線受信機能を有する第1家電70、音声発話機能、音声認識機能を有する第2家電8、報知音出力機能、赤外線受信機能を有する第3家電90を含む。
ロボット60は、音声発話機能によりユーザに対して発話したり、音声認識機能を有する第2家電8に発話による操作指示をしたりし、音声認識機能によりユーザの発話内容を認識したり、音声発話機能を有する第1家電70及び第2家電8の発話を認識したりし、赤外線送信機能により赤外線受信機能を有する第1家電70、第3家電90に対して操作指示を示す赤外線を送信する。
すなわち、ロボット60は、第2家電8に対して操作命令を音声で行い、第1家電70及び第3家電90に対して操作命令を赤外線で行う。また、ロボット60は、第1家電70及び第2家電8から状態通知を音声で受け取り、第3家電90から状態通知を報知音で受け取る。さらに、ロボット60は、第2家電8に対して状態確認を音声で行う。
ここで、状態通知とは、家電の状態を示す状態情報を通知することである。また、状態確認とは、家電の状態情報を確認することである。つまり、ロボット60は、音声により状態確認を第2家電8に対して行い、これに対して、第2家電8から自機器の状態情報を音声で受け取る。
従って、リモートコントロールシステム2におけるロボット60は、各家電に操作指示を行った後、各家電から状態通知(音声あるいは報知音)を受け取り、状態通知を解析して、家電が操作指示通りに稼働していないことが分かれば、当該家電に対して再度操作指示を行い、家電が操作指示通りに稼働していることが分かれば、操作指示を停止する。このとき、ロボット60は、ユーザに対して操作指示の結果を伝えるようにしてもよい。
(ロボット)
図6は、ロボット60の概略構成を示している。ロボット60は、図6に示すように、制御部61、データ格納部62、赤外線送受信部63、マイク64、スピーカ65、表示部66、動作部67、カメラ68、センサ(人感センサ、温度センサ等の各種センサ)69を備えている。
制御部61は、例えば、CPUや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置からなり、ロボット60の各部の動作を制御するブロックである。また、制御部61は、音声認識部611、報知音解析部612、状態特定部613、出力制御部614、音声合成部615、操作命令特定部616、判断部617として機能する。
音声認識部611は、ユーザ、第1家電70、第2家電8からの入力音声を認識するブロックである。具体的には、音声認識部611は、マイク64から入力された音声データをテキストデータに変換して、そのテキストデータを解析して単語やフレーズを抽出する。なお、音声認識の処理について公知技術を用いることができる。
報知音解析部612は、第3家電90からの報知音を解析するブロックである。具体的には、報知音解析部612は、マイク64から入力された報知音が、家電がどのような状態にあるかを示すどの報知音であるかを特定する。ここで報知音は、所定の周波数の音を一定時間出力したもの「ピー」や、一定の間隔で出力したもの「ピー、ピー、・・・」等、家電の状態に合わせて複数種類用意されている。
状態特定部613は、音声認識部611によって認識された音声、報知音解析部612によって特定された報知音から、家電の状態を特定するブロックである。具体的には、状態特定部613は、認識された音声、特定された報知音と、データ格納部62の状態情報格納部621に格納されている状態情報とから、家電の状態を特定する。
出力制御部614は、状態特定部613によって特定された家電の状態から、再度家電に操作指示をするか否かを判断するブロックである。具体的には、出力制御部614は、特定された家電状態が、操作指示通りに稼働しているか否かを判断し、操作指示通りに稼働していないと判断したときに、再度、赤外線送受信部63を用いて赤外線またはスピーカ65及び音声合成部615を用いて音声により操作指示を家電に対して行う。一方、操作指示通りに稼働していると判断したときには、何もしないか、あるいは、ユーザに操作指示通りに稼働している旨を伝える。この場合には、ユーザが操作指示通りに稼働していることが分かればよいので、スピーカ65を用いて音声で伝えてもよいし、表示部66に表示して伝えてもよい。
音声合成部615は、音声データを生成(合成)するブロックである。具体的には、音声合成部615は、操作指示を示すテキストデータから、スピーカ65から出力するための音声データを合成する。
操作命令特定部616は、ユーザからの音声による操作指示内容から、家電に対する操作命令を特定するブロックである。具体的には、操作命令特定部616は、ユーザからの音声による操作指示内容に応じた操作命令をデータ格納部62の操作命令格納部622から抽出する。
判断部617は、認識した音声コマンドを受け付けるか否かを判断するブロックである。この判断部617の詳細は、後述する。
(リトライ処理)
上記構成のロボット60を用いた家電への操作指示のリトライ処理について図7を参照しながら以下に説明する。
まず、ユーザが音声コマンドをロボット60に出力する。ロボット60は、音声コマンドを受け取ると、上述したように、操作命令特定部616によって音声コマンドから操作命令を特定し、赤外線信号により操作命令を他家電(音声コマンドにより指定された家電)に送信する。他家電は、赤外線信号による操作命令を受け付ける。ここで、他家電は、第1家電70のように音声発話機能を有する家電とする。
次に、他家電は、受け付けた操作命令に応じて、音声発話を行う。この音声発話は、ロボット60が受け取る。ここで、音声発話が、操作命令通りに家電が稼働したことを示す内容を含んだものであれば、操作命令は完了したものと確認し、操作命令通りに家電が稼働していないという内容を含んだものであれば、再度、操作命令を実行するために他家電に対して、赤外線信号を送信する。
このように、操作命令通りに家電が稼働したことを確認するまで、リトライ処理を行う。
上記の例では、操作命令通りに家電が稼働したことをロボット60が確認すれば、そこで処理が終了することになっているが、操作命令通りに家電が稼働したことをロボット60が確認したことをユーザに報知してもよい。
また、上記の例では、ロボット60は、他家電からの音声発話により、操作命令通りに家電が稼働したか否かを確認しているが、家電に音声発話機能が無い場合には、報知音から、操作命令通りに家電が稼働したか否かを確認することになる。
例えば、ある報知音を聞いたロボット60が、ユーザに対して「何かあった?」と聞き、「エアコンが停止した」とユーザが言えば、ロボットは、その報知音を「エアコン停止」の報知音としてデータ格納部62の報知音格納部624に記憶する。以降、ロボット60は、同じ報知音を聞いたとき、エアコンが停止していると理解する。
このように、ロボット60は、様々な状況における報知音を、それぞれの状況と対応付けて記憶することで、検出した報知音に応じた操作を行うことができる。これにより、ロボット60は、報知音を聞くだけで、リトライするか否かを判断することが可能となる。
ところで、ロボット60による操作命令は、赤外線を送信することで行われるが、赤外線の送信方向が操作命令の対象となる家電に向いていければ、操作命令が家電に届かない。このような場合、ロボット60は、操作命令の対象となる家電から、音声発話、報知音が発せられない。
従って、上記のように、ロボット60は、操作命令の対象となる家電から、音声発話、報知音が発せられない状況の場合には、操作命令を送信してから、所定時間内に音声発話もしくは報知音が発せられないとき、ロボット60の向きを変える等して、リトライすることが考えられる。ロボット60の向きを変えても、操作命令を送信してから、所定時間内に音声発話もしくは報知音が発せられないときには、リトライ処理を終了する。そして、ユーザにリトライ処理を終了した旨を伝える。
このような処理を実現するために、ロボット60は、表示部66及び動作部67を備えている。表示部66は、ロボット60の表情の画像を表出するブロックであり、本実施形態では、リアプロジェクション方式で表示を行うものとするが、これには限定されない。動作部67は、ロボット60の動作を実行するブロックである。
動作部67は、ロボット60を回転させる。動作部67は、図8に示すように、ロボット60を第1家電70に対して操作命令を行える位置まで回転させる。動作部67は、第1家電70のスピーカ70aから出力される音声発話を聞き取れる位置までロボット60を回転させる。
つまり、ロボット60は、第1家電70のスピーカ70aから音声発話が発せられる方向から、当該第1家電70の位置を推定するようになっている。このようにして、ロボット60は、各家電の位置を推定し、データ格納部62の配置方向格納部623に記憶させることで、操作対象となった家電が設置されている方向に動作部67によって回転させて、操作命令を実行する。
以上、本実施形態によれば、ロボットがあたかも他の家電と会話しているような演出ができるだけでなく、ユーザが各家電の位置を毎回指示することなく、自然に音声による家電操作が実現できるという効果を奏する。
(誤動作防止)
上記構成のロボット60は、ユーザからの音声コマンドにより操作対象となる家電に対して操作命令を行うようになっている。
ところで、ロボット60が設置された部屋で、ユーザが一般的な会話(操作命令を意図しない会話)を行っている際に、ユーザが発した言葉を、ロボット60が音声コマンドと認識し、家電に対して操作命令を行う虞がある。つまり、ユーザが意図しない家電が動作する虞がある。例えば、ユーザが発する言葉によって、ロボット60がエアコンをつけるという音声コマンドを認識した場合、操作命令によってエアコンがついてしまう場合ある。
そこで、ロボット60は、制御部61内の判断部617によって、音声コマンドを認識したとき、予め設定した判断基準により、当該音声コマンドを受け付けて家電に操作指示を行うか否かを判断する。ここで、上記判断基準の一つとして、音声コマンドを受け付けるか否かを、発話機能を用いて発話することによって、当該音声コマンドの取得先であるユーザに対して聞き返した結果とした場合の例について以下に説明する。
例えば図9に示すように、ユーザ80が「エアコンつけて?」80aと言うと、ロボット60は、「つけるよ? いい?」60aと聞き返し、これに対して、ユーザ80が「うん。お願い♪」80bと言う。これにより、ロボット60は、エアコンをつけるという操作命令をエアコンに対して実行する。この場合の処理は、図10に示すようになる。図10は、図7に示した処理において、ロボット60が送命令を実行するために赤外線信号を送信するまでに、ロボット60とユーザ80との間で2段階のやりとりが行われている点が追加されている。
以上のように、ロボット60が音声コマンドを認識したとき、ユーザ80に対して聞き返し、さらに、ユーザ80からの回答によって当該音声コマンドを受け付けるか否かを判断するようになっているので、音声認識による誤動作を防止することができる。
なお、ユーザ80は、ロボット60から何時も同じ聞き返しを聞くとストレスがたまる虞がある。そこで、音声コマンドを受け付けるか否かを上記ユーザに聞き返すとき、当該音声コマンドが前回と同じ音声コマンドである場合、聞き返すための発話内容を前回と異ならせる。例えば、最初、ロボット60が「エアコンつけるの?」と聞き返した場合、2回目以降に、ロボット60が「エアコンつけましょうか?」や「エアコンつけていいかな?」等にする。これにより、前回と同じ内容を聞き返されたとしても、発話内容が異なるため、ユーザ80が感じるストレスを軽減することが可能となる。この場合、発話内容としては、聞き返して違和感のない内容にするのが好ましい。
以上の方法が、ロボットがユーザに確認する方法である。他の確認方法として以下の方法がある。
(1)「エアコンつけるよ?」など確認をするフレーズでバリエーションを増やしていく方法。
(2)「エアコンつけるの?」など聞き返すフレーズでバリエーションを増やしていく方法。
(3)温度センサを用いた反応を示すフレーズでバリエーションを増やしていく方法。
例えば、温度センサの検出温度に応じて、「暑いよね〜 エアコンつけるよ?」、「 寒いね〜 エアコンつける?」、「ちょうどいいと思うけど、エアコンつける?」等。
音声コマンドを受け付けるか否かを判断する方法として、ロボット60が備えるカメラ68、センサ69を利用する方法を挙げることができる。カメラ68は、ユーザ80を撮影し、ユーザ80がカメラ68に対して正面を向いているか否かを確認するために用いる。なお、本実施形態に係るロボット60では、音声をキャッチした方向に向くように動作部67によって回転するようになっているので、ユーザの正面からカメラ68による撮影を行うことができる。また、センサ69は、人の存在を検知する人感センサを用い、ユーザ80が近くにいるか否かを検出する。この場合も、上述した判断部617によって音声コマンドを受け付けるか否かを判断する。
具体的には、判断部617は、ロボット60が音声コマンドを認識したときに、カメラ68によって撮影されたユーザ80が正面を向いていると確認されれば、当該音声コマンドを受け付け、正面を向いていなければ、当該音声コマンドを受け付けないと判断する。なお、ユーザ80が正面を向いていない場合に、上述したように、発話機能を用いて、ユーザ80に対して、音声コマンドを受け付けてもよいか否かを確認してもよい。
また、判断部617は、ロボット60が音声コマンドを認識したときに、センサ69により人を検出すれば、ユーザ80が近くにいると判断し、当該音声コマンドを受け付け、センサ69により人を検出しなければ、ユーザ80が近くにいないと判断し、当該音声コマンドを受け付けない。つまり、人がいると検知しない限り、音声操作を有効にない。
なお、センサ69の検出結果だけでは、音声コマンドを発したユーザ80であるか否かが明確でないため、上述したカメラ68によって撮影された映像を利用して、音声コマンドを発したユーザ80であるか否かを明確に判断するようにしてもよい。
このように、カメラ68、センサ69などを用いれば、ロボット60が音声コマンドを認識したときに、ユーザ80に対して、音声コマンドを受け付けてもよいかを確認することなく、音声コマンドを受け付けるか否かを判断することができる。
ロボット60がタッチセンサを備えている場合に、当該タッチセンサに手をかざした状態で、音声操作を有効にするようにしてもよい。具体的には、ユーザ80がロボット60のタッチセンサに手をかざした状態で、音声コマンドを認識した場合には、ユーザ80に確認することなく、音声コマンドを受け付ける。当該音声コマンドによる操作命令を実行する。
以上、音声コマンドのみだと、ご認識による家電操作の可能性があるところ、本実施形態によれば、確認のやり取りを加えることで、誤動作を防止することができるという効果を奏する。
〔実施形態3〕
以下、本発明の他の実施形態について、詳細に説明する。なお、説明の便宜上、前記実施形態2にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(キャラクタデータ配信システムの構成)
図11は、本実施形態に係るキャラクタデータ配信システム3の構成を示す図である。キャラクタデータ配信システム3は、図11に示すように、ロボット100と、サーバ(配信サーバ)300とが互いに通信ネットワークを介して接続している。また、上記サーバ300は、コンテンツ(キャラクタ)を提供する外部コンテンツサーバ400に接続され、上記通信ネットワークを介して、スマートフォン(端末装置)201及びPC202に接続されている。上記通信ネットワークとしては、例えば、インターネットが利用できる。また、電話回線網、移動体通信網、CATV(Cable TeleVision)通信網、衛星通信網などを利用することもできる。
上記キャラクタデータ配信システム3では、ロボット100が、サーバ300から予め設定したアカウント301に紐付けたキャラクタデータをダウンロードし、ダウンロードしたキャラクタデータから喜怒哀楽等の感情に応じた表情データを当該ロボット100の顔に相当する顔領域100aに内部から投影するようになっている。つまり、キャラクタデータ配信システム3内のロボット100は、自身の喜怒哀楽等の感情を所定のアルゴリズムにより推定し、推定した喜怒哀楽等の感情に応じた表情をするように、キャラクタデータに含まれる表情データを表示部66のプロジェクタ66a及び反射鏡66bを用いて顔領域100aに表示させている。
ここで、ロボットの感情は、本体の内部状態(バッテリー残量など)や外部環境(温湿度/明るさ/時間など)、また会話した回数や頻度、内容によりユーザとの関係性をパラメータ化し、確率テーブルにより総合的に計算して決定する。例えば、バッテリー残量が豊富で快適な温度状態、ユーザとの関係が良好(よく話しかけられる/褒められるなど)であれば機嫌が良い状態となり、笑顔の表情データを選択する。また、深夜や早朝などは時間をパラメータとして利用し、眠そうな表情を選択する。
(ロボット)
図12は、ロボット100の概略構成を示している。ロボット100は、前記実施形態2において説明した図6に示すロボット60とほぼ同じ構成であり、異なるのは、通信部101、表情データベース(ダウンロード用バッファ)102を備えている点である。同じ構成要素については説明を省略し、異なる構成要素のみ以下に説明する。
通信部101は、キャラクタデータ配信システム3において、サーバ300との通信を行うための手段である。ここで、キャラクタデータは、喜怒哀楽等の感情それぞれに対応する表情データをひとかたまりにしたものをいう。つまり、キャラクタデータ=表示データ群となる。
表情データベース102は、ダウンロードしたキャラクタデータを格納している。なお、表情データベース102には、初期状態で、基本の喜怒哀楽等の感情に対応する表情データ群を基本キャラクタデータとして格納している。
(キャラクタデータダウンロード)
図13は、ロボットの表情を変更するためのキャラクタデータのダウンロードの説明を示す図である。サーバ300は、アカウント301毎に複数種類のキャラクタデータを格納し、必要に応じて、キャラクタデータをロボット100にダウンロード配信する。
図13では、サーバ300の一つのアカウント301に2種類のキャラクタデータ(1)、キャラクタデータ(2)が格納されている例を示し、ダウンロード配信されたキャラクタデータ(1)または(2)は、ロボット100内の表情データベース102に既に格納されている基本キャラクタデータと入替えて格納される。
なお、ダウンロード配信は、キャラクタデータ単位ではなく、表情データ単位であってもよい。その場合には、ダウンロード配信された表情データは、基本キャラクタの該当する表情データと入替えて格納される。
サーバ300に対するキャラクタデータまたは表示データの配信の指示は、ロボット100を利用するユーザが操作するスマートフォン201やPC202から行われる。具体的には、ユーザは、スマートフォン201またはPC202からサーバ300内の所定のアカウント301に格納されたキャラクタデータまたは表示データの配信の指示を行う。
一つのアカウント301には複数のロボット100を対応させることが可能であるため、同じキャラクタデータを同じアカウントにアクセス可能なロボット100にダウンロード配信する。
ユーザが操作するスマートフォン201またPC202が、サーバ300内のアカウント301(アカウント(A))とは別のアカウント301(アカウント(B))にアクセス可能であれば、アカウント(B)にアクセス可能な別のロボット100にキャラクタデータをダウンロード配信することができる。これを利用すれば、他人のロボットにキャラクタデータをダウンロードさせることができるため、企業であれば、お試し版のキャラクタデータをダウンロードさせることができる。ユーザは、お試し版のキャラクタデータが気に入れば購入することができる。
(表情の表示)
ロボット100は、サーバ300からのダウンロード配信により、新たなキャラクタデータが表情データベース102に格納されると、当該表情データベース102に格納された新キャラクタデータの表情データをランダムに抽出し顔領域100aに表示させる。
なお、ロボット100は、通常、感情を持たないが、ユーザとの対話において予め設定される発話内容に感情を紐付けることにより、発話を行う際に、その発話内容に紐付けられた感情を示す表情データを表情データベース102から抽出し顔領域100aに表示させることで、ロボット100が感情を持っているように見せかけることができる。
具体的には、予め、表情データベース102に格納されているキャラクタデータの各表情データに数値を付与し、ロボット100が発話する発話内容に紐付けた感情に合わせて、表示データに付与された数値と同じ数値を付与する。これにより、ロボット100がある発話を行う場合、発話内容に紐付けた感情に付与された数値と同じ数値の表情データを表情データベース102から抽出して顔領域100aに表示させる。
(表情データの作成)
サーバ300から配信されるキャラクタデータは、喜怒哀楽等の感情それぞれに対応する表情データを含んだものである。この場合、喜びの感情、怒りの感情、哀しみの感情、楽しい感情等、1種類の感情には、1種類の表情データが対応するように、キャラクタデータを作成している。
しかしながら、人間の感情は非常に複雑であり、様々な種類の感情が複合される場合もある。そこで、表情データのバリエーションをさらに増やすことで、より人間に近い感情を表情で表現することが可能となる。
図14は、通常状態(楽・喜の状態)の表情データのバリーションを示す図である。
図15は、特定状態(怒・悲・困の状態、特定モード)の表情データのバリエーションを示す図である。
すなわち、通常状態、すなわち、楽しい状態、喜びの状態の表情データを作成するとき、図14に示すように、楽・喜の方向に表情データのバリエーションを増やして表情データを作成することで、恋する状態を示す表情データや、安らぎの状態を示す表情データなどの楽・喜に起因する感情を示す表情データが作成できる。
一方、特定状態、すなわち怒っている状態、悲しい状態、困っている状態の表情データは、図15の(a)に示すように、各レベル、すなわち怒りのレベル、悲しみのレベル、困っている程度を示すレベルを4段階に分けて、各レベルに応じた表情データを作成する。
また、特定状態の表情データとしては、特定モード時の表情データを挙げることができる。具体的には、図15の(b)に示すように、特定モードとしては、留守番モード、おやすみモード、居眠りモード、リモコン操作モードがあり、各モードに合わせた表情データを作成する。
(課金)
ここで、サーバ300は、図11に示すように、ユーザのアカウント301毎にアクセス可能なロボット100にキャラクタデータをダウンロード配信している。この場合、上述したように、スマートフォン201、PC202を用いてユーザがダウンロード配信をサーバ300に指示する。
また、サーバ300のアカウント301にダウンロード配信されるキャラクタデータは、外部コンテンツサーバ400から配信される。この場合も、スマートフォン201、PC202を用いて、サーバ300に外部コンテンツサーバ400からのダウンロード配信を指示する。
ここで、既にサーバ300にダウンロードされたキャラクタデータをロボット100にダウンロード配信させる場合には、ダウンロード配信を指示するスマートフォン201、PC202を操作するユーザに課金をしない。
一方、サーバ300のアカウント301にキャラクタデータを外部コンテンツサーバ400からダウンロード配信される場合には、ダウンロード配信を指示するスマートフォン201、PC202を操作するユーザに課金をする。
この場合、実際に課金されるのは、サーバ300にダウンロード配信を指示するスマートフォン201、PC202側であり、ダウンロード配信されたキャラクタデータを使用するロボット100側ではない。
以上のように本実施形態によれば、顔を作りだすことができ、好みに合わせたキャラを配信することができ、顔コンテンツ配信ビジネスへの展開が可能であり、ユーザの好みに合わせたキャラクタ展開が可能であり、ハード構成を変えずロボットに個性をつけることができるという効果を奏する。
〔ソフトウェアによる実現例〕
家電20、ロボット60、ロボット100の制御ブロック(特に制御部21、制御部61)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、家電20、ロボット60、ロボット100は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る家電管理システムは、複数の家電20と当該家電20を管理する管理サーバ(発話管理サーバ10)とが互いに通信ネットワークを介して接続された家電管理システム1において、上記家電20は、それぞれ、自機器の状態を示す状態情報を、上記通信ネットワークを介して上記管理サーバ(発話管理サーバ10)に出力する第1状態情報出力部(状態情報抽出部24及び通信部23)と、上記通信ネットワークを介して上記管理サーバ(発話管理サーバ10)から取得した状態情報を報知する状態情報報知部(出力制御部27及び音声出力部22)と、を備え、上記管理サーバ(発話管理サーバ10)は、上記家電20から取得した状態情報を、上記通信ネットワークに接続された複数の家電20のうち少なくとも一つの家電20に対して出力する第2状態情報出力部(出力制御部18)を備えていることを特徴としている。
上記構成によれば、管理サーバは、通信ネットワークを介して家電から取得した状態情報を、当該通信ネットワークに接続された複数の家電のうち少なくとも一つの家電に対して出力することで、当該家電は他の家電の状態情報を取得することができる。
これにより、他の家電の状態情報を取得した家電から、ユーザに対して、他の家電の状態情報を報知することが可能となる。なお、家電は、他の家電の状態情報だけでなく、自機器の状態情報も管理サーバから取得するようにもなっている。
ここで、ユーザに対して、家電の状態情報を確実に報知するには、以下のようにすることが考えられる。
本発明の態様2に係る家電管理システムは、態様1において、上記第2状態情報出力部は、上記通信ネットワークに接続された家電のうち、電源が入った家電に対して状態情報を出力するのが好ましい。
上記構成によれば、電源が入った家電、すなわちアクティブな状態にある家電は、ユーザが操作しているか、ユーザが近くにいる可能性が高いため、このアクティブな状態にある家電から、他の家電の状態情報を報知すれば、ユーザは確実に他の家電の状態情報を知ることができる。
例えば、アクティブな家電をテレビとし、他の家電を冷蔵庫としたとき、テレビを観ているユーザに対して、当該テレビから冷蔵庫の状態情報(例えばドアが開放状態)を報知する。これにより、ユーザはテレビを視ているにも関わらず、他の家電である冷蔵庫の状態情報を知ることができる。
本発明の態様3に係る家電管理システムは、態様1において、上記第2状態情報出力部は、上記通信ネットワークに接続された家電のうち、取得した状態情報の内容に応じて予め設定された家電に対して状態情報を出力するのが好ましい。
上記構成によれば、取得した状態情報の内容に応じて予め設定された家電に対して状態情報が出力されるので、ユーザは家電から当該家電に対応した状態情報を知ることができる。
本発明の態様4に係る家電管理システムは、態様1〜3の何れか1態様において、上記第1状態情報出力部は、状態情報を音声により通知するのが好ましい。
上記構成によれば、状態情報の通知が音声になるので、ユーザは確実に状態情報の内容を知ることができる。
本発明の態様5に係る家電は、他の複数の家電と共に通信ネットワークに接続された家電において、上記通信ネットワークに接続された他の家電から、当該家電の状態を示す状態情報を取得する情報取得部と、上記情報取得部によって取得した状態情報を通知する状態情報通知部と、を備えていることを特徴としている。
本発明の態様6に係る家電は、態様5において、上記情報取得部によって取得された状態情報を上記状態情報通知部によって通知する通知先を設定する通知先設定部をさらに備え、上記通知先設定部は、上記状態情報の通知先をユーザの音声に応じて設定するのが好ましい。
本発明の態様7に係る家電は、態様5において、上記情報取得部によって取得された状態情報を上記状態情報通知部によって通知する通知先を設定する通知先設定部をさらに備え、上記通知先設定部は、上記状態情報の通知先を、上記通信ネットワークに接続された家電が少なくとも一つ設置された部屋に設定するのが好ましい。
本発明の態様8に係る家電は、態様5〜7の何れか1態様において、上記状態情報通知部は、状態情報を音声により通知するのが好ましい。
本発明の態様9に係るリモコン装置は、家電に対して操作指示を行う操作指示部と、上記操作指示部の操作指示に応じて上記家電が出力する報知音または音声を取得する取得部と、上記取得部が取得した報知音または音声を解析する解析部と、上記解析部による解析結果から、当該家電の状態を特定する状態特定部と、を備えていることを特徴としている。
上記の構成によれば、状態特定部によって、家電に対して操作指示を行った後に、発せられる報知音または音声を解析した結果から、当該家電の状態を特定することで、操作指示を行った家電の状態をリモコン装置自体が知ることができる。
本発明の態様10に係るリモコン装置は、態様9において、上記状態特定部によって特定された家電の状態から、当該家電に対する操作指示を再度行うか否かを判断する判断部をさらに備え、上記操作指示部は、上記判断部が家電に操作指示を再度行うと判断したとき、当該家電に対して操作指示を再度行うのが好ましい。
上記構成によれば、操作指示部は、上記判断部が家電に操作指示を再度行うと判断したとき、当該家電に対して操作指示を再度行うようになっているので、家電に対して確実に操作指示を行うことができる。つまり、家電を確実に稼働させることができる。
本発明の態様11に係るリモコン装置は、態様10において、上記取得部によって取得された報知音または音声から、自装置から見た上記家電の設置方向を特定する設置方向特定部と、上記設置方向特定部によって特定された家電の設置方向を記憶する記憶部と、をさらに備え、上記操作指示部は、上記判断部が家電に操作指示を再度行うと判断したとき、上記記憶部に記憶された家電の設置方向に向かって、当該家電に対する操作指示を行うのが好ましい。
上記構成によれば、操作指示部は、上記判断部が家電に操作指示を再度行うと判断したとき、上記記憶部に記憶された家電の設置方向に向かって、当該家電に対する操作指示を行うので、家電に対して確実に操作指示を行うことができる。
本発明の態様12に係るリモコン装置は、受け付けた音声コマンドから家電に対して操作指示を行うロボットであって、音声コマンドを認識したとき、予め設定した判断基準により、当該音声コマンドを受け付けて家電に操作指示を行うか否かを判断する判断部を備えていることを特徴としている。
上記構成によれば、判断部によって、音声コマンドを認識したとき、予め設定した判断基準により、当該音声コマンドを受け付けて家電に操作指示を行うか否かを判断することで、ユーザの意図しない音声コマンドによる家電の誤動作を防止することができる。上記の判断基準として以下の内容を挙げることができる。
本発明の態様13に係るリモコン装置は、態様12において、さらに、発話機能を有し、上記判断部は、認識した音声コマンドを受け付けるか否かを、上記発話機能を用いて発話することによって、当該音声コマンドの取得先であるユーザに対して聞き返して得られた発話内容に応じて判断することが好ましい。
上記構成によれば、リモコン装置から聞き返しをユーザは音声で聞くことができるため、ユーザは確実に聞き返し内容を理解できる。これにより、確実に家電の誤動作を防止することができる。
本発明の態様14に係るリモコン装置は、態様13において、音声コマンドを受け付けるか否かを上記ユーザに聞き返すとき、当該音声コマンドが前回と同じ音声コマンドである場合、聞き返すための発話内容を前回と異ならせるのが好ましい。
上記構成によれば、同じ内容の確認であっても、異なる発話内容であるため、ユーザはストレスを感じにくくなる。
本発明の態様15に係るロボットは、所定の領域に顔画像を表示したロボットであって、感情を示す表情データを記憶する記憶部と、所定の基準によって定まる感情に応じた上記表情データを上記記憶部から取得し、上記所定の領域に上記顔画像として表示させる制御部と、を備えていることを特徴としている。
上記構成によれば、表示部は、記憶部から所定の基準によって定まる感情に合わせて上記表情データを取得し、上記顔画像として表示するので、ロボット自らが選択して顔画像の表情を変化させることができる。
本発明の態様16に係る表情データ配信システムは、上記構成のロボットと、上記ロボットに喜怒哀楽等の感情を示す表情データを配信する配信サーバとが互いに通信ネットワークに接続されていることを特徴としている。
上記構成によれば、ロボットの顔の表示を変化させる表情データが配信サーバから配信されるので、ロボットの顔の表示をユーザの好みに合わせて変えることができる。表情のカスタマイズを可能とする。
本発明の態様17に係る表情データ配信システムは、態様16において、上記通信ネットワークには、さらに、課金に応じて上記配信サーバに表情データを提供する表情データ提供サーバと、上記表情データ提供サーバに対して課金をすることで、表情データを上記配信サーバに提供させる端末装置とが接続されていることが好ましい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、複数の家電を通信ネットワークに接続したシステム、音声コマンドで家電を操作するリモコン装置などに好適に利用することができる。
1 家電管理システム
2 リモートコントロールシステム
3 キャラクタデータ配信システム(表示データ配信システム)
8 第2家電
10 発話管理サーバ(管理サーバ)
11 制御部
12 記憶部
13 通信部
14 状態情報取得部
15 状態特定部
16 発話コンテンツ選択部
17 出力先選択部(通知先設定部)
18 出力制御部
19 コンテンツ取得部
20 家電
21 制御部
22 音声出力部
23 通信部
24 状態情報抽出部
25 発話コンテンツ取得部
26 音声合成部
27 出力制御部
30 外部コンテンツサーバ
40 スマートフォン
50 家電
51 制御部
60 ロボット
61 制御部
62 データ格納部
63 赤外線送受信部
64 マイク
65 スピーカ
66 表示部
66a プロジェクタ
66b 反射鏡
67 動作部
68 カメラ
69 センサ
70 第1家電
70a スピーカ
80 ユーザ
90 第3家電
100 ロボット
100a 顔領域
101 通信部
102 表情データベース
121 発話コンテンツ格納部
122 出力先データベース
201 スマートフォン
300 サーバ
301 アカウント
400 外部コンテンツサーバ
611 音声認識部
612 報知音解析部
613 状態特定部
614 出力制御部
615 音声合成部
616 操作命令特定部
617 判断部
621 状態情報格納部
622 操作命令格納部
623 配置方向格納部
624 報知音格納部

Claims (5)

  1. 複数の家電と当該家電を管理する管理サーバとが互いに通信ネットワークを介して接続された家電管理システムにおいて、
    上記家電は、それぞれ、
    自機器の状態を示す状態情報を、上記通信ネットワークを介して上記管理サーバに出力する第1状態情報出力部と、
    上記通信ネットワークを介して上記管理サーバから取得した状態情報を報知する状態情報報知部と、を備え、
    上記管理サーバは、
    上記家電から取得した状態情報を、上記通信ネットワークに接続された複数の家電のうち少なくとも一つの家電に対して出力する第2状態情報出力部を備えていることを特徴とする家電管理システム。
  2. 他の複数の家電と共に通信ネットワークに接続された家電において、
    上記通信ネットワークに接続された他の家電から、当該家電の状態を示す状態情報を取得する情報取得部と、
    上記情報取得部によって取得した状態情報を通知する状態情報通知部と、
    を備えていることを特徴とする家電。
  3. 家電に対して操作指示を行う操作指示部と、
    上記操作指示部の操作指示に応じて上記家電が出力する報知音または音声を取得する取得部と、
    上記取得部が取得した報知音または音声を解析する解析部と、
    上記解析部による解析結果から、当該家電の状態を特定する状態特定部と、
    を備えていることを特徴とするリモコン装置。
  4. 受け付けた音声コマンドから家電に対して操作指示を行うリモコン装置であって、
    音声コマンドを認識したとき、予め設定した判断基準により、当該音声コマンドを受け付けて家電に操作指示を行うか否かを判断する判断部を備えていることを特徴とするリモコン装置。
  5. 所定の領域に顔画像を表示したロボットであって、
    感情を示す表情データを記憶する記憶部と、
    所定の基準によって定まる感情に応じた上記表情データを上記記憶部から取得し、上記所定の領域に上記顔画像として表示させる制御部と、
    を備えていることを特徴とするロボット。
JP2014205268A 2014-10-03 2014-10-03 家電管理システム、家電、リモコン装置、ロボット Pending JP2016076799A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014205268A JP2016076799A (ja) 2014-10-03 2014-10-03 家電管理システム、家電、リモコン装置、ロボット
PCT/JP2015/074117 WO2016052018A1 (ja) 2014-10-03 2015-08-26 家電管理システム、家電、リモコン装置、ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205268A JP2016076799A (ja) 2014-10-03 2014-10-03 家電管理システム、家電、リモコン装置、ロボット

Publications (1)

Publication Number Publication Date
JP2016076799A true JP2016076799A (ja) 2016-05-12

Family

ID=55630064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205268A Pending JP2016076799A (ja) 2014-10-03 2014-10-03 家電管理システム、家電、リモコン装置、ロボット

Country Status (2)

Country Link
JP (1) JP2016076799A (ja)
WO (1) WO2016052018A1 (ja)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018190413A (ja) * 2017-05-02 2018-11-29 ネイバー コーポレーションNAVER Corporation ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
JP6463545B1 (ja) * 2018-08-22 2019-02-06 株式会社ネイン 情報処理装置、コンピュータプログラムおよび情報処理方法
WO2019069587A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 家電システム
JP2019082835A (ja) * 2017-10-30 2019-05-30 三菱電機株式会社 音声解析装置、音声解析システム、音声解析方法及びプログラム
JP2019103073A (ja) * 2017-12-06 2019-06-24 東芝ライフスタイル株式会社 電気機器および電気機器システム
JP2019101492A (ja) * 2017-11-28 2019-06-24 トヨタ自動車株式会社 コミュニケーション装置
JP2019168636A (ja) * 2018-03-26 2019-10-03 株式会社エヌ・ティ・ティ・データ 情報処理装置及びプログラム
JP2019175251A (ja) * 2018-03-29 2019-10-10 東京瓦斯株式会社 警報ロボット、プログラムおよびシステム
JP2019536150A (ja) * 2016-11-10 2019-12-12 ワーナー・ブラザース・エンターテイメント・インコーポレイテッドWarner Bros. Entertainment Inc. 環境制御機能を有する社会ロボット
JP2019213141A (ja) * 2018-06-08 2019-12-12 三菱電機株式会社 電気機器、通信アダプタ、電気機器の設定方法、及び、プログラム
JPWO2020195387A1 (ja) * 2019-03-26 2020-10-01
WO2020195388A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
WO2020195821A1 (ja) * 2019-03-26 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP2020190790A (ja) * 2019-05-20 2020-11-26 三菱電機株式会社 通知システム
WO2021085126A1 (ja) * 2019-10-28 2021-05-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021071542A (ja) * 2019-10-29 2021-05-06 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP2021086383A (ja) * 2019-11-27 2021-06-03 国立大学法人岩手大学 通知システム、通知システムにおける制御装置、及び通知システムにおける制御方法
JP2021093669A (ja) * 2019-12-12 2021-06-17 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
JP2021092913A (ja) * 2019-12-09 2021-06-17 シャープ株式会社 報知制御装置、報知制御システム、報知制御方法、及び報知制御プログラム
CN113009837A (zh) * 2019-12-19 2021-06-22 东芝生活电器株式会社 通知系统
WO2021131682A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN113225474A (zh) * 2020-02-05 2021-08-06 佳能株式会社 语音输入设备、其控制方法及存储介质
JP2021193572A (ja) * 2018-09-28 2021-12-23 アップル インコーポレイテッドApple Inc. 凝視情報を用いたデバイス制御
JP2022019715A (ja) * 2017-05-16 2022-01-27 グーグル エルエルシー 計算機アシスタントによる遅延応答
WO2022079952A1 (ja) * 2020-10-16 2022-04-21 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
WO2022079953A1 (ja) * 2020-10-16 2022-04-21 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11765163B2 (en) 2017-09-09 2023-09-19 Apple Inc. Implementation of biometric authentication
US11768575B2 (en) 2013-09-09 2023-09-26 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment
JP7382991B2 (ja) 2021-08-02 2023-11-17 ベアー ロボティックス,インコーポレイテッド サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US11928200B2 (en) 2018-06-03 2024-03-12 Apple Inc. Implementation of biometric authentication
US12079458B2 (en) 2016-09-23 2024-09-03 Apple Inc. Image data for enhanced user interactions
JP7544893B2 (ja) 2018-03-14 2024-09-03 グーグル エルエルシー IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供
US12099586B2 (en) 2021-01-25 2024-09-24 Apple Inc. Implementation of biometric authentication
EP4383745A4 (en) * 2021-08-05 2024-11-27 Panasonic Intellectual Property Management Co., Ltd. PRESENTATION SYSTEM THAT RECEIVES NOTIFICATION TURN OFF
JP7614800B2 (ja) 2020-11-17 2025-01-16 シャープ株式会社 電気機器および電気機器システム
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
WO2025046819A1 (ja) * 2023-08-30 2025-03-06 パナソニックIpマネジメント株式会社 通知システム、通知機器、通知方法、及びプログラム
US12262111B2 (en) 2011-06-05 2025-03-25 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102731222B1 (ko) * 2016-05-03 2024-11-18 엘지전자 주식회사 전자 장치 및 그 제어 방법
EP3941084A1 (en) * 2017-07-14 2022-01-19 Daikin Industries, Ltd. Infrared output device and control system
JP2019052797A (ja) * 2017-09-15 2019-04-04 シャープ株式会社 ネットワークシステム、情報処理方法、およびサーバ
JP6976126B2 (ja) * 2017-10-03 2021-12-08 東芝ライフスタイル株式会社 家電システム
JP7034892B2 (ja) * 2018-11-22 2022-03-14 ダイキン工業株式会社 空気調和システム
JP6927237B2 (ja) * 2019-01-29 2021-08-25 ダイキン工業株式会社 空気調和システム
CN112331195B (zh) * 2019-08-05 2024-02-20 佛山市顺德区美的电热电器制造有限公司 语音交互方法、装置以及系统
CN115989477A (zh) * 2021-04-06 2023-04-18 松下知识产权经营株式会社 发话设备的发话测试方法、发话测试服务器、发话测试系统以及用于与发话测试服务器进行通信的终端的程序
CN118658477B (zh) * 2024-07-29 2025-01-21 广东技术师范大学 一种适用于智能家电的语音识别控制管理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162314A (ja) * 2012-02-03 2013-08-19 Sharp Corp 通知システム及び通知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162626A (ja) * 2001-11-22 2003-06-06 Sharp Corp 情報報知システム及び機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162314A (ja) * 2012-02-03 2013-08-19 Sharp Corp 通知システム及び通知方法

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US12262111B2 (en) 2011-06-05 2025-03-25 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11768575B2 (en) 2013-09-09 2023-09-26 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US12079458B2 (en) 2016-09-23 2024-09-03 Apple Inc. Image data for enhanced user interactions
US12011822B2 (en) 2016-11-10 2024-06-18 Warner Bros. Entertainment Inc. Social robot with environmental control feature
JP7351745B2 (ja) 2016-11-10 2023-09-27 ワーナー・ブラザース・エンターテイメント・インコーポレイテッド 環境制御機能を有する社会ロボット
JP2019536150A (ja) * 2016-11-10 2019-12-12 ワーナー・ブラザース・エンターテイメント・インコーポレイテッドWarner Bros. Entertainment Inc. 環境制御機能を有する社会ロボット
JP2018190413A (ja) * 2017-05-02 2018-11-29 ネイバー コーポレーションNAVER Corporation ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
US12141672B2 (en) 2017-05-16 2024-11-12 Google Llc Delayed responses by computational assistant
JP2022019715A (ja) * 2017-05-16 2022-01-27 グーグル エルエルシー 計算機アシスタントによる遅延応答
US11790207B2 (en) 2017-05-16 2023-10-17 Google Llc Delayed responses by computational assistant
JP7382993B2 (ja) 2017-05-16 2023-11-17 グーグル エルエルシー 計算機アシスタントによる遅延応答
US11765163B2 (en) 2017-09-09 2023-09-19 Apple Inc. Implementation of biometric authentication
WO2019069587A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 家電システム
JP2019082835A (ja) * 2017-10-30 2019-05-30 三菱電機株式会社 音声解析装置、音声解析システム、音声解析方法及びプログラム
JP2019101492A (ja) * 2017-11-28 2019-06-24 トヨタ自動車株式会社 コミュニケーション装置
JP2019103073A (ja) * 2017-12-06 2019-06-24 東芝ライフスタイル株式会社 電気機器および電気機器システム
US12100398B2 (en) 2018-03-14 2024-09-24 Google Llc Generating IoT-based notification(s) and provisioning of command(s) to cause automatic rendering of the IoT-based notification(s) by automated assistant client(s) of client device(s)
JP7544893B2 (ja) 2018-03-14 2024-09-03 グーグル エルエルシー IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供
JP2019168636A (ja) * 2018-03-26 2019-10-03 株式会社エヌ・ティ・ティ・データ 情報処理装置及びプログラム
JP2019175251A (ja) * 2018-03-29 2019-10-10 東京瓦斯株式会社 警報ロボット、プログラムおよびシステム
US12189748B2 (en) 2018-06-03 2025-01-07 Apple Inc. Implementation of biometric authentication
US11928200B2 (en) 2018-06-03 2024-03-12 Apple Inc. Implementation of biometric authentication
JP7170428B2 (ja) 2018-06-08 2022-11-14 三菱電機株式会社 電気機器、通信アダプタ、電気機器の設定方法、及び、プログラム
JP2019213141A (ja) * 2018-06-08 2019-12-12 三菱電機株式会社 電気機器、通信アダプタ、電気機器の設定方法、及び、プログラム
JP2020030571A (ja) * 2018-08-22 2020-02-27 株式会社ネイン 情報処理装置、コンピュータプログラムおよび情報処理方法
JP6463545B1 (ja) * 2018-08-22 2019-02-06 株式会社ネイン 情報処理装置、コンピュータプログラムおよび情報処理方法
US12124770B2 (en) 2018-09-28 2024-10-22 Apple Inc. Audio assisted enrollment
JP2021193572A (ja) * 2018-09-28 2021-12-23 アップル インコーポレイテッドApple Inc. 凝視情報を用いたデバイス制御
US11619991B2 (en) 2018-09-28 2023-04-04 Apple Inc. Device control using gaze information
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment
US12105874B2 (en) 2018-09-28 2024-10-01 Apple Inc. Device control using gaze information
JP7209782B2 (ja) 2018-09-28 2023-01-20 アップル インコーポレイテッド 凝視情報を用いたデバイス制御
CN112400189A (zh) * 2019-03-26 2021-02-23 松下知识产权经营株式会社 信息通知系统以及信息通知方法
WO2020195388A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
JP7426582B2 (ja) 2019-03-26 2024-02-02 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
JP7526941B2 (ja) 2019-03-26 2024-08-02 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
JPWO2020195387A1 (ja) * 2019-03-26 2020-10-01
JPWO2020195388A1 (ja) * 2019-03-26 2020-10-01
WO2020195821A1 (ja) * 2019-03-26 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム
WO2020195387A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
JP2020190790A (ja) * 2019-05-20 2020-11-26 三菱電機株式会社 通知システム
JP7253975B2 (ja) 2019-05-20 2023-04-07 三菱電機株式会社 通知システム
WO2021085126A1 (ja) * 2019-10-28 2021-05-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021071542A (ja) * 2019-10-29 2021-05-06 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP7422455B2 (ja) 2019-10-29 2024-01-26 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP7341426B2 (ja) 2019-11-27 2023-09-11 国立大学法人岩手大学 通知システム、通知システムにおける制御装置、及び通知システムにおける制御方法
JP2021086383A (ja) * 2019-11-27 2021-06-03 国立大学法人岩手大学 通知システム、通知システムにおける制御装置、及び通知システムにおける制御方法
JP2021092913A (ja) * 2019-12-09 2021-06-17 シャープ株式会社 報知制御装置、報知制御システム、報知制御方法、及び報知制御プログラム
JP7458765B2 (ja) 2019-12-12 2024-04-01 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
JP2021093669A (ja) * 2019-12-12 2021-06-17 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
CN113009837A (zh) * 2019-12-19 2021-06-22 东芝生活电器株式会社 通知系统
JP7366734B2 (ja) 2019-12-19 2023-10-23 東芝ライフスタイル株式会社 通知システム
CN113009837B (zh) * 2019-12-19 2024-06-04 东芝生活电器株式会社 通知系统
JP2021100146A (ja) * 2019-12-19 2021-07-01 東芝ライフスタイル株式会社 通知システム
WO2021131682A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7442330B2 (ja) 2020-02-05 2024-03-04 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム
CN113225474B (zh) * 2020-02-05 2025-01-21 佳能株式会社 语音输入设备、其控制方法及存储介质
JP2021124975A (ja) * 2020-02-05 2021-08-30 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム
CN113225474A (zh) * 2020-02-05 2021-08-06 佳能株式会社 语音输入设备、其控制方法及存储介质
WO2022079953A1 (ja) * 2020-10-16 2022-04-21 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
WO2022079952A1 (ja) * 2020-10-16 2022-04-21 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JPWO2022079952A1 (ja) * 2020-10-16 2022-04-21
JPWO2022079953A1 (ja) * 2020-10-16 2022-04-21
JP7249605B2 (ja) 2020-10-16 2023-03-31 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JP7249610B2 (ja) 2020-10-16 2023-03-31 パナソニックIpマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JP7614800B2 (ja) 2020-11-17 2025-01-16 シャープ株式会社 電気機器および電気機器システム
US12099586B2 (en) 2021-01-25 2024-09-24 Apple Inc. Implementation of biometric authentication
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
JP7382991B2 (ja) 2021-08-02 2023-11-17 ベアー ロボティックス,インコーポレイテッド サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
EP4383745A4 (en) * 2021-08-05 2024-11-27 Panasonic Intellectual Property Management Co., Ltd. PRESENTATION SYSTEM THAT RECEIVES NOTIFICATION TURN OFF
WO2025046819A1 (ja) * 2023-08-30 2025-03-06 パナソニックIpマネジメント株式会社 通知システム、通知機器、通知方法、及びプログラム

Also Published As

Publication number Publication date
WO2016052018A1 (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
WO2016052018A1 (ja) 家電管理システム、家電、リモコン装置、ロボット
CN108268235B (zh) 用于语音接口设备的对话感知主动通知
JP6475386B2 (ja) 機器の制御方法、機器、及びプログラム
CN106297781B (zh) 控制方法和控制器
JP6739907B2 (ja) 機器特定方法、機器特定装置及びプログラム
US10776070B2 (en) Information processing device, control method, and program
JP6448971B2 (ja) 対話装置
KR20140074549A (ko) 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
CN105284107A (zh) 用于提供交互式广告的设备、系统、方法和计算机可读介质
CN106357721B (zh) 定时方法及装置
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW202044058A (zh) 瀏覽建築物之占有者狀態及管理裝置之系統及方法
KR20230133864A (ko) 스피치 오디오 스트림 중단들을 처리하는 시스템들및 방법들
US10002611B1 (en) Asynchronous audio messaging
US20220122600A1 (en) Information processing device and information processing method
US11818820B2 (en) Adapting a lighting control interface based on an analysis of conversational input
WO2019017033A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5990311B2 (ja) サーバ、報知方法、プログラム、制御対象機器、及び報知システム
US20110216915A1 (en) Providing audible information to a speaker system via a mobile communication device
JP2020061046A (ja) 音声操作装置、音声操作方法、コンピュータプログラムおよび音声操作システム
JP5833066B2 (ja) サーバ、報知方法、報知システム、及びプログラム
JPWO2020202354A1 (ja) コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
WO2022215280A1 (ja) 発話機器の発話テスト方法、発話テストサーバ、発話テストシステム、および発話テストサーバと通信する端末で使用されるプログラム
US20230223019A1 (en) Information processing device, information processing method, and program
KR20240054021A (ko) 상황 별 거동 패턴을 제안 가능한 전자 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190326