JP5172049B2 - ロボット装置、ロボット制御方法、及びロボット制御プログラム - Google Patents
ロボット装置、ロボット制御方法、及びロボット制御プログラム Download PDFInfo
- Publication number
- JP5172049B2 JP5172049B2 JP2012539117A JP2012539117A JP5172049B2 JP 5172049 B2 JP5172049 B2 JP 5172049B2 JP 2012539117 A JP2012539117 A JP 2012539117A JP 2012539117 A JP2012539117 A JP 2012539117A JP 5172049 B2 JP5172049 B2 JP 5172049B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- content
- unit
- content output
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 claims description 51
- 238000011156 evaluation Methods 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 description 48
- 230000007704 transition Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 17
- 238000010191 image analysis Methods 0.000 description 15
- 241000282414 Homo sapiens Species 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 210000003108 foot joint Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
- A63H30/02—Electrical arrangements
- A63H30/04—Electrical arrangements using wireless transmission
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Toys (AREA)
Description
本願開示は、再生されたコンテンツに対して評価をするロボット装置、ロボット制御方法、及びロボット制御プログラムに関する。
近年、ペット型ロボットが各メーカーから販売されており、一般の家庭内で見かける機会も多くなってきている。その中でも、人からの呼びかけに対して反応することで、人とコミュニケーションを取りつつ、コンテンツなどの情報を提供するロボットが現れてきている。
ロボットが人とコミュニケーションを取りつつコンテンツを提供するものとして、ロボットの感情に適合するコンテンツを選択し、再生するものが提案されている(例えば、特許文献1参照)。前記特許文献1に記載されたコンテンツ再生システムでは、外部からの働きかけに応じて感情を変更して自律的に動作するロボット装置が、コンテンツ再生装置に感情情報を送信する。コンテンツ再生装置は、コンテンツに関する情報を記載したメタデータとロボット装置の感情情報とを比較し、ロボット装置の感情に適合するコンテンツを選択して再生することでロボット装置の感情を表現している。
また、テレビジョン放送に含まれる2次元バーコードや特定音階コマンドでなる特殊コードをロボットが認識することで、ロボットに特殊コードに応じた行動を行わせるロボットシステムも提案されている(例えば、特許文献2参照)。
しかしながら、前記特許文献1に開示の構成では、ロボット装置の感情に沿ったコンテンツを表示するのみであり、ロボットがコンテンツを独自に評価する仕組みはない。特許文献2に開示の構成は、放送された映像データに重畳された特殊コードに応じてロボットの発現行動が制御されるものであり、ロボットが放送番組などを独自に評価する仕組みはない。
本願開示の一実施形態に係るロボット装置は、コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出部と、基準データを基にして前記検出部で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断部と、前記判断部の評価に基づいて、ロボット装置の挙動又は状態を制御する制御部とを備える。
コンピュータを上記ロボット装置として機能させるためのプログラム及びそれを記録した非一時的な(non-transitory)記録媒体や、コンピュータが上記機能を実行する方法も、本発明に含まれる。
本発明の実施形態によれば、コンテンツに対するロボット固有の評価を可能にするロボット装置、方法、及びプログラムを提供することができる。
本発明の実施形態にかかるロボット装置では、判断部が、基準データを基に、コンテンツの評価を行い、その結果に基づいてロボット装置の挙動や状態が制御される。そのため、ロボット装置は、コンテンツに対するロボット固有の評価を行い、コンテンツに対するロボット装置固有の反応を示すことができる。
[実施形態1]
[ロボット及び表示装置の構成例]
図1は、実施の形態1におけるロボットを含むシステムの構成を示す機能ブロック図である。図1に示すシステムは、表示装置200及びロボット100を含む。表示装置200は、コンテンツ出力装置の一例であり、ロボット100は、ロボット装置の一例である。
[ロボット及び表示装置の構成例]
図1は、実施の形態1におけるロボットを含むシステムの構成を示す機能ブロック図である。図1に示すシステムは、表示装置200及びロボット100を含む。表示装置200は、コンテンツ出力装置の一例であり、ロボット100は、ロボット装置の一例である。
表示装置200は、例えば、テレビジョン装置、タブレット、PC、PDA、ゲーム機又は携帯電話等で構成することができ、コンテンツの画像及び音声を出力する機能を備える。具体例として、表示装置200は、再生手段203、制御部202、蓄積部204、及び通信部201を備える。再生手段203は、映像データ又は音声データ等のコンテンツを、映像及び音声として再生する。制御部202は、再生部210と設定部211を含む。再生部210は、再生手段203を制御して、蓄積部204に記録されたコンテンツの再生、停止、一時停止、再生位置、等を、例えば、外部からの指示に基づいて制御する。設定部211は、例えば、表示装置200へ動作を指示する外部装置に関する情報、再生の条件等を示す情報、及び表示装置200で再生可能なコンテンツに関する情報等を、蓄積部204に記録することで、表示装置200の動作条件を設定することができる。通信部201は、表示装置200の外部機器(例えば、コンテンツを提供するサーバ、表示装置200に動作指示を送るロボット100等)との通信を行うインタフェースとして機能する。
ロボット100は、通信部101、制御部102、カメラ103及びマイク104を含む検出部108、行動制御部105、並びに駆動部106を備える。通信部101は、主に、表示装置200等の外部機器との通信を行う。表示装置200の通信部201とロボット100の通信部101とを、有線又は無線によるネットワーク(公衆回線を含む)を介して接続し、データ又は信号の送受信を可能とする構成にすることができる。通信部201、101による通信は、例えば、Wifi(登録商標)、Bluetooth(登録商標)、又はZigbee(登録商標)等の技術を用いることができる。なお、通信部201、101による通信形態は特定のものに限定されない。
検出部108は、表示装置200で再生されるコンテンツの音声及び画像の少なくともいずれかを検出する。そのため、検出部108は、例えば、画像を検出する撮影手段の一例であるカメラ103及び音声を検出する集音手段の一例であるマイク104を備える。なお、検出部108の構成は、上記例に限られず、例えば、ロボット100の外部又は内部の状態を監視するその他のセンサを含むことができる。具体的には、ロボット100への外部からの接触や圧力を検出するタッチセンサ又は圧力センサ、熱センサ等の外部センサ、もしくは、ロボット100のバッテリ(図示せず)の残量を監視する内部センサ等を検出部108に含めることもできる。また、検出部108は、カメラ103及びマイク104のいずれかを備える構成であってもよい。
制御部102は、検出部108で検出された情報を用いて、外部又は内部の状況や、再生されたコンテンツを評価する判断部110と、ロボット100の動作を示す情報や通信のための情報を設定する設定部111を有している。判断部110は、基準データを基にして検出部108で検出された情報を評価することで、表示装置200が出力したコンテンツを評価する機能も備えることができる。基準データは、コンテンツ評価の基準となるデータである。判断部110は、表示装置200で再生されたコンテンツを視聴する処理をロボット100に実行させる視聴アプリケーションを用いて実現することができる。具体的には、判断部110は、カメラ103が撮影した画像中に含まれるコンテンツの画像を、記録部107に記録された基準データを基に解析することで、コンテンツの評価をすることができる。同様に、マイク104で集音されたコンテンツの音声を、基準データを基に解析することでコンテンツの評価をすることができる。この場合、判断部110による評価処理は、検出された画像又は音声に含まれるコンテンツの画像又は音声を抽出する処理及び、抽出したコンテンツの画像又は音声を基準データとマッチングする処理を含むことになる。
基準データは、例えば、検出部108で検出されたコンテンツの画像又は音声のパターンとマッチングするテンプレート(基準パターン)とすることができる。例えば、画像の場合は、各画素の特徴量を並べた特徴量ベクトルを示すデータをパターンとすることができる。音声の場合は、各フレームの特徴量のセットを示すデータをパターンとすることができる。また、動画が検出される場合、動画中の人の動きを骨格(四肢)の動き(変化)を表すデータをパターンとすることもできる。基準データは、例えば、ユーザによって予め登録されてもよいし、ロボット100が検出部108を介して得た情報を基に自動的に蓄積されてもよい。
また、ロボット100が、表示装置200に記録されたデータ、または表示装置200に記録された情報により示された場所に記録されたデータを基準データとして取得してもよい。これにより、表示装置200に関連する情報をロボット100が収集して、ロボット100によるコンテンツ評価基準に用いることができる。その結果、ロボット100の評価基準(例えば、好み)を、表示装置200に影響を受けたものにすることができる。
さらに、ロボット100は、判断部110によるコンテンツ評価に基づいて、基準データを更新することもできる。これにより、ロボット100が、自発的に、自らの評価基準(例えば、好み)を変遷させることができる。
このように、ロボット100が、コンテンツ評価の基準となる情報を、ユーザ入力等の外部からの指示によらず、自動的に、取得、蓄積又は更新する機能を備えることで、ロボット100独自のコンテンツ評価が可能になる。
判断部110によるコンテンツの評価は、例えば、コンテンツに対するロボットの好感度、嫌悪度、退屈度等の度合いを示す値(スコア)を算出する処理であってもよいし、コンテンツに所定の情報が含まれているか否かを判定する処理であってもよい。例えば、判断部110は、基準データのパターンと、コンテンツのパターンとのマッチングの度合いに基づいて、上記スコアを算出するか、あるいは上記判定を実行することができる。なお、基準データの内容及び判断部110の処理は上記例に限られない。
制御部102は、判断部110の評価に基づいて、ロボット100の挙動又は状態を制御する。例えば、制御部102は、行動制御部105を介して、駆動部106の動作を制御することで、ロボット100の動きを制御することができる。
駆動部106は、例えば、ロボット100の可動部を動かすアクチュエータ(モータ)等とすることができる。なお、駆動部106のアクチュエータとして人工筋肉を用いることもできる。また、ロボット100は、可動部に変えて、又は可動部に加えて発光部や発音部などを備えてもよい。
行動制御部105は、ロボット100の各種動作の発現条件、発現確率、及び発現可否を示す情報をパラメータとして記録しておき、パラメータに従って駆動部106に制御信号を出力することができる。この場合、制御部102は、判断部110の評価に応じて前記パラメータを更新することで、ロボット100の動作を制御することができる。
設定部111は、表示装置200と通信するための設定情報を取得し、記録部107に記録する。例えば、設定部111は、表示装置200から出力された音声、光及び画像の少なくともいずれかを解析することにより表示装置200と通信するための設定情報を取得し、記録部107に記録することができる。例えば、設定情報として表示装置200のアドレス情報を含む2次元コードが表示された表示装置200の画面を、ロボット100のカメラ103が撮影し、設定部111が解析することで、表示装置200のアドレス情報を取得することができる。設定部111は、アドレス情報を用いて表示装置200へアクセス許可要求(例えば、ペアリング要求)を発信し、表示装置200から許可を得ることで、両者の通信が可能になる。
2次元コードで表される設定情報には、表示装置200へのアクセス情報に加えてアクセス許可を得るための認証情報が含まれてもよい。認証情報には、例えば、ランダム値(数値或いは文字列)が含まれてもよい。この場合、ロボット100は、ペアリング要求とともに設定情報から読み取ったランダム値を表示装置200へ発信する。表示装置200は、ロボット100又は他の機器からペアリング要求を受けた場合、ペアリング要求とともに受信したランダム値が、表示中の2次元コードに含まれるランダム値と一致した場合にのみ、その機器からのアクセスを許可することができる。これにより、表示装置200は、表示内容に応じて外部からのアクセス許可を制御することができる。また、セキュリティレベルを向上させることもできる。
なお、表示装置200及びロボット100間の設定情報を交換する構成は上記例に限られない。例えば、2次元コードの変わりに、バーコード、コンポジットコードを用いてもよい。また、設定情報は、表示装置200の出力画像に限らず、出力音声から取得してもよいし、ユーザからの入力受け付け、又はインターネット等のネットワークを介するダウンロードにより取得することもできる。表示装置200の出力音声をロボット100が検出し、設定部111が解析することで設定情報を取得する場合、音声の周波数は、可聴領域であってもよいし、非可聴領域であってもよい。可聴領域の音声を用いた場合、表示装置200とロボット100との間で情報のやり取りが行われていることを、周りの人にわからせることができる。非可聴領域の音声を用いた場合は、周りの人に気づかれずに情報のやり取りが可能になる。或いは、設定部111は、ロボット100が検出した表示装置200から出力された赤外線により、設定情報を受け取ることもできる。赤外線を用いた場合は、回りの人に気づかれずに設定情報のやり取りができる。
上記の制御部102、行動制御部105、通信部101及び記録部107の機能は、ロボット100に内蔵されるコンピュータが所定のプログラムを実行することで実現することができる。コンピュータに、上記機能を実行させるプログラム及びそれを記録した記録媒体も本発明の実施形態に含まれる。
[動作例]
ここで、ロボット100の動作例を以下に列挙する。各動作の詳細については、後の実施形態でも説明する。
ここで、ロボット100の動作例を以下に列挙する。各動作の詳細については、後の実施形態でも説明する。
《表示装置の自動探索》
ロボット100は、検出部108により周辺の画像を取得し、取得した画像中に含まれる表示装置200の筐体形状あるいは画面境界の矩形を検出することにより、表示装置200の表示画面を検出することができる。検出時に基準として用いる筐体や画面の形状データは、予めロボット100に記録されていてもよいし、ユーザが登録可能な形態であってもよい。ロボット100は、表示画面を検出すると、表示画面の内側の画像を取得し解析することで、表示画面に再生されたコンテンツの画像を解析することができる。これにより、ロボット100は、カメラ103が撮影した画像中のコンテンツ画像に相当する部分を認識することができる。このようにして、ロボット100が、自動的に表示装置200を見つけ、コンテンツを視聴することができる。また、ロボット100は、アイドル状態が所定時間継続した場合に、検出動作を開始するよう構成されていてもよい。これにより、ロボット100が、外部からの命令ではなく、自らの判断で表示装置200と通信し、コンテンツを視聴することができる。
ロボット100は、検出部108により周辺の画像を取得し、取得した画像中に含まれる表示装置200の筐体形状あるいは画面境界の矩形を検出することにより、表示装置200の表示画面を検出することができる。検出時に基準として用いる筐体や画面の形状データは、予めロボット100に記録されていてもよいし、ユーザが登録可能な形態であってもよい。ロボット100は、表示画面を検出すると、表示画面の内側の画像を取得し解析することで、表示画面に再生されたコンテンツの画像を解析することができる。これにより、ロボット100は、カメラ103が撮影した画像中のコンテンツ画像に相当する部分を認識することができる。このようにして、ロボット100が、自動的に表示装置200を見つけ、コンテンツを視聴することができる。また、ロボット100は、アイドル状態が所定時間継続した場合に、検出動作を開始するよう構成されていてもよい。これにより、ロボット100が、外部からの命令ではなく、自らの判断で表示装置200と通信し、コンテンツを視聴することができる。
《ロボットのコンテンツに対する好感度の決定処理》
判断部110は、検出部108で検出されたコンテンツの画像の中に、基準データに含まれる人物パターン及び人物の動作パターンの少なくとも1つを認識した場合に、そのコンテンツに対するロボット100の好感度を示す値を増加又は減少させることができる。このように、基準データのパターンとコンテンツの画像のパターンとを比較することで、好感度を算出することができる。ロボット100独自の好みでコンテンツを評価することが可能になる。
判断部110は、検出部108で検出されたコンテンツの画像の中に、基準データに含まれる人物パターン及び人物の動作パターンの少なくとも1つを認識した場合に、そのコンテンツに対するロボット100の好感度を示す値を増加又は減少させることができる。このように、基準データのパターンとコンテンツの画像のパターンとを比較することで、好感度を算出することができる。ロボット100独自の好みでコンテンツを評価することが可能になる。
また、ロボット100は、検出部108が取得した画像中に認識された人物パターン及び人物の動作パターンの少なくとも1つを、基準データとして蓄積することができる。例えば、ある人物パターンが一定頻度を越えて検出された場合、その人物パターンを基準データに含めることができる。これにより、ロボット100の基準データを、ロボット100の環境に応じて更新することができる。すなわち、ロボット100の好みを環境に応じて自動的に更新することができる。
なお、基準データは、上記例に限られない。例えば、テキストデータを基準データとし、カメラ103の画像又はマイク104の音声の認識結果中に、テキストデータに対応する情報が含まれているか否かを、ロボット100の好感度計算に用いてもよい。
《判断部110の評価に基づく動作の例》
判断部110は、検出部108で検出された画像の中から人物の動作パターンを検出し、制御部102は、当該動作に応じた動きをロボット100にさせることができる。例えば、判断部110は、カメラ103が撮影したコンテンツ動画の再生画像中に、人らしい形状を認識する処理を実行して人を検出した上で、人の四肢(骨格)を検出することができる。さらに四肢の動きも検出することができる。制御部102は、検出した四肢の動きにあわせてロボット100を動作させることができる。例えば、ロボット100が、本体及び本体に可動な接続点で接続された四肢を備える構成である場合、検出した四肢の動きと同じように、ロボット100の四肢を動かすことができる。これにより、ロボット100が、コンテンツ動画の人の動きを真似ることができる。
判断部110は、検出部108で検出された画像の中から人物の動作パターンを検出し、制御部102は、当該動作に応じた動きをロボット100にさせることができる。例えば、判断部110は、カメラ103が撮影したコンテンツ動画の再生画像中に、人らしい形状を認識する処理を実行して人を検出した上で、人の四肢(骨格)を検出することができる。さらに四肢の動きも検出することができる。制御部102は、検出した四肢の動きにあわせてロボット100を動作させることができる。例えば、ロボット100が、本体及び本体に可動な接続点で接続された四肢を備える構成である場合、検出した四肢の動きと同じように、ロボット100の四肢を動かすことができる。これにより、ロボット100が、コンテンツ動画の人の動きを真似ることができる。
判断部110は、コンテンツに対するロボット100の好感度を示す値を算出し、ロボット100は、好感度を示す値を用いて、表示装置200が再生中のコンテンツ又は次に出力するコンテンツを制御することができる。
例えば、判断部110が、コンテンツの好み度合いを表す値を算出し、好み度合いが閾値を下回ると制御部102は、再生するコンテンツを切り替える命令を、通信部101を介して表示装置200へ送信することができる。また、判断部110の計算した好み度合いが閾値を越えると、ロボット100に喜ぶ素振りを見せるよう動作させてもよい。
また、判断部110が、表示装置200によるコンテンツ再生が、途中で中断したと判定した場合、制御部102が、ロボット100に、所定の動作、例えば、怒る素振りを見せる動作、をさせることができる。
また、判断部110は、表示装置200が再生中のコンテンツの音声及び画像の少なくともいずれかにおける変化の単調度合いを示す値を算出し、前記単調度合いが閾値を超えた場合、制御部102は、ロボット100に所定の動作、例えば、居眠りする動作、をさせることができる。
あるいは、ロボット100は、好感度を示す値が閾値を越えるコンテンツを、グループ化し、制御部102は、グループ化されたコンテンツの少なくとも1つを示す情報をユーザに対して出力あるいは、ネットワークを介して他のコンピュータへアップロードすることもできる。
[変形例及び効果]
以上、ロボットの構成例及び動作例を説明したが、ロボットの構成は上記例に限られない。例えば、ロボット100は、表示装置200と通信し、制御する機能を省略してもよい。すなわち、表示装置200の再生するコンテンツを視聴し、評価するが、表示装置200の制御はしない構成であってもよい。
以上、ロボットの構成例及び動作例を説明したが、ロボットの構成は上記例に限られない。例えば、ロボット100は、表示装置200と通信し、制御する機能を省略してもよい。すなわち、表示装置200の再生するコンテンツを視聴し、評価するが、表示装置200の制御はしない構成であってもよい。
上記構成では、表示装置200とロボット100が連携し、ロボット100が自律的に表示装置200を操作し、コンテンツを楽しむ様子を演出することができる。また、従来、写真や動画は人間が見て楽しむものであったが、上記構成においては、ロボット100が再生されるコンテンツを見て喜ぶなどの反応を行う。ユーザの音声や表情などを捉えて、ユーザと共にコンテンツを楽しむ様子を演出することもできる。そのため、ロボットがコンテンツを視聴して反応する様子を見た人間も楽しい気持ちになることができる。例えば、一人暮らしのユーザに、一緒にコンテンツを楽しむ相手を提供することで、癒しの効果を期待できる。これは、ロボットを介したコミュニケーションの一つの新しい形態となりえる。
[ロボットの使用状態例]
図2は、ロボット100が表示装置200とともに使用される状態の一例を示す図である。図2に示す例では、ロボット100は、無線LANアクセスポイント400、表示装置200(タブレット)とともに用いられる。ロボット100の通信部101と表示装置200の通信部201とは、無線LANアクセスポイント400を介して通信が可能となっている。無線LANアクセスポイント400は、LANネットワーク601を介してインターネット等の広域ネットワーク602に接続されていてもよい。無線LANアクセスポイント400は、表示装置及びロボットの無線中継装置の一例であり、中継方式は、特定のもの限定されない。
図2は、ロボット100が表示装置200とともに使用される状態の一例を示す図である。図2に示す例では、ロボット100は、無線LANアクセスポイント400、表示装置200(タブレット)とともに用いられる。ロボット100の通信部101と表示装置200の通信部201とは、無線LANアクセスポイント400を介して通信が可能となっている。無線LANアクセスポイント400は、LANネットワーク601を介してインターネット等の広域ネットワーク602に接続されていてもよい。無線LANアクセスポイント400は、表示装置及びロボットの無線中継装置の一例であり、中継方式は、特定のもの限定されない。
図2に示すロボット100は、本体11と、本体に連結された腕部13a、13b、及び足部14a、14bを備える。腕部13a、13b、及び足部14a、14bは、本体11への連結部分を支点として可動となるよう取り付けられている。また、本体11には、マイク104が内蔵される耳部12a、12b、カメラ103が内蔵される目部15a、15b、口部16が設けられている。腕部13a、13b、及び足部14a、14bには、これらを動かすためのアクチュエータ106が配置され、目部15a、15b、及び口部16には、これらの形状を変化させるためのアクチュエータ106が配置される。
図3Aは、ロボット100が喜ぶ素振りを見せている状態の一例を示す図である。図3Aに示す例では、ロボット100は、2つの腕部13a、13bを上下に振り、口部16を開くよう動作することで喜ぶ素振りを見せている。図3Bは、ロボット100が怒る素振りを見せている状態の一例を示す図である。図3Bに示す例では、ロボット100は、足部14a、14bを傾斜させて本体11の位置を上昇させた状態で、目部15a、15b、及び口部16の形状を変化させることで、怒る素振りを見せている。図3Cは、ロボット100が居眠りしている状態の一例を示す図である。図3Cに示す例では、ロボット100は、本体11を傾かせた状態で、目部15a、15b、及び口部16の形状を変化させている。
図4は、表示装置200が表示する画像の人物のポーズに合わせて、ロボット100がポーズをとっている状態の一例を示す図である。ロボット100の判断部110は、画像中の人物が右手右足を上げているポーズを認識し、制御部102は、これに対応するポーズ、すなわち、左手左足を上げているポーズを、ロボット100がとるよう、腕部13a、13b、及び足部14a、14bの動きを制御している。
なお、図4に示す例では、人の腕と足の関節の数とロボット100の腕部と足部の関節の数は異なっている。また、人は足が垂直に延びた状態で安定して立つの対して、ロボット100は、足部14a、14bが水平になった状態で安定して配置される。このように、人とロボットでは、構造や動作が異なっていてもよい。ロボット100は、例えば、人の四肢の動きとロボット100の腕部及び足部の動きとの対応関係を示すデータを予め記録しておき、このデータを用いて、認識した人の四肢の動きをロボット100の動きに変換することができる。
図5は、ロボット100及び表示装置200の使用時における配置例を示す図である。図5に示す例では、ロボット100及び表示装置200は、テーブル上に並べて置かれ、ロボット100の目部15a、15bが表示装置200の表示画面200aを向くように配置されている。表示装置200は、アダプタ500に設置され、表示画面200aが水平面に対して角度を持って固定される。アダプタ500は充電機能を備えてもよい。図5に示す配置により、目部15a、15bに内蔵されたカメラ103で表示画面200aを撮影することができる。例えば、ロボット100の足部14a、14bを固定し、本体11が、垂直方向を軸に回転するように構成されてもよい。これにより、ロボット100は、本体11を回転させて周囲の360°を撮影でき、表示装置200の表示画面200aがどの方向にあっても検出することができる。
以上の実施形態は一例であり、ロボット100の構成例、動作例、使用例、外部形状例は、上記例に限定されない。
[実施形態2]
実施形態2は、ロボットの状態遷移の具体例である。本実施形態のロボット及び表示装置の構成は、上記実施形態1と同様にすることができる。
実施形態2は、ロボットの状態遷移の具体例である。本実施形態のロボット及び表示装置の構成は、上記実施形態1と同様にすることができる。
図1に示す構成において、判断部110は、検出部108からの信号に基づいて、「ユーザ操作を検出した」「インタ−ホンがなった」「コンテンツを検出した」「良いコンテンツだ」「バッテリ残量が少なくなった」等の特定の外部状態及び内部状態を認識情報として検出する。判断部110は、検出した認識情報と、予め記録された状態遷移情報とに基づいてロボットの行動を決定することができる。状態遷移情報は、ロボットの動作を状態ごとに管理するためのデータである。ロボットがある所定の条件を満たすと、ある状態から他の状態へ遷移することを状態遷移情報により定義することができる。
図6は、本実施形態における状態遷移情報の内容の一例を示す図である。図6に示す例では、状態遷移情報は、ロボットの状態を示すノードN1〜N11と、ノード間の状態遷移の経路を示す経路K1〜K12を含んでいる。具体例として、遷移先及び遷移元、遷移するための条件、遷移確率を示すデータを経路K1〜K12それぞれについて記録した状態遷移表が、状態遷移情報として、記録部107に記録される。
判断部110は、検出部108からの信号により認識情報が得られた時、記録部107に記録された状態遷移表を参照して、次の行動を示す行動情報を確率的に決定し、行動制御部105へ通知する。行動制御部105は、行動情報を受けると、行動情報に基づく駆動信号をアクチュエータ106に対して送出し、ロボット100を動作させる。行動制御部105による制御は、アクチュエータ106の制御に限られず、例えば、ロボット100が予め記録していた音声データを再生する等、その他のロボットの動作を制御することができる。
<ロボットが表示装置を探索する場合の状態遷移例>
図6に示す例では、ロボット100が、自律的に、表示装置200を制御することが可能になっている。ここでは、一例として、表示装置200がタブレットである場合について説明する。例えば、ロボット100は、アイドル状態(待機の状態)のときは、所定間隔でイベントの監視、あるいは外部からの割り込み待ちをしている。アイドル状態が所定時間続くと、ロボット100の判断部110は、暇だと認識する。ここで、経路K1の遷移、すなわち、アイドル状態(ノードN1)からタブレット探索(ノードN2)への遷移の条件が、「暇だと認識すること」である場合、定義された経路K1の遷移確率で、ロボット100の状態は、タブレット探索(ノードN2)へ遷移する(探索処理の詳細は後述)。
図6に示す例では、ロボット100が、自律的に、表示装置200を制御することが可能になっている。ここでは、一例として、表示装置200がタブレットである場合について説明する。例えば、ロボット100は、アイドル状態(待機の状態)のときは、所定間隔でイベントの監視、あるいは外部からの割り込み待ちをしている。アイドル状態が所定時間続くと、ロボット100の判断部110は、暇だと認識する。ここで、経路K1の遷移、すなわち、アイドル状態(ノードN1)からタブレット探索(ノードN2)への遷移の条件が、「暇だと認識すること」である場合、定義された経路K1の遷移確率で、ロボット100の状態は、タブレット探索(ノードN2)へ遷移する(探索処理の詳細は後述)。
ノードN2のタブレット探索において、タブレットが見つかった場合、制御部102は、通信部101を介して、タブレットを操作し、タブレットにコンテンツを再生させる。その際、タブレットから受信したコンテンツリストに含まれるコンテンツのうち、未再生のコンテンツを優先して再生するよう制御することができる(コンテンツリストの具体例は後述)。コンテンツが再生され、判断部110が、カメラ103からの情報を基に「コンテンツを検出した」と判断すると、ロボット110は、視聴状態(ノードN4)に遷移する。このように状態遷移表を定義することで、ロボット100は、ロボット100が、タブレットに保存してあるコンテンツを、外部からの命令でなく自らの意思で再生し、ロボット100の好みに応じて反応することができる。
《表示装置探索時の動作例》
表示装置200の探索処理は、例えば、制御部102が、ロボット100の本体の向きやカメラ103を制御し、カメラ103で得られる信号を解析することにより、実行することができる。具体例として、制御部102は、1)カメラをパン・チルトする、2)カメラのズーム比を切り替える、及び、3)ロボット本体を、垂直方向を軸に回転させる動作のうち少なくとも1つの動作を行いながら、カメラ103で撮影する。判断部110は、撮影で得られる画像の認識処理により、表示装置200の外枠または表示画面の四角形を検出する。判断部110が表示装置200の外枠を検出すると、制御部102は、カメラ102の位置・姿勢を調整する。これにより、表示装置200の表示画面をカメラ103で撮影し、表示装置200で再生されるコンテンツの映像を取得することが可能になる。
表示装置200の探索処理は、例えば、制御部102が、ロボット100の本体の向きやカメラ103を制御し、カメラ103で得られる信号を解析することにより、実行することができる。具体例として、制御部102は、1)カメラをパン・チルトする、2)カメラのズーム比を切り替える、及び、3)ロボット本体を、垂直方向を軸に回転させる動作のうち少なくとも1つの動作を行いながら、カメラ103で撮影する。判断部110は、撮影で得られる画像の認識処理により、表示装置200の外枠または表示画面の四角形を検出する。判断部110が表示装置200の外枠を検出すると、制御部102は、カメラ102の位置・姿勢を調整する。これにより、表示装置200の表示画面をカメラ103で撮影し、表示装置200で再生されるコンテンツの映像を取得することが可能になる。
なお、探索処理は、上記例に限られない。例えば、上記のカメラ102動作に換えて、あるいは、加えて、マイク104の受音信号により、表示装置200の方向を特定する処理を実行することができる。例えば、マイク104にマイクアレイを用いることで、判断部110は、マイク104の受音信号を基に音源の方向を推測することが可能である。制御部102は、推測された音源の方向にカメラ103が向くよう、ロボット100を制御し、判断部110は、その方向を撮影した画像から表示装置200の外枠の四角形を検出することができる。また、判断部110は、表示装置200を音源とする所定の周波数の音を検出することにより、表示装置200の位置を推測することができる。この周波数は、人の可聴域外であることが好ましい。
《コンテンツリストの具体例》
ノードN3のタブレット操作において、ロボット100は、タブレットを操作し、タブレットから再生可能なコンテンツを示すコンテンツリスト(コンテンツ一覧)を取得する。ロボット100は、例えば、通信部101を介してタブレットへコンテンツリスト要求を送信し、タブレットはこの要求に応じて、コンテンツリストを、通信部201を介して、ロボット100へ送信する。
ノードN3のタブレット操作において、ロボット100は、タブレットを操作し、タブレットから再生可能なコンテンツを示すコンテンツリスト(コンテンツ一覧)を取得する。ロボット100は、例えば、通信部101を介してタブレットへコンテンツリスト要求を送信し、タブレットはこの要求に応じて、コンテンツリストを、通信部201を介して、ロボット100へ送信する。
タブレットのような表示装置200は、蓄積部204に、写真、動画などのコンテンツを記録している。表示装置200の再生部210は、蓄積部204のコンテンツを管理するためのコンテンツリストを記録している。なお、コンテンツリストは、蓄積部204に保存されてもよい。図7は、コンテンツリストの一例を示す図である。図7に示すように、コンテンツリストは、ファイル名、日時、及びコンテンツ識別のために割り振られたコンテンツIDを備えている。また、未視聴フラグを含むことができる。未視聴フラグは、コンテンツが一回でも再生されたか否かを示す情報である。
なお、ロボット100が取得するコンテンツの情報は、上記のコンテンツリストに限定されない。例えば、表示装置200がテレビであれば、ロボット100は、EPGを取得してもよい。
<視聴状態からの状態遷移例>
図6に示す例では、視聴状態(ノードN4)において、ロボット100は、タブレットで再生されるコンテンツの映像及び音声を検出部108で検出し、判断部110にて、検出部108が得た情報を基に、コンテンツの評価を実行する。コンテンツの評価の例は、例えば、ロボットのコンテンツに対する好感度又は嫌悪度を示す値の算出、コンテンツの単調度合い、又は、変化度合いを示す値の算出、等が挙げられる。また、コンテンツに所定の内容が含まれているか否かの判定、コンテンツ再生が途中で中断されたか否かの判定、コンテンツの再生が終了したか否か、コンテンツ再生する表示装置の画面がカメラ103の視界からずれているか否か等も、コンテンツ評価の例として挙げられる。このように判断部110でされるコンテンツ評価には、コンテンツに関する判定が含まれる。
図6に示す例では、視聴状態(ノードN4)において、ロボット100は、タブレットで再生されるコンテンツの映像及び音声を検出部108で検出し、判断部110にて、検出部108が得た情報を基に、コンテンツの評価を実行する。コンテンツの評価の例は、例えば、ロボットのコンテンツに対する好感度又は嫌悪度を示す値の算出、コンテンツの単調度合い、又は、変化度合いを示す値の算出、等が挙げられる。また、コンテンツに所定の内容が含まれているか否かの判定、コンテンツ再生が途中で中断されたか否かの判定、コンテンツの再生が終了したか否か、コンテンツ再生する表示装置の画面がカメラ103の視界からずれているか否か等も、コンテンツ評価の例として挙げられる。このように判断部110でされるコンテンツ評価には、コンテンツに関する判定が含まれる。
ノードN4からの遷移先は、このような、判断部110によるコンテンツの評価の結果によって決めることができる。経路K3〜K9については、例えば、下記表のような内容の遷移条件を、状態遷移表に設定することができる。
上記表1に示す状態遷移表例では、経路K4、すなわち、視聴状態(ノードN4)から喜び状態(ノードN5)への遷移の条件は「好感度が閾値を越えた、又は、コンテンツ画像中に所定の人物を検出」であることを示すデータが記録される。これにより、ロボット100は、好みに合うコンテンツを視聴した場合に、又は、コンテンツ画像中に所定の人物(例えば、ユーザ及びその家族等)を発見した場合に、確率P3で、喜びの素振りをするよう動作することができる。
上記状態遷移表例に基づけば、経路K9では、視聴状態において、連続でN個(Nは自然数)のコンテンツが終了したことを、判断部110が判定すると、制御部102は、確率P9で、ロボット100をアイドル状態(ノードN1)に戻す。
経路K3では、視聴状態において、判断部110が算出する好感度の値が下方の閾値Dを下回った場合、制御部102は、確率P3で、ロボット100の状態をタブレット操作(ノードN3)へ遷移させ、タブレットに異なるコンテンツを再生させる。経路K5では、視聴状態において、単調な画像が続いたことを判断部110が認識すると、制御部102は、確率P5で、ロボット100が居眠り動作をするよう制御する。経路K6では、視聴状態において、コンテンツ再生が途中で中断したと判断部110が認識すると、制御部102が、確率P6で、ロボット100が怒りの素振りを見せる動作をするよう制御する。経路K7では、視聴状態において、判断部110が、コンテンツの画像中に、所定ポーズの人物を認識した場合、制御部102が、確率P7で、このポーズに対応するポーズをロボット100がとるよう制御する。
なお、ノードN5〜N8それぞれからノードN4の視聴状態へ遷移する条件は、例えば、一定時間経過とすることができる。又は、居眠り状態(ノードN6)から視聴状態(ノードN4)への条件は、判断部110が、コンテンツ動画が単調でないと判断したこと、とすることもできる。また、上記の判断部110の判断処理の詳細については後述する。
上記のノードN2〜N8の各状態における処理は、視聴アプリの処理として実行することができる。この場合、ロボット100が、ノードN2〜N8の各状態のいずれかにあるときは、視聴アプリが起動されていることになる。
<その他の状態遷移例>
《設定》
ロボット100がアイドル状態(ノードN1)のときに、ユーザ操作により表示装置200の設定が指示された場合、ロボット100は、設定状態(ノードN11)に遷移し、設定処理が終了すると、アイドル状態に戻る(経路K13)。制御部102は、例えば、設定アプリを起動することで、ロボット100を設定状態に遷移させ、設定処理を実行させることができる。設定処理の具体例については実施形態3で述べる。
《設定》
ロボット100がアイドル状態(ノードN1)のときに、ユーザ操作により表示装置200の設定が指示された場合、ロボット100は、設定状態(ノードN11)に遷移し、設定処理が終了すると、アイドル状態に戻る(経路K13)。制御部102は、例えば、設定アプリを起動することで、ロボット100を設定状態に遷移させ、設定処理を実行させることができる。設定処理の具体例については実施形態3で述べる。
《割り込み、お知らせ》
アイドル状態(ノードN1)において、ロボット100の判断部110が、検出部108で得られた情報を基に、割り込みを検出した場合、ロボット100は、割り込み状態(ノードN10)に遷移する(経路K12)。割り込みの検出は、例えば、インターホンがなったことの検出、テレビ電話を着信したことを検出、ユーザ操作(音声、画像を含む)の検出等の外部入力コマンドの検出であってもよい。また、バッテリ低下等の内部状態の検出であってもよい。割り込み状態(ノードN10)からお知らせ状態への遷移は、例えば、割り込み状態の種類に応じて判断部110が判断することができる。例えば、割り込みが上記のインターホン、テレビ電話着信、バッテリ低下など、ユーザに対して知らせるべき割り込みとして予め決められていたものであれば、制御部102は、それらをユーザに知らせるべく、ロボット100に、例えば、音声を出力させることができる。
アイドル状態(ノードN1)において、ロボット100の判断部110が、検出部108で得られた情報を基に、割り込みを検出した場合、ロボット100は、割り込み状態(ノードN10)に遷移する(経路K12)。割り込みの検出は、例えば、インターホンがなったことの検出、テレビ電話を着信したことを検出、ユーザ操作(音声、画像を含む)の検出等の外部入力コマンドの検出であってもよい。また、バッテリ低下等の内部状態の検出であってもよい。割り込み状態(ノードN10)からお知らせ状態への遷移は、例えば、割り込み状態の種類に応じて判断部110が判断することができる。例えば、割り込みが上記のインターホン、テレビ電話着信、バッテリ低下など、ユーザに対して知らせるべき割り込みとして予め決められていたものであれば、制御部102は、それらをユーザに知らせるべく、ロボット100に、例えば、音声を出力させることができる。
以上、状態遷移の詳細の実施形態について説明したが、上記状態遷移は上記例に限定されない。
[実施形態3]
実施形態3は、表示装置200とロボット100との通信を可能にするための設定機能の具体的な実施形態である。図8は、実施形態3における判断部110のより詳細な構成の一例を示す機能ブロック図である。判断部110の外側の構成については、上記実施形態1及び2の少なくともいずれかと同様とすることができる。
実施形態3は、表示装置200とロボット100との通信を可能にするための設定機能の具体的な実施形態である。図8は、実施形態3における判断部110のより詳細な構成の一例を示す機能ブロック図である。判断部110の外側の構成については、上記実施形態1及び2の少なくともいずれかと同様とすることができる。
図8に示す判断部110は、ペアリング部301、コンテンツ情報取得部302、外部機器制御部303、画像解析部304、音声解析部305、行動判断部306及び分類部307を有する。
ペアリング部301は、ロボット100が表示装置200と通信するために必要な設定情報を取得し、記録する。ペアリング部301は、上記実施形態1における設定部111の機能に相当する。実施形態1では、設定部111と判断部101がそれぞれ別の機能ブロックとして設けられていたが、本実施形態では、設定部111に相当する機能を持つペアリング部301は、判断部101の一機能となっている。
ペアリング部301は、ロボット100と表示装置200との通信に必要な情報を、交換しあいそれぞれ記録することで、両者間の通信を可能にする。
コンテンツ情報取得部302は、表示装置200が、ロボット100からの指示に応じて再生することができるコンテンツを示す情報を取得する。例えば、コンテンツ情報取得部302は、表示装置200にコンテンツリストを要求し、要求への応答として、コンテンツリストを受け取ることができる。
画像解析部304は、カメラ103が撮影した画像を解析して、行動判断部306へ解析結果を通知する。音声解析部305は、マイク104が受音した音声を解析して、行動判断部306へ解析結果を通知する。行動判断部306は、画像解析結果及び音声解析結果を受け取り、これらを基に、ロボット100の行動を決定し、行動制御部105へ行動情報を伝える。この構成によれば、画像解析部304及び音声解析部305で、ロボット100の外部状態を検出し、外部状態に基づいて、行動判断部306が行動情報を生成することができる。
ここで、外部状態の1つに、表示装置200の再生するコンテンツに関する情報が含まれていてもよい。すなわち、画像解析部304及び音声解析部305が、コンテンツに関する情報を検出して、行動判断部306が、その情報を基に、コンテンツを評価する。コンテンツに関する情報の例として、例えば、検出された画像又は音声が再生されたコンテンツであるか否かを示す情報、コンテンツに含まれる人物や特定のもの又は特定の言葉等の認識対象(又は抽出対象)となるオブジェクトや、認識されたオブジェクトのポーズ、動き、配置、特徴量等状態を表す情報等が挙げられる。
コンテンツの評価は、上記実施形態1及び2と同様に、ロボット100の基準データに基づいて実行することができる。なお、例えば、画像解析部304又は音声解析部305において、コンテンツに含まれる人物等のオブジェクトの抽出を、基準データを用いて行ってよい。すなわち、基準データを基にコンテンツ中からオブジェクトを抽出し、オブジェクトを基にコンテンツを評価することでも、ロボット100独自のコンテンツ評価が可能になる。
外部機器制御部303は、通信部101を介して、表示装置200によるコンテンツの出力を制御する。外部機器制御部303は、例えば、行動判断部306で決定された行動に基づいて、外部機器を制御する。
分類部307は、行動判断部306でのコンテンツの評価に基づいて、コンテンツを分類し、分類結果を出力する。
[ペアリングの動作例]
図9は、ペアリングの過程において、表示装置200で表示される画面の一例である。図10は、表示装置200及びロボット100におけるペアリング処理の一例を示すフローチャートである。ここでは、一例として、表示装置200がタブレットである場合について説明する。
図9は、ペアリングの過程において、表示装置200で表示される画面の一例である。図10は、表示装置200及びロボット100におけるペアリング処理の一例を示すフローチャートである。ここでは、一例として、表示装置200がタブレットである場合について説明する。
図10に示す例では、まず、タブレットにおいて、ユーザ操作により設定アプリが起動される。設定アプリが起動中のタブレットは、ユーザ指示により、ペアリングを開始すると(S11)、タブレットの画面に2次元コードを表示する(S12)。例えば、図9に示すような2次元コードがタブレットの画面に表示される。タブレットは、ユーザに対して、この2次元コードをロボット100に撮影させるようユーザに促すメッセージも表示する。その後、タブレットは、ロボット100からのペアリング要求を待つ(S13)。
この表示を見たユーザは、ロボット100の設定アプリを起動し、ロボット100を操作して、2次元コードを撮影する(S21)。ロボット100は、撮影した2次元コードからタブレットの情報、例えば、タブレットのIPアドレスを抽出する(S22)。ロボット100は、タブレットのIPアドレスを宛先として、ペアリング要求を送信する(S23)。ペアリング要求には、ロボット100に関する情報を含めてもよい。ペアリング要求送信すると、ロボット100は、タブレットからの応答を待つ(S24)。
タブレットはペアリング要求を受信すると(S13でYes)、ペアリング要求に含まれるロボット100のIPアドレス、ロボット100の名前など、ロボット100に関する情報を抽出する(S14)。タブレットは、アクセスを許可する旨の信号又はデータをロボット100へ送信する(S15)。
ロボット100は、タブレットからアクセス許可の通知を受けると(S24でYes)、ペアリングが完了する。これにより、ロボット100及びタブレットは、互いの相手の接続情報を持つようになるため、互いの通信が可能になる。
ここで、2次元コードには、ランダム値(数値又は文字列)を含むようにしてもよい。この場合、ロボット100は、読み取った2次元コードに含まれるランダム値を、ペアリング要求とともに、タブレットへ送信する。タブレットのペアリング要求とともに受信したランダム値が、自らが表示した2次元コードのランダム値と等しい場合にのみ、ペアリング要求したロボットに対するアクセスを許可する。これにより、タブレット画面を撮影していない他の機器からのペアリング要求に誤って許可を出すといった誤認を防ぐことができる。
あるいは、ロボット100は、読み取ったランダム値を、暗号化キーとしてペアリング要求を暗号化して、タブレットへ通知することができる。タブレットは、ペアリング要求を復号化できた場合に、ペアリング要求の送信元にアクセスを許可する。これにより、ロボット100以外の他の機器が容易にタブレットとペアリングすることを防ぐことが可能となる。
[実施形態4]
実施形態4は、ロボット100が、表示装置200の再生するコンテンツを評価する構成の具体例である。ロボット100の構成は、実施形態1〜3のうち1つか、あるいはそれらのうちの2つ又は3つの組み合わせと同様の構成を採用することができる。以下では、一例として、実施形態1〜3のロボット100を組み合わせた構成のロボットについて、その機能の詳細を説明する。
実施形態4は、ロボット100が、表示装置200の再生するコンテンツを評価する構成の具体例である。ロボット100の構成は、実施形態1〜3のうち1つか、あるいはそれらのうちの2つ又は3つの組み合わせと同様の構成を採用することができる。以下では、一例として、実施形態1〜3のロボット100を組み合わせた構成のロボットについて、その機能の詳細を説明する。
図11は、本実施形態におけるロボット100の視聴アプリ起動後の処理の一例を示すフローチャートである。図11に示す例では、ロボット100は、まず、タブレット(表示装置200の一例)を探索する(S31)。探索動作は、例えば、上記実施形態1及び2と同様にすることができる。
画像解析部304の解析の結果、タブレットのフレームの四角形が検出できた場合、行動判断部306は、外部機器制御部303に、タブレットの再生アプリを起動するように指示する(S32)。コンテンツ情報取得部302は、コンテンツリストをタブレットへ要求し、その応答として、コンテンツリストをタブレットから受信する(S33)。
コンテンツリストは、例えば、図7に示したものと同様のものを用いることができるが、これに限定されない。外部機器制御部303は、コンテンツリストに含まれるコンテンツのうち、再生するコンテンツを選択する(S34)。外部機器制御部303は、例えば、未視聴のもの(未視聴フラグが立っていないレコードのコンテンツ)を優先して選択することができる。なお、コンテンツの選択はランダムであってもよい。また、ここで、ユーザからコンテンツ選択の入力を受け付けることもできる。その場合、例えば、ユーザの選択履歴に基づいてユーザの嗜好を学習するように構成することもできる。
外部機器制御部303は、選択したコンテンツの再生要求をタブレットへ送信する(S35)。
タブレットでコンテンツの再生が開始されると、ロボット100は、視聴処理を開始する(S36)。S36の視聴処理では、例えば、ロボット100の画像解析部304がカメラ103で検出したコンテンツの再生画像を解析し、音声解析部305が、マイク104で受音したコンテンツの再生音声を解析する。行動判断部306は、これらの解析結果を基に基準データに照らしてコンテンツを評価する。
行動判断部306は、コンテンツの評価の結果に基づいて、ロボット100の行動を決定する。ここで決定される行動の例として、「喜ぶ」、「怒る」、「真似る」、「居眠りする」、「切り替えする」、「動作を変える」等が挙げられる。「喜ぶ」行動は、例えば、コンテンツがロボットの好みに合うと評価された場合である。「怒る」行動は、例えば、コンテンツの再生が途中で中断されたと判定された場合である。「真似る」行動は、例えば、コンテンツ画像中に基準データのパターンにマッチする動作パターンがあると判定された場合である。「居眠りする」行動は、例えば、コンテンツが単調であると評価された場合である。「切り替えする」行動は、例えば、コンテンツがロボット100の好みに合わないと評価された場合である。「動作を変える」は、例えば、コンテンツ再生の速度が遅すぎる、又は早すぎると判定された場合である。これらのコンテンツ評価処理の具体例について後述する。
行動判断部306がコンテンツの再生の終わりを検出すると、分類部307が、再生し終わったコンテンツを分類し、分類結果を出力する(S37)。図11に示す例では、行動判断部306は、好感度合いの値に基づいて、コンテンツをお気に入りに追加するか否かを決定し、お気に入りに追加する場合は、外部機器制御部303が、タブレットで管理しているお気に入りリストへ追加してもらう旨の要求(編集要求)を送信する。
ロボット100は、上記S34〜S37の処理を、未視聴のコンテンツがなくなるまで(S38でYesになるまで)、繰り返す。以下、上記のS36における画像解析部304、音声解析部305及び行動判断部306の機能の具体例を説明する。
《ロボットの好みを評価する処理の例》
行動判断部306は、例えば、ロボット100のコンテンツに対する好感度(好みの度合い)を表す値(スコア)を算出することで、ロボット100のコンテンツに対する好みを評価することができる。好感度は、例えば、画像解析部304によるコンテンツ画像と基準データのパターンとの照合結果を基に算出することができる。
行動判断部306は、例えば、ロボット100のコンテンツに対する好感度(好みの度合い)を表す値(スコア)を算出することで、ロボット100のコンテンツに対する好みを評価することができる。好感度は、例えば、画像解析部304によるコンテンツ画像と基準データのパターンとの照合結果を基に算出することができる。
例えば、画像解析部304は、再生されたコンテンツの画像の中に、基準データのパターンに相当するパターンが含まれているか否かを判断する。この場合、行動判断部306は、基準データのパターンがコンテンツ画像に含まれていると判断された場合に、好感度を上げるよう値を更新することができる。これにより、例えば、基準データとして、予めロボット100のユーザやその家族の顔の画像パターンを登録しておけば、その顔がコンテンツ画像中に含まれていると、ロボット100の好感度を上げることができる。
また、基準データの画像パターンとともに、画像パターンをカメラ103で検出した時期を示すデータを蓄積しておき、好感度の算出に用いることもできる。例えば、基準データとして登録されているユーザやその家族の顔のパターンを、過去にカメラ103で撮影した画像中に当該パターンを認識した時期を示すデータと対応付けて蓄積することができる。この場合、行動判断部306は、コンテンツの画像中にユーザの顔パターンを認識した場合、過去にユーザを認識した時期に応じて、好感度合いの変化量を調整する。言い換えれば、ロボット100が、以前にそのユーザを見た時期が近いか遠いかに応じて好感度合い(又は喜びの度合い)を変えることができる。例えば、ロボットが久しぶりに見た顔だと好感度を上げるといったことが可能になる。
なお、基準データの蓄積と、それを用いた行動判断は、コンテンツの評価に用いる場合に限られない。例えば、ロボット100の感情表現等のような行動の決定にも用いることができる。ロボットが実際にカメラ103で撮影した人の画像パターンを蓄積しておき、カメラ103の画像(コンテンツ画像に限らない)の中に人を認識した際に、蓄積されたパターンと照合し、照合結果に基づいて、行動を決定することができる。これにより、例えば、ロボット100が、久しぶりに会った人に対して大きく喜ぶ素振りを見せたり、頻繁に会う人になれなれしい素振りを見せたりすることが可能になる。すなわち、コンテンツだけでなく、実際に撮影した人物に対する評価や判定も、ロボット100に固有の基準に基づいて行うことが可能になる。
基準データは、上記のような特定人物の画像パターンに限られない。例えば、人物の顔の笑顔度合いを判断するための基準となるデータであってもよい。また、ロボット100に男の子的な性格をもたせるのであれば、車や電車の映像や音声、ロボット100に女の子的な性格をもたせるのであれば花やペットの映像や音声等を基準データとして予め記録しておくこともできる。
《ロボットが動き又はポーズを検出する処理》
ロボット100は、コンテンツ画像に含まれる人を認識し、人の四肢(骨格)を検出、さらに四肢の動き又はポーズを検出することができる。この人の四肢の動き又はポーズのパターンは、基準データとして蓄積することができる。行動判断部306は、基準データとして蓄積したパターンを、再生中のコンテンツ画像において認識された人の動きやポーズと照合することで、これらコンテンツ画像中の人の動きやポーズに対してロボット固有の評価を行うことができる。
ロボット100は、コンテンツ画像に含まれる人を認識し、人の四肢(骨格)を検出、さらに四肢の動き又はポーズを検出することができる。この人の四肢の動き又はポーズのパターンは、基準データとして蓄積することができる。行動判断部306は、基準データとして蓄積したパターンを、再生中のコンテンツ画像において認識された人の動きやポーズと照合することで、これらコンテンツ画像中の人の動きやポーズに対してロボット固有の評価を行うことができる。
例えば、基準データのパターンと一致する動きやポーズをコンテンツ画像に検出した場合、コンテンツに対する好感度合いを高くすることができる。また、コンテンツ画像から、所定頻度を越えて検出される人の動きやポーズに対して、ロボット100が反応することができる。
また、画像解析部304が、基準データの動き又はポーズに一致するものを、コンテンツ画像中に検出した場合、行動判断部306は、その動き又はポーズを真似る動作をすることができる。例えば、ロボット100は、コンテンツ画像中に頻繁に出現するポーズや動きを真似る動作をすることができる。これにより、ユーザには予想がつかない動作をロボット100が行う可能性が高くなり、ユーザを楽しませることができる。
なお、画像中の人の動きやポーズの他、例えば、音声の特徴量のパターン等のその他パターンについても、同様にして、ロボット100による認識、ものまねが可能である。また、ロボット100によるコンテンツ画像中の人の動きやポーズなどのパターン認識は、必ずしも、高い精確性を求めなくてもよい場合もある。むしろ、適切な頻度で誤認識することで、ロボット100の愛嬌をユーザに感じさせることもある。
《視聴中にコンテンツ再生の中断を検出する処理の例》
画像解析部304は、再生されたコンテンツの画像のある特徴のある変化を捉えることにより、コンテンツ再生が中断されたことを検出することができる。例えば、カメラ103の撮影画像にタブレットのメニュー画面が突然現れた場合、コンテンツ再生が中止されたと判断することができる。このメニュー画面の他に、例えば、デスクトップ画面又はデフォルト画面等のように、タブレットがユーザの指示待ち状態(アイドル状態)の時に表示する基本画面の出現を特徴ある変化として認識することができる。
画像解析部304は、再生されたコンテンツの画像のある特徴のある変化を捉えることにより、コンテンツ再生が中断されたことを検出することができる。例えば、カメラ103の撮影画像にタブレットのメニュー画面が突然現れた場合、コンテンツ再生が中止されたと判断することができる。このメニュー画面の他に、例えば、デスクトップ画面又はデフォルト画面等のように、タブレットがユーザの指示待ち状態(アイドル状態)の時に表示する基本画面の出現を特徴ある変化として認識することができる。
視聴中のコンテンツ再生の中断を検出した場合、上記のように、ロボット100は、怒る動作をすることができる。
《視聴中のコンテンツが単調であることを検出する処理の例》
画像解析部304が、コンテンツの画像又は音声中に所定パターンと一致するパターンが検出されない時間が一定以上経過した場合に、行動判断部306は、そのコンテンツを単調であると判断することができる。所定のパターンは、例えば、人の姿、又は顔等とすることができる。コンテンツが単調であると判断されると、行動判断部306は、ロボット100に「居眠り」させる。
画像解析部304が、コンテンツの画像又は音声中に所定パターンと一致するパターンが検出されない時間が一定以上経過した場合に、行動判断部306は、そのコンテンツを単調であると判断することができる。所定のパターンは、例えば、人の姿、又は顔等とすることができる。コンテンツが単調であると判断されると、行動判断部306は、ロボット100に「居眠り」させる。
《視聴中のコンテンツ画像の変化が少ないことを検出する処理の例》
再生されたコンテンツにおいて、同じような画像が続くことを検出するには、例えば、四分木表現による比較を用いることができる。具体的には、画像解析部304は、カメラ103で撮影されたコンテンツの画像の変化量を四分木表現を用いて算出し、行動判断部206は、変化量が閾値より小さい画像が所定続いた場合に、同じような画像が続いていると判定することができる。
再生されたコンテンツにおいて、同じような画像が続くことを検出するには、例えば、四分木表現による比較を用いることができる。具体的には、画像解析部304は、カメラ103で撮影されたコンテンツの画像の変化量を四分木表現を用いて算出し、行動判断部206は、変化量が閾値より小さい画像が所定続いた場合に、同じような画像が続いていると判定することができる。
行動判断部306が、同じような画像が続いていると判断した場合、画像の表示間隔を早くするように、外部機器制御部303、及び通信部101を介して、表示装置200を制御することができる。これにより、コンテンツ画像の変化度合いに応じて、コンテンツ画像の再生速度を制御することができる。
[実施形態5]
実施形態5は、分類部307によるコンテンツ分類処理の具体例である。分類部307は、判断部110による評価に基づいて、コンテンツを分類する。コンテンツの分類は、例えば、ロボット100が視聴したコンテンツが複数のグループのうちいずれに属するかを決定することで実行することができる。この決定は、判断部110による、コンテンツに対するロボットの好感度(好みの度合い)を基準に行うことができる。又は、基準データとコンテンツとのマッチング結果に応じてコンテンツを分類することもできる。
実施形態5は、分類部307によるコンテンツ分類処理の具体例である。分類部307は、判断部110による評価に基づいて、コンテンツを分類する。コンテンツの分類は、例えば、ロボット100が視聴したコンテンツが複数のグループのうちいずれに属するかを決定することで実行することができる。この決定は、判断部110による、コンテンツに対するロボットの好感度(好みの度合い)を基準に行うことができる。又は、基準データとコンテンツとのマッチング結果に応じてコンテンツを分類することもできる。
[分類処理の例]
単純な分類処理の例の1つに、コンテンツをロボットのお気に入りに追加するか否かを判断する処理が挙げられる。例えば、分類部307は、判断部110が算出したコンテンツに対するロボット100の好感度が、閾値を越えた場合は、お気に入り追加、そうでなければ追加しないと決定することができる。
単純な分類処理の例の1つに、コンテンツをロボットのお気に入りに追加するか否かを判断する処理が挙げられる。例えば、分類部307は、判断部110が算出したコンテンツに対するロボット100の好感度が、閾値を越えた場合は、お気に入り追加、そうでなければ追加しないと決定することができる。
他の分類処理の例として、例えば、分類部307は、ロボット100が視聴したコンテンツに対して、面白い、退屈等、評価を表すタグを付すことで分類をすることができる。この場合も、判断部110の評価を基にタグを決定することができる。例えば、判断部110による評価として、上記の好感度、単調の度合い、画像の変化の度合いを用いて、付するタグを決定することができる。
また、他の分類処理の例として、基準データとコンテンツとの照合結果を基に、コンテンツを分類することもできる。具体的には、分類部307は、基準データのパターンと同じパターンを含むコンテンツ群が同じグループに属するよう、コンテンツをグループ化することができる。例えば、予め基準データとして登録された人物又はポーズと同じ人物又はポーズを画像に含むコンテンツを同じグループに分類することができる。分類部307は、ロボット100が、新たに覚えたポーズと同じポーズの人が写っている画像を集め1つのグループにすることができる。又は、分類部307は、自動的に特定の人物が写っている写真を1つのグループに分類してもよい。
[分類結果の出力例]
ロボット100は、分類部307による分類した結果を外部にアピールする機能を有することが好ましい。例えば、分類をアピールするためのロボット100の動作として、1)ユーザに話しかける、2)ユーザの注意を惹く、3)お気に入りに分類したコンテンツの再生頻度を高くする、4)自動的にWebページに分類結果をアップロードする、等が挙げられる。
ロボット100は、分類部307による分類した結果を外部にアピールする機能を有することが好ましい。例えば、分類をアピールするためのロボット100の動作として、1)ユーザに話しかける、2)ユーザの注意を惹く、3)お気に入りに分類したコンテンツの再生頻度を高くする、4)自動的にWebページに分類結果をアップロードする、等が挙げられる。
上記1)及び2)の形態では、例えば、分類部307が、自動的に家族が写っている画像を1つのグループに分類し、ロボット100は、分類部307が分類したグループを、「見て見て」と家族に対してアピールする動作をすることが可能である。3)の形態では、表示装置200によるコンテンツ再生を制御する外部機器制御部303が、分類部307の分類結果に従って、お気に入りに分類されたコンテンツを他のコンテンツより高い頻度で再生させることができる。4)の具体例として、ロボット同士がSNSでお気に入りのコンテンツについての情報を交換する形態であってもよい。
また、例えば、分類部307は、表示装置200が記録するお気に入りリストを更新する形態とすることもできる。この場合、表示装置200の再生部210は、例えば、ユーザごとに、お気に入りのコンテンツを登録しておく仕組みを有することができる。具体的には、各ユーザのお気に入りのコンテンツを示すリストを、「お気に入りリスト」として、蓄積部204に記録することができる。お気に入りリストは、ユーザごとに作成され、ユーザのお気に入りのコンテンツ毎に、コンテンツID及び付属情報が記録される。付属情報は、例えば、再生回数、及び最後に再生した日時等である。図12は、そのような、お気に入りリストの一例を示す図である。
なお、お気に入りリスト、すなわち、コンテンツの分類結果を示すデータは、必ずしも表示装置200になくてもよい。
以上のような分類機能により、ロボット100がコンテンツを視聴した結果として、ロボット100固有の好みで分類されたコンテンツの情報が得られる。例えば、ロボット100の好みでお気に入りフォルダ又はお気に入りリストを作成し、コンテンツをロボット100の嗜好に合わせて整理することができる。これにより、ユーザには、思いもよらない趣味のコンテンツがお気に入りリストに集められること等が起り、ユーザを楽しませることができる。
[実施形態6]
実施形態6は、ロボット100が、評価に用いる基準データの変形例である。本実施形態の基準データは、上記実施形態1〜5またはこれらの組み合わせのいずれにも適用することができる。
実施形態6は、ロボット100が、評価に用いる基準データの変形例である。本実施形態の基準データは、上記実施形態1〜5またはこれらの組み合わせのいずれにも適用することができる。
基準データの形式は、特定のものに限定されず、例えば、上記のように、画像認識、音声認識または動き認識時にテンプレートとなるパターンデータとすることができる。パターンデータには、例えば、画像、音声、テキスト、四肢の動きパターンを示すデータ、人のポーズを示すデータ等が含まれる。
基準データは、ロボット100出荷時に記録部107に予め記録されるデータを含むことができる。また、ユーザが、基準データをロボット100に入力する構成であってもよいし、このユーザ入力の代わりに、またはユーザ入力に加えて、ロボット100が自律的に、外部から情報を取り入れることにより、基準データを蓄積する構成であってもよい。例えば、ロボット100は、表示装置200の所定フォルダ内に含まれる画像、音声、テキスト等のデータを取得し、取得したデータをそのまま、又は加工して、基準データとして用いることができる。
図13は、ロボット100が基準データ蓄積機能を備える場合の判断部110の構成の一例を示す機能ブロック図である。図13に示す例では、判断部110は、基準データ蓄積部308、基準データ取得部309、及び基準データ更新部310をさらに備える。
基準データ蓄積部308は、検出部108で取得された情報の認識結果を、基準データとして、記録部107に記録する。基準データ蓄積部308は、例えば、カメラ103の画像中に認識された人物及び人物の動作パターンの少なくとも1つを、基準データとして蓄積することができる。基準データ蓄積部308は、必ずしも、全ての認識結果を基準データとして蓄積する必要はなく、例えば、基準データとして記録する認識結果を、出現頻度に基づいて抽出してもよいし、ランダムに抽出してもよい。一例として、カメラ103画像中に、頻繁に認識される人(例えば、ユーザやその家族等)の顔のパターンデータを、基準データとして、記録することで、ロボット100に身近な人がコンテンツ中に含まれるか否かを評価の基準にすることができる。
基準データ取得部309は、通信部201を介して表示装置200に記録されたデータまたは、表示装置200に記録された情報により示された場所に記録されたデータを、基準データとして取得する。例えば、基準データ取得部309は、表示装置200に記録されたユーザフォルダ内の静止画像、音楽ファイル、動画ファイル等を取得し、基準データとして記録部107に記録することができる。これにより、表示装置200のユーザの好みを、ロボット100の好みに関連させることができる。
表示装置200以外からも基準データを取得することはできる。例えば、基準データ取得部309は、表示装置200のユーザのコンテンツ再生履歴等を参照して再生されたコンテンツへアクセスする情報を取得し、当該コンテンツへアクセスして、コンテンツそのものまたはコンテンツから抽出されたパターンデータを、基準データとして、ロボット100に取り込み、記録部107に記録することができる。あるいは、表示装置200にブラウザ(コンテンツ表示を実行するプログラムの一例)がインストールされている場合は、基準データ取得部309は、ブラウザのお気に入りリストに含まれるURLや、アクセス履歴に含まれるURLを取得し、これらのURL(コンテンツの場所を示す情報)が示す場所へアクセスして、画像やテキストファイル等をロボット100へダウンロードすることもできる。
なお、基準データは、必ずしもロボット100に記録されている必要はない。例えば、ロボット100は、表示装置200の蓄積部204に記録されている基準データを用いて、評価することもできるし、表示装置200が蓄積部204に蓄積された基準データを用いて評価した結果をロボット100が受信する構成であってもよい。
基準データ更新部310は、判断部110によるコンテンツの評価に基づいて、基準データを更新する。例えば、判断部110による評価結果と、その評価結果を得るために用いられた基準データとを対応付けて記録しておき、評価結果がある一定の条件を満たすか否かにより、基準データの要否を決定することができる。これにより、例えば、よくない評価結果が所定回数以上続いた基準データや、評価に用いられる頻度が低い基準データは、削除する等、基準データの自動的な適正化が可能になる。あるいは、基準データをスコアとともに記録する場合に、評価結果に応じてスコアを更新することもできる。例えば、基準データが、画像パターンであり、好感度スコアとともに記録されている場合、その画像パターンを用いた評価処理が実行される度に、画像パターンの好感度スコアを加算することができる。これにより、例えば、ロボット100がその画像パターンを見れば見るほど好きになるといった、ロボット100の好みの自動的な変遷が可能になる。
なお、図13に示す構成は一例であり、これに限られない。例えば、判断部110は、基準データ蓄積部308、基準データ取得部309及び基準データ更新部310の少なくとも1つを備える構成であってもよい。また、基準データ蓄積部308、基準データ取得部309及び基準データ更新部310は、判断部110とは別の独立した機能部として設けられてもよいし、行動判断部306内部の機能部として設けられてもよい。
[実施形態7]
本実施形態は、ロボット装置の構成の変形例である。図14は、本実施形態にかかるロボットの構成を示す機能ブロック図である。図14に示す例では、ロボット100は、検出部108、制御部102及び通信部101を備える。制御部102は、判断部110及び外部機器制御部303を含む。検出部108は、コンテンツ出力装置200が出力するコンテンツの音声及び画像の少なくともいずれかを検出する。判断部110は、基準データを基にして、検出部108で検出された情報を評価することで、コンテンツ出力装置100が出力したコンテンツを評価する。外部機器制御部303は、通信部101を介して、コンテンツ出力装置200によるコンテンツの出力を制御する。
本実施形態は、ロボット装置の構成の変形例である。図14は、本実施形態にかかるロボットの構成を示す機能ブロック図である。図14に示す例では、ロボット100は、検出部108、制御部102及び通信部101を備える。制御部102は、判断部110及び外部機器制御部303を含む。検出部108は、コンテンツ出力装置200が出力するコンテンツの音声及び画像の少なくともいずれかを検出する。判断部110は、基準データを基にして、検出部108で検出された情報を評価することで、コンテンツ出力装置100が出力したコンテンツを評価する。外部機器制御部303は、通信部101を介して、コンテンツ出力装置200によるコンテンツの出力を制御する。
本実施形態における検出部108、制御部102、判断部110、外部機器制御部303及び通信部101の具体的な形態としては、例えば、上記実施形態1〜6の少なくとも1つと同様のものを採用することができる。
上記構成において、ロボット100は、コンテンツ出力装置200の音声、光及び映像を検出してコンテンツを評価する処理系統を有し、さらに、この処理系統とは別に、コンテンツ出力装置200と制御信号または制御データを送受信する通信系統を有する。このような組み合わせにより、コンテンツの受信とコンテンツ出力装置の制御をよりフレキシブルに行うことが可能になる。
例えば、判断部110で評価したコンテンツの評価結果に基づいて、コンテンツ出力装置200によるコンテンツ出力を制御することができる。ロボット100が自律的にコンテンツを評価し、ロボット100固有の好みに応じたコンテンツをコンテンツ出力装置200に出力させることもできる。
また、ロボット100は、ユーザからの操作に応じて、コンテンツ出力装置を制御することもできる。例えば、ロボット100は、タッチパネルやボタン等の入力デバイスを備え、入力デバイスを介して受け付けたユーザからの操作に応じて、コンテンツ出力装置を制御することができる。これにより、ユーザは、ロボット100を、コンテンツ出力装置200を遠隔操作するリモートコントローラとして使用することができる。
さらに、ロボット100は、ユーザ操作によるコンテンツ出力装置200の制御モードと、判断部110によるコンテンツ評価結果に基づくコンテンツ出力装置200の制御モードとを切り替える機能を備えてもよい。例えば、ユーザからの操作入力がない間は、判断部110の評価結果に基づいてロボット100が自律的にコンテンツ出力を制御し、ユーザから操作入力があった場合は、ユーザからの指示に基づいてコンテンツを制御することができる。
また、コンテンツ出力装置200は、いわゆるレーザポインターのような光を出力するデバイスであってもよい。この場合、ロボット100の検出部108は、コンテンツ出力部203が物体や床や壁などに照射した光(輝点)や、その光の軌跡を検出する。ユーザがレーザポインターで物体に向かって光を照射すると、判断部110は、例えば、検出部108が検出した光の点滅パターンや光の軌跡のパターンを予め登録された基準データと照合することで、それらのパターンを特定のコマンド(あるいは情報)として解釈することができる。制御部102は、判断部110が解釈したコマンドあるいは情報に対応した動作をロボット100に行わすことができる。また、外部機器制御部303は、通信部101、通信部201を介して、レーザポインターを検出又はコマンドを解釈したことを示す信号又はデータをレーザポインターへ送ってもよい。レーザポインターは、この信号又はデータを受信すると、例えば、レーザポインターが出力する光の色を赤から緑へ変えることができる。これにより、ロボットがコマンドを解釈したことをユーザが知ることが可能となる。このように、検出部108がコンテンツ出力装置200から物体へ照射された光の輝点を検出し、判断部110が、検出された輝点の軌跡を解析し、さらに、制御部102が解析された軌跡から得られる情報に基づいてロボット100の挙動又は状態を制御する構成とすることができる。この構成により、レーザポインターをロボットに対するコマンド装置として利用することが可能となる。例えば、ユーザがレーザポインターである位置を指し示し、「移動」コマンドに割り当てられた特定の図形の軌跡を描くと、ロボットがその指し示した位置に移動するなど、非常に簡単なユーザインタフェースでロボットの操作が実現できる。
検出部108は、例えば、カメラで撮像した画像中に、予め決められた輝点の色及び形状に一致するパターンが存在するか否かを判断することにより輝点を検出することができる。あるいは、レーザポインターの光の帯域のみ検出するカメラにより輝点を検出することもできる。この場合、検出部108は、所定の帯域の光を透過させるフィルタを介して撮影するカメラで構成することができる。なお、予め決められたスクリーン等のように所定の領域内で輝点を検出する必要はない。例えば、検出部108は、ロボット100周辺を走査して撮影し、撮影画像中から輝点を検出することができる。
また、コンテンツ出力装置は、レーザポインター及び他の出力装置との組み合わせとすることができる。例えば、レーザポインターとディスプレイの組み合わせをコンテンツ出力装置として、ユーザがディスプレイへ照射したレーザポインターの輝点を、ロボット100が検出することで、ディスプレイの位置を検出する構成であってもよい。あるいは、ロボット100がディスプレイを検出し、ディスプレイの表示画面をキャプチャする際に、表示画面に照射されたレーザポインターの輝点も検出してその軌跡を解析する構成であってもよい。
[その他の変形例]
以上、本発明の実施形態の例を、実施形態1〜7として説明したが、本発明は上記実施形態に限られない。例えば、上記実施形態においては、コンテンツが映像である場合について説明したが、コンテンツは映像に限られず、その他、人間が閲覧、観賞又は体験することができるものが含まれる。例えば、文章、静止画像、動画像、音楽、ゲーム、あるいはそれらの組み合わせがコンテンツに含まれる。また、コンテンツは、デジタル又はアナログのデータとして、記憶装置に記憶され、伝送路を通じて伝送することができる。コンテンツのデータは、例えば、装置により再生、表示又は実行されることにより、人間が、閲覧、観賞又は体験できる状態になる。
以上、本発明の実施形態の例を、実施形態1〜7として説明したが、本発明は上記実施形態に限られない。例えば、上記実施形態においては、コンテンツが映像である場合について説明したが、コンテンツは映像に限られず、その他、人間が閲覧、観賞又は体験することができるものが含まれる。例えば、文章、静止画像、動画像、音楽、ゲーム、あるいはそれらの組み合わせがコンテンツに含まれる。また、コンテンツは、デジタル又はアナログのデータとして、記憶装置に記憶され、伝送路を通じて伝送することができる。コンテンツのデータは、例えば、装置により再生、表示又は実行されることにより、人間が、閲覧、観賞又は体験できる状態になる。
表示装置200として用いられる機器は、上記例の他に、例えば、携帯電話、PDA(携帯情報端末)、電子書籍再生端末(電子ブックリーダ)、多機能携帯電話、電子辞書、携帯ゲーム機、多機能リモコン等のタブレット型の端末が挙げられる。また、テレビジョン装置、フォトフレームなどタブレット型でない表示装置を用いることもできる。また、コンテンツ出力装置は、表示装置に限定されず、例えば、音声コンテンツを出力する音楽プレーヤー等の再生機であってもよい。
例えば、表示装置がテレビである場合、コンテンツの一覧を取得してコンテンツ一覧からコンテンツを選択する代わりに、既知のチャネルのうち1つのチャネルを選択する形態とすることができる。その場合、表示装置とロボットとの通信は、赤外線リモコンでも簡易に実現することができる。
本発明は、例えば、独自のコンテンツ評価を行うロボットを含むシステムとして有用である。また、ユーザが親しみを持つことのできる、固有の好みを持った玩具ロボットとしても応用することができる。
Claims (16)
- コンテンツ出力装置が出力するコンテンツの音声、光及び画像の少なくともいずれかを検出する検出部と、
基準データを基にして、前記検出部で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断部と、
前記判断部の評価に基づいて、ロボット装置の挙動又は状態を制御する制御部と、
前記コンテンツ出力装置と通信する通信部と、
前記判断部の評価または前記ロボット装置が受け付けたユーザの操作に基づいて、前記通信部を介して、前記コンテンツ出力装置によるコンテンツの出力を制御する外部機器制御部とを備える、ロボット装置。 - コンテンツ出力装置が出力した音声、光及び画像の少なくともいずれかを解析することにより、前記コンテンツ出力装置と通信するための設定情報を取得し、記録する設定部をさらに備える請求項1に記載のロボット装置。
- 前記設定情報には、前記コンテンツ出力装置へアクセスするためのアクセス情報及びアクセス許可を得るための認証情報が含まれる、請求項2に記載のロボット装置。
- 前記判断部による評価に基づいて、前記コンテンツを分類する分類部をさらに備える、請求項1〜3のいずれか1項に記載のロボット装置。
- 前記検出部により、ロボット装置周辺の画像を取得し、取得した画像中の矩形を検出することにより、前記コンテンツ出力装置が画像を出力する表示画面を検出する探索部をさらに備える、請求項1〜4のいずれか1項に記載のロボット装置。
- 前記ロボット装置のアイドル状態が所定時間継続した場合、前記探索部が前記検出動作を開始する、請求項5に記載のロボット装置。
- 前記判断部は、前記検出部で検出されたコンテンツの画像の中に、前記基準データに含まれる人物及び人物の動作パターンの少なくとも1つを認識した場合に、当該コンテンツに対する前記ロボット装置の好感度を示す値を増加又は減少させる、請求項1〜6のいずれか1項に記載のロボット装置。
- 前記検出部が取得した画像中に認識された人物及び人物の動作パターンの少なくとも1つを、前記基準データとして蓄積する、基準データ蓄積部をさらに備える、請求項1〜7のいずれか1項に記載のロボット装置。
- 前記通信部を介して前記コンテンツ出力装置に記録されたデータまたは、前記コンテンツ出力装置に記録された情報により示された場所に記録されたデータを取得する、基準データ取得部をさらに備える、請求項1〜8のいずれか1項に記載のロボット装置。
- 前記判断部によるコンテンツの評価に基づいて、前記基準データを更新する、基準データ更新部をさらに備える、請求項1〜9のいずれか1項に記載のロボット装置。
- 前記判断部は、前記コンテンツに対する前記ロボット装置の好感度を示す値を算出し、
前記外部機器制御部は、前記好感度を示す値を用いて、前記コンテンツ出力装置が出力中のコンテンツ又は次に出力するコンテンツを制御する、請求項1〜10のいずれか1項に記載のロボット装置。 - 前記判断部は、前記検出部で検出された画像の中から人物の動作パターンを検出し、
前記制御部は、当該動作に応じた動きを前記ロボットにさせる、請求項1〜11のいずれか1項に記載のロボット装置。 - 前記判断部が、前記コンテンツ出力装置によるコンテンツの出力が、途中で中断したと判定した場合、
前記制御部が、前記ロボット装置に、所定の動作をさせる、請求項1〜12のいずれか1項に記載のロボット装置。 - 前記分類部は、前記ロボット装置の好感度を示す値が閾値を越えるコンテンツを、グループ化し、
前記制御部は、前記グループ化されたコンテンツの少なくとも1つを示す情報をロボットに出力させる、請求項4に記載のロボット装置。 - コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出工程と、
基準データを基にして前記検出工程で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断工程と、
前記判断工程の評価に基づいて、ロボット装置の挙動又は状態を制御する制御工程と、
前記コンテンツ出力装置と通信する通信部を介して、前記判断工程の評価または前記ロボット装置が受け付けたユーザの操作に基づいて、前記コンテンツ出力装置によるコンテンツの出力を制御する外部機器制御工程とを含む、ロボット制御方法。 - コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出処理と、
基準データを基にして前記検出処理で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断処理と、
前記判断処理の評価に基づいて、ロボット装置の挙動又は状態を制御する制御処理と、
前記コンテンツ出力装置と通信する通信部を介して、前記判断処理の評価または前記ロボット装置が受け付けたユーザの操作に基づいて、前記コンテンツ出力装置によるコンテンツの出力を制御する外部機器制御処理とをコンピュータに実行させる、ロボット制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012539117A JP5172049B2 (ja) | 2011-06-14 | 2012-04-19 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011132602 | 2011-06-14 | ||
JP2011132602 | 2011-06-14 | ||
PCT/JP2012/002704 WO2012172721A1 (ja) | 2011-06-14 | 2012-04-19 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
JP2012539117A JP5172049B2 (ja) | 2011-06-14 | 2012-04-19 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5172049B2 true JP5172049B2 (ja) | 2013-03-27 |
JPWO2012172721A1 JPWO2012172721A1 (ja) | 2015-02-23 |
Family
ID=47356742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012539117A Expired - Fee Related JP5172049B2 (ja) | 2011-06-14 | 2012-04-19 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8583287B2 (ja) |
JP (1) | JP5172049B2 (ja) |
WO (1) | WO2012172721A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021005878A1 (ja) * | 2019-07-11 | 2021-01-14 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150138333A1 (en) * | 2012-02-28 | 2015-05-21 | Google Inc. | Agent Interfaces for Interactive Electronics that Support Social Cues |
US9492762B2 (en) * | 2012-05-08 | 2016-11-15 | Funfare, Llc | Sensor configuration for toy |
JP2014167672A (ja) * | 2013-02-28 | 2014-09-11 | Fujitsu Ltd | 情報処理装置、認証システム及びプログラム |
KR101883473B1 (ko) * | 2013-05-07 | 2018-07-30 | 한화지상방산 주식회사 | 이동로봇의 지도 작성 장치 및 방법 |
US9314924B1 (en) * | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
US11271887B2 (en) | 2014-04-07 | 2022-03-08 | Nec Corporation | Updating and transmitting action-related data based on user-contributed content to social networking service |
JP6166234B2 (ja) * | 2014-08-08 | 2017-07-19 | 日本電信電話株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
JP2018008316A (ja) * | 2014-11-21 | 2018-01-18 | ヴイストン株式会社 | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム |
WO2017062121A2 (en) * | 2015-09-04 | 2017-04-13 | PulsePet, LLC | Interactive pet robot and related methods and devices |
JP2017086288A (ja) * | 2015-11-06 | 2017-05-25 | 大日本印刷株式会社 | コミュニケーションロボット及びプログラム |
DE102015224308A1 (de) * | 2015-12-04 | 2017-06-08 | Kuka Roboter Gmbh | Manipulatorsystem und Verfahren zur Identifikation von Bedienvorrichtungen |
USD872768S1 (en) * | 2016-02-19 | 2020-01-14 | Sony Corporation | Robot having display screen with animated graphical user interface |
US20170282383A1 (en) * | 2016-04-04 | 2017-10-05 | Sphero, Inc. | System for content recognition and response action |
CN109070330B (zh) | 2016-04-08 | 2022-07-15 | Groove X 株式会社 | 认生的行为自主型机器人 |
JP6747506B2 (ja) * | 2016-04-28 | 2020-08-26 | 富士通株式会社 | ロボット |
JP2017205324A (ja) * | 2016-05-19 | 2017-11-24 | パナソニックIpマネジメント株式会社 | ロボット |
GB2566881B (en) * | 2016-07-11 | 2022-04-13 | Groove X Inc | Autonomously acting robot whose activity amount is controlled |
GB2567586A (en) * | 2016-07-20 | 2019-04-17 | Groove X Inc | Autonmous-behavior-type robot that understands emotional communication through physical contact |
WO2018045081A1 (en) * | 2016-08-31 | 2018-03-08 | Taechyon Robotics Corporation | Robots for interactive comedy and companionship |
JP2018088573A (ja) * | 2016-11-28 | 2018-06-07 | 住友電気工業株式会社 | ペアリング方法、通信装置、ペアリング装置、子機パッケージおよび製造方法 |
JP6610609B2 (ja) * | 2017-04-27 | 2019-11-27 | トヨタ自動車株式会社 | 音声対話ロボットおよび音声対話システム |
CN109521927B (zh) * | 2017-09-20 | 2022-07-01 | 阿里巴巴集团控股有限公司 | 机器人互动方法和设备 |
US20190111565A1 (en) * | 2017-10-17 | 2019-04-18 | True Systems, LLC | Robot trainer |
US11498206B2 (en) | 2017-12-14 | 2022-11-15 | Sony Interactive Entertainment Inc. | Entertainment system, robot device, and server device |
WO2019138618A1 (ja) * | 2018-01-10 | 2019-07-18 | ソニー株式会社 | 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム |
JP7075771B2 (ja) * | 2018-02-08 | 2022-05-26 | 株式会社Screenホールディングス | データ処理方法、データ処理装置、データ処理システム、およびデータ処理プログラム |
GB2573164B (en) * | 2018-04-27 | 2023-01-04 | Sony Interactive Entertainment Inc | Apparatus control system and method |
JP7000253B2 (ja) * | 2018-05-31 | 2022-01-19 | 国立大学法人東海国立大学機構 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
KR20190141303A (ko) * | 2018-06-14 | 2019-12-24 | 엘지전자 주식회사 | 이동 로봇의 동작 방법 |
JP7326707B2 (ja) * | 2018-06-21 | 2023-08-16 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
US11376743B2 (en) * | 2019-04-04 | 2022-07-05 | Joyhaptics Oy | Systems and methods for providing remote touch |
JP7382743B2 (ja) * | 2019-06-17 | 2023-11-17 | 株式会社ソニー・インタラクティブエンタテインメント | ロボットシステム |
KR102295836B1 (ko) * | 2020-11-20 | 2021-08-31 | 오로라월드 주식회사 | 성장형 스마트 토이 장치 및 스마트 토이 시스템 |
US12204668B1 (en) * | 2021-08-04 | 2025-01-21 | Amazon Technologies, Inc. | User-configurable request-based policies for a data storage system |
WO2025041587A1 (ja) * | 2023-08-23 | 2025-02-27 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000067959A1 (fr) * | 1999-05-10 | 2000-11-16 | Sony Corporation | Dispositif robotique et procede de commande associe |
JP2001310283A (ja) * | 2000-02-14 | 2001-11-06 | Sony Corp | ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法 |
JP2002160184A (ja) * | 2000-11-27 | 2002-06-04 | Nippon Telegr & Teleph Corp <Ntt> | ペットロボット装置及びペットロボット装置プログラム記録媒体 |
JP2005074562A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | ロボット装置、ロボット装置の制御方法、及び記録媒体 |
JP2006245941A (ja) * | 2005-03-02 | 2006-09-14 | Sharp Corp | コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器 |
JP2008307662A (ja) * | 2007-06-15 | 2008-12-25 | Fujitsu Ltd | ロボットシステム、エディタ端末、およびエディタプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61156405A (ja) * | 1984-12-28 | 1986-07-16 | Nintendo Co Ltd | 光感応制御装置 |
KR20010053322A (ko) * | 1999-04-30 | 2001-06-25 | 이데이 노부유끼 | 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체 |
US6684127B2 (en) | 2000-02-14 | 2004-01-27 | Sony Corporation | Method of controlling behaviors of pet robots |
JP2003071761A (ja) | 2001-09-03 | 2003-03-12 | Sony Corp | ロボット並びにロボットのための表示装置 |
JP4015424B2 (ja) | 2002-01-09 | 2007-11-28 | アルゼ株式会社 | 音声ロボットシステム |
JP2004249447A (ja) | 2003-02-18 | 2004-09-09 | Navigation Networks:Kk | インターネットを使ったロボット用プログラムおよびコンテンツを含むロボット番組の配信方法 |
JP4556425B2 (ja) | 2003-12-11 | 2010-10-06 | ソニー株式会社 | コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置 |
JPWO2005099971A1 (ja) * | 2004-04-16 | 2007-08-16 | 松下電器産業株式会社 | ロボット、ヒント出力装置、ロボット制御システム、ロボット制御方法、ロボット制御プログラム及び集積回路 |
US20060098877A1 (en) * | 2004-11-09 | 2006-05-11 | Nick Barnes | Detecting shapes in image data |
EP2281668B1 (en) | 2005-09-30 | 2013-04-17 | iRobot Corporation | Companion robot for personal interaction |
US8548613B2 (en) * | 2009-04-20 | 2013-10-01 | Disney Enterprises, Inc. | System and method for an interactive device for use with a media device |
US8818556B2 (en) * | 2011-01-13 | 2014-08-26 | Microsoft Corporation | Multi-state model for robot and user interaction |
-
2012
- 2012-04-19 JP JP2012539117A patent/JP5172049B2/ja not_active Expired - Fee Related
- 2012-04-19 WO PCT/JP2012/002704 patent/WO2012172721A1/ja active Application Filing
-
2013
- 2013-01-08 US US13/736,520 patent/US8583287B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000067959A1 (fr) * | 1999-05-10 | 2000-11-16 | Sony Corporation | Dispositif robotique et procede de commande associe |
JP2001310283A (ja) * | 2000-02-14 | 2001-11-06 | Sony Corp | ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法 |
JP2002160184A (ja) * | 2000-11-27 | 2002-06-04 | Nippon Telegr & Teleph Corp <Ntt> | ペットロボット装置及びペットロボット装置プログラム記録媒体 |
JP2005074562A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | ロボット装置、ロボット装置の制御方法、及び記録媒体 |
JP2006245941A (ja) * | 2005-03-02 | 2006-09-14 | Sharp Corp | コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器 |
JP2008307662A (ja) * | 2007-06-15 | 2008-12-25 | Fujitsu Ltd | ロボットシステム、エディタ端末、およびエディタプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021005878A1 (ja) * | 2019-07-11 | 2021-01-14 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US11986746B2 (en) | 2019-07-11 | 2024-05-21 | Sony Group Corporation | Information processing device and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012172721A1 (ja) | 2015-02-23 |
WO2012172721A1 (ja) | 2012-12-20 |
US8583287B2 (en) | 2013-11-12 |
US20130123987A1 (en) | 2013-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5172049B2 (ja) | ロボット装置、ロボット制御方法、及びロボット制御プログラム | |
JP7400923B2 (ja) | 情報処理装置および情報処理方法 | |
CN106873773B (zh) | 机器人交互控制方法、服务器和机器人 | |
KR102184272B1 (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
JP2012155616A (ja) | コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム | |
US8103382B2 (en) | Method and system for sharing information through a mobile multimedia platform | |
KR101847200B1 (ko) | 객체 제어 방법 및 시스템 | |
US12204338B2 (en) | Information processing apparatus, information processing method, and program | |
WO2020116233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11938625B2 (en) | Information processing apparatus, information processing method, and program | |
JPWO2016136104A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20130094058A (ko) | 커뮤니케이션 시스템, 장치 및 기록 매체 | |
JP7014168B2 (ja) | 仮想生物制御システム、仮想生物制御方法、およびプログラム | |
JP7431903B2 (ja) | 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ | |
JP4411900B2 (ja) | 電子機器間の相互成長システム、電子機器及びロボット装置 | |
CN111278516B (zh) | 信息处理装置、信息处理方法和程序 | |
JPWO2020153038A1 (ja) | 情報処理装置、および情報処理方法 | |
JP7208361B2 (ja) | コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法 | |
CN205334503U (zh) | 具有人脸识别功能的机器人 | |
JP2022178967A (ja) | 撮像システム、カメラロボット及びサーバ | |
JP2005258692A (ja) | 情報提供システム、電子機器、及び情報提供装置 | |
KR102726070B1 (ko) | 행동 로그에 기반한 아바타의 행동 구현 방법 및 장치 | |
JP7393086B2 (ja) | ジェスチャ埋め込みビデオ | |
JP7212766B2 (ja) | コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法 | |
JP2001222626A (ja) | 情報提供装置及び情報提供方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5172049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |