JP5729692B2 - Robot equipment - Google Patents
Robot equipment Download PDFInfo
- Publication number
- JP5729692B2 JP5729692B2 JP2011041234A JP2011041234A JP5729692B2 JP 5729692 B2 JP5729692 B2 JP 5729692B2 JP 2011041234 A JP2011041234 A JP 2011041234A JP 2011041234 A JP2011041234 A JP 2011041234A JP 5729692 B2 JP5729692 B2 JP 5729692B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- emotion
- emotional state
- space
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002996 emotional effect Effects 0.000 claims description 120
- 230000008451 emotion Effects 0.000 claims description 106
- 230000008921 facial expression Effects 0.000 claims description 81
- 230000014509 gene expression Effects 0.000 claims description 48
- 210000001508 eye Anatomy 0.000 claims description 47
- 210000004709 eyebrow Anatomy 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 36
- 230000008909 emotion recognition Effects 0.000 claims description 25
- 206010041349 Somnolence Diseases 0.000 claims description 4
- 208000032140 Sleepiness Diseases 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 29
- 210000003128 head Anatomy 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000037007 arousal Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本出願はロボット装置に関し、より詳細には情動同調によるコミュニケーション手法を利用したロボット装置に関する。 The present application relates to a robot apparatus, and more particularly to a robot apparatus using a communication method based on emotional synchronization.
エンターテインメントロボットをはじめとする、人間とインタラクションを行うロボットへのニーズは、超高齢化社会の進行の中で高まりつつある。このためロボットの研究開発がさかんに行われており、人間とコミュニケーションができるロボットの制御方法が検討されている。人間との親和性を高め、快適にコミュニケーションできるようにロボットを制御する方法として種々の方法が考えられている。しかしながら、人間同士のような自然なインタラクションを可能にする段階にまでは至っていない。 The need for robots that interact with humans, including entertainment robots, is increasing as the super-aging society progresses. For this reason, research and development of robots are being carried out extensively, and methods for controlling robots that can communicate with humans are being studied. Various methods have been considered as a method of controlling a robot so as to enhance the affinity with humans and communicate comfortably. However, it has not yet reached the stage where natural interactions like humans are possible.
人間同士のインタラクションにおいては、「同調」がコミュニケーションスキルの一つとされている。ロボットと人間とのインタラクションにおいても、人間の動作や音声と同調させるようにロボットを制御することにより、人間とロボットとの親和性を高め、ユーザを飽きさせないようにする制御方法が考えられている。 In human interaction, “synchronization” is one of communication skills. In the interaction between a robot and a human, a control method is considered to increase the affinity between the human and the robot and prevent the user from getting bored by controlling the robot to synchronize with the human motion and voice. .
人間同士あるいは人間とロボットとのインタラクションにおける「同調」には、相手の「行為」に同調する場合と、相手の「情動」に対して同調する場合とがある。行為の同調とは、話し手と聞き手との間で、うなずきや身振りといった身体のリズムを同調させるといった作用であり、相手との間で親しみやすさやポジティブな印象を持つと考えられる。一方、情動の同調とは、相手の情動に合わせた表情の表出を行うと相手の幸福表情が促進されるといったように、相手の心理状態に合った反応を返す作用であり、相手の心理状態をより快適な状態に変化させると考えられる。 The “synchronization” in the interaction between humans or between a human and a robot may be synchronized with the “act” of the other party or synchronized with the “emotion” of the other party. Action synchronization is the action of synchronizing the rhythm of the body, such as nodding and gesturing, between the speaker and the listener, and is considered friendly and positive. On the other hand, emotional synchronization is an action that returns a reaction that matches the other person's psychological state, such as when the expression of a facial expression that matches the other person's emotion is promoted, the other person's emotional expression is promoted. It is thought to change the state to a more comfortable state.
本願発明者は、人の音声から情動を認識し、情動同調の手法に基づいてロボットを制御する方法について検討してきた。本願は、人の表情から人の情動を認識して情動同調の手法を利用して制御するロボット装置を提供することを目的とする。 The inventor of the present application has studied a method of recognizing an emotion from a human voice and controlling the robot based on a method of emotion synchronization. An object of the present application is to provide a robot apparatus that recognizes a human emotion from a human facial expression and controls the emotion using a method of emotion synchronization.
本出願に係るロボット装置は、ユーザに視認させる表情を表出する表出部と、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備え、前記情動認識部においては、ユーザの表情から抽出された目、眉、口のそれぞれについて、傾斜度を、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定し、湾曲度を、目、眉、口の長さと高さとの比によって規定するとともに、目、眉、口のそれぞれの傾斜度をすべて加え合わせたものを顔全体の傾斜度、目、眉、口のそれぞれの湾曲度をすべて加え合わせたものを顔全体の湾曲度とし、前記顔全体の傾斜度を横軸、前記顔全体の湾曲度を縦軸とする2次元空間の座標としてユーザの情動状態を表す情動認識空間を規定し、前記情動生成部においては、横軸に快−不快、縦軸に覚醒−眠気として情動状態を表現する円環モデルに基づく情動空間に、前記情動認識空間に表されたユーザの情動状態の値を入力し、この値にしたがってロボットの情動状態を決めるとともに、ユーザの情動状態に同調するようにロボットの情動状態を生成することを特徴とする。 The robot apparatus according to the present application includes an expression unit that expresses a facial expression that is visually recognized by a user, an emotion recognition unit that analyzes a user's emotional state based on the user's facial expression, and the emotion recognition unit An emotion generation unit that generates an emotional state of the robot so as to guide the user to the emotional state recognized by the user, and an emotion that generates an expression to be expressed from the robot based on the emotional state of the robot generated by the emotion generation unit The emotion recognition unit includes a horizontal line that connects the endpoints of the eyes, eyebrows, and mouth for each of the eyes, eyebrows, and mouth extracted from the user's facial expression. The degree of curvature is defined by the angle, the degree of curvature is defined by the ratio of the length and height of the eyes, eyebrows, and mouth, and the total inclination of each of the eyes, eyebrows, and mouth is added together. ,eyebrow, The user's emotional state is expressed as a coordinate of a two-dimensional space in which the curvature of the entire face is abscissa and the curvature of the entire face is the ordinate. An emotion recognition space is defined, and the emotion generation unit displays the emotion recognition space in an emotion space based on an annular model that expresses an emotional state as pleasant-unpleasant on the horizontal axis and arousal-sleepiness on the vertical axis. The value of the emotional state of the user is input, the emotional state of the robot is determined according to this value, and the emotional state of the robot is generated so as to synchronize with the emotional state of the user .
また、前記情動生成部においては、ロボットの情動状態を生成する情動生成空間を、前記情動認識空間で表されたユーザの情動状態をアトラクタとするベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれるように制御することを特徴とする。 In the emotion generation unit, the emotion generation space for generating the emotional state of the robot is defined as a vector field having the emotional state of the user represented by the emotion recognition space as an attractor. Control is made so that the emotional state is gradually drawn.
また、前記情動表出部においては、ロボットから表出させる目、眉、口の傾斜度を横軸、目、眉、口の湾曲度を縦軸とする２次元空間である情動表出空間を規定し、該情動表出空間における座標点とロボットから表出させる目、眉、口の傾斜度と湾曲度とを結びつけることにより、ロボットから表出させる表情を生成することを特徴とする。 In the emotion expression unit, an emotion expression space which is a two-dimensional space in which the inclination of the eyes, eyebrows, and mouth to be expressed from the robot is abscissa, and the curvature of the eyes, eyebrows, and mouth is the ordinate. A facial expression to be expressed from the robot is generated by connecting the coordinate points in the emotion expression space and the inclination and curvature of the eyes, eyebrows, and mouth to be expressed from the robot.
また、前記情動表出空間は、前記情動生成空間と、非線形写像による手法により記号空間を介して動的に関連づけられ、ロボットの動的な表情が生成されることを特徴とする。
また、前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものとして構成されていることを特徴とする。
The emotion expression space is dynamically associated with the emotion generation space through a symbol space by a non-linear mapping technique, and a dynamic facial expression of the robot is generated.
Moreover, the said display part is comprised as what expresses the figure similar to eyes, eyebrows, and a mouth by changing each inclination and curvature arbitrarily .
本発明に係るロボット装置は、ユーザの表情に基づいてユーザの情動状態を認識し、この認識結果に同調するようにロボットの情動状態を生成することにより、ユーザの情動の変化に同調するようにロボットから表出される表情が制御され、自然で親和性の高いコミュニケーションが可能なロボット装置として提供される。 The robot apparatus according to the present invention recognizes the emotional state of the user based on the facial expression of the user, and generates the emotional state of the robot so as to synchronize with the recognition result so as to synchronize with the change of the emotion of the user. It is provided as a robot device that controls the facial expression expressed by the robot and enables natural and high-affinity communication.
（ロボット装置）
本発明に係るロボット装置は、人（ユーザ）の表情からユーザの情動を認識し、その情動に基づいてロボットに表出させる表情を制御するように構成されている。
図１は、ロボット装置の頭部ロボットを正面方向から見た状態、図２は頭部ロボットを側面方向から見た状態を示す。この頭部ロボットは、ネック部１０と頭部１２とから構成される。ネック部１０は、頭部１２を高さ調節可能に支持する支持部を備える。頭部１２は、前方が凸となるドーム形のスクリーン１２ａと、プロジェクタ１２ｂと、プロジェクタ１２ｂの前側に設置された魚眼レンズ１２ｃとを備える。スクリーン１２ａがロボットの表情の表出部である。
(Robot device)
The robot apparatus according to the present invention is configured to recognize a user's emotion from a human (user) facial expression and control a facial expression to be expressed by the robot based on the emotion.
FIG. 1 shows a state in which the head robot of the robot apparatus is viewed from the front, and FIG. 2 shows a state in which the head robot is viewed from the side. The head robot includes a neck portion 10 and a head portion 12. The neck portion 10 includes a support portion that supports the head portion 12 so that the height thereof can be adjusted. The head 12 includes a dome-shaped screen 12a having a convex front, a projector 12b, and a fish-eye lens 12c installed on the front side of the projector 12b. The screen 12a is an expression part for the expression of the robot.
スクリーン１２ａには、魚眼レンズ１２ｃを介してプロジェクタ１２ｂにより、人の表情が投影される。スクリーン１２ａに投影される像は、人の目、眉、口、鼻に類似する像であり、これらの像はコンピュータによりアニメ的にデザインされて投影される。
図３は、スクリーン１２ａに表出する像を示す。スクリーン１２ａに表出する顔の像は、目、眉、口のそれぞれ傾斜度と湾曲度とを独立にかつ連続的に変えて表出できるように制御される（鼻の画像は無変化）。図３に、目、眉、口について、傾斜度を制御する位置（円形の点）と湾曲度を制御する位置（ひし形の点）を示す。
A human facial expression is projected on the screen 12a by the projector 12b via the fish-eye lens 12c. The images projected on the screen 12a are images similar to human eyes, eyebrows, mouths and noses, and these images are designed and projected in an animated manner by a computer.
FIG. 3 shows an image displayed on the screen 12a. The face image displayed on the screen 12a is controlled so that it can be displayed by changing the inclination and curvature of the eyes, eyebrows, and mouth independently and continuously (the image of the nose remains unchanged). FIG. 3 shows a position for controlling the degree of inclination (circular point) and a position for controlling the degree of curvature (diamond point) for eyes, eyebrows and mouth.
たとえば、眉の左右の円形の点の位置を上下に動かすことにより、眉の傾斜度が変えられる。また、ひし形の点の位置を上下に動かすことにより湾曲度の小さな眉としたり、湾曲度の大きな眉としたりすることができる。同様に、目についても、円形の点の位置を動かすことにより傾斜度を変化させ、目じりが下がった状態としたり、目じりが上がった状態にしたりすることができる。また、ひし形の位置を上下させることにより、目の大きさを変えることができる。また、口の円形の点とひし形の点の位置を動かすことにより、口の大きさを変えたり口の表情を変えたりすることができる。 For example, the inclination of the eyebrows can be changed by moving the positions of the left and right circular points of the eyebrows up and down. Further, by moving the position of the diamond point up and down, it is possible to make an eyebrow with a small degree of curvature or an eyebrow with a large degree of curvature. Similarly, the degree of inclination of the eyes can be changed by moving the position of the circular point, and the eyes can be lowered or the eyes can be raised. Moreover, the size of the eyes can be changed by moving the position of the rhombus up and down. In addition, the size of the mouth and the facial expression of the mouth can be changed by moving the positions of the circular point and the diamond point of the mouth.
本実施形態のロボット装置では、上述した頭部ロボットをテーブル上に配置し、頭部ロボットの手前に人（ユーザ）の顔を視認するカメラを配置し、カメラ越しに頭部ロボットのスクリーンをユーザが視認できる配置とした。カメラ等のユーザの表情を検知する視認装置は頭部ロボットと別体に設けることもできるし、頭部ロボットに一体に組み込むこともできる。
カメラによって視認したユーザの表情に基づいてコンピュータ解析によりユーザの情動状態が認識され、認識されたユーザの情動状態に基づいて頭部ロボットのスクリーンに表出する表情が制御される。
スクリーン１２ａはユーザにロボットの表情を視認させるためのものであり、本実施形態ではスクリーン１２ａをドーム形としたことにより、表情が立体的に表出できるようになっている。スクリーン１２ａはロボットの表情を表出させる表出部の一つの例であり、スクリーン以外に液晶による表示方法や、各種のディスプレイ方法を利用することができる。
In the robot apparatus according to the present embodiment, the above-described head robot is placed on a table, a camera that visually recognizes the face of a person (user) is placed in front of the head robot, and the screen of the head robot is placed over the camera. It was set as the arrangement | positioning which can visually recognize. The visual recognition device for detecting the facial expression of the user such as a camera can be provided separately from the head robot, or can be integrated into the head robot.
The emotional state of the user is recognized by computer analysis based on the facial expression of the user visually recognized by the camera, and the facial expression that appears on the screen of the head robot is controlled based on the recognized emotional state of the user.
The screen 12a is used for allowing the user to visually recognize the facial expression of the robot. In this embodiment, the screen 12a is formed in a dome shape so that the facial expression can be displayed three-dimensionally. The screen 12a is an example of a display unit that displays the facial expression of the robot. In addition to the screen, a display method using liquid crystal or various display methods can be used.
（インタラクションシステム）
図４は、ユーザとロボットとのインタラクションシステムをブロック図として示したものである。
ロボット装置は、カメラ等の視認装置により視認して得られた人（ユーザ）の表情からユーザの情動状態を解析する情動認識部２０と、ロボットに表出させる表情を生成させるために、情動認識部２０によって解析されたユーザの情動状態に同調させる情動を生成させる情動生成部２２と、情動生成部２２によって生成した情動に基づいてロボットから表出させる表情を生成するための情動表出部２４とを備える。以下、これら各部の構成について説明する。
(Interaction system)
FIG. 4 is a block diagram showing an interaction system between a user and a robot.
The robot apparatus includes an emotion recognition unit 20 that analyzes the emotional state of the user from the facial expression of a person (user) obtained by visual recognition with a visual recognition device such as a camera, and emotion recognition to generate a facial expression to be expressed by the robot. An emotion generation unit 22 that generates an emotion synchronized with the emotional state of the user analyzed by the unit 20, and an emotion expression unit 24 for generating a facial expression to be expressed from the robot based on the emotion generated by the emotion generation unit 22 With. Hereinafter, the configuration of each of these units will be described.
（情動認識部）
情動認識部では人（ユーザ）の表情に基づいて人の情動状態を認識する。人の表情から情動を認識する方法には、心理学的方法等のさまざまなアプローチがある。
本実施形態では、AdaBoostアルゴリズムを利用し、目、眉、口について表情を検知した。実施形態のロボット装置は、１秒間に25フレームの速度で顔の表情を検知することが可能である。顔の表情を認識するには、目の領域と口の領域を別々に検知し、目の領域では、眉と目とを分離し、左右の眉、目についてそれぞれ分離して解析した。人の表情は必ずしも左右対称ではないからである。口については、皮膚の色と唇の色が類似していることから、RGBによる分析方法にかえてHSVによる分析方法を利用して解析した。
図５は、カメラによって検知した顔の表情のデータを加工して、眉と目と口の形を抽出した例である。図６は、眉と目について抽出した例を示す。
(Emotion Recognition Department)
The emotion recognition unit recognizes the emotional state of the person based on the facial expression of the person (user). There are various approaches such as psychological methods for recognizing emotions from human facial expressions.
In the present embodiment, facial expressions are detected for the eyes, eyebrows, and mouth using the AdaBoost algorithm. The robot apparatus of the embodiment can detect facial expressions at a speed of 25 frames per second. In order to recognize facial expressions, the eye area and mouth area were detected separately, and in the eye area, the eyebrows and eyes were separated, and the left and right eyebrows and eyes were separately analyzed. This is because human facial expressions are not always symmetrical. Since the skin color and lip color are similar, the mouth was analyzed using the HSV analysis method instead of the RGB analysis method.
FIG. 5 shows an example of processing the facial expression data detected by the camera and extracting the shape of the eyebrows, eyes, and mouth. FIG. 6 shows an example of extracting eyebrows and eyes.
人の顔の表情から情動状態を認識する方法として、本実施形態においては、顔の表情に表れる湾曲度(bending)と傾斜度(inclination)を指標として認識する方法を利用した。この顔の表情に表れる湾曲度と傾斜度が人の情動に関連するという考え方は、Yamadaの理論に基づく（非特許文献１、２）。顔の表情に表れる湾曲度は、眉と目の曲がり具合、口の開き具合に関係し、傾斜度は、目と眉の傾き具合、口のV形あるいは逆V形の形状に関係する。図７に、傾斜度を横軸、湾曲度を縦軸とした場合の顔の表情の例を示す。 As a method for recognizing the emotional state from the facial expression of a person, in the present embodiment, a method of recognizing the bending degree and the inclination appearing in the facial expression as indices is used. The idea that the degree of curvature and inclination appearing in facial expressions is related to human emotion is based on Yamada's theory (Non-Patent Documents 1 and 2). The degree of curvature appearing in the facial expression is related to the degree of bending of the eyebrows and eyes and the degree of opening of the mouth, and the degree of inclination is related to the degree of inclination of the eyes and eyebrows and the shape of the mouth V shape or inverted V shape. FIG. 7 shows an example of facial expression when the inclination is on the horizontal axis and the curvature is on the vertical axis.
図８は表情のデータから傾斜度(inclination)と湾曲度(bending)を決める方法を示す。
目、眉、口の両端点を結ぶ線と水平線とのなす角、θe、θb、θmが、目、眉、口の傾斜度（傾斜角）を示し、目の長さLeと高さHeとの比、眉の長さLbと高さHbとの比、口の長さLmと高さHmの比によって湾曲度が定義される。
顔の表情は刻々変化するが、各表情における顔全体の傾斜度を目、眉、口の傾斜度をすべて加え合わせたものとして定義し、湾曲度を目、眉、口の湾曲度をすべて加え合わせたものと定義する。なお、傾斜度と湾曲度については、図９に示すように、目、眉、口について標準の傾斜度と湾曲度を設定し、この標準状態を基準状態として、”＋”状態と、”−”状態を定義した。
FIG. 8 shows a method of determining the inclination and bending from the facial expression data.
The angle between the line connecting the end points of the eyes, eyebrows, and mouth and the horizontal line, θ e , θ b , θ m indicate the inclination (inclination angle) of the eyes, eyebrows, and mouth, and the eye length Le the ratio between the height H e, the ratio of the length L b and the height H b of the eyebrows, curvature is defined by the ratio of the length L m and the height H m of the mouth.
The facial expression changes from moment to moment, but the inclination of the entire face in each facial expression is defined as the sum of the inclinations of the eyes, eyebrows, and mouth, and the curvature is added to all of the eyes, eyebrows, and mouth. Defined as combined. As for the inclination and curvature, as shown in FIG. 9, standard inclination and curvature are set for the eyes, eyebrows, and mouth, and the “+” state and “−” "The state is defined.
図１０は、４３人の被検者について顔の表情を認識した結果に基づき、傾斜度(inclination)を横軸、湾曲度(bending)を縦軸とする２次元空間内に、典型的な６つの顔の表情happy、surprise、fear、angry、disgust、sadの位置を示したものである。
図１０では、happyとangryの状態で顔の表情の傾斜度が最大と最小になることから、happyとangryの状態の傾斜度を１、−１とし、surpriseとsadの状態で顔の表情の湾曲度が最大と最小になることから、surpriseとsadの状態の湾曲度を１、−１となるように規格化している。
図１０はユーザの顔の表情に基づいてユーザの情動状態を認識した結果を、２次元空間で表した情動認識空間である。
FIG. 10 shows a typical 6-dimensional space in a two-dimensional space with the horizontal axis of inclination and the vertical axis of bending based on the results of recognizing facial expressions for 43 subjects. The positions of the two facial expressions are happy, surprise, fear, angry, disgust, and sad.
In FIG. 10, since the inclination of the facial expression becomes maximum and minimum in the happy and angry states, the inclination of the happy and angry state is set to 1 and −1, and the facial expression in the surprise and sad states. Since the curvature is maximized and minimized, the curvature in the surprise and sad states is normalized to be 1 and -1.
FIG. 10 shows an emotion recognition space in which a result of recognizing the user's emotional state based on the facial expression of the user is represented in a two-dimensional space.
図１１は、１２人の被検者に、happy、surprise、fear、angry、disgust、sadの表情をするように依頼し、そのときの表情をカメラで視認して、上述した傾斜度と湾曲度を指標とする２次元空間内にプロットしたものである。実験によるプロット位置と、図１０に示した６つの顔の表情に対応する位置とのずれを計測したところ、77%の確率で顔の表情からhappy、surprise、fear、angry、disgust、sadの情動状態が認識されるという結果が得られた。すなわち、前述した顔の表情を解析して得られた傾斜度及び湾曲度に基づいて人の情動状態を認識することが可能であり、この手法が人（ユーザ）の情動状態を認識する方法として有効であることを示す。 FIG. 11 asks 12 examinees to express happy, surprise, fear, angry, disgust, sad, and visually confirm the facial expressions with the camera. Is plotted in a two-dimensional space using as an index. When the deviation between the experimental plot position and the position corresponding to the six facial expressions shown in FIG. 10 was measured, the emotions of happy, surprise, fear, angry, disgust, sad were determined from the facial expression with a probability of 77%. The result that the state was recognized was obtained. That is, it is possible to recognize the emotional state of a person based on the inclination and curvature obtained by analyzing the facial expression described above, and this method is a method for recognizing the emotional state of a person (user). Indicates that it is valid.
（情動生成部）
本発明に係るロボット装置では情動認識部により認識された人（ユーザ）の情動に基づいてスクリーン１２ａに表出させる表情を制御する。このスクリーンに表出させる表情を制御する手法として、本発明においては、ユーザの情動状態に基づいてロボットの情動状態を制御し、この情動状態に基づいてロボットから表出させる表情を制御するという手法をとる。
この人とロボットの情動に基づいて制御する方法は、単に、人とロボットとの行為を同調させるといった制御方法と比較して、人とロボットとの自然なコミュニケーションを可能とし、人とロボットとの親和性を高めることができ、人とロボットとのコミュニケーションを制御する方法として汎用的な利用を可能にするという利点がある。
(Emotion generation part)
In the robot apparatus according to the present invention, the facial expression displayed on the screen 12a is controlled based on the emotion of the person (user) recognized by the emotion recognition unit. As a method for controlling the facial expression to be displayed on the screen, in the present invention, a method for controlling the emotional state of the robot based on the emotional state of the user and controlling the facial expression to be expressed from the robot based on the emotional state. Take.
Compared with a control method that synchronizes the actions of a person and a robot, this method of controlling based on the emotions of the person and the robot enables natural communication between the person and the robot. There is an advantage that affinity can be increased and general-purpose use is possible as a method for controlling communication between a person and a robot.
人の情動状態に基づいてロボットから発現させる情動状態を生成する方法として、本実施形態においては、情動状態を二次元空間で表現するRussellの円環モデル（非特許文献３）を利用する（図１２）。この円環モデルは、横軸に快−不快、縦軸に覚醒−眠気をとることによって、種々の情動状態を表現するように考えられたものである。
情動生成部は、この円環モデルに基づく情動空間に、前述した情動認識部により得られた人（ユーザ）の情動状態の値を入力し、この値にしたがってロボットの情動状態を決める。
As a method for generating an emotional state expressed from a robot based on a human emotional state, in this embodiment, a Russell's annular model (Non-patent Document 3) that expresses the emotional state in a two-dimensional space is used (see FIG. 3). 12). This annular model is considered to express various emotional states by taking pleasant-unpleasant on the horizontal axis and awakening-drowsiness on the vertical axis.
The emotion generation unit inputs the value of the emotional state of the person (user) obtained by the emotion recognition unit described above into the emotional space based on the annular model, and determines the emotional state of the robot according to this value.
本発明においては、ロボットの情動をユーザの情動に同調させるように制御する。このような制御を行うため、ユーザとロボットの情動状態を表現する情動空間を、ユーザの情動状態（入力値）をアトラクタとする力学系のベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれる（誘導される）ように制御する手法を用いた。
図１３は、情動空間内に入力されたユーザの情動状態（入力値）に、ロボットの情動状態が同調される作用を矢印によって示している。ユーザの情動状態は刻々と変化するが、図１３に示すようなベクトル場を考慮することにより、ロボットの情動状態は徐々にユーザの情動状態に引き込まれてユーザの情動状態に同調していく。
図１３に示すベクトル場として構築した情動空間は、人の情動状態に基づいてロボットの情動状態を生成するという意味で情動生成空間ということができる。
In the present invention, control is performed so that the emotion of the robot is synchronized with the emotion of the user. In order to perform such control, the emotional space expressing the emotional state of the user and the robot is defined as a vector field of a dynamic system having the emotional state (input value) of the user as an attractor, and the emotional state of the robot is defined as the emotional state of the user. A method of controlling so that the state is gradually drawn (induced) was used.
FIG. 13 shows, by arrows, an action in which the emotional state (input value) of the user input in the emotional space is synchronized with the emotional state of the robot. Although the emotional state of the user changes every moment, by considering a vector field as shown in FIG. 13, the emotional state of the robot is gradually drawn into the emotional state of the user and synchronized with the emotional state of the user.
The emotional space constructed as a vector field shown in FIG. 13 can be called an emotion generation space in the sense that the emotional state of the robot is generated based on the human emotional state.
図１２に示すRussellの円環モデルによる情動空間と、図１０に示した、ユーザの情動状態を示す空間（情動認識空間）とは類似しているが、一致はしていない。図１４に、先に取り上げた６つの情動、happy、surprise、fear、angry、disgust、sadについて、情動認識空間と情動生成空間とがどのような関係にあるかを示した。 The emotional space based on the Russell's ring model shown in FIG. 12 is similar to the space (emotional recognition space) showing the emotional state of the user shown in FIG. 10, but they do not match. FIG. 14 shows the relationship between the emotion recognition space and the emotion generation space for the six emotions described above, happy, surprise, fear, angry, disgust, and sad.
（情動表出部）
情動表出部では、ユーザの情動状態に同調させて生成したロボットの情動状態に基いてロボットから表出させる表情を生成する。図１５にロボットから表出させる表情の例を示す。ロボットから表出させる表情は、図１５に示すような傾斜度を横軸、湾曲度を縦軸とする２次元空間内の各点に対応して決められる。この２次元空間の傾斜度は、目と眉の傾斜角、口のV形あるいは逆V形の角度に関係し、湾曲度は、眉の曲がり具合、目と口の大きさに関係する。図１５は、例として、normal、happy、angry、sad、surpriseの各情動状態に対応する５つの表情を示したものである。したがって、ロボットの情動状態をロボットの表情を規定する目、眉、口についての傾斜度と湾曲度に結びつけることにより、ロボットから表出させる表情を決めることができる。
(Emotion Expression Department)
The emotion expression unit generates a facial expression to be expressed from the robot based on the emotional state of the robot generated in synchronization with the emotional state of the user. FIG. 15 shows an example of facial expressions to be expressed from the robot. The facial expression to be expressed from the robot is determined corresponding to each point in the two-dimensional space having the horizontal axis as the inclination and the vertical axis as the curvature as shown in FIG. The inclination of the two-dimensional space is related to the inclination angle of the eyes and eyebrows and the angle of the V-shaped or inverted V-shape of the mouth, and the degree of curvature is related to the degree of bending of the eyebrows and the size of the eyes and mouth. FIG. 15 shows five facial expressions corresponding to the emotional states of normal, happy, angry, sad, and surprise as an example. Therefore, the expression of expression from the robot can be determined by combining the emotional state of the robot with the inclination and curvature of the eyes, eyebrows, and mouth that define the expression of the robot.
人とコミュニケーションするロボットは人と類似したさまざまな情動状態を取り得る。この情動状態は刻々と変化する動的なものであり、同じ情動状態であっても表出される表情は動的に変化する。このように、ロボットから表出させる表情を動的に変化させるようにするため、本実施形態においては、ロボットの情動状態を表す情動生成空間とロボットにより表出させる表情を生成するための情動表出空間とを関連づける、連続空間としての記号空間を想定し、記号空間を介して情動生成空間と情動表出空間とを関連づけるようにしている（非特許文献５）。 A robot that communicates with a person can have various emotional states similar to those of a person. This emotional state is a dynamic one that changes moment by moment, and the facial expression that is expressed changes dynamically even in the same emotional state. Thus, in order to dynamically change the facial expression to be expressed from the robot, in this embodiment, the emotion generation space for expressing the emotional state of the robot and the emotion table for generating the facial expression to be expressed by the robot are used. A symbol space as a continuous space is assumed to be associated with the exit space, and the emotion generation space and the emotion expression space are associated with each other via the symbol space (Non-patent Document 5).
図１６は記号空間と情動表出空間との関係を示している。記号空間内の各点は情動表出空間における動的な動き（サイクリックな動き）に対応する。情動生成部によって生成されたロボットの情動状態は、記号空間を介して動的な表情を表出させる情動表出空間に結び付けられている。このように、情動生成空間と情動表出空間とを動的に関連づけすることにより、ユーザの情動状態に同調してロボットによる動的で自然な表情の表出が可能になる。
図１７は情動生成空間（図１３）と記号空間との関係を概念的に示した図である。情動生成空間と記号空間は異次元空間であり、記号空間と情動表出空間も異次元空間である。本実施形態では非線形写像による手法を利用して異次元空間を結びつけるようにした。
FIG. 16 shows the relationship between the symbol space and the emotion expression space. Each point in the symbol space corresponds to a dynamic movement (cyclic movement) in the emotional expression space. The emotional state of the robot generated by the emotion generation unit is linked to an emotion expression space that expresses a dynamic expression through a symbol space. In this way, by dynamically associating the emotion generation space and the emotion expression space, it becomes possible to express a dynamic and natural expression by the robot in synchronization with the emotional state of the user.
FIG. 17 is a diagram conceptually showing the relationship between the emotion generation space (FIG. 13) and the symbol space. The emotion generation space and the symbol space are different dimension spaces, and the symbol space and the emotion expression space are also different dimension spaces. In the present embodiment, different dimensional spaces are connected using a technique based on nonlinear mapping.
（情動同調のシミュレーション）
上述した情動同調の方法を利用して、情動状態がどのように連関するかをシミュレーションした例を以下に示す。この計算は、人の情動が、normal→happy→surprise→angry→sad→normalの順に変化したと想定して行ったものである。図１８は情動生成空間における人の情動とロボットの情動とを示したものである。人の情動状態に同調してロボットの情動状態が移動していく様子がわかる。図１９は記号空間内における動きである。記号空間においては、情動状態がλ１、λ２、λ３の３個の指標によって規定されている。図２０は情動表出空間における情動状態を示す。情動表出空間では各情動状態に応じて、動的に情動状態が変化している。図２１は実際にロボットから表出される表情を示す。ａ〜ｋは、図２０のａ〜ｋの各情動状態に対応する。
(Emotion tuning simulation)
An example of how the emotional state is related using the emotion tuning method described above is shown below. This calculation was performed on the assumption that the human emotion changed in the order of normal → happy → surprise → angry → sad → normal. FIG. 18 shows human emotions and robot emotions in the emotion generation space. It can be seen that the emotional state of the robot moves in synchronization with the emotional state of the person. FIG. 19 shows the movement in the symbol space. In the symbol space, the emotional state is defined by three indices λ1, λ2, and λ3. FIG. 20 shows emotional states in the emotional expression space. In the emotional expression space, the emotional state dynamically changes according to each emotional state. FIG. 21 shows facial expressions actually expressed from the robot. a to k correspond to the emotional states of a to k in FIG.
図１８、１９、２０、２１に示すシミュレーション結果は、上述した情動生成空間、記号空間、情動表出空間を利用する情報処理方法が、人とロボットとを情動同調に基づく手法によって動的に制御する方法として有効に利用することができ、情報処理方法としても効率的で、人とロボットとの自然なコミュニケーションを可能にすることを示している。 図２２は、上述した情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示したものである。ユーザの表情に基づいて認識された情動状態が情動表出空間にまで連関して、ロボットから表出される表情が規定されていることを示す。 The simulation results shown in FIGS. 18, 19, 20, and 21 show that the information processing method using the emotion generation space, symbol space, and emotion expression space described above dynamically controls a person and a robot by a technique based on emotion synchronization. It can be effectively used as a method for performing information processing, is efficient as an information processing method, and enables natural communication between a human and a robot. FIG. 22 shows the relationship among the above-described emotion recognition space, emotion generation space, symbol space, and emotion expression space. The emotional state recognized based on the user's facial expression is linked to the emotional expression space, indicating that the facial expression expressed by the robot is defined.
（コミュニケーション実験）
本発明に係る人とロボットとのコミュニケーションを制御する手法として情動同調の考え方を利用することによる効果を確かめるため、情動同調の制御を行った場合と情動同調させないように制御した場合とで、人とロボットとのコミュニケーションがどのようになるかを実験した結果について説明する。
図２３、２４はロボットの情動をユーザの情動に同調させるコミュニケーションを行う場合の例である。このコミュニケーションによる場合は、ロボットのスタート時の情動がユーザの情動状態に徐々に引き込まれて同調されていく。図２５、２６は、ロボットの情動をユーザの情動状態から正反対の方向へ引き込む（非同調）ように制御する場合の例である。
(Communication experiment)
In order to confirm the effect of using the concept of emotional synchronization as a method for controlling communication between a person and a robot according to the present invention, a person with and without emotional synchronization is controlled. We will explain the experimental results of how communication between the robot and the robot becomes.
FIGS. 23 and 24 are examples in the case of performing communication that synchronizes the emotion of the robot with the emotion of the user. In the case of this communication, the emotion at the start of the robot is gradually drawn into and synchronized with the emotional state of the user. 25 and 26 are examples in the case of controlling the emotion of the robot to be pulled in the opposite direction from the emotional state of the user (asynchronized).
４０人の被検者を２０人ずつの２グループに分け、一方のグループの被検者にはロボットと同調するようにコミュニケーションすることを求め、他方のグループの被検者にはロボットと同調しないようにコミュニケーションすることを求めて実験を行った。被検者は前述したロボット装置のドーム形のスクリーン１２ａに表出される表情を見ながら、先の条件下において自由にロボットとコミュニケートした。
コミュニケーションによる作用を調べるため、実験の前後において、被検者の情動状態を、快−不快と覚醒−眠気の二つのパラメータに基づいて調査した。そして、実験終了後に心理学のSD法（Semantic Differential）により実験の印象を調査した。
Divide 40 subjects into 2 groups of 20 people, one group of subjects is required to communicate to synchronize with the robot, and the other group of subjects do not synchronize with the robot I experimented asking for communication. The subject freely communicated with the robot under the above conditions while observing the facial expression displayed on the dome-shaped screen 12a of the robot apparatus described above.
In order to investigate the effect of communication, the emotional state of the subject was investigated before and after the experiment based on two parameters, comfort-discomfort and arousal-sleepiness. Then, after the experiment, the impression of the experiment was investigated by the SD method (Semantic Differential) of psychology.
実際に、ユーザの表情の変化にともなってロボットから表出される表情がどのように変化するかを観察したところ、情動同調によるコミュニケーションでは、ユーザが快−不快と感じると、ロボットも同じように快−不快と感じる表情を表出し、覚醒度についてもユーザとロボットが同調する表情となることを確かめた。一方、情動非同調によるコミュニケーションでは、ロボットの表情はユーザの表情とまったく逆の情動状態を表出することが確かめられた。
この実験結果は、本実施形態において使用したロボット装置が、ユーザの表情に基づいてユーザの情動状態を正確に認識できること、ロボット装置がユーザの情動状態に基づいて的確に対応できることを示している。
In fact, when we observed how the facial expression expressed by the robot changes as the user's facial expression changes, in communication based on emotional synchronization, if the user feels pleasant-uncomfortable, the robot is equally comfortable. -Expressed expressions that feel uncomfortable, and confirmed that the arousal level is an expression that synchronizes the user and the robot. On the other hand, it was confirmed that the robot's facial expression expresses the emotional state that is completely opposite to the user's facial expression in the communication with emotional unsynchronization.
This experimental result shows that the robot apparatus used in the present embodiment can accurately recognize the emotional state of the user based on the user's facial expression, and that the robotic apparatus can accurately respond based on the emotional state of the user.
図２７、２８は、実験後に、４０人の被験者について情動状態を、快適さと覚醒度のパラメータとして示した平均値である。この結果は、情動同調によるコミュニケーションによる場合は、有意差１％以内において、実験の前後で被検者の快適度と覚醒度が顕著に向上すること、すなわち、情動同調によるコミュニケーションを行った場合は、被検者がロボットに関心を寄せ、興味を持つようになることを示している。
一方、情動非同調によるコミュニケーションによる場合は、有意差１％以内において、被検者の覚醒度は実験後に向上したものの、快適さの感情については実験前よりも実験後は低下する結果となっている。この結果は、情動非同調によるコミュニケーションは被検者を不快にするように作用することを示している。
27 and 28 are average values showing emotional states as parameters of comfort and arousal level for 40 subjects after the experiment. This result shows that in the case of communication by emotional synchronization, within a significant difference of 1%, the comfort level and arousal level of the subject are significantly improved before and after the experiment, that is, when communication by emotional synchronization is performed. , Indicates that the subject is interested in and becomes interested in the robot.
On the other hand, in the case of communication due to emotional non-synchronization, within a significant difference of 1%, the arousal level of the subject improved after the experiment, but the feeling of comfort was lower after the experiment than before the experiment. Yes. This result shows that communication by emotional unsynchronization acts to make the subject uncomfortable.
以上の実験結果は、情動同調による人とロボットとのコミュニケーションは、人の情動状態にポジティブな影響を及ぼすということができる。事実、情動同調によるコミュニケーションを行った被検者のコミュニケーション時間は、情動非同調によるコミュニケーションを行った被検者のコミュニケーション時間のおよそ２倍であった。図２９は、被検者の平均コミュニケーション時間を示す。 From the above experimental results, it can be said that communication between a person and a robot by emotional synchronization has a positive effect on the emotional state of the person. In fact, the communication time of the subject who performed communication by emotional synchronization was approximately twice the communication time of the subject who performed communication by emotional non-synchronization. FIG. 29 shows the average communication time of the subject.
図３０は、SD法によるロボットの印象を調査した結果を示す。図のように、情動同調によるコミュニケーションを行った被検者は、情動非同調によるコミュニケーションを行った被検者と比較して、ロボットに対してはるかに強い好印象を持つことがわかる。このことは、人の情動と同調できるロボットは人に受け入れられやすく、人に好ましい印象を与えることを示している。 FIG. 30 shows the result of investigating the impression of the robot by the SD method. As shown in the figure, it can be seen that the subject who performed communication by emotional synchronization had a much stronger positive impression on the robot than the subject who performed communication by emotional synchronization. This indicates that a robot that can synchronize with a person's emotion is easily accepted by the person and gives a positive impression to the person.
以上説明したように、本発明に係るロボット装置は、人とロボットとの情動に基づいて相互にコミュニケーションするように制御したことにより、人とロボットとの親和性を高めることができ、ロボットとコミュニケーションについて快適な感情を人に与え、ロボットを受け入れやすくすることができるという作用効果を有する。
本実施形態においては、人の表情に基づいて人の情動を認識した。人の情動は顔の表情に限らず、音声や、ことば、身振りにも表れる。本発明に係る情動同調に基づいて人とロボットとのコミュニケーションを考える方法は、顔の表情に限らず、人の心理状態に基づいてロボットを制御する方法として汎用的にかつ効果的に利用することができる。
As described above, since the robot apparatus according to the present invention is controlled to communicate with each other based on the emotion between the person and the robot, the affinity between the person and the robot can be increased. It has the effect of giving a comfortable feeling to the person and making the robot easier to accept.
In this embodiment, a person's emotion is recognized based on the person's facial expression. Human emotions are not limited to facial expressions, but also appear in voice, words, and gestures. The method of considering communication between a person and a robot based on emotional synchronization according to the present invention is not limited to facial expressions, and is used universally and effectively as a method for controlling a robot based on a person's psychological state. Can do.
１０ ネック部
１０ａ 支持板
１０ｂ 支持脚部
１２ 頭部
１２ａ スクリーン
１２ｂ プロジェクタ
１２ｃ 魚眼レンズ
２０ 情動認識部
２２ 情動生成部
２４ 情動表出部
DESCRIPTION OF SYMBOLS 10 Neck part 10a Support plate 10b Support leg part 12 Head 12a Screen 12b Projector 12c Fisheye lens 20 Emotion recognition part 22 Emotion generation part 24 Emotion expression part
Claims (5)
ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、
ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、
情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備え、
前記情動認識部においては、
ユーザの表情から抽出された目、眉、口のそれぞれについて、傾斜度を、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定し、湾曲度を、目、眉、口の長さと高さとの比によって規定するとともに、目、眉、口のそれぞれの傾斜度をすべて加え合わせたものを顔全体の傾斜度、目、眉、口のそれぞれの湾曲度をすべて加え合わせたものを顔全体の湾曲度とし、
前記顔全体の傾斜度を横軸、前記顔全体の湾曲度を縦軸とする2次元空間の座標としてユーザの情動状態を表す情動認識空間を規定し、
前記情動生成部においては、
横軸に快−不快、縦軸に覚醒−眠気として情動状態を表現する円環モデルに基づく情動空間に、前記情動認識空間に表されたユーザの情動状態の値を入力し、この値にしたがってロボットの情動状態を決めるとともに、ユーザの情動状態に同調するようにロボットの情動状態を生成することを特徴とするロボット装置。 An expression part for expressing an expression to be visually recognized by the user;
An emotion recognition unit that analyzes the emotional state of the user based on the facial expression of the user;
An emotion generation unit that generates the emotional state of the robot to guide the emotional state of the robot to the emotional state of the user recognized by the emotion recognition unit;
An emotion expression unit that generates an expression to be expressed from the robot based on the emotional state of the robot generated by the emotion generation unit ;
In the emotion recognition unit,
For each of the eyes, eyebrows, and mouth extracted from the user's facial expression, the degree of inclination is defined by the angle formed by the line connecting the end points of the eyes, eyebrows, and mouth and the horizontal line, and the degree of curvature is determined by the eyes, eyebrows, and mouth. The ratio of the length and height of the face, and the total inclination of each of the eyes, eyebrows, and mouth, together with the inclination of the entire face, the curvature of each of the eyes, eyebrows, and mouth Let the thing be the curvature of the whole face,
Defining an emotion recognition space that represents the emotional state of the user as a coordinate in a two-dimensional space with the inclination of the whole face on the horizontal axis and the curvature of the entire face on the vertical axis;
In the emotion generation unit,
A value of the emotional state of the user represented in the emotion recognition space is input to an emotional space based on a ring model that expresses the emotional state as pleasant-unpleasant on the horizontal axis and arousal-sleepiness on the vertical axis. A robot apparatus characterized by determining an emotional state of the robot and generating the emotional state of the robot so as to synchronize with the emotional state of the user .
ロボットの情動状態を生成する情動生成空間を、前記情動認識空間で表されたユーザの情動状態をアトラクタとするベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれるように制御することを特徴とする請求項１記載のロボット装置。 In the emotion generation unit,
The emotion generation space for generating the emotional state of the robot is defined as a vector field having the emotional state of the user represented by the emotion recognition space as an attractor so that the emotional state of the robot is gradually drawn into the emotional state of the user The robot apparatus according to claim 1, wherein the robot apparatus is controlled.
ロボットから表出させる目、眉、口の傾斜度を横軸、目、眉、口の湾曲度を縦軸とする２次元空間である情動表出空間を規定し、該情動表出空間における座標点とロボットから表出させる目、眉、口の傾斜度と湾曲度とを結びつけることにより、ロボットから表出させる表情を生成することを特徴とする請求項１または２記載のロボット装置。 In the emotion expression part,
The emotion expression space is defined as a two-dimensional space in which the inclination of the eyes, eyebrows, and mouth to be expressed from the robot is abscissa, and the curvature of the eyes, eyebrows, and mouth is the ordinate, and the coordinates in the emotion expression space 3. The robot apparatus according to claim 1, wherein a facial expression to be expressed from the robot is generated by combining the inclination of the point, the eye, the eyebrows, and the mouth, and the curvature of the eye .
前記情動生成空間と、非線形写像による手法により記号空間を介して動的に関連づけられ、ロボットの動的な表情が生成されることを特徴とする請求項３記載のロボット装置。 The emotional expression space is
4. The robot apparatus according to claim 3, wherein the emotion generation space is dynamically associated with the emotion generation space through a symbol space by a non-linear mapping technique, and a dynamic expression of the robot is generated .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011041234A JP5729692B2 (en) | 2011-02-28 | 2011-02-28 | Robot equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011041234A JP5729692B2 (en) | 2011-02-28 | 2011-02-28 | Robot equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012178092A JP2012178092A (en) | 2012-09-13 |
| JP5729692B2 true JP5729692B2 (en) | 2015-06-03 |
Family
ID=46979884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011041234A Active JP5729692B2 (en) | 2011-02-28 | 2011-02-28 | Robot equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5729692B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3498429A1 (en) * | 2017-11-28 | 2019-06-19 | Toyota Jidosha Kabushiki Kaisha | Communication apparatus |
| JP7018909B2 (en) | 2014-07-18 | 2022-02-14 | 立川ブラインド工業株式会社 | Sunlight shielding device |
| WO2023199256A3 (en) * | 2022-04-13 | 2023-12-07 | Soul Machines Limited | Affective response modulation in embodied agents |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6122792B2 (en) * | 2014-02-06 | 2017-04-26 | 日本電信電話株式会社 | Robot control apparatus, robot control method, and robot control program |
| JP6336816B2 (en) * | 2014-04-30 | 2018-06-06 | 東芝ライフスタイル株式会社 | refrigerator |
| JP6166234B2 (en) * | 2014-08-08 | 2017-07-19 | 日本電信電話株式会社 | Robot control apparatus, robot control method, and robot control program |
| JP6562711B2 (en) * | 2015-05-15 | 2019-08-21 | Kddi株式会社 | Robot motion generation apparatus and program |
| WO2017183294A1 (en) | 2016-04-20 | 2017-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | Actuator device |
| EP3446839B1 (en) | 2016-04-20 | 2023-01-18 | Sony Interactive Entertainment Inc. | Robot and housing |
| CN109313935B (en) * | 2016-06-27 | 2023-10-20 | 索尼公司 | Information processing system, storage medium, and information processing method |
| GB2580273B (en) | 2017-09-11 | 2022-06-01 | Groove X Inc | Autonomously acting robot that stares at companion |
| CN108568806B (en) * | 2018-06-14 | 2024-02-13 | 深圳埃米电子科技有限公司 | Head structure of robot |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293539A (en) * | 2004-03-08 | 2005-10-20 | Matsushita Electric Works Ltd | Facial expression recognizing device |
| JP4179230B2 (en) * | 2004-06-07 | 2008-11-12 | ソニー株式会社 | Robot apparatus and operation control method thereof |
-
2011
- 2011-02-28 JP JP2011041234A patent/JP5729692B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7018909B2 (en) | 2014-07-18 | 2022-02-14 | 立川ブラインド工業株式会社 | Sunlight shielding device |
| EP3498429A1 (en) * | 2017-11-28 | 2019-06-19 | Toyota Jidosha Kabushiki Kaisha | Communication apparatus |
| WO2023199256A3 (en) * | 2022-04-13 | 2023-12-07 | Soul Machines Limited | Affective response modulation in embodied agents |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012178092A (en) | 2012-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5729692B2 (en) | Robot equipment | |
| US20220244532A1 (en) | Facial expressions from eye-tracking cameras | |
| EP3538946B1 (en) | Periocular and audio synthesis of a full face image | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| Olszewski et al. | High-fidelity facial and speech animation for VR HMDs | |
| US20190197755A1 (en) | Producing realistic talking Face with Expression using Images text and voice | |
| US20220124140A1 (en) | Communication assistance system, communication assistance method, and image control program | |
| Jaques et al. | Understanding and predicting bonding in conversations using thin slices of facial expressions and body language | |
| CN110531853B (en) | Electronic book reader control method and system based on human eye fixation point detection | |
| KR20130032620A (en) | Method and apparatus for providing moving picture using 3d user avatar | |
| Patwardhan et al. | Multimodal affect recognition using kinect | |
| Kim et al. | LMA based emotional motion representation using RGB-D camera | |
| EP3458969A1 (en) | Intelligent chatting on digital communication network | |
| KR20220004156A (en) | Car cabin interaction method, device and vehicle based on digital human | |
| CN115049016A (en) | Model driving method and device based on emotion recognition | |
| CN113835375A (en) | An artificial intelligence system to assist in the treatment of anxiety disorders | |
| Nijholt | Capturing obstructed nonverbal cues in augmented reality interactions: a short survey | |
| Hill et al. | Range-and domain-specific exaggeration of facial speech | |
| Delaunay et al. | Refined human-robot interaction through retro-projected robotic heads | |
| US20240119619A1 (en) | Deep aperture | |
| US20250029306A1 (en) | Digital memorial system | |
| WO2021106552A1 (en) | Information processing device, information processing method, and program | |
| Abousharara | Prediction of Fatigue Using Deep Learning Models | |
| JP4355823B2 (en) | Information processing device for facial expressions | |
| GB2539183A (en) | A method, an apparatus, a computer program product for augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5729692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |