JP4556425B2

JP4556425B2 - Content reproduction system, content reproduction method, and content reproduction apparatus

Info

Publication number: JP4556425B2
Application number: JP2003413427A
Authority: JP
Inventors: 拓磨青山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-12-11
Filing date: 2003-12-11
Publication date: 2010-10-06
Anticipated expiration: 2023-12-11
Also published as: JP2005169567A

Description

本発明は、コンテンツ再生システム、コンテンツ再生方法、及びコンテンツ再生装置に関し、具体的には、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態に適合したコンテンツを再生するコンテンツ再生システム、コンテンツ再生方法、及びコンテンツ再生装置に関する。 The present invention relates to a content reproduction system, a content reproduction method, and a content reproduction device, and more specifically, a robot apparatus that executes external information, an operation according to an external action and / or an autonomous operation based on an internal state. The present invention relates to a content reproduction system, a content reproduction method, and a content reproduction apparatus that reproduce content that conforms to an internal state.

最近では、人間のパートナーとして生活を支援する、すなわち住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットの開発が進められている。このような実用ロボットは、産業用ロボットとは異なり、人間の生活環境の様々な局面において、個々に個性の相違した人間、又は様々な環境への適応方法を自ら学習する能力を備えている。例えば、犬、猫のように４足歩行の動物の身体メカニズムやその動作を模した「ペット型」ロボット、或いは、２足直立歩行を行う動物の身体メカニズムや動作をモデルにしてデザインされた「人間型」又は「人間形」ロボット（Humanoid Robot）等の脚式移動ロボットは、既に実用化されつつある。 Recently, practical robots that support life as a human partner, that is, support human activities in various situations in daily life such as the living environment, have been developed. Unlike industrial robots, such practical robots have the ability to learn how to adapt themselves to humans with different personalities or to various environments in various aspects of the human living environment. For example, a “pet-type” robot that mimics the body mechanism and movement of a four-legged animal such as a dog or cat, or a body mechanism or movement of an animal that walks upright on two legs. Legged mobile robots such as “humanoid” or “humanoid” robots are already in practical use.

これらの脚式移動ロボットは、産業用ロボットと比較してエンターテインメント性を重視した様々な動作を行うことができるため、エンターテインメントロボットと呼称される場合もある。 Since these legged mobile robots can perform various operations with an emphasis on entertainment as compared to industrial robots, they are sometimes called entertainment robots.

上述したような自律型のロボット装置は、人間と円滑にコミュニケーションをとることでロボット装置への愛着信及び好奇心を向上させて、エンターテインメント性を向上しうるものと考えられる。 It is considered that the autonomous robot apparatus as described above can improve the entertainment property by improving the love incoming and curiosity to the robot apparatus by smoothly communicating with humans.

従来、人間と円滑にコミュニケーションをとるためにロボット装置に発光素子を取り付け、その発光パターンや発光色によりロボット装置の感情を表現している（例えば、特許文献１参照）。 Conventionally, a light-emitting element is attached to a robot apparatus in order to communicate smoothly with a human, and emotions of the robot apparatus are expressed by the light-emission pattern and light-emission color (for example, see Patent Document 1).

しかしながら、発光素子の発光パターンや発光色による感情の表現は、人間の感情表現とは、大きく異なるため、ロボット装置の感情表現に慣れていない人間は、ロボット装置の感情を認識することができない。 However, since the expression of emotion by the light emission pattern and the emission color of the light emitting element is significantly different from the expression of human emotion, a person who is not used to the emotion expression of the robot apparatus cannot recognize the emotion of the robot apparatus.

また、発光手段を用いた感情表現方法では、“喜び”や“悲しみ”など単純な感情しか表現することしかできないため、ロボット装置の複雑な感情や欲求、思考内容などを適切に表現することができない。ロボット装置が感情や思考内容を適切に表現すると、ロボット装置と人間とのコミュニケーションをより円滑化しうるものと考えられる。 In addition, since the emotion expression method using the light emitting means can only express simple emotions such as “joy” and “sadness”, it is possible to appropriately express the complex emotions, desires, thought contents, etc. of the robot device. Can not. If the robot apparatus appropriately expresses emotions and thoughts, it is considered that communication between the robot apparatus and humans can be facilitated.

特許第３２７７５００号Japanese Patent No. 3277500

本発明は、以上の点を考慮してなされたもので、ロボット装置の表現能力をより一層向上させうるコンテンツ再生システム、コンテンツ再生装置、及びコンテンツ再生方法を提供する。 The present invention has been made in view of the above points, and provides a content reproduction system, a content reproduction apparatus, and a content reproduction method that can further improve the expression capability of a robot apparatus.

上述した課題を解決するために、本発明にかかるコンテンツ再生システムは、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置と、画像コンテンツに関する情報を記憶する記憶手段と、ロボット装置の動作及び／又は内部状態を受信する動作及び／又は内部状態受信手段と、ロボット装置の動作及び／又は内部状態と画像コンテンツに関する情報とを比較し、ロボット装置の動作及び／又は内部状態に適合した画像コンテンツを選択するコンテンツ選択手段と、コンテンツ選択手段にて選択した画像コンテンツを再生するコンテンツ再生手段とを備えたコンテンツ再生装置とを備え、コンテンツ選択手段は、記憶手段に記憶されている画像コンテンツに関する情報の項目毎にロボット装置の動作及び／又は内部状態に関連するキーワードを記憶しており、ロボット装置の動作及び／又は内部状態に対応するキーワードと画像コンテンツに関する情報とをマッチングし、キーワードと適合する画像コンテンツを選択する。 In order to solve the above-described problems, a content reproduction system according to the present invention includes external information, a robot apparatus that performs an operation according to an external action and / or an autonomous operation based on an internal state, and information about image content. Storing the storage means for storing the operation, the operation and / or the internal state receiving means for receiving the operation and / or the internal state of the robot apparatus, and comparing the operation and / or the internal state of the robot apparatus and the information relating to the image content. a content selection means for selecting an image content that matches operation and / or the internal state of a content playback apparatus and a content reproducing means for reproducing an image content selected by the content selection unit, the content selection means , robot for each item of information about the image content stored in the storage means Stores keywords related to the operation and / or the internal state of the apparatus, matching the information about the keywords and image content corresponding to the operation and / or the internal state of the robot apparatus, selects the image content matching a keyword .

また、本発明にかかるコンテンツ再生方法は、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の動作及び／又は内部状態に応じた画像コンテンツを再生するコンテンツ再生装置におけるコンテンツ再生方法であって、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の動作及び／又は内部状態を受信する動作及び／又は内部状態受信工程と、画像コンテンツの内容を示す情報を受信する情報受信工程と、動作及び／又は内部状態と画像コンテンツの内容を示す情報とを比較し、動作及び／又は内部状態に適合した画像コンテンツを検索するコンテンツ検索工程と、画像コンテンツを再生するコンテンツ再生工程とを有し、コンテンツ再生装置には、画像コンテンツの内容を示す情報の項目毎にロボット装置の動作及び／又は内部状態に関連するキーワードが記憶されており、コンテンツ検索工程では、コンテンツ再生装置に記憶されているキーワードに基づき、ロボット装置の動作及び／又は内部状態に対応するキーワードと上画像コンテンツに関する情報とをマッチングし、キーワードと適合する画像コンテンツを選択する。 In addition, the content reproduction method according to the present invention provides external information, an operation according to an external action and / or an operation of a robot apparatus that performs an autonomous operation based on an internal state and / or an image content according to the internal state. A content reproduction method in a content reproduction apparatus for reproduction, the operation of a robot apparatus performing autonomous operation based on external information, operation according to external action and / or internal state and / or operation of receiving internal state And / or the internal state receiving step, the information receiving step for receiving information indicating the content of the image content, and the operation and / or the internal state and the information indicating the content of the image content are compared, and the operation and / or internal state is obtained. It has a content search step of searching the image content adapted, and a content reproduction step of reproducing image content Keywords in the content reproduction apparatus, each item of information indicating the contents of the image content are keywords stored associated with the operation and / or the internal state of the robot apparatus, the content search process, stored in the content reproducing apparatus the basis of, matching and information related to the keyword and the upper image content corresponding to the operation and / or the internal state of the robot apparatus, selects the image content matching a keyword.

また、本発明にかかるコンテンツ再生装置は、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の動作及び／又は内部状態を受信する動作及び／又は内部状態受信手段と、画像コンテンツの内容を示す情報を記憶する記憶手段と、ロボット装置の動作及び／又は内部状態と画像コンテンツの内容を示す情報とを比較し、ロボット装置の動作及び／又は内部状態に適合した画像コンテンツを選択するコンテンツ選択手段と、ロボット装置の動作及び／又は内部状態に適合した画像コンテンツを再生するコンテンツ再生手段とを備え、コンテンツ選択手段は、記憶手段に記憶されている画像コンテンツの内容を示す情報の項目毎にロボット装置の動作及び／又は内部状態に関連するキーワードを記憶しており、ロボット装置の動作及び／又は内部状態に対応するキーワードと画像コンテンツの内容を示す情報とをマッチングし、キーワードと適合する画像コンテンツを選択する。 In addition, the content reproduction apparatus according to the present invention includes external information, an operation according to an external action, and / or an operation of a robot apparatus that performs an autonomous operation based on an internal state and / or an operation of receiving an internal state. Alternatively, the internal state receiving means, the storage means for storing information indicating the content of the image content, the operation and / or the internal state of the robot apparatus and the information indicating the content of the image content are compared, and the operation of the robot apparatus and / or Content selection means for selecting image content adapted to the internal state and content reproduction means for reproducing image content adapted to the operation of the robot apparatus and / or internal state, the content selection means being stored in the storage means key associated with the operation and / or the internal state of the robot apparatus to each item of information indicating the contents of the image content that are Stores the over-de, matching and information indicating the contents of the keyword and image content corresponding to the operation and / or the internal state of the robot apparatus, selects the image content matching a keyword.

本発明は、コンテンツを再生してロボット装置の内部状態を表現するため、ロボット装置の表現力が広がり、ロボット装置のエンターテインメント性が向上する。本発明では、ロボット装置の内部状態とコンテンツに関する情報とを比較し、コンテンツの内部状態に適合したコンテンツを選択する。 Since the present invention reproduces content and expresses the internal state of the robot apparatus, the expressive power of the robot apparatus is expanded, and the entertainment performance of the robot apparatus is improved. In the present invention, the internal state of the robot apparatus is compared with information related to the content, and content that matches the internal state of the content is selected.

また、本発明では、ネットワーク上に存在するコンテンツ及びコンテンツに関する情報を記録した外部記録装置を検索し、この外部記録装置からコンテンツに関する情報を受信する。そして、このコンテンツに関する情報を記録した外部記録装置に対してコンテンツの配信を要求する。ネットワーク上には、無数の外部記録装置が存在するので、コンテンツの選択の幅が広がる。 Further, in the present invention, the external recording device that records the content existing on the network and the information related to the content is searched, and the information related to the content is received from the external recording device. Then, the distribution of the content is requested to the external recording device that records the information related to the content. Since there are innumerable external recording devices on the network, the range of content selection is widened.

以下、本発明を適用したコンテンツ再生システムについて説明する。ロボット装置は、外部環境や外部からの働きかけに応じて内部状態を変更して自律的に動作を行う。コンテンツ再生システムは、コンテンツに付加されたメタ情報とロボット装置の内部状態とを比較し、ロボット装置の内部状態に適合したコンテンツを再生することによりロボット装置の内部状態をユーザに通知するシステムである。 Hereinafter, a content reproduction system to which the present invention is applied will be described. The robot apparatus autonomously operates by changing the internal state in accordance with the external environment or external actions. The content reproduction system is a system for notifying the user of the internal state of the robot apparatus by comparing the meta information added to the content with the internal state of the robot apparatus and reproducing the content suitable for the internal state of the robot apparatus. .

図１は、コンテンツ再生システムの一例を示している。以下に示すコンテンツ再生システム１は、ロボット装置１０の内部状態の１つである感情をコンテンツで表現する。コンテンツ再生システム１は、感情を変化し自律的に行動するロボット装置１０と、ロボット装置１０の感情に適合したコンテンツを選択し再生するコンテンツ再生装置２０とから構成される。 FIG. 1 shows an example of a content reproduction system. The content reproduction system 1 shown below expresses emotion, which is one of the internal states of the robot apparatus 10, with content. The content reproduction system 1 includes a robot apparatus 10 that changes its emotion and acts autonomously, and a content reproduction apparatus 20 that selects and reproduces content that matches the emotion of the robot apparatus 10.

図２はロボット装置１０の外観構成を示しており、図３はロボット装置１０の内部構成を示している。ロボット装置１０は、四肢を有する動物の形状や構造をモデルにして構成された多関節型のロボット装置１０である。特に、このロボット装置１０は、愛玩動物の代表例であるイヌの形状及び構造を模してデザインされたペット型ロボットであり、例えば、実際のイヌと同じように、人間の住環境において人間と共存するような形態でユーザ操作に応じた動作表現をする。 FIG. 2 shows an external configuration of the robot apparatus 10, and FIG. 3 shows an internal configuration of the robot apparatus 10. The robot apparatus 10 is an articulated robot apparatus 10 configured by using the shape and structure of an animal having four limbs as a model. In particular, the robot apparatus 10 is a pet-type robot designed to imitate the shape and structure of a dog, which is a typical example of a pet animal. For example, in the same way as an actual dog, Expressing actions according to user operations in a coexisting form.

本実施の形態において、ロボット装置１０は、４足歩行のロボットとしているが、ロボット装置１０は、２足、４足、６足などの脚式歩行を行うロボットのほか、クローラ式など他の移動メカニズムによって移動するロボット装置１０にも、本発明を適用することができる。 In the present embodiment, the robot apparatus 10 is a four-legged walking robot, but the robot apparatus 10 is a robot that performs leg-type walking such as two legs, four legs, and six legs, and other movements such as a crawler type. The present invention can also be applied to the robot apparatus 10 that moves by a mechanism.

ロボット装置１０は、胴体部ユニット２と、四肢すなわち脚部ユニット３Ａ〜３Ｄと、頭部ユニット４と、尻尾５とで構成される。頭部ユニット３は、ロール、ピッチ及びヨーの各軸方向の自由度を持つ首関節５を介して、胴体部ユニット２の略前上端に配設されている。 The robot apparatus 10 includes a body unit 2, limbs, that is, leg units 3 </ b> A to 3 </ b> D, a head unit 4, and a tail 5. The head unit 3 is disposed at a substantially front upper end of the body unit 2 via a neck joint 5 having degrees of freedom in each axial direction of roll, pitch and yaw.

また、頭部ユニット３には、イヌの「目」に相当するＣＣＤ（Charge Coupled Device：電荷結合素子）カメラと１１６、「耳」に相当するマイクロフォン１１５と、「口」に相当するスピーカ１１８と、触感に相当するタッチセンサ１１７が搭載されている。 The head unit 3 includes a CCD (Charge Coupled Device) camera 116 corresponding to the “eyes” of the dog, a microphone 115 corresponding to the “ear”, and a speaker 118 corresponding to the “mouth”. A touch sensor 117 corresponding to tactile sensation is mounted.

また、ロボット装置１０における主制御部１１では、加速度センサ１４、タッチセンサ１１７、接地センサ１３Ａ〜１３Ｄ等の各種センサ、及びＣＣＤカメラ１６からの画像情報、マイクロフォン１５からの音声情報等を統括して処理している。主制御部１１は、ロボット装置１０の間接部に設けられたアクチュエータ３Ａ_１〜３Ａ_ｋ、３Ｂ_１〜３Ｂ_ｋ、３Ｃ_１〜３Ｃ_ｋ、３Ｄ_１〜３Ｄ_ｋ、４_１〜４_Ｌ、５_１、５_２と接続されている。 The main control unit 11 in the robot apparatus 10 controls various sensors such as the acceleration sensor 14, the touch sensor 117, and the ground sensors 13A to 13D, the image information from the CCD camera 16, the voice information from the microphone 15, and the like. Processing. The main control unit 11, the actuator _3A 1 _{to 3 A} k provided in the indirect section of the robot apparatus _{_{_{_{10, 3B 1 ~3B k, 3C}}}} 1 ~3C k, 3D 1 ~3D k, 4 1 ~4 L, 5 1, 5 is connected to ₂ .

主制御部１１は、上述の各センサから供給されるセンサデータや画像データ及び音声データを順次取り込み、これらをそれぞれ内部インターフェイスを介してＤＲＡＭ１２内の所定位置に順次格納する。また、主制御部１１は、バッテリセンサ１９から供給されるバッテリ残量データを順次取り込み、これをＤＲＡＭ１２内の所定位置に格納する。ＤＲＡＭ１２に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、主制御部１１がこのロボット装置１０の動作制御を行う際に利用される。 The main control unit 11 sequentially takes in sensor data, image data, and audio data supplied from the above-described sensors, and sequentially stores them in a predetermined position in the DRAM 12 via an internal interface. Further, the main control unit 11 sequentially takes in the remaining battery level data supplied from the battery sensor 19 and stores it in a predetermined position in the DRAM 12. Each sensor data, image data, audio data, and battery remaining amount data stored in the DRAM 12 is used when the main control unit 11 controls the operation of the robot apparatus 10.

主制御部１１は、上述のように主制御部１１よりＤＲＡＭ１２に順次格納される各センサデータ、画像データ、音声データ及びバッテリ残量データに基づいて自己及び周囲の状況や、使用者からの指示及び働きかけの有無などを判断する。さらに、主制御部１１は、この判断結果及びＤＲＡＭ１２に格納した制御プログラムに基づいて自己の状況に応じて行動を決定するとともに、当該決定結果に基づいて必要なアクチュエータを駆動させる。 As described above, the main control unit 11 determines its own and surrounding conditions and instructions from the user based on each sensor data, image data, audio data, and battery remaining amount data sequentially stored in the DRAM 12 from the main control unit 11. Judge whether there is any work or not. Further, the main control unit 11 determines an action according to its own situation based on the determination result and the control program stored in the DRAM 12, and drives a necessary actuator based on the determination result.

ロボット装置１０の行動生成は、後述する行動生成モジュール５１で行う。行動生成モジュール５１では、ロボット装置１０の行動を認識し、この行動に応じてロボット装置１０の感情のパラメータや欲求のパラメータを変化させる。本発明のロボット装置１０は、行動生成モジュール５１で生成した感情をコンテンツ再生装置２０に送信する。なお、行動生成モジュール５１の詳しい説明は後述する。 The behavior generation of the robot apparatus 10 is performed by the behavior generation module 51 described later. The behavior generation module 51 recognizes the behavior of the robot apparatus 10 and changes emotion parameters and desire parameters of the robot apparatus 10 according to the behavior. The robot apparatus 10 of the present invention transmits the emotion generated by the action generation module 51 to the content reproduction apparatus 20. A detailed description of the behavior generation module 51 will be described later.

次いでコンテンツ再生装置２０について図１を参照して説明する。コンテンツ再生装置２０は、コンテンツを記憶するコンテンツ記憶部２１と、コンテンツの内容を示すメタデータを記憶するメタデータ記憶部２２と、ロボット装置１０と無線通信を行う無線通信部２３と、ロボット装置１０から受信した感情を記憶する感情情報記憶部２４と、メタデータとロボット装置１０の感情の相関を基にロボット装置１０の感情に対応したコンテンツを選択するコンテンツ選択部２５と、コンテンツを再生する再生部２６とを備える。 Next, the content reproduction apparatus 20 will be described with reference to FIG. The content reproduction device 20 includes a content storage unit 21 that stores content, a metadata storage unit 22 that stores metadata indicating the content, a wireless communication unit 23 that performs wireless communication with the robot device 10, and the robot device 10. Information storage unit 24 for storing emotions received from the content, content selection unit 25 for selecting content corresponding to the emotions of the robot device 10 based on the correlation between the metadata and the emotions of the robot device 10, and playback for reproducing the content Part 26.

無線通信部２３は、ロボット装置１０の感情情報を入力する。無線通信部２３は、入力した感情情報を感情情報記憶部２４に記憶させる。この感情には、「喜び」、「悲しみ」、「怒り」、「驚き」、「嫌悪」及び「恐れ」などがある。 The wireless communication unit 23 inputs emotion information of the robot apparatus 10. The wireless communication unit 23 stores the input emotion information in the emotion information storage unit 24. This emotion includes “joy”, “sadness”, “anger”, “surprise”, “disgust”, and “fear”.

コンテンツ記憶部２１は、映画、ドラマ、ニュース、音楽などのコンテンツを記憶する。各コンテンツには、コンテンツに関係する情報であるメタデータが付加されている。メタデータは、メタデータ記憶部２２に記憶されている。メタデータは、複数の項目から構成される。メタデータを構成する項目には、コンテンツのタイトル、ジャンル、内容紹介などがある。以下、各コンテンツに１つのメタデータが付加されているものとして説明するが、コンテンツが複数のセグメントから構成される場合には各セグメントにメタデータを付加してもよい。 The content storage unit 21 stores content such as movies, dramas, news, and music. Metadata that is information related to the content is added to each content. The metadata is stored in the metadata storage unit 22. The metadata is composed of a plurality of items. Items constituting the metadata include content title, genre, and content introduction. In the following description, it is assumed that one piece of metadata is added to each content. However, when the content is composed of a plurality of segments, the metadata may be added to each segment.

コンテンツ選択部２５は、メタデータ記憶部２２が記憶しているメタデータと感情情報記憶部２４が記憶している感情情報とを比較し、ロボット装置１０の感情情報と最も相関が深いメタデータを選択する。コンテンツ選択部２５のコンテンツ選択方法の一例を説明する。この例におけるコンテンツ選択部２５は、図４に示すようにロボット装置１０の感情に関連するキーワードを記録している。キーワードは、メタデータの項目に区分して記憶されている。コンテンツ選択部２５は、メタデータの項目内容とキーワードとをマッチングし、キーワードと最も適合度が高いコンテンツを選択する。また、適合度が等しい複数のコンテンツを選択した場合、コンテンツ選択部２５は、複数のコンテンツから無作為に１つのコンテンツを選択する。コンテンツをランダムに選択するのは、コンテンツを偏りなく選択するためである。コンテンツ選択部２５は、選択したコンテンツを再生部２６に出力する。 The content selection unit 25 compares the metadata stored in the metadata storage unit 22 with the emotion information stored in the emotion information storage unit 24, and selects the metadata that is most correlated with the emotion information of the robot apparatus 10. select. An example of the content selection method of the content selection unit 25 will be described. The content selection unit 25 in this example records keywords related to the emotion of the robot apparatus 10 as shown in FIG. The keywords are stored separately in metadata items. The content selection unit 25 matches the item contents of the metadata with the keyword, and selects the content having the highest matching degree with the keyword. In addition, when a plurality of contents having the same degree of matching are selected, the content selection unit 25 randomly selects one content from the plurality of contents. The reason why the contents are selected at random is to select the contents without bias. The content selection unit 25 outputs the selected content to the reproduction unit 26.

上述したコンテンツ再生システム１がロボット装置１０の感情に適合したコンテンツを再生する手順について図５を参照して説明する。ここで、ロボット装置１０は、サッカーでゴールを決め嬉しくなっているものとする。ロボット装置１０がゴールすると、ロボット装置１０の感情は「嬉しい」に変化する（ステップＳ１１）。ロボット装置１０は、この感情をコンテンツ再生装置２０に送信する（ステップＳ１２）。 The procedure in which the content reproduction system 1 described above reproduces content that matches the emotion of the robot apparatus 10 will be described with reference to FIG. Here, it is assumed that the robot apparatus 10 is happy to score a goal in soccer. When the robot apparatus 10 finishes, the emotion of the robot apparatus 10 changes to “happy” (step S11). The robot apparatus 10 transmits this emotion to the content reproduction apparatus 20 (step S12).

コンテンツ再生装置２０は、ロボット装置１０の「嬉しい」という感情に対応するキーワードを読出し、メタデータ記憶部２２に記憶されたメタデータとキーワードとを比較する（ステップＳ１３）。例えば、「嬉しい」に対応するキーワードとして“嬉し泣き”が存在し、このキーワードとコンテンツのタイトルが一致すると（ステップＳ１４）、コンテンツ再生装置１は、このコンテンツをコンテンツ記憶部２１から読み出して再生部２６に出力する（ステップＳ１５）。コンテンツ再生装置１の再生部２６には、ロボット装置１０のゴールと同時に嬉し泣きのシーンが表示される（ステップＳ１６）。ユーザは、再生部２６の表示内容からロボット装置１０が喜んでいること知ることができる。 The content reproduction device 20 reads a keyword corresponding to the emotion of “happy” of the robot device 10, and compares the metadata stored in the metadata storage unit 22 with the keyword (step S13). For example, “happy crying” exists as a keyword corresponding to “happy”, and when the keyword matches the title of the content (step S14), the content reproduction device 1 reads the content from the content storage unit 21 and reproduces the reproduction unit 26. (Step S15). On the playback unit 26 of the content playback device 1, a happy and crying scene is displayed simultaneously with the goal of the robot device 10 (step S16). The user can know from the display content of the playback unit 26 that the robot apparatus 10 is pleased.

また、感情以外の因子からコンテンツを絞り込むことができる。現在のロボット装置１０は、動作モードに応じて、絵を描いたり、ゲームをしたり、スポーツをする。ロボット装置１０の動作モードがサッカーの試合である場合、コンテンツ再生装置１は、キーワードにサッカーを追加する。そして、サッカーというキーワードとメタデータが一致するコンテンツを検索する。これにより、ロボット装置１０がゴールするとサッカー選手がグラウンドでダンスしているシーンや観客の歓声などを表示してロボット装置１０の感情を表現することができる。コンテンツを選択する因子を増やすことでより具体的なコンテンツを選択することができる。 In addition, content can be narrowed down from factors other than emotion. The current robot apparatus 10 draws a picture, plays a game, or plays a sport according to the operation mode. When the operation mode of the robot apparatus 10 is a soccer game, the content reproduction apparatus 1 adds soccer to the keyword. Then, search for content whose metadata matches the keyword soccer. As a result, it is possible that a soccer player and robot apparatus 10 is goal is to display and cheers of the scene and the audience you are dancing on the ground to express the emotion of the robot apparatus 10. More specific content can be selected by increasing the factors for selecting the content.

次いで、ネットワーク上のサーバ３０に記録されたコンテンツを再生するコンテンツ再生システム１について説明する。このコンテンツ再生システム１は、図６に示すようにコンテンツ再生装置２０とサーバ３０とがネットワークを介して接続されたシステムである。このシステムにおけるコンテンツ再生装置２０は、サーバからコンテンツを受信するため、選択できるコンテンツの幅が広がる。 Next, the content reproduction system 1 that reproduces content recorded on the server 30 on the network will be described. This content reproduction system 1 is a system in which a content reproduction device 20 and a server 30 are connected via a network as shown in FIG. Since the content reproduction apparatus 20 in this system receives content from the server, the range of selectable content is widened.

サーバ３０は、図７に示すようにコンテンツを記録するコンテンツ記録部３１と、コンテンツのメタデータを記録するメタデータ記録部３２と、コンテンツ再生装置２０からの情報を受信する受信部３３と、コンテンツ再生装置２０に情報を送信する情報送信部３４と、コンテンツ再生装置２０からの要求に応じてサーバ３０のサービス内容を返信するサービス内容返信部３５とを備える。 As shown in FIG. 7, the server 30 includes a content recording unit 31 that records content, a metadata recording unit 32 that records content metadata, a reception unit 33 that receives information from the content playback device 20, and a content An information transmission unit 34 that transmits information to the playback device 20 and a service content return unit 35 that returns the service content of the server 30 in response to a request from the content playback device 20 are provided.

また、このコンテンツ再生システム１におけるコンテンツ再生装置２０は、上述した構成の他にサーバに情報を送信する送信部２７、サーバが送信した情報を受信する受信部２８、コンテンツ及びコンテンツのメタデータを記録したサーバを検索するサーバ検索部２９とを備える。 In addition to the configuration described above, the content playback apparatus 20 in the content playback system 1 records a transmission unit 27 that transmits information to the server, a reception unit 28 that receives information transmitted by the server, and records content and content metadata. And a server search unit 29 for searching for the server that has performed.

サーバ３０の検索はサーバ検索部２９が行う。サーバ検索部２９は、例えば、ＵＰｎＰ（Universal Plug and Play）を用いてネットワークに存在するサーバ３０が提供しているサービスの内容を問い合わせ、コンテンツ及びメタデータを配信するサービスを行っているサーバに対してメタデータの配信を要求し、受信したメタデータをメタデータ記憶部２２に記憶する。 The server search unit 29 searches for the server 30. The server search unit 29 uses, for example, UPnP (Universal Plug and Play) to inquire about the contents of a service provided by the server 30 existing in the network, and to a server that provides a service for distributing contents and metadata. The distribution of metadata is requested, and the received metadata is stored in the metadata storage unit 22.

このコンテンツ再生システム１では、以下のようなことが可能である。例えば、サーバ検索部２９が定期的に新しいサーバ３０を検索し、メタデータ記憶部２２の内容を定期的に更新することができる。これにより、コンテンツ再生装置２０は、常に新しいコンテンツを提供することができ、ユーザの楽しみがより一層向上する。また、このコンテンツ再生システム１では、ロボット装置１０の感情に適合するコンテンツが見つからなかった場合、ロボット装置１０の感情に適合するコンテンツを所有するサーバをネットワーク上から検索することができる。 The content reproduction system 1 can do the following. For example, the server search unit 29 can periodically search for a new server 30 and periodically update the contents of the metadata storage unit 22. Thereby, the content reproduction apparatus 20 can always provide new content, and the enjoyment of the user is further improved. Further, in the content reproduction system 1, when no content that matches the emotion of the robot apparatus 10 is found, a server that owns the content that matches the emotion of the robot apparatus 10 can be searched from the network.

図８を参照して、コンテンツ再生装置２０のサーバ検索処理について説明する。まず、コンテンツ再生装置２０は、ネットワーク上に存在するサーバ３０のサービス内容を問い合わせ（ステップＳ２１）、コンテンツ及びコンテンツのメタデータを提供するサーバ３０を検索する（ステップＳ２２）。コンテンツ再生装置２０は、目的のサーバ３０を発見すると、このサーバ３０に対してメタデータの送信を要求する（ステップＳ２３）。コンテンツ再生装置２０は、受信したメタデータをメタデータ記憶部２２に記憶する（ステップＳ２４）。 With reference to FIG. 8, the server search process of the content reproduction apparatus 20 will be described. First, the content reproduction apparatus 20 inquires about the service content of the server 30 existing on the network (step S21), and searches for the server 30 that provides the content and content metadata (step S22). When the content reproduction apparatus 20 finds the target server 30, the content reproduction apparatus 20 requests the server 30 to transmit metadata (step S23). The content reproduction device 20 stores the received metadata in the metadata storage unit 22 (step S24).

次いで、コンテンツ再生装置２０は、ロボット装置１０の感情を受信し（ステップＳ２５）、ロボット装置１０の感情とメタデータとを比較し、ロボット装置１０の感情に適合したコンテンツを選択する（ステップＳ２６）。ステップＳ２６において、感情に適合したコンテンツが選択できた場合（ステップＳ２７；ＹＥＳ）、コンテンツ再生装置２０は、このコンテンツを記録するサーバ３０にコンテンツの転送を要求し（ステップＳ２８）、受信したコンテンツを再生部２６に出力する（ステップＳ２９）。 Next, the content reproduction device 20 receives the emotion of the robot device 10 (step S25), compares the emotion of the robot device 10 with the metadata, and selects content that matches the emotion of the robot device 10 (step S26). . In step S26, when the content suitable for the emotion can be selected (step S27; YES), the content reproduction device 20 requests the server 30 for recording the content to transfer the content (step S28), and the received content is received. The data is output to the reproduction unit 26 (step S29).

一方、ステップＳ２６において、感情に適合したコンテンツが存在しなかった場合（ステップＳ２７；ＮＯ）、コンテンツ再生装置２０は、ステップＳ２１に処理を移行し、再度メタデータを収集する（ステップＳ２８）。 On the other hand, in step S26, when the content suitable for emotion does not exist (step S27; NO), the content reproduction apparatus 20 shifts the process to step S21 and collects metadata again (step S28).

以上のよう説明したロボット装置１０の感情や動作は、主制御部１０に組み込まれたソフトウェアによって実現される。ロボット装置１０における制御プログラムのソフトウェア構成例について図９〜図１４を用いて説明する。 The emotions and actions of the robot apparatus 10 described above are realized by software incorporated in the main control unit 10. Software configuration example of the control program in the robot apparatus 10 will be described with reference to FIGS. 9-14.

図９において、デバイス・ドライバ・レイヤ４０は、制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット４１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。 In FIG. 9, the device driver layer 40 is located in the lowest layer of the control program, and includes a device driver set 41 composed of a plurality of device drivers. In this case, each device driver is an object that is allowed to directly access hardware used in a normal computer such as a CCD camera or a timer, and performs processing upon receiving an interrupt from the corresponding hardware.

また、ロボティック・サーバ・オブジェクト４２は、デバイス・ドライバ・レイヤ４０の最下位層に位置し、例えば上述の各種センサやアクチュエータ等のハードウェアにアクセスするためのインターフェイスを提供するソフトウェア群でなるバーチャル・ロボット４３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ４４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ４５と、ロボット装置１０の機構を管理するソフトウェア群でなるデザインド・ロボット４６とから構成されている。 The robotic server object 42 is located in the lowest layer of the device driver layer 40, and is a virtual software group that provides an interface for accessing hardware such as the various sensors and actuators described above. The robot 43, the power manager 44 that is a software group that manages power supply switching, the device driver manager 45 that is a software group that manages other various device drivers, and the mechanism of the robot apparatus 10 are managed. And a designed robot 46 composed of software groups.

マネージャ・オブジェクト４７は、オブジェクト・マネージャ４８及びサービス・マネージャ４９から構成されている。オブジェクト・マネージャ４８は、ロボティック・サーバ・オブジェクト４２、ミドル・ウェア・レイヤ５０、及びアプリケーション・レイヤ５１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ４９は、メモリカードに格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。 The manager object 47 includes an object manager 48 and a service manager 49. The object manager 48 is a software group that manages activation and termination of each software group included in the robotic server object 42, the middleware layer 50, and the application layer 51. The service manager 49 includes: It is a software group that manages the connection of each object based on the connection information between each object described in the connection file stored in the memory card.

ミドル・ウェア・レイヤ５０は、ロボティック・サーバ・オブジェクト４２の上位層に位置し、画像処理や音声処理などのこのロボット装置１０の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション・レイヤ５１は、ミドル・ウェア・レイヤ５０の上位層に位置し、当該ミドル・ウェア・レイヤ５０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１０の行動を決定するためのソフトウェア群から構成されている。 The middleware layer 50 is located in an upper layer of the robotic server object 42 and is composed of a software group that provides basic functions of the robot apparatus 10 such as image processing and sound processing. The application layer 51 is positioned above the middleware layer 50, and determines the behavior of the robot apparatus 10 based on the processing result processed by each software group constituting the middleware layer 50. It is composed of software groups.

なお、ミドル・ウェア・レイヤ５０及びアプリケーション・レイヤ５１の具体なソフトウェア構成をそれぞれ図１０に示す。 The specific software configurations of the middleware layer 50 and the application layer 51 are shown in FIG.

ミドル・ウェア・レイヤ５０は、図１０に示すように、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、タッチセンサ用、動き検出用及び色認識用の各信号処理モジュール６０〜６８並びに入力セマンティクスコンバータモジュール６９などを有する認識系７０と、出力セマンティクスコンバータモジュール７８並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、ＬＥＤ点灯用及び音再生用の各信号処理モジュール７１〜７７などを有する出力系７９とから構成されている。 As shown in FIG. 10, the middle wear layer 50 is for noise detection, temperature detection, brightness detection, scale recognition, distance detection, posture detection, touch sensor, motion detection and color recognition. Recognition system 70 having signal processing modules 60 to 68 and an input semantic converter module 69 for output, an output semantic converter module 78, posture management, tracking, motion reproduction, walking, fall recovery, LED lighting And an output system 79 having signal processing modules 71 to 77 for sound reproduction.

上述したインタラクション生成部２００をプログラムとして用意した場合、インタラクションを生成する処理は、このモーション再用の信号処理モジュール７３に含まれる。 When the above-described interaction generation unit 200 is prepared as a program, the process for generating the interaction is included in the signal processing module 73 for motion reuse.

認識系７０の各信号処理モジュール６０〜６８は、ロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３によりＤＲＡＭから読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール６９に与える。ここで、例えば、バーチャル・ロボット４３は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。 Each of the signal processing modules 60 to 68 of the recognition system 70 takes in corresponding data among the sensor data, image data, and audio data read from the DRAM by the virtual robot 43 of the robotic server object 42, and Based on the above, predetermined processing is performed, and the processing result is given to the input semantic converter module 69. Here, for example, the virtual robot 43 is configured as a part for transmitting / receiving or converting signals according to a predetermined communication protocol.

入力セマンティクスコンバータモジュール６９は、これら各信号処理モジュール６０〜６８から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」又は「障害物を検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ５１に出力する。 Based on the processing result given from each of these signal processing modules 60 to 68, the input semantic converter module 69 is “noisy”, “hot”, “bright”, “ball detected”, “falling detected”, Self and surrounding conditions such as “boiled”, “struck”, “I heard Domiso's scale”, “Detected moving object” or “Detected an obstacle”, and commands from the user And the action is recognized, and the recognition result is output to the application layer 51.

アプリケーション・レイヤ５１は、図１１に示すように、行動モデルライブラリ８０、行動切換モジュール８１、学習モジュール８２、感情モデル８３及び本能モデル８４の５つのモジュールから構成されている。 As shown in FIG. 11, the application layer 51 includes five modules: a behavior model library 80, a behavior switching module 81, a learning module 82, an emotion model 83, and an instinct model 84.

行動モデルライブラリ８０には、図１２に示すように、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデルが設けられている。 In the behavior model library 80, as shown in FIG. 12, “returned to fall”, “when avoiding an obstacle”, “when expressing an emotion”, “when a ball is detected” and the like are selected in advance. Independent behavior models are provided corresponding to several condition items.

そして、これら行動モデルは、図１１に示すように、それぞれ入力セマンティクスコンバータモジュール６９から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述のように感情モデル８３に保持されている対応する情動のパラメータ値や、本能モデル８４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換モジュール８１に出力する。 As shown in FIG. 11, these behavior models are necessary when a recognition result is given from the input semantic converter module 69 or when a predetermined time has passed since the last recognition result was given. Accordingly, as described later, the following behavior is determined while referring to the corresponding emotion parameter value held in the emotion model 83 and the corresponding desire parameter value held in the instinct model 84, and the determination result is Output to the behavior switching module 81.

なお、この実施の形態の場合、各行動モデルは、次の行動を決定する手法として、図１３に示すような１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの間を接続するアークＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ設定された遷移確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オートマトンと呼ばれるアルゴリズムを用いる。 In the case of this embodiment, each behavior model is a method for determining the next behavior, as shown in FIG. 13, from one node (state) NODE _{0 to} NODE _n to any other node NODE _{0 to} NODE _n. It is called a finite probability automaton that determines probabilistically based on transition probabilities P _{1 to} P _n respectively set for arcs ARC ₁ to ARC _n1 that connect between nodes NODE _{0 to} NODE _n. Use algorithm.

具体的に、各行動モデルは、それぞれ自己の行動モデルを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ毎に図１４に示すような状態遷移表９０を有している。 Specifically, each behavior model has a state transition table 90 as shown in FIG. 14 for each of the nodes NODE _{0 to} NODE _n corresponding to each of the nodes NODE ₀ to NODE _n forming its own behavior model. is doing.

この状態遷移表９０では、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の列に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の列における対応する行に記述されている。 In this state transition table 90, input events (recognition results) as transition conditions in the nodes NODE _{0 to} NODE _n are listed in the order of priority in the “input event name” column, and a further condition regarding the transition condition is “data name”. ”And“ data range ”columns are described in corresponding rows.

したがって、図１４の状態遷移表９０で表されるノードＮＯＤＥ_１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるそのボールの「大きさ（SIZE）」が「0から1000」の範囲であることや、「障害物を検出（OBSTACLE）」という認識結果が与えられた場合に、当該認識結果とともに与えられるその障害物までの「距離（DISTANCE）」が「0から100」の範囲であることが他のノードに遷移するための条件となっている。 Therefore, in the node NODE ₁₀₀ represented by the state transition table 90 of FIG. 14, when the recognition result “ball detected (BALL)” is given, the “size (SIZE)” of the ball given together with the recognition result is given. ) "Is in the range of" 0 to 1000 ", or when the recognition result" OBSTACLE "is given, the" distance (DISTANCE) to the obstacle given along with the recognition result "Is in the range of" 0 to 100 "is a condition for transitioning to another node.

また、このノードＮＯＤＥ_１００では、認識結果の入力がない場合においても、行動モデルが周期的に参照する感情モデル８３及び本能モデル８４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル８３に保持された「喜び（Joy）」、「驚き（Surprise）」又は「悲しみ（Sadness）」の何れかのパラメータ値が「50から100」の範囲であるときには他のノードに遷移することができるようになっている。 Further, in the node NODE ₁₀₀ , even when there is no recognition result input, the emotion value among the emotion and desire parameter values held in the emotion model 83 and the instinct model 84 that the behavior model periodically refers to Transition to another node when the parameter value of “Joy”, “Surprise” or “Sadness” held in the model 83 is in the range of “50 to 100” Can be done.

また、状態遷移表９０では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の行にそのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード名が列記されているとともに、「入力イベント名」、「データ名」及び「データの範囲」の列に記述された全ての条件が揃ったときに遷移できるほかの各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となっている。 In the state transition table 90, node names that can be transitioned from the nodes NODE _{0 to} NODE _n are listed in the “transition destination node” row in the “transition probability to other node” column, and “input event name” ”,“ Data name ”, and“ data range ”columns, the transition probabilities to other nodes NODE ₀ to NODE _{n that} can transition when all the conditions described are met are“ transition probabilities to other nodes ”. The action to be output when transitioning to the nodes NODE _{0 to} NODE _n is described in the “output action” line in the “transition probability to other nodes” column. Yes. The sum of the probabilities of each row in the “transition probability to other node” column is 100 [%].

したがって、図１４の状態遷移表９０で表されるノードＮＯＤＥ_１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「0から1000」の範囲であるという認識結果が与えられた場合には、「30［％］」の確率で「ノードＮＯＤＥ_１２０（node 120）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。 Therefore, in the node NODE ₁₀₀ represented by the state transition table 90 of FIG. 14, for example, “ball is detected (BALL)” and the “SIZE (size)” of the ball is in the range of “0 to 1000”. When the recognition result is given, it is possible to transition to “node NODE ₁₂₀ (node 120)” with a probability of “30 [%]”, and the action of “ACTION 1” is output at that time.

各行動モデルは、それぞれこのような状態遷移表９０として記述されたノードＮＯＤＥ_０〜ＮＯＤＥ_ｎが幾つも繋がるようにして構成されており、入力セマンティクスコンバータモジュール６９から認識結果が与えられたときなどに、対応するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換モジュール８１に出力するようになされている。 Each behavior model is configured such that a number of nodes NODE _{0 to} NODE _n described as such a state transition table 90 are connected, and when a recognition result is given from the input semantic converter module 69, etc. The next action is determined probabilistically using the state transition tables of the corresponding nodes NODE ₀ to NODE _n , and the determination result is output to the action switching module 81.

図１１に示す行動切換モジュール８１は、行動モデルライブラリ８０の各行動モデルからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデルから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、行動コマンドという。）をミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７８に送出する。なお、この実施の形態においては、図１１において下側に表記された行動モデルほど優先順位が高く設定されている。 The action switching module 81 shown in FIG. 11 selects an action output from an action model with a predetermined high priority among actions output from each action model of the action model library 80, and executes the action. A command to be performed (hereinafter referred to as an action command) is sent to the output semantic converter module 78 of the middleware layer 50. In this embodiment, the higher priority is set for the behavior model shown on the lower side in FIG.

また、行動切換モジュール８１は、行動完了後に出力セマンティクスコンバータモジュール７８から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール８２、感情モデル８３及び本能モデル８４に通知する。 Further, the behavior switching module 81 notifies the learning module 82, the emotion model 83, and the instinct model 84 that the behavior is completed based on the behavior completion information given from the output semantic converter module 78 after the behavior is completed.

一方、学習モジュール８２は、入力セマンティクスコンバータモジュール６９から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。 On the other hand, the learning module 82 inputs the recognition result of the teaching received from the user, such as “struck” or “boiled” among the recognition results given from the input semantic converter module 69.

そして、学習モジュール８２は、この認識結果及び行動切換えモジュール７１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を上昇させるように、行動モデルライブラリ７０における対応する行動モデルの対応する遷移確率を変更する。 Based on the recognition result and the notification from the behavior switching module 71, the learning module 82 reduces the probability of the behavior when “struck (struck)” and “struck (praised). ) ”, The corresponding transition probability of the corresponding behavior model in the behavior model library 70 is changed so as to increase the probability of occurrence of the behavior.

他方、感情モデル８３は、「喜び（Joy）」、「悲しみ（Sadness）」、「怒り（Anger）」、「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐れ（Fear）」の合計６つの情動について、各情動毎にその情動の強さを表すパラメータを保持している。そして、感情モデル８３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール６９から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果や、経過時間及び行動切換モジュール８１からの通知などに基づいて周期的に更新する。 On the other hand, the emotion model 83 is the sum of “Joy”, “Sadness”, “Anger”, “Surprise”, “Disgust” and “Fear”. For each of the six emotions, a parameter indicating the strength of the emotion is held for each emotion. Then, the emotion model 83 uses the parameter values of these emotions for specific recognition results such as “struck” and “boiled” given from the input semantic converter module 69, the elapsed time and behavior switching module 81, respectively. It is updated periodically based on notifications from.

具体的には、感情モデル８３は、入力セマンティクスコンバータモジュール６９から与えられる認識結果と、そのときのロボット装置１０の行動と、前回更新してからの経過時間となどに基づいて所定の演算式により算出されるそのときのその情動の変動量をΔＥ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋ_ｅとして、（１）式によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル８３は、これと同様にして全ての情動のパラメータ値を更新する。 Specifically, the emotion model 83 is obtained by a predetermined arithmetic expression based on the recognition result given from the input semantic converter module 69, the behavior of the robot apparatus 10 at that time, the elapsed time since the last update, and the like. the amount of fluctuation of the emotion at that time is calculated ΔE [t], E [t ] of the current parameter value of the emotion, the next cycle coefficient representing the sensitivity of the emotion as k _e, by (1) The parameter value E [t + 1] of the emotion in is calculated, and the parameter value of the emotion is updated so as to replace the current parameter value E [t] of the emotion. In addition, the emotion model 83 updates the parameter values of all emotions in the same manner.

なお、各認識結果や出力セマンティクスコンバータモジュール７８からの通知が各情動のパラメータ値の変動量ΔＥ［ｔ］にどの程度の影響を与えるかは予め決められており、例えば「叩かれた」といった認識結果は「怒り」の情動のパラメータ値の変動量ΔＥ［ｔ］に大きな影響を与え、「撫でられた」といった認識結果は「喜び」の情動のパラメータ値の変動量ΔＥ［ｔ］に大きな影響を与えるようになっている。 It is determined in advance how much each notification result or notification from the output semantic converter module 78 affects the amount of change ΔE [t] in the parameter value of each emotion. The result has a great influence on the fluctuation amount ΔE [t] of the parameter value of “anger”, and the recognition result “boiled” has a great influence on the fluctuation amount ΔE [t] of the parameter value of “joy”. Is supposed to give.

ここで、出力セマンティクスコンバータモジュール７８からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、感情モデル８３は、このような情報によっても感情を変化させる。これは、例えば、「叫ぶ」といった行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクスコンバータモジュール７８からの通知は、上述した学習モジュール８２にも入力されており、学習モジュール８２は、その通知に基づいて行動モデルの対応する遷移確率を変更する。 Here, the notification from the output semantic converter module 78 is so-called action feedback information (behavior completion information), which is information on the appearance result of the action, and the emotion model 83 changes the emotion also by such information. Let This is, for example, that the emotional level of anger is lowered by an action such as “screaming”. The notification from the output semantic converter module 78 is also input to the learning module 82 described above, and the learning module 82 changes the corresponding transition probability of the behavior model based on the notification.

なお、行動結果のフィードバックは、行動切換モジュール８１の出力（感情が付加された行動）によりなされるものであってもよい。 Note that the feedback of the action result may be performed by the output of the action switching module 81 (the action to which the emotion is added).

一方、本能モデル８４は、「運動欲（exercise）」、「愛情欲（affection）」、「食欲（appetite）」及び「好奇心（curiosity）」の互いに独立した４つの欲求について、これら欲求毎にその欲求の強さを表すパラメータを保持している。そして、本能モデル８４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール６９から与えられる認識結果や、経過時間及び行動切換モジュール８１からの通知などに基づいて周期的に更新する。 On the other hand, the instinct model 84 has four independent needs for “exercise”, “affection”, “appetite” and “curiosity” for each of these needs. It holds a parameter that represents the strength of the desire. The instinct model 84 periodically updates the parameter values of these desires based on the recognition result given from the input semantic converter module 69, the elapsed time and the notification from the behavior switching module 81, and the like.

具体的には、本能モデル８４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール７８からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋ_ｉとして、所定周期で（２）式を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル８４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。 Specifically, the instinct model 84 uses the predetermined calculation formula for “exercise greed”, “loving lust” and “curiosity” based on the recognition result, elapsed time, notification from the output semantic converter module 78, and the like. Equation (2) is used in a predetermined cycle, where ΔI [k] is the calculated fluctuation amount of the desire at that time, I [k] is the current parameter value of the desire, and coefficient k _i is the sensitivity of the desire. Then, the parameter value I [k + 1] of the desire in the next cycle is calculated, and the parameter value of the desire is updated so that the calculation result is replaced with the current parameter value I [k] of the desire. Similarly, the instinct model 84 updates the parameter values of each desire except “appetite”.

なお、認識結果及び出力セマンティクスコンバータモジュール７８からの通知などが各欲求のパラメータ値の変動量ΔＩ［ｋ］にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバータモジュール７８からの通知は、「疲れ」のパラメータ値の変動量ΔＩ［ｋ］に大きな影響を与えるようになっている。 It is determined in advance how much the recognition result and the notification from the output semantic converter module 78 affect the fluctuation amount ΔI [k] of the parameter value of each desire. For example, from the output semantic converter module 78 The notification greatly affects the fluctuation amount ΔI [k] of the parameter value of “fatigue”.

なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋ_ｅ、ｋ_ｉの値も各情動及び各欲求毎に個別に設定されている。 In the present embodiment, the parameter values of each emotion and each desire (instinct) are regulated so as to fluctuate in the range from 0 to 100, respectively, and the values of the coefficients k _e and k _i are also set for each emotion. And it is set individually for each desire.

一方、ミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７８は、図８に示すように、上述のようにしてアプリケーション・レイヤ５１の行動切換モジュール８１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系７９の対応する信号処理モジュール７１〜７７に与える。 On the other hand, as shown in FIG. 8, the output semantic converter module 78 of the middleware layer 50 performs “forward”, “joy”, “ring” given from the behavior switching module 81 of the application layer 51 as described above. Or an abstract action command such as “tracking (following the ball)” is given to the corresponding signal processing modules 71 to 77 of the output system 79.

そしてこれら信号処理モジュール７１〜７７は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動をするために対応するアクチュエータに与えるべきサーボ指令値や、スピーカから出力する音の音声データ及び又はＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３及び信号処理回路を順次介して対応するアクチュエータ又はスピーカ又はＬＥＤに順次送出する。このようにしてロボット装置１０は、上述した制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動ができる。 And these signal processing modules 71-77, when an action command is given, based on the action command, the servo command value to be given to the corresponding actuator to take the action, the sound data of the sound output from the speaker, and / or Drive data to be given to the LED is generated, and these data are sequentially sent to the corresponding actuator or speaker or LED via the virtual robot 43 and the signal processing circuit of the robotic server object 42 in order. In this way, the robot apparatus 10 can perform autonomous actions in accordance with the self (inside) and surrounding (outside) situations, and instructions and actions from the user, based on the control program described above.

以上説明したように本発明を適用したコンテンツ再生装置は、映画、テレビ、音楽などのコンテンツを再生してロボット装置の感情を表現するため、複雑な感情表現、臨場感あふれる感情表現、あいまいな感情表現などが表現できるようになり、ロボット装置の感情表現の幅が広がる。 As described above, the content reproduction apparatus to which the present invention is applied reproduces contents such as movies, TV, music, etc. to express the emotion of the robot apparatus, so that complex emotion expression, realistic emotion expression, ambiguous emotion Expressions can be expressed, and the range of emotional expression of robotic devices is expanded.

また、コンテンツ再生装置は、コンテンツ及びコンテンツのメタデータを記録したサーバを検索するサーバ検索部を備える。そのため、定期的に新しいサーバを検索して、メタデータを更新したり、現在記憶しているメタデータに適合する感情が存在しないときに新しいサーバを検索することができる。ネットワーク上には、無数のサーバが存在するため、選択するコンテンツの幅が広がる、
なお、本発明は、上述した実施の形態に限定されるものではなく、コンテンツを再生してロボット装置の感情を表現するという本発明の主旨を含む変形、改良は、本発明に含まれるものとする。例えば、内部状態は、感情には限定されず、ロボット装置の欲求、思考内容などの他の内部状態も含む。また、コンテンツを選択する際、「嬉しい」、「悲しい」のような単純な感情だけでなく、「喜び」、「悲しみ」、「怒り」、「驚き」、「嫌悪」、「恐れ」の６つの感情のパラメータをもとにコンテンツを選択してもよい。こうすることにより、より複雑な感情表現が可能である。 In addition, the content reproduction apparatus includes a server search unit that searches for a server that records content and content metadata. Therefore, it is possible to search for a new server periodically to update the metadata, or to search for a new server when there is no emotion that matches the currently stored metadata. Since there are innumerable servers on the network, the range of contents to be selected widens.
It should be noted that the present invention is not limited to the above-described embodiment, and modifications and improvements including the gist of the present invention that expresses the emotion of the robot apparatus by reproducing the content are included in the present invention. To do. For example, the internal state is not limited to emotions, but also includes other internal states such as the desire of the robot device and the content of thought. When selecting content, not only simple emotions such as “happy” and “sad”, but also “joy”, “sadness”, “anger”, “surprise”, “disgust”, “fear” The content may be selected based on one emotion parameter. This makes it possible to express more complex emotions.

さらに、コンテンツ再生装置とサーバとは、外部ネットワークを介して接続されているとしたが、ホームネットワークのような狭域ネットワークを介して接続してもよい。この場合、サーバは、ユーザの家や仕事場などに存在するパーソナルコンピュータ等であると考えられる。このサーバにメタデータ入力部を設け、ユーザがコンテンツのメタデータを定義できるようにしてもよい。例えば、ユーザの撮った写真やビデオなどにタイトルなどのメタデータを入力すると、より親しみのあるコンテンツを再生することができる。 Furthermore, although the content reproduction apparatus and the server are connected via an external network, they may be connected via a narrow area network such as a home network. In this case, the server is considered to be a personal computer or the like that exists in the user's house or workplace. This server may be provided with a metadata input unit so that the user can define metadata of content. For example, if metadata such as a title is input to a photograph or video taken by the user, more familiar content can be reproduced.

コンテンツ再生システムの構成を示す図である。It is a figure which shows the structure of a content reproduction system. ロボット装置の外観を示す図である。It is a figure which shows the external appearance of a robot apparatus. ロボット装置の内部構成を示す図である。It is a figure which shows the internal structure of a robot apparatus. コンテンツ検索部に記録されたキーワードのデータ構造を示す図である。It is a figure which shows the data structure of the keyword recorded on the content search part. コンテンツを再生する手順を示すフローチャートである。It is a flowchart which shows the procedure which reproduces | regenerates a content. コンテンツ再生システムの構成を示す図である。It is a figure which shows the structure of a content reproduction system. サーバの構成を示す図である。It is a figure which shows the structure of a server. サーバ検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a server search process. 同ロボット装置のソフトウェア構成を示すブロック図である。3 is a block diagram showing a software configuration of the robot apparatus. FIG. 同ロボット装置のソフトウェア構成におけるミドル・ウェア・レイヤの構成を示すブロック図である。It is a block diagram which shows the structure of the middleware layer in the software structure of the robot apparatus. 同ロボット装置のソフトウェア構成におけるアプリケーション・レイヤの構成を示すブロック図である。It is a block diagram which shows the structure of the application layer in the software structure of the robot apparatus. アプリケーション・レイヤの行動モデルライブラリの構成を示すブロック図である。It is a block diagram which shows the structure of the action model library of an application layer. 同ロボット装置の行動決定のための情報となる有限確率オートマトンを説明する図である。It is a figure explaining the finite probability automaton used as the information for action determination of the robot apparatus. 有限確率オートマトンの各ノードに用意された状態遷移表を示す図である。It is a figure which shows the state transition table prepared for each node of a finite probability automaton.

Explanation of symbols

１コンテンツ再生システム、１０ロボット装置、１１主制御部、２０コンテンツ再生装置、２１コンテンツ記憶部、２２メタデータ記憶部、２３無線通信部、２４感情情報記憶部、２５コンテンツ選択部、２６再生部、２７送信部、２８受信部、２９サーバ検索部、３０サーバ、３１コンテンツ記録部、３２メタデータ記録部、３３受信部、３４、送信部、３５サービス内容返信部、８０行動モデルライブラリ、８１行動切換モジュール、８２学習モジュール、８３感情モデル、８４本能モデル DESCRIPTION OF SYMBOLS 1 Content playback system, 10 Robot apparatus, 11 Main control part, 20 Content playback apparatus, 21 Content storage part, 22 Metadata storage part, 23 Wireless communication part, 24 Emotion information storage part, 25 Content selection part, 26 Playback part, 27 Sending unit, 28 receiving unit, 29 server searching unit, 30 server, 31 content recording unit, 32 metadata recording unit, 33 receiving unit, 34, transmitting unit, 35 service content reply unit, 80 behavior model library, 81 behavior switching Module, 82 Learning module, 83 Emotion model, 84 Instinct model

Claims

A robot apparatus that executes external information, an action according to an external action and / or an autonomous action based on an internal state;
Storage means for storing information on the image content, the operation and / or the internal state receiving unit receives the operation and / or the internal state of the robot apparatus, and information regarding the operation and / or the internal state and the image content of the robot apparatus comparing, operation and / or a content selection means for selecting an image content adapted to the internal state, the content reproducing device and a content reproducing means for reproducing an image content selected by the content selection means of the robot apparatus And
The content selection means stores keywords related to the operation and / or internal state of the robot apparatus for each item of information relating to image content stored in the storage means, and the operation of the robot apparatus and / or matching the information about the keywords and the image content corresponding to the internal state, the content reproduction system selects image content compatible with the keyword.

The content reproduction system according to claim 1, wherein the internal state of the robot apparatus is an emotion of the robot apparatus.

An external recording device comprising content recording means for recording image content and content-related information recording means for recording information relating to the image content;
2. The content reproduction device according to claim 1, further comprising: a content distribution request unit that requests the external recording device to distribute the image content when the content selection unit selects the image content of the external recording device. Content playback system.

The content playback device
4. The content according to claim 3, further comprising an information processing device search means for inquiring about the contents of a service provided by an external recording device existing on an external network and searching for an external recording device provided with a content recording means and a content related information recording means. Playback system.

The content reproduction system according to claim 1, wherein the image content is composed of a plurality of segments, and information about the contents is added to each segment.

The content selection means is
If you select one or more image contents, the content reproduction system according to claim 1, wherein randomly selecting any one content of the plurality of image contents.

A content playback method in a content playback apparatus that plays back image content according to the operation and / or the internal state of a robotic device that performs autonomous information based on external information, external action and / or internal state. And
External information, and said operating and / or operation and / or the internal state receiving step receives the internal state of the robot apparatus to perform operations and / or based on the internal state autonomous operation in accordance with the intervention from the outside,
An information receiving step for receiving information indicating the content of the image content;
Compares the information indicating the contents of the operation and / or the internal state and the image content, the content search step of searching the image content adapted to the operation and / or the internal state,
A content reproduction step of reproducing the image content,
In the content reproduction device, keywords related to the operation and / or internal state of the robot device are stored for each item of information indicating the content of the image content.
In the content search step, based on the keyword stored in the content reproduction device, the keyword corresponding to the operation and / or internal state of the robot device is matched with the information related to the image content, and the keyword is matched. A content playback method for selecting image content.

External information, and operation and / or the internal state receiving means for receiving operation and / or the internal state of the operation and / or robotic devices to perform autonomous operation based on the internal state corresponding to the intervention from the outside,
Storage means for storing information indicating the content of the image content;
A content selection means for comparing the information indicating the operation and / or the internal state and the contents of the image content of the robot apparatus, selects the image content that matches operation and / or the internal state of the robot apparatus,
Content reproduction means for reproducing image content adapted to the operation and / or internal state of the robot apparatus,
The content selection means stores a keyword related to the operation and / or internal state of the robot apparatus for each item of information indicating the content of the image content stored in the storage means. operation and / or matching the information indicating the contents of the keyword and the image content corresponding to the internal state, the content reproducing apparatus for selecting an image content compatible with the keyword.