[go: up one dir, main page]

JP7414735B2 - 複数のロボットエフェクターを制御するための方法 - Google Patents

複数のロボットエフェクターを制御するための方法 Download PDF

Info

Publication number
JP7414735B2
JP7414735B2 JP2020563488A JP2020563488A JP7414735B2 JP 7414735 B2 JP7414735 B2 JP 7414735B2 JP 2020563488 A JP2020563488 A JP 2020563488A JP 2020563488 A JP2020563488 A JP 2020563488A JP 7414735 B2 JP7414735 B2 JP 7414735B2
Authority
JP
Japan
Prior art keywords
robot
effectors
action
memory
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020563488A
Other languages
English (en)
Other versions
JP2021523472A (ja
Inventor
モンソー ジェローム
エルヴィエ ティボー
マスレル アイメリク
Original Assignee
スプーン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スプーン filed Critical スプーン
Publication of JP2021523472A publication Critical patent/JP2021523472A/ja
Application granted granted Critical
Publication of JP7414735B2 publication Critical patent/JP7414735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0052Gripping heads and other end effectors multiple gripper units or multiple end effectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Description

本発明は、対話ロボットの分野に関する。より正確には、対話ロボットの機能を制御して、単なる従属動作ではない動作(1920年にチェコ人のカレル チャペックによって、スラブ語で「奴隷」を意味するrobotaという語から着想を得たと想像される「ロボット」という用語)によって、1人または複数の人間との意思疎通を可能とする共感的知能をシミュレートする対話ロボットのリソース管理に関する。
このようなロボットは、人間型ロボット、自律走行車、またはロボットによって送信および受信されるマルチモーダルメッセージ(触覚、視覚、または聴覚)を介して1人または複数の人間との双方向の意思疎通を可能とする通信インターフェースを有する装置の形態をとることができる。
Yutaka Suzuki、Lisa Galli、Ayaka Ikeda、Shoji Itakura、およびMichiteru Kitazakiによる論文「脳波記録を用いた人間およびロボットの手の痛みに対する共感の測定」、Scientific Reports 5,論文番号:15924(2015)において、著者は、人間の脳の機能であり、具体的には、痛みなどの感情の表現形式を引き起こす状況でロボットが知覚した場合に、その共感的反応を説明する。この研究の著者は、痛みを引き起こす場合、または引き起こさない場合におけるそれぞれの状況において、人間の手の写真、またはロボットの手のいずれかを志願者に提示する(当該研究の参加者に提示された画像において、開いた状態のはさみ1丁が表示され、手の指を切る可能性のある画像が図示される)。
伝統的に一義的であり、ロボットと人間との関係は相互関係になりつつある。あるロボット研究家は、ロボットを「emo robot」(感情、「心」を有する)として提示したいと考えており、これは、日本におけるPepper robot(商標)、またはフランスにおけるNao robot(商標)が既にこの場合に該当する。人工的な共感は、常に擬態である一方で、ロボットメーカーは、本物の感情を有することが可能である機械を我々に提示することを企図している。
この必要性を満たすべく、第1486300号で付与された欧州特許が提案されており、
ロボットの機械本体の動きを記述する複数の動作記述部と、
機械本体の外部環境を認識する外部環境認識部と、
認識された外部環境および/または動作の実行の結果に応答し、ロボットの内部状態を管理する内部状態管理部と、
外部および/または内部環境に応じて、動作記述部で記述された動作の実行を評価する動作評価部とを備える、
自律的に動作するロボットの動作制御システムについて説明している。
内部状態管理部は、複数の層を有する階層構造において、それぞれが内部状態の指標である感情を管理し、個々の保存に必要な一次感情の層、および一次感情の過度/不足に応じて変化する二次感情の別の層における感情を用いており、さらに、一次感情を、次元に基づいて、生来の反射層または生理学的層、および連想層を含む層へと分割する。
また、第1494210号で付与された欧州特許は、周知であり、
会話相手の声を認識する音声認識手段と、
音声認識手段の認識結果に基づいて、会話相手との会話を制御する会話制御手段と、
会話相手の顔を認識する画像認識手段と、
画像認識手段による認識結果および音声認識手段による認識結果の一方または両方の結果に基づいて、会話相手の存在を検索する検索制御手段とを備える、
会話相手と会話する機能を有する音声通信システムを説明する。
会話制御手段は、たとえ検索制御手段による検索が失敗したとしても、音声認識手段による認識結果として取得された会話相手の音声内容が期待される応答内容と同一であった場合に、会話を継続する。
(先行技術の欠点)
従来技術のソリューションは、一方の言語処理を意図した技術リソースと、他方の、ロボットの動きの制御と同様に、カメラ、および場合によっては他のセンサーによるロボットの環境の認識処理を意図した技術リソースとを分離する。
結果として、従来技術のソリューションは、意味論的な入力および出力を知覚したデータと作動とに統合する強化された学習タスクを可能としない。
具体的には、第1486300号は、人間とロボットとの間の意思疎通の言語的次元を考慮に入れることを規定しておらず、したがって、例えば、ロボットが人間との意思疎通の間に、自然と学習することを可能としない。
第1494210号に関しては、人工的な会話を制御する人間とロボットとの間の言語的な意思疎通のみを提供する。
これらの2つの文献の教えの並記は、2つのソリューションが同じ技術的な文法を用いず、ロボットのセンサーによって認識される情報および言語情報を同一の意味論的なセットへと統合できないことから、満足のいくソリューションを可能とすることができない。
さらに、「感情」に対応するロボットの内部状態は、感情に関連付けられる動作の収集の中から選択された動作の選択によって排他的に変換され、これは、人間とのリアルタイムでの共感的知能の発展性を大幅に制限する。
従来技術のソリューションは、ロボットとの意思疎通における人間の態度に対して弱く反応する方法で、固定された感情の表現を導く。リアルタイムの変更がないことから、感情の表現の信頼性は劣り、これは、ロボットと意思疎通をする人間の認識負荷を低減することを妨げる。
本発明の目的は、本発明の最も一般的な受け入れによって、パラメーター化可能なコード化された関数からなる複数のプリミティブによるロボットの複数のエフェクターを制御する方法を提案することによって、これらの欠点に応答することであり、
プリミティブは、動作選択システムによって選択された動作によって条件付きでアクティブ化されており、
動作選択システムは、
宣言的記憶を備え、ルールのダイナミックライブラリーに格納され、それぞれがコンテキストを動作に関連付けており、
記憶の中に格納されたコード化されたオブジェクトのリストに基づいて、ロボットの世界の表現を判断し、
コード化されたオブジェクトは、知覚機能によって算定されている記憶の中に格納され、
知覚機能は、ロボットのセンサーによって提供される信号から算定されており、
方法は、あらゆるステップにおいて、コード化されたオブジェクトをそれらの意味論的な記述に対応する一連の文字に関連付けることに基づいていることを特徴とし、具体的には、
i.コード化されたオブジェクトの意味論的な記述は、ロボットの知覚機能を表現する文字列と、知覚したオブジェクトを表現する別の文字列とで構成される記憶の中に格納され、
ii.プリミティブの意味論的な記述は、ロボットの可能な動作を表現する文字列と、当該動作の任意のパラメーターを表現する別の任意の文字列とで構成され、
iii.ルール(102~106)の意味論的な記述は、関連するコンテキストを表現する文字列と関連する動作を表現する別の文字列との組み合わせで構成される。
有利なことに、動作選択システムは、これらのルールのそれぞれのコンテキストに近いことに基づいて、ルールを、記憶の中に含まれるオブジェクトの内容から算定されたコンテキストに分類し、コンテキストに関連するルールに関連付けられる動作を選択する。
実施形態によって
方法は、さらに、例えば、音声認識、ジェスチャー認識、または模倣に基づいて、学習モジュールを介して、新しい動作に関連付けられる新しいルールを記録するステップを備える。
方法は、それぞれのルールに対して、関連する動作のそれぞれの実行の後に、再計算されるISパラメーターを算定するステップを備え、動作選択システムによって選択された動作の優先順位は、それぞれの動作に関連付けられるISパラメーターの値に基づいて判断される。
方法は、さらに、通信モジュール、および共有サーバーを介して、他のロボットと通信するステップを備え、ロボットの動作選択システムの宣言的記憶は、共有サーバーの内容と定期的に同期される。
動作によるプリミティブのアクティブ化は、エフェクターに送信されるコマンドの互換性を確保するリソースマネージャーによってフィルターをかけられる。
方法は、さらに、
i.メモリ(80)の中に格納されたオブジェクトの進化に基づいて、バックグラウンドにおいて内部状態変数VEIxを常に更新するステップと、
ii.内部状態変数VEIxの値に基づいて、動作プリミティブ(131~134)、知覚機能(72~75)、および動作選択モジュール(100)をパラメーター化するステップとを備える。
本発明は、また、本発明によって、プロセスを実行するコントローラによって制御される複数のエフェクターを備えるロボットに関する。
本発明は、添付の図面を参照して、本発明の非限定的な例示の以下の詳細な説明を読むことによってよりよく理解することであり、
図1は、本発明のハードウェアのアーキテクチャを図示しており、 図2は、本発明の機能的なアーキテクチャを図示している。
(ハードウェアのアーキテクチャ)
ロボットは、図1で説明された実施形態によって、センサー(2~5)を備える通信インターフェース回路(1)を有し、例えば、
マイク、
音源の空間的位置に対するマイクアレイ、
RGBカメラ、
温度カメラ、
デプスカメラ、
触覚センサー、
タッチスクリーン、
力フィードバックセンサー、
温度センサー、
接触センサー、
無線周波数リーダー、
などである。
それぞれのセンサー(2~5)は、物理的なドライバー回路(12~15)の「ドライバー」に関連付けられており、センサーの中に統合されているか、または通信インターフェース回路(1)に設けられている。
通信インターフェース回路(1)は、センサー(2~5)によって供給される信号の前処理(22~25)をするための回路をまとめて、情報をメインコンピューター(30)、または専用コンピューター(31~33)に伝送する。いくつかの前処理回路(22~25)は、画像解析回路、または音声認識回路などの特殊な回路で構成されている場合がある。
専用コンピューター(31~33)は、メインコンピューター(30)からのコマンドと同様に、特定のセンサー(2~5)から信号を受信し、エフェクター(41~43)の動作パラメーターの算定のために前処理回路(51~53)に伝送される命令を算定する。これらのパラメーターは、インターフェース回路(61~63)によって利用され、例えば、パルス幅変調済みの電気信号PWMのフォームにおいて、エフェクター(41~43)に制御信号を提供する。
さらに、メインコンピューター(30)は、例えば、インターネットなどの外部リソースとのデータ交換のための通信モジュール(36)に関連付けられている。
エフェクター(41~43)は、例えば、
モーター、
電動ジョイント、
スピーカー、
ディスプレイ画面、
LED、
可聴警告、
臭気拡散器、
空気圧式アクチュエータ、および
電子決済サーバーまたはホームオートメーションシステムなどの外部機器との通信のための回路で構成される。
(機能的なアーキテクチャ)
図2は、ロボットの一実施形態の機能的なアーキテクチャを図示している。
(知覚機能の説明)
センサー(2~5)からの情報は、知覚機能(72~75)を介して、ロボットが作成する世界である意味論的な表現の画像であるデジタルメタデータの算定を可能とする情報を提供する。
これらのそれぞれの知覚機能(72~75)は、1つまたは複数のセンサー(2~5)から前処理済みのデータを受信し、知覚タイプに対応するメタデータを算定する。
例えば、
第1の知覚機能(72)は、ロボットと検出されたオブジェクトとの間の距離を算定し、
第2の知覚機能(73)は、画像認識を実行し、検出されたオブジェクトを特徴付け、
第3の知覚機能(74)は、音声認識を実行し、ユーザによって話された文に対応する一連の文字を返す、
などである。
これらのデジタルメタデータは、例えば、C#、またはC++などのオブジェクト言語においてコード化されたオブジェクトで構成されている。これらのメタデータは、以下の要素のすべて、または一部を含み、ここで、
一連の文字における意味論的な記述、例えば、「私は、男性を1メートル離れた右側20度の所に見える」、
タイプ、例えば、「人間」、
3次元空間における位置で、例えば、「X=354、Y=153、Z=983」、
四元数によって特徴付けられる空間における回転で、例えば、「Q=[X=0、Y=0、Z=0、W=1]」、および
例えば、人間の「年齢、性別、身長など」のオブジェクト固有の属性がある。
選択機能に対応するコード化されたオブジェクトのセットは、メモリ(80)の中に格納され、その内容は、ロボットによって知覚するような世界の表現を表す。
(凝縮機能の説明)
処理(91~98)は、オブジェクトのそれぞれの特性データを抽出し、同一の特性データを共有するコード化されたオブジェクトをまとめる凝縮機能によって、バックグラウンドにおいて、このコード化されたオブジェクトのセットに適用される。
例えば、第1の凝縮機能は、以下のオブジェクトに基づいて、人間タイプの検出されたオブジェクトに対して顔認識処理を実行し、ここで、
オブジェクト1:「私は、男性を1メートル離れた右側20度の所に見える」、オブジェクト1は、また、対応する画像ファイルを含み、
オブジェクト2:「私は、ポールを認識している」、および
この処理は、オブジェクト1を変更し、これは、「私は、ポールを1メートル離れた右側20度の所に見える」となる。
第2の凝縮機能は、以下のオブジェクトに基づいて、認識された音で人の関連付け処理を実行し、ここで、
オブジェクト1:「私は、男性を1メートル離れた右側20度の所に見える」、
オブジェクト3:「私は、『こんにちは』という句を20度右側で認識している」、および
この処理は、オブジェクト1を変更し、これは、「私は、私に『こんにちは』と言った男性を1メートル離れた右側20度の所に見える」になる。
第3の凝縮機能は、以下の再計算されたオブジェクトから2つのオブジェクトの関連付け処理を実行し、ここで、
「私は、ポールを1メートル離れた右側20度の所に見える」、
「私は、私に『こんにちは』と言った男性を1メートル離れた右側20度の所に見える」、および
オブジェクト1を変更するために、したがって、「私は、私に『こんにちは』と言ったポールを1メートル離れた右側20度の所に見える」となる。
凝縮処理(91~98)は、ロボットの世界の表現を含むメモリ(80)の内容に再帰的に適用される。
(ルールおよび動作の選択の説明)
このシステムは、さらに、コンテキスト(112~116)を動作(122~126)に関連付けているルール(102~106)のライブラリーを中に格納する宣言的記憶(101)を含む動作選択システム(「ルールマネージャー」)(100)を備える。
例えば、第1のルールR1は、タイプの数列で構成されており、ここで、
「男性があなたにこんにちはと言ったのを聞いた場合、『こんにちは』と回答する」、および第2のルールR2は、タイプの数列で構成されており、ここで、
「人間があなたにこんにちはと言ったのを聞いた場合、その人間の名前が#ファーストネームである場合は、「こんにちは#ファーストネーム」と言う」、および第3のルールR3は、タイプの数列で構成されており、ここで、
「あなたにノイズが聞こえ、且つ午前2時と午前4時のとの間であった場合、あなたの所有者にあなたが見ているものの写真を送信する。」となる。
動作(122~126)は、以下のような、ロボットエフェクターによって実行されるプリミティブのツリー(131~134)を指定する数列によって実体化され、ここで、
動作1「メッセージをあなたの所有者に送信する」は、単一のプリミティブ(131~134)で構成される単一の列に対応し、
メッセージを送信する。
動作2「笑顔」は、いくつかのプリミティブ(131~134)を含む複合の列に対応し、ここで、
パラメーター「変形ファイルFD2」と「振幅0.2」とによる口の形状の管理、
パラメーター「開閉0.1」で目の開閉を管理、および
パラメーター「サウンドファイルS7」と、「期間2s」と、「強度0.2」とで特徴のある音を発する。
動作3「恐怖を表現する」は、いくつかのプリミティブ(131~134)を含む複合の列に対応し、ここで、
パラメーター「変形ファイルFD213」と「振幅0.5」とで目のサイズを拡大し、
パラメーター「動作ファイルFD123」と「振幅0.5」とで、あなたの腕を振動させる方法で動かし、および
パラメーター「サウンドファイルS12」と、「期間1s」と、「強度10」とで特徴のある音を発する。
動作4「腕を挙げる」は、単一のプリミティブ(131~134)を含む複合の列に対応し、ここで、
パラメーター「移動ファイルFD33」と「振幅120」とで、腕を垂直に動かす。
動作選択システム(100)は、これらルールのそれぞれのコンテキスト(112~115)に近いことに基づいて、コンテキストのN次元空間における距離の算定によって、ルールを、メモリ(80)の中に含まれるオブジェクト(81~88)の内容から算定されたコンテキストに分類する。
この算定は、動作(122~124)に関連付けられるルール(102~104)のサブセット(110)を、前述の距離算定に基づいて、関連性の順序でリストの形式で定期的に提供する。リストは、任意に閾値に基づいてフィルターをかけ、現在のコンテキストからの距離がこの閾値より短いルールのサブセットを形成する。
次に、このサブセット(110)は、満足インジケーター(IS)に基づいた順序となる。この目的のために、それぞれのルールは、可変数値パラメーターISがその実行時に割り当てられる。この数値パラメーターISがどのように判断されるかを以下に説明することとする。
それ故、サブセット(110)は、ルール(102~104)に関連付けられる順序付けられた行動(122~124)のセットを画定し、ロボットのエフェクターの動作を制御することに用いられる。
(行動の実行の説明)
行動(122~124)の実行は、プリミティブ(131~134)のアクティブ化を介して実行され、そのパラメーター化は、行動の内容(動作の振幅、サウンドシーケンスのアドレス、サウンドシーケンスの強度など)によって判断される。
プリミティブ(131~134)はメタ関数を指定し、コンピュータコードになり、その実行がソフトウェアアプリケーション(211~215)、またはエフェクター(41~43)に直接伝送されたコマンドのセット(201~205)により、任意にパラメーターで、例えば、
プリミティブP1は、「特徴のある音を発する」と、パラメーター「サウンドファイルS12」、「期間1秒」、および「強度10」とが、以下のコマンドに関連付けられ、
サウンドファイルS12をドライバー(61)へとロードする、
増幅器のレベルをレベル10に調整する、
サウンドファイルS12を1秒間再生する、および
ドライバーメモリ(61)を消去する。
それぞれのプリミティブ(131~134)は、必要に応じて、パラメーター化され、ここで、
引数の形式で行動によって伝送されるその独自のパラメーター、
行動からの数値パラメーターISに基づいて判断される追加およびコンテキストパラメーター、および
追加のVEIXパラメーター、これは以下で説明されることとなる。
プリミティブ(131~134)のアクティブ化は、リソースマネージャー(200)によってフィルターをかけられ、その目的は、矛盾する、または実行不可能なコマンドを同一のエフェクター(41)に送信されることを防止することである。このフィルタリングは、最も高いISパラメーターを有する行動(122~124)に関連付けられるプリミティブのアクティブ化を優先する。
例えば、選択された行動のリスト(122~124)の中に、ここで、
上向きの動きを含むパラメーター化を用いて、ロボットの腕の動きを管理するプリミティブのアクティブ化につながる第1の選択された行動(122)と、
ロボットの腕の動きを管理する同一のプリミティブのアクティブ化につながるが、下向きの動きを含むパラメーター化を用いた第2の選択された行動(123)とを有し、
次に、アームの動きを管理するこの同一のプリミティブに適用されるパラメーターは、互換性がなく、リソースマネージャー(200)は、最も低いISパラメーターを有する行動を防止し、実際に実行されるパラメーター化されたプリミティブは、最も高いISパラメーターを有する行動の結果である。
別の例示において、リソースマネージャー(200)は、互換性がないと見なされる2つのプリミティブから新しいプリミティブを算定し、そのパラメーター化は、それらのそれぞれに関連付けられるISパラメーターによって2つの互換性のないプリミティブのパラメーター化を重み付けすることによって算定され、それ故、折衷の結果に対応する。
(ルールの学習)
本発明の一実施形態によって、ルール(102~106)の記録は、音声学習によって実行される。
この目的のために、音声認識、および意味論分析モジュールを含む学習モジュール(400)は、オペレータによって発音された文を分析し、新しいルール(106)を画定する行動、およびコンテキストを抽出する。
例えば、人間が「あなたは、大きなノイズを聞いた場合、聞き取れる信号にアクティブ化する」などの文を言った場合、モジュールは、「聞き取れる信号にアクティブ化する」行動を「あなたは、レベルXを超えるノイズを聞く」コンテキストに関連付けているルールを構築し、保存する。
別の例示において、また、学習モジュール(400)は、例えば、オブジェクトを示す、ジェスチャーを認識する運動認識の手段を含む。この場合、学習モジュール(400)は、さらに、画像分析モジュールを含み、話し言葉と組み合わされたジェスチャーによる学習を可能とする。
例えば、人間は、ロボットのカメラの視野内におけるオブジェクトを示し、「あなたは、この#オブジェクトを見た場合、それをつかむ」という文を発音し、「オブジェクト『#オブジェクト』を見なさい」コンテキストに関連付けられている「オブジェクトをつかむ」行動で構成されているルールの記録につながる。
第3の例示において、学習モジュール(400)は、模倣による、または反復による学習のための手段を含み、ロボットが同一のコンテキストに関連付けられる同一の行動を繰り返し記録した場合に、この行動をこのコンテキストに関連付ける新しいルールの記録をトリガーする。
例えば、ロボットによって言われた「ありがとう」に対して、人間が体系的に「どういたしまして」と応答した場合に、ロボットは「どういたしましてと言う」行動を「人間が『ありがとう』と言う」コンテキストに関連付けるルールを作成する。
行動とコンテキストとの組み合わせは、人間とロボットとの間の意思疎通の間に、行動とコンテキストとのそれぞれのペアに対して算定された関係パラメーターVEI4の値に基づいて構築される。
明らかに、ルール(102~106)は、プログラミングによっても記録することができる。
(ISパラメーターの算定)
宣言的記憶(101)におけるそれぞれのルール(102~106)は、パラメーターVEI3の現在の値に基づいて、関連する行動(112~116)のそれぞれの実行の後に再計算されるIS(満足インジケーター)パラメーターに関連付けられる。
VEI3の値が高い場合、つまり基準値より高い場合、ルールのISパラメーターは、行動が実行されることによって増加し、
VEI3の値が低い場合、つまり基準値より低い場合、ルールのISパラメーターは、行動が実行されることによって減少する。
ISパラメーターの値は、行動(112~116)を順序付け、且つリソース・マネージャー(200)によって、リソースへのアクセスを、最も高い値を有するISパラメーターに関連付けられる行動に優先順位を付けることに用いられる。
(知識のプーリング)
前述の例示において、ルール(102~106)は、ロボットのローカルメモリの中に格納される。
一実施形態によって、いくつかのロボットは、ロボットのルールを格納する共通のメモリを共有し、それぞれのロボットは、その独自のISパラメーターを保持している。
例えば、ロボットの行動選択システム(100)の宣言的記憶(101)は、通信モジュール(36)を介して、複数のロボットの間で共有されるサーバーの内容で定期的に同期される。
具体的なロボットの行動選択システム(100)における新しいルール(106)の学習は、その独自の内部状態の値VEIと、その独自のルールの優先順位(102~106)を保持している間に、その独自のISインジケーターに基づいて、サーバーにアクセスする複数のロボットの行動選択システム(100)の動作を質的に向上させる。
(VEIXパラメーターの算定の説明)
VEIX(内部状態変数)パラメーターは、ロボットの内部状態を表現する0と1との間の変数である。
VEI1は、ロボットの覚醒、またはアクティブ化の状態を表現する。
0の値は、ロボットが略静止し且つ沈黙した、眠っている外見でロボットの不活発な状態に対応し、
1の値は、人に刺激を与える状態に対応し、ここで、ロボットの動きは、生き生きとした顔、頻繁に、ぎくしゃくした動きで、ロボットの見開いた瞳の外見の最大振幅を有する。
例えば、VEI1パラメーターの値は、ロボットの環境の進化に基づいて算定され、センサー(2~5)によって認識される情報が安定し、且つロボットが人間を検出しなかった場合、この値は、低くなる。
センサー(2~5)によって検出された環境における急激な変化の場合、または人間の存在が検出された場合、VE1パラメーターの値が増加することとなる。
VEI2は、ロボットの驚きの状態を表現する。
0の値は、ロボットの公称アクティビティに対応し、
1の値は、エフェクターの突然且つ分離した変化(ジョイントの突然の動き、サウンドレベルにおける突然の変化など)に対応する。
例えば、VEI2パラメーターは、VEI1パラメーターの時間的変化に基づいて、例えば、VEI1の導関数を計算することによって算定される。
VEI3は、ロボットの外見の満足状態を表現する。
0の値は、ロボットの失望した外見(主に下を向いている、腕を下に向けているなど)に対応し、
1の値は、ロボットの誇らしげな外見(主に上を見ている、誇らしげな外見を与えているジョイントの位置など)に対応する。
例えば、VEI3パラメーターは、人間とロボットとの間の特定の意思疎通に基づいて、
笑顔、または怒りなどの顔の表情の検出、
特定の意思疎通の期間、および
ロボットの内部プロセスの達成などの算定がされる。
VEI4は、ロボットとそれに意思疎通をする人間との間の関係の状態を表現する。
0の値は、低いレベルの意思疎通とエフェクターのアクティブ化とに対応し、
1の値は、エフェクターの強力なアクティブ化、ロボットとそれに意思疎通をする人間との間での模倣の傾向、およびロボットが人間に向かって移動し、且つロボットがその視線をこの人間に向ける傾向に対応する。
このパラメーターは、ユーザからの刺激のコード化された関数を制御するステップと、刺激と取得された画像との間の適合性に基づいて、共感のレベルを推定するためにユーザに対して誘発された効果を取得するステップとを通して算定することができる。
例えば、VEI4パラメーターは、人間とロボットとの間の模倣のレベルに基づいて算定され、つまり、人間の運動速度は、ロボットの動きを小さなタイムラグで再現すること、またはロボットの動きに予測された方法で反応すること、または人間とロボットとの間の特定な意思疎通、
人間とロボットとの間の物理的接触を検出することなど意思疎通により算定される。
VEI5は、ロボットの喜びの状態を表現する。
0の値は、悲しみの外見(下向きの視線、垂れ下がった口の領域、中立の韻律、ジョイントのたるみなど)に対応し、
1の値は、エフェクターの強力なアクティブ化と笑顔および適切な音を出す傾向とに対応する。
例えば、VE5パラメーターは、人間の顔の笑顔の検出および他のVEXパラメーターの組み合わせの結果に基づいて算定される。
一般的に、VEIXパラメーターは、モジュール(80)によって供給されるデータからモジュール(181~185)によって算定され、モジュール(80)は、センサーのセット(2~5)によって取得されるデータおよびロボットと人間との間の同期を判断するロボットの状態を表現した情報に基づいて、ロボットによって世界の表現を判断する。
VEI1~VEI5のパラメーターは、またロボットの外部環境から独立した内部基準に基づいて算定されている。これらの基準は、例えば、
VEIXパラメーターを一定レベルで維持している期間が基準値に向けて進行を引き起こし、
VEIXの値における変化の頻度は、変化の振幅に重み付けをし、および
VEIXのパラメーターに影響を与えるトリガーファクターの影響の飽和が考慮される。
処理の結果は、知覚機能(71~75)、および行動プリミティブ(131~134)を変調するVEIXパラメーターの更新された値を、行動選択モジュール(100)と同様に定期的に提供する。
例えば、
モーターの速度は、VEI1パラメーターの値に比例し、
サウンドファイルSは、VEI1~VEI5のパラメーターの値に基づいて選択される。
VEIXパラメーターを算定する機能は、人を複数の刺激を受けさせ、知覚機能に対応する刺激のそれぞれに知覚のレベル(喜び、満足、覚醒、驚きなど)を関連付けることから構成されるプロセスによって得られる試験的なデータを記録することから構成される初期特徴付けステップによって判断することができる。

Claims (7)

  1. パラメーター化可能なコード化された関数で構成される複数のプリミティブ(131~134)によって、ロボットの複数のエフェクター(41~43)を制御する方法であって、
    前記プリミティブ(131~134)は、行動選択システム(100)によって選択された行動(122~124)によって条件付きでアクティブ化されており、
    前記行動選択システム(100)は、
    宣言的記憶(101)であって、ルール(102~106)の動的ライブラリーに格納され、それぞれがコンテキスト(112~116)を行動(122~126)に関連付ける、宣言的記憶を含み、
    メモリ(80)の中に格納されたコード化されたオブジェクト(81~88)のリストに基づいて、同一の特性データを有する前記コード化されたオブジェクトのうちの一部をまとめる凝縮処理によって前記ロボットの世界の表現を判断し、
    前記コード化されたオブジェクト(81~88)は、知覚機能(72~75)によって算定され、前記メモリ(80)の中に格納され、前記凝縮処理は、前記メモリ(80)の中に格納された内容に再帰的に適用され、
    前記知覚機能(72~75)は、前記ロボットのセンサー(2~5)によって提供される信号から算定されており、
    前記方法は、それぞれのステップにおいて、コード化されたオブジェクトをそれらの意味論的な記述に対応する一連の文字に関連付けることに基づいており、
    i.前記メモリ(80)の中に格納されている前記コード化されたオブジェクト(81~88)の意味論的な記述は、前記ロボットの知覚機能を表現する文字列と、知覚されたオブジェクトを表現する別の文字列とで構成され、
    ii.前記プリミティブの意味論的な記述(131~134)は、前記ロボットの可能な行動を表現する文字列と、前記行動の任意のパラメーターを表現する別の任意の文字列とで構成され、
    iii.前記ルール(102~106)の意味論的な記述は、前記関連するコンテキスト(112~116)を表現する文字列と、前記関連する行動(122~126)を表現する別の文字列との組み合わせで構成されることを備え
    さらに、行動学習モジュール(400)を介して、音声認識、ジェスチャー認識、または模倣の適用によって、新しい行動(116)に関連付けられる新しいルール(106)を記録するステップを含む、
    ことを特徴とするロボットの複数のエフェクター(41~43)を制御する方法。
  2. 前記行動選択システム(100)は、前記ルール(102~106)を、これらのルールのそれぞれの前記コンテキスト(112~116)に近いことに基づいて、前記メモリ(80)の中に含まれる前記オブジェクト(81~88)の前記コンテキスト(112~116)から算定された前記コンテキストに分類し、前記コンテキスト(112~116)に関連する前記ルールに関連付けられる前記行動(122~124)を選択することを特徴とする、
    請求項1に記載のロボットの複数のエフェクター(41~43)を制御する方法。
  3. それぞれのルール(102~106)に対して、関連する行動(122~126)のそれぞれの実行の後に再計算されるISパラメーターを算定するステップであって、前記行動選択システム(100)によって選択される行動(122~124)の優先順位は、前記行動のそれぞれに関連付けられる前記ISパラメーターの値に基づいて判断される、ステップを備えることを特徴とする、
    請求項1に記載のロボットの複数のエフェクター(41~43)を制御する方法。
  4. さらに、通信モジュール(36)および共有サーバーを介して他のロボットと通信するステップであって、前記ロボットの前記行動選択システム(100)の前記宣言的記憶(101)は、前記共有サーバーの内容と定期的に同期されている、ステップを備えることを特徴とする、
    請求項1に記載のロボットの複数のエフェクター(41~43)を制御する方法。
  5. 前記行動(122~124)による前記プリミティブ(131~134)のアクティブ化は、リソースマネージャー(200)によってフィルターをかけられ、エフェクター(41~43)に送信されるコマンドの互換性を確保することを特徴とする、
    請求項1に記載のロボットの複数のエフェクター(41~43)を制御する方法。
  6. さらに、
    i.前記メモリ(80)の中に格納されたオブジェクトの進化に基づいて、バックグラウンドにおいて内部状態変数VEIXを常に更新するステップと、
    ii.前記内部状態変数VEIXの値に基づいて、前記プリミティブ(131~134)、前記知覚機能(72~75)、および前記行動選択システム(100)をパラメーター化するステップとを備えることを特徴とする、
    請求項1に記載のロボットの複数のエフェクター(41~43)を制御する方法。
  7. 前記請求項1から請求項のうちのいずれか1つに従って、方法を実行するコントローラによって制御される複数のエフェクターを備えるロボット。
JP2020563488A 2018-05-04 2019-04-26 複数のロボットエフェクターを制御するための方法 Active JP7414735B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1853868A FR3080926B1 (fr) 2018-05-04 2018-05-04 Procede de commande d'une pluralite d'effecteurs d'un robot
FR1853868 2018-05-04
PCT/FR2019/050983 WO2019211552A1 (fr) 2018-05-04 2019-04-26 Procede de commande d'une pluralite d'effecteurs d'un robot

Publications (2)

Publication Number Publication Date
JP2021523472A JP2021523472A (ja) 2021-09-02
JP7414735B2 true JP7414735B2 (ja) 2024-01-16

Family

ID=62816784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563488A Active JP7414735B2 (ja) 2018-05-04 2019-04-26 複数のロボットエフェクターを制御するための方法

Country Status (6)

Country Link
US (1) US12011828B2 (ja)
EP (2) EP3787849A1 (ja)
JP (1) JP7414735B2 (ja)
CA (1) CA3102196A1 (ja)
FR (1) FR3080926B1 (ja)
WO (1) WO2019211552A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11513795B2 (en) * 2020-06-24 2022-11-29 Dell Products L.P. Systems and methods for firmware-based user awareness arbitration

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361582A (ja) 2001-06-05 2002-12-18 Sony Corp ロボットのための電力供給システム、並びにロボット
JP2004220458A (ja) 2003-01-17 2004-08-05 Taku Obata 日常言語と演繹推論エンジンによる機械の自動プログラミング
JP2009136967A (ja) 2007-12-06 2009-06-25 Honda Motor Co Ltd コミュニケーションロボット
JP2013539569A (ja) 2010-07-23 2013-10-24 アルデバラン ロボティクス 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム
JP2017220191A (ja) 2016-06-03 2017-12-14 洋彰 宮崎 手順を組合せて自律的に問題を処理する人工知能装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283259A (ja) * 2001-03-27 2002-10-03 Sony Corp ロボット装置のための動作教示装置及び動作教示方法、並びに記憶媒体
US7813835B2 (en) * 2002-03-15 2010-10-12 Sony Corporation Robot behavior control system, behavior control method, and robot device
JP4048492B2 (ja) * 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
US20110178619A1 (en) * 2007-12-21 2011-07-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Security-activated robotic tasks
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
FR2989209B1 (fr) * 2012-04-04 2015-01-23 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US10936050B2 (en) * 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US9626001B2 (en) * 2014-11-13 2017-04-18 International Business Machines Corporation Speech recognition candidate selection based on non-acoustic input
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US10456912B2 (en) * 2017-05-11 2019-10-29 King Fahd University Of Petroleum And Minerals Dynamic multi-objective task allocation
US10235128B2 (en) * 2017-05-19 2019-03-19 Intel Corporation Contextual sound filter
CA3071332A1 (en) * 2017-07-25 2019-01-31 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
US10979669B2 (en) * 2018-04-10 2021-04-13 Facebook, Inc. Automated cinematic decisions based on descriptive models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361582A (ja) 2001-06-05 2002-12-18 Sony Corp ロボットのための電力供給システム、並びにロボット
JP2004220458A (ja) 2003-01-17 2004-08-05 Taku Obata 日常言語と演繹推論エンジンによる機械の自動プログラミング
JP2009136967A (ja) 2007-12-06 2009-06-25 Honda Motor Co Ltd コミュニケーションロボット
JP2013539569A (ja) 2010-07-23 2013-10-24 アルデバラン ロボティクス 自然な対話インターフェースを備えたヒューマノイドロボット、同ロボットを制御する方法、および対応プログラム
JP2017220191A (ja) 2016-06-03 2017-12-14 洋彰 宮崎 手順を組合せて自律的に問題を処理する人工知能装置

Also Published As

Publication number Publication date
FR3080926B1 (fr) 2020-04-24
EP4378638A3 (fr) 2024-11-27
JP2021523472A (ja) 2021-09-02
EP3787849A1 (fr) 2021-03-10
US20220009082A1 (en) 2022-01-13
FR3080926A1 (fr) 2019-11-08
CA3102196A1 (fr) 2019-11-07
EP4378638A2 (fr) 2024-06-05
US12011828B2 (en) 2024-06-18
WO2019211552A1 (fr) 2019-11-07

Similar Documents

Publication Publication Date Title
EP3490761B1 (en) Control of social robot based on prior character portrayal in fiction or performance
US8321221B2 (en) Speech communication system and method, and robot apparatus
JP7414735B2 (ja) 複数のロボットエフェクターを制御するための方法
JP2024153581A (ja) 行動制御システム
JP2024157532A (ja) 行動制御システム
JP2024157531A (ja) 行動制御システム
JP2024155850A (ja) 電子機器
JP2024155809A (ja) 行動制御システム
JP2024159585A (ja) 行動制御システム
JP2024152707A (ja) 行動制御システム
JP2025003299A (ja) 行動制御システム及びプログラム
JP2024152711A (ja) 行動制御システム
JP2024154409A (ja) 行動制御システム
JP2024155874A (ja) 行動制御システム
JP2024154400A (ja) 行動制御システム
JP2024156634A (ja) 行動制御システム
JP2024153593A (ja) 行動制御システム及びプログラム
JP2024155841A (ja) 行動制御システム
JP2024155832A (ja) 行動制御システム
JP2024159569A (ja) 行動制御システム
JP2024153590A (ja) 行動制御システム
JP2024155796A (ja) 行動制御システム
JP2024154404A (ja) 行動制御システム
JP2024154410A (ja) 行動制御システム
JP2024155786A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150