[go: up one dir, main page]

JP2016536630A - 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット - Google Patents

人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット Download PDF

Info

Publication number
JP2016536630A
JP2016536630A JP2016519385A JP2016519385A JP2016536630A JP 2016536630 A JP2016536630 A JP 2016536630A JP 2016519385 A JP2016519385 A JP 2016519385A JP 2016519385 A JP2016519385 A JP 2016519385A JP 2016536630 A JP2016536630 A JP 2016536630A
Authority
JP
Japan
Prior art keywords
speaker
sentence
dialogue
profile
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016519385A
Other languages
English (en)
Inventor
パトリス,マガリ
ウーサン,ダビド
モンソー,ジェローム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of JP2016536630A publication Critical patent/JP2016536630A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Machine Translation (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

好適には人型ロボット(RI)である機械(OE)と、少なくとも一人の人間話者(INT)との間で対話を実行する方法であって、前記機械により実行される以下のステップ、すなわちa)前記人間話者を識別するステップと、b)複数の対話変数を含み、少なくとも1つの値が少なくとも1つの前記対話変数に割り当てられた話者プロファイル(INT_PR)をデータベース(BDD)から抽出するステップと、c)前記話者から発せられた少なくとも1つの文を受信および解析するステップと、d)少なくともステップc)で受信および解釈された前記文および前記話者プロファイルの1つの前記対話変数の関数として少なくとも1つの応答文を生成および発信するステップとを含む方法。

Description

本発明は、機械と人間との間で対話を行う方法に関する。当該機械は、コンピュータ、「スマートホン」のプロセッサ、またはロボット、特に少なくとも1つの埋込み型プロセッサを含む人型ロボット等の任意のデータ処理装置であってよく、対話は口頭で行うことができる。本発明はまた、当該方法を実行するためのコンピュータプログラム製品、およびロボット、好適には人型ロボットに関する。
「人型ロボット」は、胴体、頭部、腕、脚、音声認識および合成手段等を用いて人間と口頭でコミュニケーションする能力等、人間の外観および機能の特定の属性を示すロボットとして定義することができる。この種のロボットの目的は、人と機械との間の認知的距離を縮めることである。人型ロボットの最も重要な特徴の一つは、人間話者とできるだけ自然な対話を維持する能力である。この能力は、高齢者、病人、または単に日常生活で孤立している人々を支援して、これらの人々に、人間の支援者の代わりとして受容可能な代替品を提供することを目的とする「コンパニオンロボット」の開発に必須である。
従来技術で公知の人型ロボットの対話方法は、反復的且つ画一的であり、少なくとも極めて不自然であるため、満足できるものではない。
S.RosenthalおよびM.Velosoによる論文“Mixed−Initiative Long−Term Interactions with an All−Day−Companion Robot”,in Dialogs with Robots:Papers from the AAAI Fall Symposium(FS−10−05),pages 97−102に、人間の訪問者を例えば大学のロボット工学部門に案内する能力を有するロボットが記述されている。当該ロボットは、対話中に反復を避けるようにプログラミングされている。しかし、2人の異なる人間話者にほぼ同内容の対話が提供される。
S.Rosenthal and M.Veloso"Mixed−Initiative Long−Term Interactions with an All−Day−Companion Robot",in Dialogs with Robots:Papers from the AAAI Fall Symposium(FS−10−05),pages 97−102
文献米国特許第7,539,656号明細書に、機械が人間話者と対話して当人にサービスを提供する、例えば朝食を注文するのに必要な情報を得る方法を記述している。このような対話は極めて画一的であり、その目的は会話を再現することではない。従って当該方法は効率的な「コンパニオンロボット」の製作には適していない。
文献米国特許第7,987,091号明細書は、機械が1人以上の話者と「個人化された」および「発展的な」対話を維持する方法を記述している。対話が個人化されている理由は、機械がメモリに保存された話者に関する各種情報に基づいて対話を行うためである。発展的である理由は、機械が対話中に新たな情報を得るからである。しかし、情報の取得と利用のフェーズが明らかに別々であるため、対話は不自然なままである。
本発明は、機械、特にロボットと対話を行い、他の人間との自然な対話に近づける方法を提供することにより、従来技術の上述の短所を克服することを目的とする。より具体的には、本発明は、発展的且つ自然な、話者に適合された対話(非画一的)を主導して、人間話者とロボットとの間に真の感情的な絆を形成可能にすることを目的とする。発展は、同じ対話(または「対話セッション」)内および、たとえ時間的に離れていても同じ人間話者との二つの連続した対話の中で等しく聞くことができる。
本発明の目的の一つは、上述の目的を実現可能にするものであり、機械と、少なくとも一人の人間話者との間で対話を実行する方法であって、前記機械により実行される以下のステップ、すなわち
a)前記人間話者を識別するステップと、
b)複数の対話変数を含み、少なくとも1つの値が少なくとも1つの前記対話変数に割り当てられた話者プロファイルをデータベースから抽出するステップと、
c)前記話者から発せられた少なくとも1つの文を受信および解析し、前記話者から発せられた前記文または各々の前記文を解析して、前記話者プロファイルの少なくとも1つの対話変数に割り当てる少なくとも1つの値を当該文から抽出すると共に前記値または各前記値を前記話者プロファイルに保存するステップと、
d)少なくともステップc)で受信および解釈された前記文および前記話者プロファイルの1つの前記対話変数の関数として少なくとも1つの応答文を生成および発信するステップとを含んでいる。
話者の識別および話者プロファイルを用いた応答文の生成により、対話の個人化が可能になる。「応答」という用語は、狭義の「質問への回答」の意味ではなく、刺激に応答して発信される任意の文を含めるよう広義に解釈すべきである。
応答の解析により、機械が対話中に、または一連の対話を通じても、話者プロファイルを充実させることができる。機械が話者をより深く知るように学習し、自身の知識を用いて対話を洗練させると言ってよい。
更に、対話が画一的でない理由は、機械からの応答が、話者のプロファイルおよび話者が今話したばかりの少なくとも1つの文に依存するためである。上述の文献米国特許第7,987,091号明細書による方法で生じるのとは逆に、(情報の)「取得の対話」と(情報の)「利用の対話」との間に区別がない。本発明によれば、同一の対話中において、機械は既に入手可能な話者に関する情報を用いて新たな情報を取得し、これを直ちにまたは後で用いることができる。
前記話者から発せられた前記文または少なくとも1つの文の解析、および前記応答文または少なくとも1つの応答文の生成は、各々の構文木により表される複数の文型を用いて実行することができる。
有利な特徴として、前記文型の少なくとも一部は、前記話者プロファイルの対話変数への少なくとも1つのポインタを含んでいる。応答を生成する際に、機械は、当該ポインタを話者プロファイルに保存された対話変数の値に置換する。逆に、受信した文を解析する際に、機械は、文型内でポインタが示す場所を占有している前記文の所定の単語を、対応する対話変数の値として話者プロファイルに保存すべき値であると解釈する。
有利な特徴として、前記文型の少なくとも一部は、「概念」と呼ばれる文内で交換可能な用語の少なくとも1つの集合への少なくとも1つのポインタを含んでいてよい。
前記ステップd)は、前記話者から発せられた少なくとも1つの文型と、少なくとも1つの応答文型とを関連付ける複数のルールにより実行することができる。これらのルールは「木」構造で表すことができる。
この場合、前記ステップd)において、少なくとも1つの前記ルールが、前記話者から発せられた同一文型に、応答文として利用可能な複数の文型を関連付けることができ、更に、前記応答文型のうち、前記話者プロファイル内で値が割り当てられない対話変数へのポインタを含むものを廃棄することができる。従って、機械は自身の応答を、話者に関して自身が知っていること、または、知らないことの関数として選択することができる。
有利な特徴として、少なくとも1つの前記ルールは、会話の主題を識別するタグによりマーキングすることができ、前記ステップd)において、決定された会話の主題を識別する少なくとも1つのタグによりマーキングされた1つまたは複数のルールを、少なくとも1つの対話パラメータ(1つ以上の対話変数、文脈パラメータ、対話履歴等の値、またはそのような値が無いこと)の関数として有効化または無効化することができる。これは、対話の発展させるための技術的様相である。
前記話者プロファイルはまた対話履歴を含んでいてよく、前記ステップd)において、前記応答または少なくとも1つの前記応答もまた前記対話履歴の関数として生成することができる。これにより、対話の発展が保証されて反復が回避される。
前記ステップd)において、前記応答または少なくとも1つの前記応答はまた、前記機械により取得または決定された少なくとも1つの文脈のパラメータの関数として生成することができる。当該パラメータは特に、時計により決定される時間であってよく、従って例えば正午近くになったときに対話が昼食に関するものになり得る。パラメータはまた、カレンダにより決定される日付け、センサにより取得される温度または周辺明度等であってよい。
前記ステップa)において、前記人間話者は、カメラ等の画像取得装置により、顔認識により、または前記カメラに提示されたグラフィックコードを読み取ることにより識別することができる。他の識別方法(生体認証、キーパッドを介して入力されたコード、音声認識等)もまた可能である。
前記ステップb)において、機械は、通信ネットワークを介してリモートサーバーにアクセスして、前記リモートサーバーに保存された前記データベースから前記話者プロファイルをダウンロードすることができる。機械はまた、前記通信ネットワークを介して前記リモートサーバーにアクセスしたならば、前記ステップc)で前記話者から発せられた少なくとも1つの文から抽出された少なくとも1つの対話変数に割り当てられた少なくとも1つの値の保存により更新された話者プロファイルを前記データベースにロードすることもできる。一変型例として、データベースはローカルに保存することができる。
好適には、前記機械は、人型ロボットに埋め込まれたプロセッサを含んでいる。しかし他の実施形態も可能であり、 例えば、機械はデスクトップコンピュータ、「スマートホン」、車両に搭載されたコンピュータ等であってよい。
本発明の別の主題は、上述のような方法を実行するコンピュータプログラム製品(すなわち、永久または揮発性半導体メモリ、またはCD−ROM型のディスクまたはハードディスク等のハードウェア記憶媒体に保存された実行可能形式のコンピュータプログラム)である。
本発明の更に別の主題は、上述のような方法を実行すべくプログラミングされた埋込み型プロセッサを含む人型ロボットである。有利な特徴として、当該人型ロボットはまた、
−人間話者を識別すべく前記埋込み型プロセッサと協働するカメラ等の画像取得装置と、
−前記人間話者により話された少なくとも1つの文を受信すべく前記埋込み型プロセッサと協働するマイクロホンまたはマイクロホンの配列等の音声取得装置と、
−1つの前記応答文を発信すべく前記埋込み型プロセッサと協働するスピーカー等の音声発信装置をも含んでいる。
本発明の他の特徴、詳細事項、および利点は、例として示す添付図面に関して与えられる記述を精査すれば理解されよう。
人間話者と対話すると共にリモートサーバーと通信している、本発明の一実施形態による人型ロボットである。 本発明の一実施形態による方法のフロー図である。 本発明による方法の実行に用いられる木構造。 本発明による方法の実行に用いられる木構造。 本発明による方法の実行に用いられる木構造。 本発明による方法の実行に用いられる木構造。
図1に、人間話者INTと対話している人型ロボットRTを示す。ロボットは、人間の形状を再現する多関節体に加え、
−本発明の対話方法を実行する、当該タスク専用のプロセッサ、または他のタスクも実行して究極的には自身でロボットを制御するプロセッサであり得る、例えばロボットの頭部に配置された埋込み型プロセッサまたはコンピュータOEと、
−話者INTの画像を取得すべくロボットの頭部、例えば口の中および/または額に配置された1つ以上の画像取得装置(カメラ)DAIと、
−ロボットが「話す」ことができるように例えばロボットの頭部の側面に配置された音声発信装置DES(スピーカー)と、
−ロボットに聞こえるように例えばロボットの頭部の上面に配置された1つ以上の音声取得装置DAS(マイクロホン)とを含んでいる。
画像取得および音声取得装置はプロセッサOEに入力データ、特に、
−話者を識別可能にすべく、装置DAIにより取得された、前記話者の顔、または識別を容易にすべく話者が示すグラフィックコード(例えば「スマートホン」の専用アプリケーションにより取得されたQRコード)の画像等の少なくとも1つの画像と、
−話者により発せられて認識および解析が必要な文を表現可能な音声とを供給する。
プロセッサOEは、これらの入力データを処理すべく(公知の)画像認識および音声認識ソフトウェアをメモリに保存して実行する。一変型例として、このようなソフトウェアまたはこのようなソフトウェアの一部は、後述するように外部データベースに保存することができる。
音声発信装置DESは、プロセッサOEにより駆動される。
ロボットRTは、ネットワークRC(例えば、WiFi接続を介してアクセスするインターネット)を介して、「話者プロファイル」のデータベースを保存するリモートサーバーSVDと通信状態にある。
ロボットは、装置DAIを介して取得された画像に画像認識アルゴリズム(顔またはグラフィックコードの認識)を適用することにより取得された話者INTの識別データINT_IDをサーバーSVDに送信する。ある場合において、当該データは直接画像であってよく、その場合、識別ステップはリモートサーバーにより実行される。例えば、特定の実施形態において、ユーザーは自身の「スマートホン」によりサーバーSVDに登録され、サーバーは前記スマートホンを介して当該ユーザーにQRコードを送る。ユーザーは、スマートホンの画面上の当該コードを表示して、ロボットのカメラのうち1台の前に当該コードをかざすことによりロボットに提示する。ロボットはQRコードの画像をサーバーに再送信し、サーバーは前記画像をユーザーと関連付ける、その時点で当該ユーザーは識別された話者になる。他の実施形態において、識別は、話者の顔の画像に基づいて、話者の声の認識により、または単に対話の開始時点で話される「こんにちは、私はJeanです」のような自己紹介の文から行われる。
サーバーSVDは、受信した識別データに基づいて、データベースBDDから話者プロファイルINT_PRを取り出して、ネットワークRCを介してロボットRTに送信する。話者プロファイルは、ユーザーに依存する1つの値(複数の値の場合もある)が関連付けられた変数のリストを含むファイルである。話者「Jean Dupont」のプロファイルからの抽出内容は例えば以下の個人データであってよい。
話者の識別子:00011
ファーストネーム:Jean
年齢:35歳
職業:エンジニア
趣味:水泳、ランニング、サイクリング
ペット:
母国語:フランス語
他言語:
上述の抽出内容は、8つの変数、すなわち話者の識別子、「ファーストネーム」、「氏名」、「年齢」、「職業」、「趣味」、「ペット」、「母国語」、および「他言語」を含んでいる。最初の4つの変数は自身に有効に割り当てられる単一の値をとる。「趣味」変数は同時に複数の値をとることができ、この場合「水泳」、「ランニング」および「サイクリング」の値が割り当てられる。「ペット」変数は複数の値をとり得るが、何も入力されていない。最後の2つの変数「母国語」(単一値:「フランス語」)および「他言語」(複数の値が可能だがここでは何も入力されていない)は特に重要である。実際には、本方法の多言語バージョンにおいて、プロセッサはこれらの変数の値を用いて、話者に話しかける言語または聞き取った文の認識および解析に用いる言語パラメータを決定する(最初にロボットが話す場合)ことができる。
ロボットOEのプロセッサは、変数に割り当てられる値(または何も入力されていないという事実)を用いて、以下に詳述するように話者INTとの対話を管理する。このため、当該変数は「対話変数」と呼ばれる。
また以下に詳述するように、プロセッサOEはまた、話者プロファイルの内容を対話の関数として変更することを要求されることがある。例えば、Jean Dupontが英語も話すことを知って、当人のプロファイルの「他言語」変数に値「英語」を割り当てることができる。この学習は、(ロボットにより発された非疑問文に続いて、または自発的に、ロボットからの質問に答えて)話者により話される文を解析することにより行われる。このような(対話の直後または終了時点で、あるいは一定間隔等での)更新の後、プロセッサが次いでデータベースBDDに保存されている話者プロファイルの変更されたバージョンをサーバーSVDに送信する。一変型例として、データベースBDDをローカルに保存することができ、その場合ネットワークRCへの接続は必要でない。
ロボットが話者プロファイルに含まれる情報を用いて同プロファイルを充実させる対話の例を以下に示す。話者は「Jean」(識別子00011)であり、対話開始時点でのプロファイルは上述の通りである。ロボットおよび人間話者により話される文をイタリックで表記している。(使用または取得された)対話変数または、(話者のプロファイルにも保存された)過去の対話の履歴データに対応する単語は下線表示されている。
ロボットは、自身のカメラ(または自身のカメラの1台)の視野に人が入ったことを検知して、当人の顔が話者「00011」の顔であることを確認する。ロボットは、対応する話者プロファイルをメモリにロードし、「名前」情報を用いて部分的に事前準備された挨拶文を個人化する。ロボットはまた、対話履歴に関する情報、すなわち前日に同じ話者との別の対話があった事実を用いる。
・ロボット:こんにちはJean!また会いに来てくれてありがとう。うれしいです!昨日からどうされてました?
話者は、質問で応答する。
・人間:相変わらずだよ。君はどう?
話者から投げかけられた質問(「君はどう?」)は応答を誘発するが、この場合は画一的である。
・ロボット:絶好調です。ありがとう!
対話を続けるために、ロボットは文脈データの日付、この場合は「ヨーロッパの日」5月9日(当該情報はロボットのメモリに保存されている)に頼る。
・ロボット:今日が「ヨーロッパの日」であることをご存知ですか?様々な異なる言語や文化を持つ国々が統一されているのはとても素晴らしいことだと思います。ところで私は多くのヨーロッパ言語を話せます!Jean、あなたはフランス語以外の言語を話せますか?
文脈データの利用については以下で詳述する。
上述の文(全般的構造すなわち「文型」が以下に詳述するように事前準備されている)を個人化すべく、ロボットは話者のプロファイルから3項目の情報、すなわち当人の名前(「Jean」)、「母国語」変数の値(「フランス語」)、および「他言語」変数に何も入力されていない事実を用いる。話者からの応答により、ロボットは当該変数に値「英語」を割り当てることによりプロファイルを充実させることができる。
・人間:うん、僕は英語を流暢に話せるよ。
ロボットからの応答はこの新たに保存された値、すなわち以前に「職業」変数に割り当てられた値(「エンジニア」)、および「他言語」変数の特定の値と「職業」変数の特定の値を関連付ける自身のメモリに保存された「ルール」を用いる。
・ロボット:すごいですね。英語は本当にエンジニアという仕事にとても役立つ言語です。
ロボットはまた、今プロファイルに保存されたばかりの言語で対話を続ける選択肢を話者に提供することができる。
・ロボット:少し英語で話してみませんか?
・人間:OK。練習の機会になるからね。
・ロボット:素晴らしいですね。さあ始めましょう!
話者からの肯定的な応答により、英語(ロボットは当該言語で対話すべくプログラミングされていると仮定する)での対話が始まる。
対話の終了時点で値「英語」が当人の「他言語」変数に割り当てられているため、話者のプロファイルが変更される。
話者の識別子:00011
ファーストネーム:Jean
年齢:35歳
職業:エンジニア
趣味:水泳、ランニング、サイクリング
ペット:
母国語:フランス語
他言語:英語
図2のフロー図は、本発明の一実施形態による方法の実行をより詳細に示す。
人間話者を識別するステップa)は2つのサブステップ、すなわち
−画像(上述のように話者の顔の画像またはグラフィック識別コードであってよい)を取得するサブステップa1と、
−前記画像の認識により話者を識別する(上述のように当該ステップはローカルに、またはリモートサーバーにより実行可能な)サブステップa2とを含んでいる。
他の識別モードもまた可能である。
ステップb)は、ステップa)で識別された話者に対応する話者プロファイルINT_PRの、ローカルに保存されたデータベースからの、またはリモートサーバー上での抽出を含んでいる。
任意選択的に、ステップb)の後では、ロボットが、例えば話者に挨拶して、当人に名前(通常そうであるように当該変数が話者プロファイルに登録されていれば)で呼びかけることにより対話を主導することができる。当該ステップは、図を過度に煩雑にしないよう表示していない。
ステップc)は4つのサブステップ、すなわち
−1つまたは複数のマイクロホンDASにより前記ユーザーから発せられた音声を受信するサブステップc1と、
−サブステップc1で受信された音声に対して文を抽出する公知のアルゴリズムを用いることにより音声認識を行うサブステップc2と、
−文の解析を行うサブステップc3(当該サブステップは図3A〜3Dを参照して更に詳述する)と、
−サブステップc3で実行された解析から、プロファイルの変数に割り当てられる新たな値が識別された場合、ステップcは前記プロファイルを更新するサブステップc4とをも含んでいる。
対話がキーボードおよび画面を介して筆談で行われるより簡単な実施形態において、サブステップc1およびc2は簡単なテキスト取得で代替される。
応答を行うステップd)は3つのサブステップ、すなわち
−日付、時刻、気象データ、他人の存在等の文脈データを抽出する任意選択としてのサブステップd1と、
−応答文を生成するサブステップd2(当該サブステップは図3A〜3Dを参照して更に詳述する)と、
−サブステップd2で生成された応答文を発信するサブステップd3(当該サブステップは公知の音声合成アルゴリズムおよび1つ以上のスピーカーDESを用いて実行される)とを含んでいる。
本方法は従って、ロボットが話者からの新たな文を待っている状態でサブステップc1から反復される。
アルゴリズムは、最長待ち時間が経過した後で終了することができる。更に、サブステップc3で実行される文解析は、話者が対話を終えたがっていることをロボットに知らせることができる(例えば、そのような願望は「もう行かなきゃ」、「さようなら」、「また今度ね」等の文の検知から推論できる)。同様に、話者がカメラDAIの視野から居なくなった(サブステップD1)場合、ロボットは対話を終えることを決定できる。これらの変型例は、図を過度に煩雑にしないよう表示していない。
ロボットのプロセッサによる文の解析(サブステップc3)および生成(サブステップd2)は共に「文型」を実行する。文型は単語、変数「概念」および「タグ」へのポインタ、並びに1つ以上の論理演算子により紐付けられた行動インジケータを含んでいる。文型は、「構文木」と呼ばれる木構造により表現することができる。
図3Aに、人間話者により話される文を解析すべく本方法のサブステップc3の実行で用いる文型MDPに対応する構文木AS1の第1の例を示す。当該文型は、この目的のために開発されたスクリプト言語で書かれている。
「my name is_〜First−name−list」
上記は3つの単語(「my」、「name」、「is」)および概念(「〜First−name−list」)を含んでいる。チルダ「〜」は概念を識別し、「_」文字は概念を保存する必要があることを示す。
単語および概念−参照CPT−は、木の根を生成する「AND」論理演算子により紐付けられた構文木ASの葉を生成する。
概念は、意味論的に近く且つ文内で交換可能な複数の単語を含み、ここではファーストネームのリストである。概念「First−name−list」もまた木(図3B)により表現され、その葉は交換可能な単語(「Jean」、「Pierre」、「Paul」、「Jacques」等)および根は「OR」論理演算子である。話者が例えば「私の名前はJeanです」と言えば、ロボットのプロセッサは当該文が文型に対応することを確認して値「Jean」をロボットのメモリの一時変数に保存する(文型の「_」文字に対応するコマンド#storage#、「ハッシュ」文字−#−は話すべき名前ではないことを示す)。
図3Cに、サブステップc4(話者プロファイルの更新)およびd2(応答文の生成)の実行に使用する文型MDPに対応する構文木の別の例を示す。当該文型は、以下のように書かれる。
「that’s a nice name$1!$INT/Fisrt−name=$1」
当該文型は4つの単語(「that’s」、「a」、「nice」、「name」)、イントネーションマーカー(「!」)、および話者のファーストネームが保存されている一時変数へのポインタを含む(「$1」−記号「$」は変数を識別する)。当該文型はまた、一時変数$1に含まれる値の対話多様なVD「$INT/First−name」への割当動作も含んでいる。割当動作もまた、等号演算子「=」を介して変数「INT/First−name」とポインタ「$1」とを関連付ける木(図3Bの最下部)により表現される。
ルールにより、プロセッサが入力(話者により話された文)を出力(ロボットにより発された応答文)に関連付けることが可能になる。図3Dに、そのようなルールを表す木Rを示す。ここでは、木AS1(入力)で表された文型を木AS2(出力)で表された文型に関連付ける極めて簡単なルールである。従って、当該ルールを適用することにより、話者が「私の名前はJeanです」と言えば、ロボットは「素敵な名前ですね、Jean!」と応答する、但し「Jean」は「First−name−list」概念にリストされた他の任意のファーストネームで代替可能である。更に、上述のように、プロセッサは、ファーストネームが「Jean」である旨の情報を保存することにより話者プロファイルを更新して、その後の対話中に当該情報を用いることができる。
ルールは、より複雑であってもよい。例えば、出力は、多数の代替案から、特定の変数および/または文脈データ(例えば上に示す対話の例のように日付)に割り当てられた値の関数として選択することができる。同様に、1つまたは複数の同じ出力に関連付けられた多数の代替的な文型を入力として与えることができる。
ルール木RはタグTG:「#Presentation#」をも含んでいる。この場合、当該タグにより、意味論的に近いルールを組み合せる「会話の主題」にルールを付随させることが可能になり、ここでは会話の主題は話者の紹介を含んでいる。特定の変数の値および、話者プロファイルおよび/または文脈データに記録された対話履歴に基づいて、特定のタグによりマーキングされたルールを有効化または無効化することができる。従って、例えば、タグ「クリスマス」によりマーキングされたルールは、12月1日〜1月5日(文脈データ)の間だけ有効化することができる。タグ「ペット」によりマーキングされたルールは、話者が飼っていないことをプロファイルが示す場合は無効化することができる。タグが付された特定個数のルールが適用されていれば、当該主題が充分に扱われていて、当該ルールを一定期間無効化することができるものと考えられる。
上述の対話履歴は、以前の対話およびそれらの日付のリスト、ロボットにより話された応答および質問(既になされた質問は反復を避けるため無効化されている)のリスト、タグおよびそれらの状態(有効化/無効化)のリスト、および既に扱われた主題のリストを(オプションとして各トピックで達した深さの程度の測定値と共に)含んでいる。当該履歴は、キーおよび値のリストの形式をなしている。
上述の全ての特徴は個人化および対話の発展に寄与する。

Claims (16)

  1. 機械(RT)と、少なくとも一人の人間話者(INT)との間で対話を実行する方法であって、前記機械により実行される以下のステップ、すなわち
    a)前記人間話者を識別するステップと、
    b)複数の対話変数(VD)を含み、少なくとも1つの値が少なくとも1つの前記対話変数に割り当てられた話者プロファイル(INT_PR)をデータベース(BDD)から抽出するステップと、
    c)前記話者から発せられた少なくとも1つの文を受信し、前記話者から発せられた前記文または各々の前記文を解析して、前記話者プロファイルの少なくとも1つの対話変数に割り当てる少なくとも1つの値を当該文から抽出すると共に前記値または各前記値を前記話者プロファイルに保存するステップと、
    d)少なくともステップc)で受信および解釈された前記文および前記話者プロファイルの1つの前記対話変数の関数として少なくとも1つの応答文を生成および発信するステップとを含み、
    ステップc)で受信および解析された前記文または少なくとも1つの前記文が、前記話者により自発的に、または前記機械により発信された非疑問文に続いて話された文であることを特徴とする方法。
  2. 前記話者から発せられた前記文または少なくとも1つの文の解析、および前記応答文または少なくとも1つの応答文の生成が、各々の構文木(AS1,AS2)により表される複数の文型(MDP)を用いて実行される、請求項1に記載の対話実行方法。
  3. 前記文型の少なくとも一部が、前記話者プロファイルの対話変数への少なくとも1つのポインタを含んでいる、請求項2に記載の対話実行方法。
  4. 前記文型の少なくとも一部が、概念(CPT)と呼ばれる文内で交換可能な用語の少なくとも1つの集合への少なくとも1つのポインタを含んでいる、請求項2または3のいずれか1項に記載の対話実行方法。
  5. 前記ステップd)が、前記話者から発せられた少なくとも1つの文型と、少なくとも1つの応答文型とを関連付ける複数のルール(R)により実行される、請求項2〜4のいずれか1項に記載の対話実行方法。
  6. 前記ステップd)において、少なくとも1つの前記ルールが、前記話者から発せられた同一文型に、応答文として利用可能な複数の文型を関連付けると共に、前記応答文型のうち、前記話者プロファイル内で値が割り当てられない対話変数へのポインタを含むものが放棄される、請求項5に記載の対話実行方法。
  7. −少なくとも1つの前記ルールが、会話の主題を識別するタグ(TG)によりマーキングされていて、
    −前記ステップd)において、決定された会話の主題を識別する少なくとも1つのタグによりマーキングされた1つまたは複数のルールが、少なくとも1つの対話パラメータの関数として有効化または無効化される、請求項5または6のいずれか1項に記載の対話実行方法。
  8. 前記話者プロファイルはまた対話履歴を含み、前記ステップd)において、前記応答または少なくとも1つの前記応答もまた前記対話履歴の関数として生成される、請求項1〜7のいずれか1項に記載の対話実行方法。
  9. 前記ステップd)において、前記応答または少なくとも1つの前記応答はまた、前記機械により取得または決定された少なくとも1つの文脈のパラメータの関数として生成される、請求項1〜8のいずれか1項に記載の対話実行方法。
  10. 前記ステップa)において、前記人間話者が、画像取得装置(DAI)により、顔認識により、または前記装置に提示されたグラフィックコードを読み取ることにより識別される、請求項1〜9のいずれか1項に記載の対話実行方法。
  11. 前記ステップb)において、前記機械が、通信ネットワーク(RC)を介してリモートサーバー(SVD)にアクセスして、前記リモートサーバーに保存された前記データベースから前記話者プロファイルをダウンロードする、請求項1〜10のいずれか1項に記載の対話実行方法。
  12. 前記機械が、前記通信ネットワークを介して前記リモートサーバーにアクセスしたならば、前記ステップc)で前記話者から発せられた少なくとも1つの文から抽出された少なくとも1つの対話変数に割り当てられた少なくとも1つの値の保存により更新された話者プロファイルを前記データベースにロードする、請求項11に記載の対話実行方法。
  13. 前記機械が、人型ロボット(RT)に埋め込まれたプロセッサ(OE)を含んでいる、請求項1〜12のいずれか1項に記載の対話実行方法。
  14. 前記プログラムがプロセッサ上で実行された際に、請求項1〜13のいずれか1項に記載の方法を実行するコンピュータプログラム製品。
  15. 請求項13に記載の方法を実行すべくプログラミングされた埋込み型プロセッサ(OE)を含む人型ロボット(RT)。
  16. −人間話者を識別すべく前記埋込み型プロセッサと協働する画像取得装置と、
    −前記人間話者により話された少なくとも1つの文を受信すべく前記埋込み型プロセッサと協働する音声取得装置と、
    −1つの前記応答文を発信すべく前記埋込み型プロセッサと協働する音声発信装置をも含んでいる、請求項15に記載の人型ロボット。
JP2016519385A 2013-10-01 2014-09-29 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット Ceased JP2016536630A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1359514 2013-10-01
FR1359514A FR3011375B1 (fr) 2013-10-01 2013-10-01 Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede
PCT/EP2014/070782 WO2015049198A1 (fr) 2013-10-01 2014-09-29 Procede de dialogue entre une machine, telle qu'un robot humanoïde, et un interlocuteur humain, produit programme d'ordinateur et robot humanoïde pour la mise en œuvre d'un tel procede

Publications (1)

Publication Number Publication Date
JP2016536630A true JP2016536630A (ja) 2016-11-24

Family

ID=50069049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016519385A Ceased JP2016536630A (ja) 2013-10-01 2014-09-29 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット

Country Status (11)

Country Link
US (1) US10127226B2 (ja)
EP (1) EP3053162B1 (ja)
JP (1) JP2016536630A (ja)
CN (1) CN105940446B (ja)
AU (1) AU2014331209B2 (ja)
BR (1) BR112016007199A8 (ja)
CA (1) CA2925930C (ja)
FR (1) FR3011375B1 (ja)
MX (1) MX2016004208A (ja)
RU (1) RU2653283C2 (ja)
WO (1) WO2015049198A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131737A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3309738A4 (en) * 2015-06-12 2018-11-07 Sony Corporation Information processing device, information processing method, and program
CN106570443A (zh) * 2015-10-09 2017-04-19 芋头科技(杭州)有限公司 一种快速识别方法及家庭智能机器人
US9940929B2 (en) * 2015-12-09 2018-04-10 Lenovo (Singapore) Pte. Ltd. Extending the period of voice recognition
CN105427856B (zh) * 2016-01-12 2020-05-19 北京光年无限科技有限公司 一种面向智能机器人的约请数据处理方法和系统
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
WO2017200080A1 (ja) * 2016-05-20 2017-11-23 日本電信電話株式会社 対話方法、対話装置、及びプログラム
JP6719740B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
CN106649280B (zh) * 2017-02-13 2019-07-09 长沙军鸽软件有限公司 一种创建共享语料库的方法
US20190237069A1 (en) * 2018-01-31 2019-08-01 GM Global Technology Operations LLC Multilingual voice assistance support
US10832118B2 (en) * 2018-02-23 2020-11-10 International Business Machines Corporation System and method for cognitive customer interaction
KR102448388B1 (ko) * 2018-03-05 2022-09-28 구글 엘엘씨 자동화 어시스턴트를 이용한 이전 대화 컨텍스트사이의 전환
EP3859568A4 (en) * 2018-09-28 2021-09-29 Fujitsu Limited DIALOGUE DEVICE, DIALOGUE PROCESS AND DIALOGUE PROGRAM
US11279036B2 (en) 2018-10-01 2022-03-22 Toyota Research Institute, Inc. Methods and systems for implementing customized motions based on individual profiles for identified users
CN109584858A (zh) * 2019-01-08 2019-04-05 武汉西山艺创文化有限公司 一种基于ai人工智能的虚拟配音方法及其装置
WO2020159395A1 (ru) * 2019-01-29 2020-08-06 Публичное Акционерное Общество "Сбербанк России" Способ создания модели анализа диалогов на базе искусственного интеллекта

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106298A (ja) * 1994-08-09 1996-04-23 Toshiba Corp 対話処理装置及び対話処理方法
JP2001162573A (ja) * 1999-12-08 2001-06-19 Fujitsu Ltd ロボット装置
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2004195636A (ja) * 2002-12-02 2004-07-15 Sony Corp 対話制御装置及び方法並びにロボット装置
JP2005301017A (ja) * 2004-04-14 2005-10-27 Sony Corp 情報処理装置および情報処理方法、並びに、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7539656B2 (en) 2000-03-06 2009-05-26 Consona Crm Inc. System and method for providing an intelligent multi-step dialog with a user
US6604094B1 (en) * 2000-05-25 2003-08-05 Symbionautics Corporation Simulating human intelligence in computers using natural language dialog
US6728679B1 (en) 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US20020133347A1 (en) * 2000-12-29 2002-09-19 Eberhard Schoneburg Method and apparatus for natural language dialog interface
JP2003044088A (ja) * 2001-07-27 2003-02-14 Sony Corp プログラム、記録媒体、並びに音声対話装置および方法
ITTO20011035A1 (it) * 2001-10-30 2003-04-30 Loquendo Spa Metodo per la gestione di dialoghi persona-macchina ad iniziativa mista basato sull'interazione vocale.
PL372592A1 (en) * 2002-05-14 2005-07-25 Koninklijke Philips Electronics N.V. Dialog control for an electric apparatus
EP1569129B1 (en) * 2002-12-02 2019-01-30 Sony Corporation Dialogue control device and method, and robot device
JP2004287016A (ja) * 2003-03-20 2004-10-14 Sony Corp 音声対話装置及び方法並びにロボット装置
US7382392B2 (en) 2004-07-20 2008-06-03 Samsung Electronics Co., Ltd. Method and apparatus for compensating for scanning skew
JP4629560B2 (ja) * 2004-12-01 2011-02-09 本田技研工業株式会社 対話型情報システム
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
JP2009025658A (ja) * 2007-07-20 2009-02-05 Oki Electric Ind Co Ltd 音声合成装置、音声合成システム
CN101618280B (zh) * 2009-06-30 2011-03-23 哈尔滨工业大学 具有人机交互功能的仿人头像机器人装置及行为控制方法
CN103078867A (zh) * 2013-01-15 2013-05-01 深圳市紫光杰思谷科技有限公司 机器人间自动聊天方法及聊天系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106298A (ja) * 1994-08-09 1996-04-23 Toshiba Corp 対話処理装置及び対話処理方法
JP2001162573A (ja) * 1999-12-08 2001-06-19 Fujitsu Ltd ロボット装置
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2004195636A (ja) * 2002-12-02 2004-07-15 Sony Corp 対話制御装置及び方法並びにロボット装置
JP2005301017A (ja) * 2004-04-14 2005-10-27 Sony Corp 情報処理装置および情報処理方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
八木裕司: "道案内音声対話システムへの概念音声合成に基づく応答生成手法の実装とその評価", 情報処理学会論文誌 (第48巻 第9号), vol. 第48巻, JPN6018007503, September 2007 (2007-09-01), JP, pages 3300 - 3308, ISSN: 0003750228 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131737A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
CA2925930A1 (fr) 2015-04-09
FR3011375A1 (fr) 2015-04-03
FR3011375B1 (fr) 2017-01-27
CN105940446B (zh) 2020-03-13
RU2016116893A (ru) 2017-11-13
AU2014331209A1 (en) 2016-05-19
CN105940446A (zh) 2016-09-14
AU2014331209B2 (en) 2017-11-30
MX2016004208A (es) 2017-08-16
US20160283465A1 (en) 2016-09-29
RU2653283C2 (ru) 2018-05-07
EP3053162B1 (fr) 2020-04-01
CA2925930C (fr) 2020-06-02
BR112016007199A8 (pt) 2020-03-10
EP3053162A1 (fr) 2016-08-10
US10127226B2 (en) 2018-11-13
BR112016007199A2 (pt) 2017-08-01
WO2015049198A1 (fr) 2015-04-09

Similar Documents

Publication Publication Date Title
JP2016536630A (ja) 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット
US10489112B1 (en) Method for user training of information dialogue system
US10311874B2 (en) Methods and systems for voice-based programming of a voice-controlled device
KR102429407B1 (ko) 사용자 구성의 맞춤형 인터렉티브 대화 애플리케이션
US11586689B2 (en) Electronic apparatus and controlling method thereof
KR102705233B1 (ko) 단말 장치, 서버 및 그 제어 방법
Maguire Development of a heuristic evaluation tool for voice user interfaces
Catania et al. CORK: A COnversational agent framewoRK exploiting both rational and emotional intelligence
CN113987149A (zh) 任务型机器人的智能会话方法、系统及存储介质
CN109065019B (zh) 一种面向智能机器人的故事数据处理方法及系统
Dewatri et al. Potential tools to support learning: OpenAI and Elevenlabs integration
JP2021149664A (ja) 出力装置、出力方法及び出力プログラム
KR20240149881A (ko) 서사 텍스트 및 음성 컴퓨터 게임 사용자 인터페이스
Quesada et al. Programming voice interfaces
WO2021064947A1 (ja) 対話方法、対話システム、対話装置、およびプログラム
KR20020024828A (ko) 인터넷을 이용한 상호 대화식 언어 학습방법
JP2009500679A (ja) コミュニケーション方法及びコミュニケーション装置
WO2022249221A1 (ja) 対話装置、対話方法、およびプログラム
JP7652365B1 (ja) 情報処理方法、プログラム及び情報処理システム
JP2006236037A (ja) 音声対話コンテンツ作成方法、装置、プログラム、記録媒体
JP6790791B2 (ja) 音声対話装置および対話方法
Rozga et al. Applying our learnings: Alexa skills kit
WO2021131737A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Ondas et al. Design and development of the Slovak multimodal dialogue system with the BML Realizer Elckerlyc
Lennartsson et al. Chat Bots & Voice Control: Applications and limitations of combining Microsoft’s Azure Bot Service and Cognitive Services’ Speech API

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200702

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20201027