[go: up one dir, main page]

JP7339124B2 - 制御装置、システム及び制御方法 - Google Patents

制御装置、システム及び制御方法 Download PDF

Info

Publication number
JP7339124B2
JP7339124B2 JP2019197505A JP2019197505A JP7339124B2 JP 7339124 B2 JP7339124 B2 JP 7339124B2 JP 2019197505 A JP2019197505 A JP 2019197505A JP 2019197505 A JP2019197505 A JP 2019197505A JP 7339124 B2 JP7339124 B2 JP 7339124B2
Authority
JP
Japan
Prior art keywords
voice
control device
equal
emergency stop
controlled object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019197505A
Other languages
English (en)
Other versions
JP2020138314A (ja
JP2020138314A5 (ja
Inventor
健太 米倉
大史 浅井
厚太 鍋嶌
学 永尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Priority to PCT/JP2020/001718 priority Critical patent/WO2020174930A1/ja
Publication of JP2020138314A publication Critical patent/JP2020138314A/ja
Priority to US17/445,530 priority patent/US12051412B2/en
Publication of JP2020138314A5 publication Critical patent/JP2020138314A5/ja
Application granted granted Critical
Publication of JP7339124B2 publication Critical patent/JP7339124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Description

本開示は、制御装置、システム及び制御方法に関する。
従来より、ユーザの音声指示に基づいて、制御対象（ロボット等）を緊急停止させる制御方法が知られている。例えば、下記特許文献１には、"止まれ－"等のように、母音の引きのばしを伴う発声を識別して、制御対象を緊急停止させる制御方法が開示されている。
一方で、制御対象に対するユーザの発声は、状況に応じて様々である。このため、母音の引きのばしを伴う発声であっても、制御対象を緊急停止させたくないケースや、反対に、母音の引きのばしを伴わない発声であっても、制御対象を緊急停止させたいケースもある。つまり、上記の制御方法では、ユーザの意図したとおりに制御対象を緊急停止させることができないケースが想定される。
特開２００８－４９４６２号公報
本開示は、音声指示に基づいて制御対象を緊急停止させる制御装置、システム及び制御方法を提供することを目的としている。
本開示の一態様による制御装置は、例えば、以下のような構成を有する。即ち、
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される話速が第１閾値以上であり、かつ、前記音声区間の長さが第２閾値以下である場合に、前記制御対象を停止させる制御部とを有する。
ロボットの外観構成の一例を示す図である。 ロボットの制御装置のハードウェア構成の一例を示す図である。 制御装置の緊急停止部の機能構成の一例を示す第１の図である。 緊急停止部による緊急停止処理の流れを示す第１のフローチャートである。 制御装置の緊急停止部の機能構成の一例を示す第２の図である。 緊急停止部による緊急停止処理の流れを示す第２のフローチャートである。 制御装置の緊急停止部の機能構成の一例を示す第３の図である。 制御装置の緊急停止部の機能構成の一例を示す第４の図である。 緊急停止部による緊急停止処理の流れを示す第３のフローチャートである。 緊急停止部による緊急停止処理の流れを示す第４のフローチャートである。 制御装置の緊急停止部の機能構成の一例を示す第５の図である。 緊急停止部による緊急停止処理の流れを示す第５のフローチャートである。 制御装置の緊急停止部の機能構成の一例を示す第６の図である。 緊急停止部による緊急停止処理の流れを示す第６のフローチャートである。 制御装置の緊急停止部の機能構成の一例を示す第７の図である。 緊急停止部による緊急停止処理の流れを示す第７のフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、以下の各実施形態では、制御対象の動作中に、制御対象を緊急停止させるべき状況が生じた場合（例えば、ユーザに危険が差し迫った場合）、一般に、ユーザは短い言葉（場合によっては意味をなさない言葉）で早口に叫ぶことが多い点に着目している。具体的には、ユーザが発声した音声の音声区間長と、話速とに着目し、音声区間長が短く（所定の閾値以下であり）、話速が速い（所定の閾値以上であった）場合に、制御装置では、制御対象を緊急停止させるべき状況が生じたと判定する。
これにより、以下の各実施形態によれば、制御対象を緊急停止させるべき状況が生じた際にユーザが咄嗟に発声する音声（緊急発声の音声）を捉えて緊急停止させることが可能となり、ユーザの意図したとおりに制御対象を緊急停止させることが可能となる。
なお、以下の各実施形態において、"話速"とは、単位時間あたりの音素数であり、"音声区間長"とは、発声の開始から終了までの時間長さ（音声データの開始から終了までの時間長さ）を指す。また、"音声"とは人の声を指し、"音"とは、聴覚に対する任意の刺激であり、音声を含む概念である。
以下、各実施形態の詳細を説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜ロボットの外観構成＞
はじめに、本実施形態に係る制御装置の制御対象の一例であるロボットの外観構成について説明する。図１は、ロボットの外観構成の一例を示す図である。
図１に示すように、ロボット１０は、可動部４０（複数の関節４１～４４、エンドエフェクタ４５）と、マイクロフォン２０と、カメラ３０とを有する。
可動部４０は、ロボット１０が各種作業（例えば、物体を把持し、把持した物体を移動先に移動する作業）を行うための動作を実行する。可動部４０に含まれる複数の関節４１～４４及びエンドエフェクタ４５は、それぞれ、アクチュエータを備える。
マイクロフォン２０は集音装置の一例であり、空気などを伝播してくる音を検出し、音データを生成する。マイクロフォン２０が検出する音には、ロボット１０の周囲の環境音のほか、ロボット１０のユーザが発声した音声等が含まれる。
なお、図１の例では、１つのマイクロフォン２０のみを示したが、ロボット１０は、複数のマイクロフォンを有していてもよい。複数のマイクロフォンを有することで、音の到来方向（例えば、発声したユーザが位置する方向）を特定することができる。
また、図１の例では、マイクロフォン２０がロボット１０に搭載される場合について示したが、マイクロフォン２０は、例えば、ロボット１０が設置された空間の周囲の壁や天井等に配されてもよい。更に、集音装置はマイクロフォンに限定されず、マイクロフォン以外の集音装置がロボット１０等に搭載されてもよい。
カメラ３０は撮像装置の一例であり、ロボット１０の周囲を撮影し、画像データを生成する。なお、図１の例では、カメラ３０がロボット１０に搭載される場合について示したが、カメラ３０は、ロボット１０とは別体に配されてもよい。また、撮像装置はカメラに限定されず、カメラ以外の撮像装置がロボット１０等に搭載されてもよい。
また、図１に示すように、ロボット１０は、制御装置１００を内蔵する。制御装置１００は、アクチュエータを制御することで、可動部４０を動作させ、ロボット１０に各種作業を実行させる実行部１１０を有する。また、制御装置１００は、マイクロフォン２０により生成された音データ（及びカメラ３０により生成された画像データ）に基づいて、ロボット１０を緊急停止させる緊急停止部１２０を有する。
なお、制御装置１００は、ロボット１０に内蔵されている必要はなく、ロボット１０の外部に、ロボット１０と別体に設けられてもよい。この場合、ロボット１０と制御装置１００とを有するロボット制御システムが形成される。
＜制御装置のハードウェア構成＞
次に、ロボット１０に内蔵される制御装置１００のハードウェア構成について説明する。図２は、制御装置のハードウェア構成の一例を示す図である。
図２は、制御装置のハードウェア構成の一例を示す図である。制御装置１００は、プロセッサ２０１と、主記憶装置２０２と、補助記憶装置２０３と、デバイスインタフェース２０４と、を備え、これらの各構成要素がバス２１０を介して接続されたコンピュータとして実現される。
なお、図２の例では、制御装置１００は、各構成要素を１個ずつ備えているが、同じ構成要素を複数個ずつ備えていてもよい。また、図２の例では、１台の制御装置が示されているが、複数台の制御装置を配し、ソフトウェア（例えば、制御プログラム）が当該複数台の制御装置にインストールされて、各制御装置がソフトウェアの異なる一部の処理を実行するように構成してもよい。この場合、複数の制御装置それぞれがネットワークインタフェース等を介して、相互に通信してもよい。
プロセッサ２０１は、演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ２０１は、制御装置１００内の各構成要素などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各構成要素などに出力する。具体的には、プロセッサ２０１は、ＯＳ（Operating System）やアプリケーションなどを実行することにより、制御装置１００内の各構成要素を制御する。なお、プロセッサ２０１は、上記のような処理を行うことができれば特定の処理回路に限られるものではない。ここで、処理回路とは、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線または無線により通信してもよい。
主記憶装置２０２は、プロセッサ２０１が実行する命令およびデータなどの電子情報を記憶する記憶装置である。主記憶装置２０２に記憶された電子情報はプロセッサ２０１により直接読み出される。補助記憶装置２０３は、主記憶装置２０２以外の記憶装置である。なお、これらの記憶装置は、電子情報を記憶可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれであってもよい。制御装置１００内において電子情報を保存するためのメモリは、主記憶装置２０２または補助記憶装置２０３により実現されてもよい。
デバイスインタフェース２０４は、マイクロフォン２０、カメラ３０、可動部４０と接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。
＜制御装置の機能構成＞
次に、制御装置１００の機能構成について説明する。上述したとおり、制御装置１００は、実行部１１０及び緊急停止部１２０として機能するが、ここでは緊急停止部１２０の機能について説明する。図３は、制御装置の緊急停止部の機能構成の一例を示す第１の図である。制御装置１００は、プロセッサ２０１が、主記憶装置２０２または補助記憶装置２０３に格納された制御プログラムの一例である緊急停止プログラムを実行することで緊急停止部１２０として機能する。
図３に示すように、緊急停止部１２０は、音取得部３０１、音声区間検出器３０２、音素認識器３０３、緊急発声判定器３０４、話速算出器３０５、制御部３０６を有する。
音取得部３０１は、マイクロフォン２０により生成された音データを取得し、音声区間検出器に出力する。
音声区間検出器３０２は判定部の一例であり、音取得部３０１により出力された音データを受け取り、受け取った音データが音声データであるか否かを判定する。また、音声区間検出器３０２は、受け取った音データが音声データであると判定した場合、判定した音声データを音素認識器３０３に出力する。
また、音声区間検出器３０２は、受け取った音データが音声データであると判定した場合、音声データの開始時刻を記録する。また、音声区間検出器３０２は、受け取った音データが音声データでなくなったと判定した場合、音声データの終了時刻を記録する。これにより、音声区間検出器３０２では、記録した音声データの開始時刻と終了時刻とに基づいて音声区間長を算出し、算出した音声区間長を緊急発声判定器３０４及び話速算出器３０５に出力する。
音素認識器３０３は、音声区間検出器３０２により出力された音声データを受け取り、受け取った音声データについて音声認識処理を行うことで、音素列を話速算出器３０５に出力する。
話速算出器３０５は、音声区間検出器３０２により出力された音声区間長と、音素認識器３０３により出力された音素列とを受け取り、音声区間長と音素列の長さとに基づいて、単位時間あたりの音素数を算出する。また、話速算出器３０５は、算出結果を話速として、緊急発声判定器３０４に出力する。
緊急発声判定器３０４は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速とに基づいて、下記条件（緊急発声の条件）を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
緊急発声判定器３０４は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか一方または両方を満たさないと判定した場合、緊急発声判定器３０４は、制御部３０６に対して緊急停止信号を出力しない。
制御部３０６は、緊急発声判定器３０４により出力された緊急停止信号を受け取ると、可動部４０が緊急停止命令に基づいて動作するよう制御し、ロボット１０を緊急停止させる。
＜緊急停止処理の流れ＞
次に、緊急停止部１２０による緊急停止処理の流れについて説明する。図４は、緊急停止部による緊急停止処理の流れを示す第１のフローチャートである。
ステップＳ１０１において、緊急停止部１２０は、ロボット１０が作業中であるか否かを判定する。ステップＳ１０１において、ロボット１０が停止中であると判定した場合には、緊急停止処理を終了する。一方、ステップＳ１０１において、ロボット１０が作業中であると判定した場合には、ステップＳ１０２に進む。
ステップＳ１０２において、音取得部３０１は、マイクロフォン２０において生成された音データを取得し、主記憶装置２０２に格納する。音取得部３０１は、一定時間（例えば、１０ｍｓあるいは２０ｍｓ）の音データを取得し、ステップＳ１０３に進む。
ステップＳ１０３において、音声区間検出器３０２は、音取得部３０１において取得された音データが、音声データであるか否かを判定する。ステップＳ１０３において、音声データであると判定した場合には、ステップＳ１０４に進む。
ステップＳ１０４において、音声区間検出器３０２は、音取得部３０１において前回取得された音データが、音声データであったか否かを判定する。ステップＳ１０４において、音声データであったと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ１０４において、非音声データであったと判定した場合には、ステップＳ１０５に進む。
ステップＳ１０５において、音声区間検出器３０２は、現在時刻、または、現在処理している音声データ（ステップＳ１０２において取得した音データ）が主記憶装置２０２に格納された時刻を記録し、ステップＳ１０１に戻る。なお、前回取得された音データが非音声データで、今回取得された音データが音声データである場合とは、今回取得された音声データが、音声データの開始点（発声の開始点）であることを示している。つまり、ステップＳ１０５において記録される時刻は、音声データ（発声）の開始時刻に他ならない。
一方、ステップＳ１０３において、非音声データであったと判定した場合には、ステップＳ１０６に進む。ステップＳ１０６において、音声区間検出器３０２は、音取得部３０１において前回取得された音データが、音声データであったか否かを判定する。ステップＳ１０６において非音声データであったと判定したと場合には、ステップＳ１０１に戻る。
一方、ステップＳ１０６において、音声データであったと判定した場合には、ステップＳ１０７に進む。なお、前回取得された音データが音声データで、今回取得された音データが非音声データである場合とは、今回取得された非音声データが、音声データの終了点（発声の終了点）であることを示している。
ステップＳ１０７において、音素認識器３０３は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データについて、音素列を認識する。
ステップＳ１０８において、音声区間検出器３０２は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの時間長さを音声区間長として算出する。また、話速算出器３０５は、音素認識器３０３において認識された音素列の長さを、音声区間検出器３０２において算出された音声区間長で割ることで、話速を算出する。
ステップＳ１０９において、緊急発声判定器３０４は、算出された話速及び音声区間長が下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
ステップＳ１０９において、緊急発声判定器３０４が、上記条件を満たさないと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ１０９において、緊急発声判定器３０４が、上記条件を満たすと判定した場合には、ステップＳ１１０に進む。
ステップＳ１１０において、制御部３０６は、可動部４０が緊急停止命令に基づいて動作するよう制御し、ロボット１０を緊急停止させる。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第１の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
［第２の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、比較的大きな声で叫ぶことが想定される。そこで、第２の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、音圧レベルに着目する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜制御装置の機能構成＞
はじめに、第２の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図５は、制御装置の緊急停止部の機能構成の一例を示す第２の図である。図３に示した機能構成との相違点は、第２の実施形態に係る制御装置１００の緊急停止部５００の場合、音圧レベル算出器５０１を有する点、及び、緊急発声判定器５０２が緊急発声判定器３０４とは異なる機能を有する点である。
音圧レベル算出器５０１は、音声区間検出器３０２により出力された音声データを受け取り、受け取った音声データの音圧レベルを算出する。また、音圧レベル算出器５０１は、算出した音圧レベルを、緊急発声判定器３０４に出力する。
緊急発声判定器５０２は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、音圧レベル算出器５０１により出力された音圧レベルとに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音圧レベルが予め定められた閾値以上である。
緊急発声判定器５０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器５０２は、制御部３０６に対して緊急停止信号を出力しない。
このように、音声区間長及び話速に加えて、音圧レベルを条件にすることで、緊急停止部５００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
＜緊急停止処理の流れ＞
次に、緊急停止部５００による緊急停止処理の流れについて説明する。図６は、緊急停止部による緊急停止処理の流れを示す第２のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ２１１である。
ステップＳ２１１において、音圧レベル算出器５０１は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データの音圧レベルを算出する。
なお、音圧レベル算出器５０１が算出する音圧レベルは、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データの音圧レベルの平均値を算出する。ただし、音圧レベル算出器５０１が算出する音圧レベルは、音声区間における音圧レベルの平均値に限定されない。
例えば、音声区間を一定区間ごとに分割し、それぞれの区間において算出された音圧レベルのうち、最大値または中央値を、音圧レベルとして算出してもよい。
あるいは、音圧レベル算出器５０１は、音声区間における音圧レベルの平均値（あるいは最大値または中央値）と、音声区間の直前の非音声区間における音データの音圧レベルの平均値（あるいは最大値または中央値）との差分を算出してもよい。ロボット１０の周囲の環境音が大きく、うるさい場合と、ロボット１０の周囲の環境音が小さく、静かな場合とで、緊急停止させるべき状況が生じた際にユーザが発声する音声の大きさも変わってくるからである。
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に大声で叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・音圧レベルが予め定められた閾値以上である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第２の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
［第３の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の高い音声内容は限られている。また、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の低い音声内容もある。そこで、第３の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、認識された音素列に着目する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜制御装置の機能構成＞
はじめに、第３の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図７は、制御装置の緊急停止部の機能構成の一例を示す第３の図である。図３に示した機能構成との相違点は、緊急発声判定器７０２が緊急発声判定器３０４とは異なる機能を有する点である。
緊急発声判定器７０２は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、音素認識器３０３により出力された音素列とに基づいて、下記条件を満たすか否かを判定する。ただし、音素列格納部７０１には、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の高い音声内容の音素列の集合が格納されているものとする。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列が、音素列格納部７０１に格納された、予め定められた音素列の集合に含まれる音素列を含む。
緊急発声判定器７０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器７０２は、制御部３０６に対して緊急停止信号を出力しない。
なお、音素列格納部７０１には、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性が低い音声内容の音素列の集合を格納してもよい。ただし、その場合、緊急発声判定器７０２は、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列が、音素列格納部７０１に格納された、予め定められた音素列の集合に含まれる音素列を含まない。
緊急発声判定器７０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器７０２は、制御部３０６に対して緊急停止信号を出力しない。
＜まとめ＞
以上の説明から明らかなように、第３の実施形態に係る制御装置の緊急停止部は、作業中のロボット１０において緊急停止させるべき状況が生じると、一般に、ユーザは特定の短い言葉で早口に叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列が、予め定められた音素列を含む（あるいは含まない）、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第３の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。また、緊急停止させるべき状況が生じていないにも関わらず、緊急停止させてしまうといった事態を回避することができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
［第４の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、ロボットの方向に向かって発声する可能性が高い。そこで、第４の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、ユーザが発声した方向に着目する。以下、第４の実施形態において、上記第１の実施形態との相違点を中心に説明する。
＜制御装置の機能構成＞
はじめに、第４の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図８は、制御装置の緊急停止部の機能構成の一例を示す第４の図である。図３に示した機能構成との相違点は、第４の実施形態に係る制御装置１００の緊急停止部８００の場合、画像取得部８０１及び顔認識器８０２を有する点と、緊急発声判定器８０３が緊急発声判定器３０４とは異なる機能を有する点である。
画像取得部８０１は、カメラ３０により生成された画像データを取得し、顔認識器８０２に出力する。
顔認識器８０２は認識部の一例であり、画像取得部８０１により出力された画像データを受け取り、受け取った画像データから顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定し、認識した顔の向き（または、正面を向いているか否か）の判定結果を、緊急発声判定器８０３に出力する。顔認識は公知の方法により実現できる。例えば、W. Zhao, R. Chellappa, A. Rosenfeld,"Face recognition: A literature survey," ACM Comput. Surv., Vol.35, No.4, pp.399-458, 2003に示されている。顔の向きの検出についても、例えば、Michael D. Breitenstein, Daniel Kuettel, Thibaut Weise, Luc van Gool, and Hanspeter Pfister,"Real-time face pose estimation from single range images," CVPR, 2008 に示されている。
緊急発声判定器８０３は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、顔認識器８０２により出力された判定結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・顔が正面を向いている。
緊急発声判定器８０３は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器８０３は、制御部３０６に対して緊急停止信号を出力しない。
このように、音声区間長及び話速に加えて、顔の向きを条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
＜緊急停止処理の流れ＞
次に、緊急停止部８００による緊急停止処理の流れについて説明する。図９は、緊急停止部による緊急停止処理の流れを示す第３のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ４１１、Ｓ４１２である。
ステップＳ４１１において、画像取得部８０１は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された画像データを取得する。
ステップＳ４１２において、顔認識器８０２は、ステップＳ４１１において取得された画像データから顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定する。
＜変形例１＞
上記説明では、画像取得部８０１が取得した画像データから、顔認識器８０２が顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識するものとして説明した。しかしながら、画像取得部８０１が取得した画像データに、複数のユーザが含まれ、複数の顔領域が検出されることも考えられる。そこで、変形例１では、音取得部３０１が音の到来方向（発声したユーザが位置する方向）を特定し、顔認識器８０２では、画像データに含まれる複数の顔領域のうち、特定した到来方向に位置する顔領域について、顔の向きを認識する。
これにより、発声したユーザとは異なるユーザの顔の向きを判定してしまうといった事態を回避することができる。なお、変形例１の場合、マイクロフォンは複数配されているものとし、また、音取得部３０１は、複数のマイクロフォンにおいて生成された音データに基づいて、音の到来方向（発声したユーザが位置する方向）を特定することができるものとする。音の到来方向の特定には、公知の手法を用いればよい。例えば、
・H. Pan, R. Scheibler, E. Bezzam, I. Dokmanic, and M. Vetterli,"FRIDA: FRI-based DOA estimation for arbitrary array layouts, " Proc. ICASSP, pp. 3186-3190, 2017
・R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Trans. Antennas Propag., Vol. 34, Issue 3, pp. 276-280, 1986
が知られている。
図１０は、緊急停止部による緊急停止処理の流れを示す第４のフローチャートである。図９に示す第３のフローチャートとの相違点は、ステップＳ５１１、Ｓ５１２である。
ステップＳ５１１において、音取得部３０１は、音の到来方向（発声したユーザが位置する方向）を特定する。
ステップＳ５１２において、顔認識器８０２は、ステップＳ４１１において取得された画像データにおいて、音取得部３０１により特定された到来方向（発声したユーザが位置する方向）の顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定する。
このように、音声区間長及び話速に加えて、音の到来方向の顔領域から認識される顔の向きを条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を更に向上させることができる。
＜変形例２＞
上記説明では、マイクロフォン２０、カメラ３０がロボット１０と一体的に構成されていることを前提としていた。しかしながら、マイクロフォン２０またはカメラ３０のいずれか一方または両方が、ロボット１０と別体として構成されることも考えられる。
このような場合、制御装置１００に対しては、ユーザが発声する際に向くべき方向を予め設定しておく。そして、顔認識器８０２では、画像データから、音の到来方向（発声したユーザが位置する方向）の顔領域を検出し、検出した顔領域に基づいて顔の向きを認識する際、認識した顔の向きが、予め設定した方向を向いているか否かを判定する。
そして、緊急発声判定器８０３では、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、顔認識器８０２により出力された判定結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・顔が予め設定された方向を向いている。
緊急発声判定器８０３は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器８０３は、制御部３０６に対して緊急停止信号を出力しない。
このように、音声区間長及び話速に加えて、音の到来方向の顔領域から認識される顔の向き（所定の顔の向き）を条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
＜まとめ＞
以上の説明から明らかなように、第４の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に所定の方向に向かって叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・顔の向きが予め定められた方向を向いている、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第４の実施形態に係る制御装置の緊急停止部によれば、所定の方向に向けられていない発声により、ロボットを緊急停止させてしまうといった事態を回避することができる。つまり、緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに緊急停止させることが可能となる。
［第５の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じたか否かを判定する場合について説明した。これに対して、第５の実施形態では、緊急停止させるべき状況が生じたか否かを判定することに加えて、通常停止させるべき状況が生じたか否かについても判定する。
なお、緊急停止とは、緊急停止命令に基づいてロボット１０への電源供給を停止することをいう。ただし、電源供給を停止する直前に、ロボット１０の可動部に対してブレーキやロックをかけてもよい。また、電源供給を停止する前後に、ロボット１０の可動部に対して、電源を用いない機構を利用してブレーキやロックをかけてもよい。
一方、通常停止とは、通常停止命令に基づいて、ロボット１０への電源供給を維持したまま、ロボット１０の可動部を、その位置で外力が加わらない限り動かないように固定することをいう。ここでいう固定の方法には、
ａ）外部からの力によって動かされても、通常停止命令があった位置に戻るように位置制御して固定する方法、
ｂ）外部からの力によって動かされた場合には、外部からの力がなくなった時点の位置を保持するように制御して固定する方法、
ｃ）ブレーキを配し、当該ブレーキにより位置を固定する方法、
等が含まれる。
なお、電源供給を停止するとは、ロボット１０における全ての要素に対する電源供給を停止することのほか、ロボット１０における動作に関する要素に対する電源供給を停止すること、が含まれるものとする。
以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜制御装置の機能構成＞
はじめに、第５の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１１は、制御装置の緊急停止部の機能構成の一例を示す第５の図である。図３に示した機能構成との相違点は、緊急停止部１１００が、停止発声判定器１１０１を有する点である。
停止発声判定器１１０１は、緊急停止させるべき状況が生じていないと判定されることで緊急発声判定器３０４より出力される、緊急発声でないことを示す信号（非緊急停止信号）を受け取る。また、停止発声判定器１１０１は、音素認識器３０３より出力される音素列を受け取る。
更に、停止発声判定器１１０１は、緊急発声判定器３０４より、緊急発声でないことを示す信号を受け取ると、音素認識器３０３より受け取った音素列に、予め定められた停止に関する音素列が含まれるか否かを判定する。また、停止発声判定器１１０１は、予め定められた停止に関する音素列が含まれると判定した場合に、制御部３０６に対して、通常停止信号を出力し、ロボット１０を通常停止させる。
＜緊急停止処理の流れ＞
次に、緊急停止部１１００による緊急停止処理の流れについて説明する。図１２は、緊急停止部による緊急停止処理の流れを示す第５のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ６０１、Ｓ６０２である。
ステップＳ６０１において、停止発声判定器１１０１は、音素認識器３０３より、音素列を受け取り、受け取った音素列に、停止に関する音素列が含まれるか否かを判定する。
ステップＳ６０１において、受け取った音素列に、停止に関する音素列が含まれないと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ６０１において、受け取った音素列に、停止に関する音素列が含まれると判定した場合には、通常停止させるべき状況が生じたと判定し、ステップＳ６０２に進む。
ステップＳ６０２において、停止発声判定器１１０１は、制御部３０６に対して通常停止信号を出力する。制御部３０６は、可動部４０が通常停止命令に基づいて動作するよう制御し、ロボット１０を通常停止させる。
＜まとめ＞
以上の説明から明らかなように、第５の実施形態に係る制御装置の緊急停止部は、ロボットにおいて緊急停止させるべき状況が生じていないと判定した場合でも、音素列に通常停止すべき音素列が含まれていた場合には、ロボットを通常停止させる。
これにより、第５の実施形態に係る制御装置の緊急停止部によれば、緊急停止以外の停止方法を含む、複数種類の停止方法（緊急停止方法、通常停止方法）でロボットを停止させることができる。
［第６の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、同じ単語、単語断片、又は言い回しを繰り返し発声することが想定される。例えば、「まてまてまて」（英語の場合には、"Wait, Wait, Wait"）、「ストップストップ」（英語の場合には、"Stop, Stop, Stop"）、「危ない危ない危ない」（英語の場合には、"Danger, Danger, Danger"）「ちょっちょっちょっ」（英語の場合には、"Hey, Hey, Hey"）などである。そこで、第６の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、同一単語の繰り返しに着目する。以下、第６の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜制御装置の機能構成＞
はじめに、第６の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１３は、制御装置の緊急停止部の機能構成の一例を示す第６の図である。図３に示した機能構成との相違点は、第６の実施形態に係る制御装置１００の緊急停止部１３００の場合、繰り返し検出器１３０１を有する点、及び、緊急発声判定器１３０２が緊急発声判定器３０４とは異なる機能を有する点である。
繰り返し検出器１３０１は、音素認識器３０３により出力された音素列を受け取り、受け取った音素列における繰り返し部分を検出する。また、繰り返し検出器１３０１は、検出結果を、緊急発声判定器１３０２に出力する。
なお、繰り返し検出器の処理例は、例えば、プログラミング言語Pythonを用いて以下のように記述することができる。
def detect(input):
R = []
for w in range(2, len(input)//2+1):
for b in range(len(input)-w+1):
s = input[b:b+w]
R.append(s*2)
for r in R:
if r in input:
return True
return False
なお、上記記述において、戻り値が"Ｔｒｕｅ"とは、ｉｎｐｕｔに入力された音素列において繰り返し部分が検出されたことを表す。一方、戻り値が"Ｆａｌｓｅ"とは、ｉｎｐｕｔに入力された音素列において繰り返し部分が検出されなかったことを表す。
なお、音素認識器が任意の音素列を認識するのではなく、文法により認識すべき音素列を指定できる機能を備える場合には、想定される音素列の繰り返しをすべて文法に記載しておくことで繰り返し部分を検出することができる。この場合、繰り返し検出器１３０１は無くてもよい。文法を用いた音素認識器の実現方法の一例としてRecognition Grammar Toolkit for Juliusが挙げられる。認識の単位を単語ではなく音素とすることで、本実施の形態の音素認識器とすることができる。
緊急発声判定器１３０２は、話速算出器３０５により出力された話速と、繰り返し検出器１３０１により出力された検出結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音素列に繰り返し部分が含まれる。
緊急発声判定器１３０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器１３０２は、制御部３０６に対して緊急停止信号を出力しない。
このように、話速が閾値以上であることに加えて、音素列に繰り返し部分が含まれることを条件にすることで、緊急停止部１３００によれば、緊急停止させるべき状況が生じたか否かを高精度に判定することができる。
＜緊急停止処理の流れ＞
次に、緊急停止部１３００による緊急停止処理の流れについて説明する。図１４は、緊急停止部による緊急停止処理の流れを示す第６のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１４０１である。
ステップＳ１４０１において、繰り返し検出器１３０１は、ステップＳ１０７で認識した音素列における繰り返し部分を検出する。
なお、繰り返し検出器１３０１は、ステップＳ１０７で認識された音素列において、予め定められた長さ以上の音素列の繰り返しが現れるか否かによって検出する。
＜まとめ＞
以上の説明から明らかなように、第６の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉を繰り返し早口で発話することが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・ユーザの発声に対応する音素列に繰り返し部分が含まれる、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第６の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
なお、本実施形態において、緊急発声判定器１３０２は、話速算出器３０５により出力された話速及び繰り返し検出器１３０１により出力された検出結果に加えて、音声区間検出器３０２により出力された音声区間長を用いて緊急発声を検出してもよい。この場合、緊急発声判定器１３０２は、下記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列に繰り返し部分が含まれる。
［第７の実施形態］
上記第６の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の話速と発声に対応する音素列における繰り返し部分とに着目した。一方で、緊急停止させるべき状況が生じた場合かつユーザにとっての危険度が時間とともに上昇していく場合、同じ単語や言い回しを繰り返し発声しつつ、その音圧レベルが時間と共に上昇してくことが想定される。例えば、回転機械に服を巻き込まれたものの数秒程度は猶予があるような場合、徐々に大きな声になることが想定される。そこで、第７の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、話速と同一単語の繰り返しとに加えて、音圧レベルの上昇に着目する。以下、第７の実施形態について、上記第６の実施形態との相違点を中心に説明する。なお、以下では、説明を簡単にするため、単語が繰り返されるものとして説明するが、単語の繰り返しに代えて単語断片や単語列が繰り返されてもよい。
＜制御装置の機能構成＞
はじめに、第７の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１５は、制御装置の緊急停止部の機能構成の一例を示す第７の図である。図１３に示した機能構成との相違点は、第７の実施形態に係る制御装置１００の緊急停止部１５００の場合、第２の実施形態に記載した音圧レベル算出器と同様の音圧レベル算出器１５０１を有する点、及び、緊急発声判定器１５０２が緊急発声判定器１３０２とは異なる機能を有する点である。
繰り返し検出器１３０１は、単語の繰り返しの検出及び検出結果の出力に加え、繰り返された各単語に対応する音声区間（繰り返し区間）についても算出し、音圧レベル算出器１５０１に出力する。音圧レベル算出器１５０１は、繰り返された各単語に対応する音声区間（繰り返し区間）の音圧レベルを算出する。また、音圧レベル算出器１５０１は算出した音圧レベルを、緊急発声判定器１５０２に出力する。
緊急発声判定器１５０２は、話速算出器３０５により出力された話速と、繰り返し検出器１３０１により出力された検出結果と、音圧レベル算出器１５０１により出力された音圧レベルとに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音素列に繰り返し部分が含まれる。
・音圧レベルが増加している（繰り返し区間における第１時刻の音圧レベルが、第１時刻より後の第２時刻の音圧レベルより小さい）。
緊急発声判定器１５０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器１５０２は、制御部３０６に対して緊急停止信号を出力しない。
このように、話速が閾値以上であること及び音素列に繰り返し部分が含まれることに加え、音圧レベルが増加していることを条件にすることで、緊急停止部１５００によれば、緊急停止させるべき状況が生じたか否かを高精度に判定することができる。
＜緊急停止処理の流れ＞
次に、緊急停止部１５００による緊急停止処理の流れについて説明する。図１６は、緊急停止部による緊急停止処理の流れを示す第７のフローチャートである。図６で示したフローチャートとの相違点は、ステップＳ１６０１、Ｓ１６０２である。
ステップＳ１６０１では、第６の実施形態と同様、繰り返し検出器１３０１が、ステップＳ１０７で認識した音素列における繰り返し部分を検出する。加えて、繰り返し検出器１３０１は、繰り返された各単語に対応する音声区間（繰り返し区間）を算出する。
ステップＳ１６０２において、音圧レベル算出器１５０１は、ステップＳ１６０１において算出された繰り返し区間の音圧レベルを算出する。
＜まとめ＞
以上の説明から明らかなように、第７の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、ユーザは短い言葉を繰り返し早口で発声し、その発声に対応する音声データの音圧レベルは徐々に大きくなることが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・ユーザの発声に対応する音素列に繰り返し部分が含まれ、かつ、
・繰り返し区間の音圧レベルが増加している、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
これにより、第７の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
なお、本実施形態において、緊急発声判定器１５０２は、話速算出器３０５により出力された話速、繰り返し検出器１３０１により出力された検出結果、及び音圧レベル算出器１５０１により出力された繰り返し区間の音圧レベルに加えて、音声区間検出器３０２により出力された音声区間長を用いて緊急発声を検出してもよい。この場合、緊急発声判定器１５０２は、下記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列に繰り返し部分が含まれる。
・音圧レベルが増加している。
［その他の実施形態］
上記各実施形態では、単位時間あたりの音素数を算出することで話速を算出するものとしたが、話速の算出方法はこれに限定されない。例えば、音素より小さい単位を用いて話速を算出してもよい。あるいは、音素より大きい単位（例えば、モーラ、音節、単語）を用いて話速を算出してもよい。
また、上記第２乃至第５の実施形態では、上記第１の実施形態において示した条件に、上記第２乃至第５の実施形態において新たに示した条件のうちのいずれかの条件を加えた場合について説明した。しかしながら、上記第１の実施形態において示した条件に、上記第２乃至５の実施形態において新たに示した条件のうちの複数の条件を組み合わせて加えてもよい。
あるいは、上記第１の実施形態において示した条件の一部に、上記第２乃至第７の実施形態において新たに示した条件のうちの一部の条件を組み合わせて加えてもよい。例えば、
・音声区間長が予め定められた閾値以下であり、かつ、
・音圧レベルが予め定められた閾値以上である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列が、予め定められた音素列を含む（あるいは含まない）、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列に繰り返し部分が含まれる、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列に繰り返し部分が含まれ、かつ、
・音圧レベルが増加している、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
また、上記各実施形態では、制御部３０６が、可動部４０を制御するものとして説明したが、制御部３０６は、可動部４０以外の要素を制御するように構成してもよい。例えば、ロボット１０が音声出力部を有している場合にあっては、音声出力部が緊急停止命令に基づいて動作するよう制御してもよい（つまり、音声出力を停止し、スピーカをＯＦＦ状態にするよう制御してもよい）。あるいは、ロボット１０が表示部を有している場合にあっては、表示部が緊急停止命令に基づいて動作するよう制御してもよい（つまり、表示を停止し、画面をＯＦＦ状態にするよう制御してもよい）。ロボット１０が不適切な音声出力や、不適切な表示出力を行った場合に有効である。
また、上記各実施形態において、緊急停止部の機能は、プロセッサ２０１が、緊急停止プログラムを実行することで実現されるものとして説明した。しかしながら、緊急停止部の機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路により実現されてもよい。また、緊急停止部の機能を実現する制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。
また、上記各実施形態において、緊急停止プログラムを実行するにあたっては、緊急停止プログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。また、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Graphics Processing Unit）等のアクセラレータを使用して行ってもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１０ ：ロボット
２０ ：マイクロフォン
３０ ：カメラ
４０ ：可動部
４１～４４ ：関節
４５ ：エンドエフェクタ
１００ ：制御装置
３００ ：緊急停止部
３０１ ：音取得部
３０２ ：音声区間検出器
３０３ ：音素認識器
３０４ ：緊急発声判定器
３０５ ：話速算出器
３０６ ：制御部
５００ ：緊急停止部
５０１ ：音圧レベル算出器
５０２ ：緊急発声判定器
７００ ：緊急停止部
７０１ ：音素列格納部
７０２ ：緊急発声判定器
８００ ：緊急停止部
８０１ ：画像取得部
８０２ ：顔認識器
８０３ ：緊急発声判定器
１１００ ：緊急停止部
１１０１ ：停止発声判定器
１３００ ：緊急停止部
１３０１ ：繰り返し検出器
１３０２ ：緊急発声判定器
１５００ ：緊急停止部
１５０１ ：音圧レベル算出器
１５０２ ：緊急発声判定器

Claims (21)

  1. 制御対象の動作中に検出される音データから音声区間を判定する判定部と、
    前記音声区間における音データに基づいて算出される話速が第１閾値以上であり、かつ、前記音声区間の長さが第２閾値以下である場合に、前記制御対象を停止させる制御部と
    を有する制御装置。
  2. 前記制御部は、
    前記話速が前記第１閾値以上であり、かつ、前記音声区間の長さが前記第２閾値以下であり、かつ、前記音声区間における音データの音圧の大きさが第３閾値以上である場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
  3. 前記制御部は、
    前記話速が前記第１閾値以上であり、かつ、前記音声区間の長さが前記第２閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が予め定められた音素列を含む場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
  4. 前記制御部は、
    前記話速が前記第１閾値以上であり、かつ、前記音声区間の長さが前記第２閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が予め定められた音素列を含まない場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
  5. 前記音声区間において撮影された画像データより顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する認識部を更に有し、
    前記制御部は、
    前記話速が前記第１閾値以上であり、かつ、前記音声区間の長さが前記第２閾値以下であり、かつ、前記顔の向きが予め設定された方向を向いている場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
  6. 前記認識部は、前記音声区間において撮影された画像データのうち、前記音声区間における音の到来方向に位置する顔領域を検出する、請求項５に記載の制御装置。
  7. 制御対象の動作中に検出される音データから音声区間を判定する判定部と、
    前記音声区間の長さが第１閾値以下であり、かつ、前記音声区間における音データの音圧の大きさが第２閾値以上である場合に、前記制御対象を停止させる制御部と
    を有する制御装置。
  8. 制御対象の動作中に検出される音データから音声区間を判定する判定部と、
    前記音声区間の長さが第１閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が予め定められた音素列を含む場合に、前記制御対象を停止させる制御部と
    を有する制御装置。
  9. 制御対象の動作中に検出される音データから音声区間を判定する判定部と、
    前記音声区間の長さが第１閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が予め定められた音素列を含まない場合に、前記制御対象を停止させる制御部と
    を有する制御装置。
  10. 制御対象の動作中に検出される音データから音声区間を判定する判定部と、
    前記音声区間における音データに基づいて算出される話速が第１閾値以上であり、かつ、前記音声区間における音素列に繰り返し部分が含まれる場合に、前記制御対象を停止させる制御部と
    を有する制御装置。
  11. 前記制御部は、前記音素列に含まれる繰り返し部分の第１時刻における音データの音圧の大きさが、前記音素列に含まれる繰り返し部分の前記第１時刻より後の第２時刻における音データの音圧の大きさより小さい場合、前記制御対象を停止させる、請求項１０に記載の制御装置。
  12. 前記音声区間における音データの音圧の大きさは、前記音声区間でない非音声区間における音データの音圧の大きさとの差分を用いて表される値である、
    請求項２又は請求項７に記載の制御装置。
  13. 前記音声区間における音データの音圧の大きさは、前記音声区間に含まれる複数の区間それぞれにおいて算出された音圧の大きさの中央値、最大値、又は、平均値のいずれかを用いて表される値である、
    請求項２又は請求項７に記載の制御装置。
  14. 前記音声区間における音データの音圧の大きさは、前記音声区間における音データの音圧レベルである、
    請求項２、請求項７、請求項１２又は請求項１３に記載の制御装置。
  15. 前記制御部は、複数種類の停止方法により前記制御対象を停止させることが可能である、
    請求項１乃至１４のいずれか１項に記載の制御装置。
  16. 前記複数種類の停止方法には、前記制御対象への電源供給の少なくとも一部を停止することで、前記制御対象を停止させる停止方法と、前記制御対象への電源供給を維持したまま、前記制御対象を停止させる停止方法とが含まれる、請求項１５に記載の制御装置。
  17. 前記制御部は、前記制御対象の可動部を停止させる、
    請求項１乃至１６のいずれか１項に記載の制御装置。
  18. 前記制御対象はロボットである、
    請求項１乃至１７のいずれか１項に記載の制御装置。
  19. 請求項１乃至請求項１８のいずれか１項に記載の制御装置と、
    前記制御装置によって動作が制御される制御対象と
    を有するシステム。
  20. 制御対象の動作中に検出される音データから音声区間を判定する判定工程と、
    前記音声区間における音データに基づいて算出される話速が第１閾値以上であり、かつ、前記音声区間の長さが第２閾値以下である場合に、前記制御対象を停止させる制御工程と
    を有する制御方法。
  21. 制御対象の動作中に検出される音データから音声区間を判定する判定工程と、
    前記音声区間の長さが第１閾値以下であり、かつ、前記音声区間における音データの音圧の大きさが第２閾値以上である場合に、前記制御対象を停止させる制御工程と
    を有する制御方法。
JP2019197505A 2019-02-26 2019-10-30 制御装置、システム及び制御方法 Active JP7339124B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/001718 WO2020174930A1 (ja) 2019-02-26 2020-01-20 制御装置、システム及び制御方法
US17/445,530 US12051412B2 (en) 2019-02-26 2021-08-20 Control device, system, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032699 2019-02-26
JP2019032699 2019-02-26

Publications (3)

Publication Number Publication Date
JP2020138314A JP2020138314A (ja) 2020-09-03
JP2020138314A5 JP2020138314A5 (ja) 2022-11-07
JP7339124B2 true JP7339124B2 (ja) 2023-09-05

Family

ID=72279909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019197505A Active JP7339124B2 (ja) 2019-02-26 2019-10-30 制御装置、システム及び制御方法

Country Status (2)

Country Link
US (1) US12051412B2 (ja)
JP (1) JP7339124B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386888B2 (en) * 2020-07-17 2022-07-12 Blue Ocean Robotics Aps Method of adjusting volume of audio output by a mobile robot device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027167A (ja) 2005-07-12 2007-02-01 Yamagata Casio Co Ltd 部品搭載装置の非常停止方法
JP2014228644A (ja) 2013-05-21 2014-12-08 シャープ株式会社 報知装置
JP2014235345A (ja) 2013-06-03 2014-12-15 株式会社東芝 音声処理装置、方法およびプログラム
JP2017145066A (ja) 2016-02-15 2017-08-24 庸 菊池 悲鳴緊急停止装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217395A (ja) 1984-04-13 1985-10-30 株式会社東芝 音声による危機状態の検出装置
JP3119510B2 (ja) * 1991-10-28 2000-12-25 株式会社リコー 音声認識装置
JPH05273992A (ja) 1992-03-25 1993-10-22 Mitsubishi Electric Corp 音声区間検出装置
JPH06175689A (ja) 1992-12-07 1994-06-24 Ricoh Co Ltd 音声認識反応装置
JPH06348299A (ja) 1993-06-07 1994-12-22 Nippondenso Co Ltd 音素認識装置および音素認識方法
JP2005202076A (ja) 2004-01-14 2005-07-28 Sony Corp 発話制御装置及び方並びにロボット装置
JP4468777B2 (ja) 2004-09-29 2010-05-26 本田技研工業株式会社 脚式歩行ロボットの制御装置
US7840308B2 (en) 2004-09-10 2010-11-23 Honda Motor Co., Ltd. Robot device control based on environment and position of a movable robot
JP2006179071A (ja) 2004-12-21 2006-07-06 Funai Electric Co Ltd Ｄｖｄレコーダおよび映像音声再生装置
JP2007025140A (ja) 2005-07-14 2007-02-01 Yaskawa Electric Corp ロボット装置およびロボット装置の情報提示方法
JP2007221300A (ja) 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
JP4817312B2 (ja) 2006-08-28 2011-11-16 独立行政法人産業技術総合研究所 叫び声を用いたロボットの緊急停止方法及びシステム
JP5029167B2 (ja) * 2007-06-25 2012-09-19 富士通株式会社 音声読み上げのための装置、プログラム及び方法
EP2230054A4 (en) * 2007-12-07 2011-11-09 Yaskawa Denki Seisakusho Kk ROBOTIC MOTOR CONTROL METHOD, ROBOTIC SYSTEM AND ROBOTIC REGULATION REGULATOR
US8005488B2 (en) * 2007-12-14 2011-08-23 Promptu Systems Corporation Automatic service vehicle hailing and dispatch system and method
FR2940497B1 (fr) * 2008-12-23 2011-06-24 Voxler Procede de pilotage d'une application a partir d'un signal de voix et dispositif associe pour sa mise en oeuvre.
US8395503B2 (en) * 2010-09-23 2013-03-12 Altorr Corporation Automatic door
JP6122792B2 (ja) 2014-02-06 2017-04-26 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2015181778A (ja) 2014-03-25 2015-10-22 シャープ株式会社 自走式掃除機
TW201622677A (zh) * 2014-09-19 2016-07-01 Panasonic Ip Man Co Ltd 起立動作支援系統、起立動作支援系統之控制部的控制方法、起立動作支援系統之控制部用程式、照護帶、機器人
JP2016153999A (ja) 2015-02-17 2016-08-25 横河電機株式会社 管理装置、管理システム、管理方法、管理プログラム、及び記録媒体
US20160239697A1 (en) 2015-02-17 2016-08-18 Yokogawa Electric Corporation Manager, management system, management method, and non-transitory computer readable storage medium
KR102521493B1 (ko) 2015-10-27 2023-04-14 삼성전자주식회사 청소 로봇 및 그 제어방법
CN108290296B (zh) 2015-12-07 2021-05-07 川崎重工业株式会社 机器人系统及其运转方法
JP6595008B2 (ja) * 2016-01-27 2019-10-23 株式会社日立産機システム 気体圧縮機及び気体圧縮機システム
JP2017151517A (ja) 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
JP6659424B2 (ja) * 2016-03-29 2020-03-04 本田技研工業株式会社 ロボットおよびその制御方法
US10808879B2 (en) 2016-04-20 2020-10-20 Sony Interactive Entertainment Inc. Actuator apparatus
JP6615716B2 (ja) 2016-08-08 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント ロボットおよび筐体
EP3446839B1 (en) 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
JP6759852B2 (ja) * 2016-08-22 2020-09-23 株式会社デンソーウェーブ Ｉ／ｏモジュール
US10074359B2 (en) 2016-11-01 2018-09-11 Google Llc Dynamic text-to-speech provisioning
DE102016125408A1 (de) * 2016-12-22 2018-06-28 RobArt GmbH Autonomer mobiler roboter und verfahren zum steuern eines autonomen mobilen roboters
US11400601B2 (en) * 2017-01-19 2022-08-02 Sharp Kabushiki Kaisha Speech and behavior control device, robot, storage medium storing control program, and control method for speech and behavior control device
CN208596290U (zh) * 2017-04-13 2019-03-12 旭化成微电子株式会社 驱动控制装置、设备、光学模块
KR20180119016A (ko) * 2017-04-24 2018-11-01 주식회사 광진산업 착탈식 자외선 살균 모듈이 구비된 진공청소기
KR20180124564A (ko) 2017-05-12 2018-11-21 네이버 주식회사 수신된 음성 입력의 입력 음량에 기반하여 출력될 소리의 출력 음량을 조절하는 사용자 명령 처리 방법 및 시스템
JPWO2018229986A1 (ja) * 2017-06-16 2020-05-21 三菱電機株式会社 車両起動システム、遠隔制御システム、列車統合管理システム、自動列車制御装置および車両起動方法
JP6834798B2 (ja) * 2017-06-19 2021-02-24 株式会社デンソーウェーブ Ｉ／ｏモジュール
WO2019016938A1 (ja) * 2017-07-21 2019-01-24 三菱電機株式会社 音声認識装置及び音声認識方法
EP3684558B1 (en) * 2017-09-18 2025-02-19 Telefonaktiebolaget LM Ericsson (publ) Technique for providing reliable control in a cloud robotics system
FI20175862A1 (fi) * 2017-09-28 2019-03-29 Kipuwex Oy Järjestelmä äänilähteen määrittämiseksi
JP7109207B2 (ja) * 2018-02-23 2022-07-29 パナソニックホールディングス株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
JP6936772B2 (ja) * 2018-06-04 2021-09-22 株式会社ホンダアクセス 情報提供装置
JP6966979B2 (ja) * 2018-06-26 2021-11-17 株式会社日立製作所 対話システムの制御方法、対話システム及びプログラム
US20210210096A1 (en) * 2018-08-03 2021-07-08 Sony Corporation Information processing device and information processing method
CN110825121B (zh) * 2018-08-08 2023-02-17 纬创资通股份有限公司 控制装置与无人机控制方法
WO2020056380A1 (en) * 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Locating and attaching interchangeable tools in-situ
US11433546B1 (en) * 2018-10-24 2022-09-06 Amazon Technologies, Inc. Non-verbal cuing by autonomous mobile device
JP2020121375A (ja) 2019-01-30 2020-08-13 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 制御装置、制御対象装置、制御方法及びプログラム
JP2020136828A (ja) * 2019-02-15 2020-08-31 シャープ株式会社 電子機器、制御方法及びプログラム
JP7273538B2 (ja) * 2019-02-26 2023-05-15 パナソニックホールディングス株式会社 装置、方法、及びプログラム
US11715466B2 (en) * 2019-11-21 2023-08-01 Rovi Guides, Inc. Systems and methods for local interpretation of voice queries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027167A (ja) 2005-07-12 2007-02-01 Yamagata Casio Co Ltd 部品搭載装置の非常停止方法
JP2014228644A (ja) 2013-05-21 2014-12-08 シャープ株式会社 報知装置
JP2014235345A (ja) 2013-06-03 2014-12-15 株式会社東芝 音声処理装置、方法およびプログラム
JP2017145066A (ja) 2016-02-15 2017-08-24 庸 菊池 悲鳴緊急停止装置

Also Published As

Publication number Publication date
US12051412B2 (en) 2024-07-30
JP2020138314A (ja) 2020-09-03
US20210383808A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
KR102623272B1 (ko) 전자 장치 및 이의 제어 방법
US20220059124A1 (en) Direction based end-pointing for speech recognition
US20160093296A1 (en) System and method for machine-mediated human-human conversation
WO2017145373A1 (ja) 音声認識装置
EP3002753A1 (en) Speech enhancement method and apparatus for same
WO2018013564A1 (en) Combining gesture and voice user interfaces
KR20050035562A (ko) 잡음에 강인한 화자위치 추정방법 및 장치와 이를 이용한카메라 제어시스템
JP4246703B2 (ja) 自動音声認識の方法
JP2003514412A (ja) 音源が一対のマイクロフォンから近いか遠いかを判断する方法
EP1494208A1 (en) Method for controlling a speech dialog system and speech dialog system
CN108665907B (zh) 声音识别装置、声音识别方法、记录介质以及机器人
JP7339124B2 (ja) 制御装置、システム及び制御方法
EP3654329B1 (en) In-vehicle device and speech recognition method
US20190303443A1 (en) Speech translation apparatus, speech translation method, and recording medium storing the speech translation method
WO2020158231A1 (ja) 制御装置、制御対象装置、制御方法及び記憶媒体
JP7533472B2 (ja) 情報処理装置、及びコマンド処理方法
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP4791857B2 (ja) 発話区間検出装置及び発話区間検出プログラム
WO2020044543A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020174930A1 (ja) 制御装置、システム及び制御方法
JP5375423B2 (ja) 音声認識システム、音声認識方法および音声認識プログラム
WO2020230784A1 (ja) 制御装置、ロボット、制御方法及び制御プログラム
JP6673243B2 (ja) 音声認識装置
JP2009104047A (ja) 情報処理方法及び情報処理装置
JP2018045192A (ja) 音声対話装置および発話音量調整方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230824

R150 Certificate of patent or registration of utility model

Ref document number: 7339124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150