JP6892400B2 - レーザ装置の故障発生メカニズムを学習する機械学習装置 - Google Patents

Description

本発明は、多数の多数のレーザダイオードモジュールを発光源あるいは励起光源として使用したレーザ発振器から出射されたレーザ光を、光ファイバを経由して、加工ヘッドからワークに照射してレーザ加工を行う高出力レーザ装置における定量的な故障発生メカニズムを学習する機械学習装置に関する。詳しくは、多数のレーザダイオードモジュールを発光源するダイレクトダイオードレーザ発振器や、あるいは多数のレーザダイオードモジュールを励起光源とするファイバレーザ発振器等から出射されたレーザ光をファイバで伝搬する高出力レーザ装置における故障について、故障が発生した時点やその前後のレーザ装置の状態から故障発生の原因や故障が発生する条件を学習するだけでなく、故障発生の引き金となる故障原因とその大きさから故障原因によって引き起こされたレーザ装置の状態の定量的な変化、レーザ装置の状態の変化に伴い損傷が発生する物理的なメカニズム、その物理的メカニズムによって損傷する場所や損傷状態や程度といった故障状況に至るまでの一連の因果関係も含むレーザ装置の定量的故障発生メカニズムを、ネットワークを通じて接続されたレーザ装置から取得したデータを用いて学習し、学習結果を参照して、レーザ装置に対して故障回避駆動条件を指令する、故障発生までの残存時間を出力する等の予防保全装置としての機能も備える機械学習装置に関する。

レーザ装置の故障発生原因や故障発生条件に関係すると考えられるレーザ装置の状態変数には、ハードウェア構成，製造情報，履歴も含めた駆動条件や駆動状況、複数の光検出センサや各部の温度センサや湿度センサから出力、温度や湿度や振動や標高や空気清浄度などの周囲環境条件等、多岐に亘っている。一方、故障は頻発する現象ではないので、充分な量のデータが得ることが困難である。

その結果、故障状態という結果と、故障が発生した時点およびその前後のレーザ装置の状態変数とを関連付けて故障発生原因や故障発生条件を機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題があった。

例えば、対象とする装置がレーザ装置ではないが、特許文献１には、射出成形機の内的外的な状態データを入力し、機械学習器によって射出成形機の異常を診断する異常診断装置であって、前記機械学習器の内部パラメータは、異常が発生した時に得られた前記状態データと、異常が発生しなかった時に得られた前記状態データとを用いて機械学習を行うことで得られたものであることを特徴とする異常診断装置が開示されており、更に、異常発生の予測時に、前記状態変数の中から異常の原因となる状態変数を特定することを特徴とする異常診断装置が開示されている。しかし、異常の原因となる状態変数を特定するとしているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。

また、特許文献２には、産業機械の故障に関連付けられる条件を学習する機械学習装置であって、前記産業機械又は周囲環境の状態を検出するセンサの出力データ、前記産業機械を制御する制御ソフトウェアの内部データ、及び、前記出力データ又は前記内部データに基づいて得られる計算データの少なくとも１つを含む状態変数を前記産業機械の動作中又は静止中に観測する状態観測部と、前記産業機械の故障の有無又は故障の度合いを判定した判定データを取得する判定データ取得部と、前記状態変数及び前記判定データの組合せに基づいて作成される訓練データセットに従って、前記産業機械の故障に関連付けられる条件を学習する学習部と、を備えることを特徴とする機械学習装置が開示されている。しかし、やはり、故障に関連付けられる条件を学習するとしているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。

また、特許文献３には、機械設備の健康状態を監視するヘルスマネージメントシステムであって、前記機械設備に設置された複数のセンサから取得したセンサデータ、又は前記センサデータ及び前記機械設備の設置環境を表す環境データを、時系列データとして取得する時系列データ取得部と、前記機械設備が正常な状態のときに取得した前記時系列データである正常データを学習データとして用いた統計的手法により前記機械設備の設備状態及び前記機械設備の性能又は品質の状態を示す健康状態を定量化する状態定量化部と、前記定量化した設備状態及び前記定量化した健康状態を、表示又は／及び外部に出力する出力部と、を備えることを特徴とするヘルスマネージメントシステムが開示されている。しかし、正常データを学習データとして用いた統計的手法により機械設備の健康状態を定量化しているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。

以上のように、いずれの従来技術においても、異常や故障が発生した時の装置の状態を表すデータと異常や故障が発生していない時の装置の状態を表すデータから、異常診断や異常原因の特定、故障に関連付けられる条件の学習、あるいは、機械設備の健康状態の定量化等を行う技術には言及しているが、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。

特開２０１７−０３０２２１号公報 特開２０１７−０３３５２６号公報 特開２０１５−０８８０７９号公報

高出力レーザ装置は、細いファイバのコア内を大きなエネルギーの光が伝搬するので、一般的な機械装置における機械的な故障モード以外にその高密度な光エネルギーが関連した故障、高密度な光エネルギーが伝搬する光学部品に関連した故障、高出力のレーザダイオードモジュールを多数使用していることから生じるレーザダイオードモジュールに関連した故障、レーザダイオードモジュールに大電力を供給する電源に関連した故障等、多くの故障モードが存在する。また、故障発生原因や故障発生条件に関係すると考えられるレーザ装置の状態変数には、装置に使用されているレーザダイオードモジュール、光結合器（コンバイナ）、増幅用ファイバ、デリバリファイバ、加工ヘッド、電源部、センサの種類や型格等のハードウェア構成のデータ，使用部品のロット番号、製造条件、製造日、出荷試験結果等の製造情報、どのような駆動条件でどれほどの期間に亘って駆動されたかという履歴も含めた駆動条件や駆動状況のデータ、レーザ発振器から出力光やワークやレーザ光学系等からの反射光を検出するための複数の光検出センサや、レーザ発振器やレーザ発振器を冷却するための冷却部等の各部の温度センサや、装置内の空気の湿度を検出する湿度センサ等の多数のセンサから出力データ、温度や湿度や振動や標高や空気清浄度などの周囲環境条件等、多岐に亘っている。

その結果、故障が発生した時に、人間が上記の全てデータや条件を把握し、その影響を考慮して、故障診断や故障原因の特定を行うことは容易ではなく、何処が故障したのかが分からず、修復に時間を要する、故障発生原因が把握できず、同様の故障が再発する、故障発生条件が分かっていないので故障を未然に防止することができない、といった問題が生じている。

人間が行うことが困難である、多くの条件やデータを把握し、その影響を考慮して、故障診断や故障原因の特定、故障発生条件の把握をするのに、機械学習を応用することが考えられるが、故障は頻発する現象ではなく、また、高出力レーザ装置は高価であり強制的に故障するまで負荷を上げて駆動するといった限界特性試験を多数回繰り返し行うことは現実的ではないため、機械学習に必要な故障に関するデータを得ること自体が困難である。

その結果、上記のように、故障状態という結果と、故障が発生した時点およびその前後のレーザ装置の状態変数とを関連付けて故障発生原因や故障発生条件を機械学習で学習しても、充分な精度の学習結果が得られなかったり、多くの故障データが集まって学習の精度が上がるまでに多くの時間を要したりするという問題があった。

従って、本発明が解決しようとする課題は、多くの故障モードがあり、従来の方法では故障発生原因や故障発生条件の把握が困難である高出力レーザ装置における故障について、比較的少ない故障データによってでも、精度良く、故障発生原因や故障発生条件を学習でき、その学習結果を利用して適確な予防保全ができる機械学習装置を提供することにある。

本発明に係る機械学習装置は、少なくとも一つのレーザ発振器と、前記レーザ発振器に駆動電流を供給する電源部と、前記レーザ発振器から出射したレーザ光の光出力を検出する少なくとも一つの出力光センサと、少なくとも、前記電源部に光出力指令に応じた電流出力指令を出力し、前記出力光センサからの検出信号を受取る制御部と、を備える、少なくとも１台のレーザ装置とネットワークを通じて相互に情報通信が可能な状態に接続された機械学習装置であって、前記レーザ装置の前記制御部を通じて、前記出力光センサによって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置の内外の状態変数を観測する状態観測部と、故障発生の引き金となる故障原因とその大きさから故障原因によって引き起こされたレーザ装置の状態の定量的な変化、レーザ装置の状態の変化に伴い損傷が発生する物理的なメカニズム、その物理的メカニズムによって損傷する場所や損傷状態や程度といった故障状況に至るまでの一連の因果関係も含むレーザ装置の定量的故障発生メカニズムであって、前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズムに対する正否の判定結果を取得する判定結果取得部と、前記状態観測部からの出力および前記判定結果取得部からの出力を受取り、前記各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部により観測された前記装置の状態変数と、前記判定結果取得部により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部と、少なくとも前記光出力の時系列データと前記光出力指令との照合から前記各故障の発生が検知された時には、前記学習部の学習結果を参照して、前記機械学習装置から出力すべき前記定量的故障発生メカニズムを決定する意思決定部と、を備えるものである。

上記した構成により、様々な故障の各故障に対して故障原因から故障発生状況までの一連の定量的故障発生メカニズムを学習することによって、状態変数の統計的処理等から故障原因や故障発生条件を推定する学習方法よりも、物理現象や物理的メカニズムと整合性のある適確な推定がより確実に行えるようになる。

本発明に係る機械学習装置の他の態様では、前記状態観測部が観測する前記レーザ装置の前記状態変数に、前記レーザ装置の加工ヘッドを含むハードウェア構成と、前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力と、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度と、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力と、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度と、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度と、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力と、レーザ装置に加わる振動強度、加速度、衝撃強度と、レーザ装置の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度と、前記駆動条件あるいは前記駆動状況の履歴と、前記レーザ装置の修理履歴と、前記レーザ装置を制御する制御ソフトウェアの内部データと、前記出力データあるいは前記内部データに基づいて得られる計算データとの内の少なくとも一つ以上が含まれていてもよい。

上記した構成により、多くの状態変数を観測することによって、種々の故障に対応した定量的故障発生メカニズムを正確に学習することができる。

本発明に係る機械学習装置の他の態様では、前記レーザ装置における各故障に対応した、故障発生の引き金になる故障原因とその大きさから、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態や程度を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムの少なくともその一部を表現した少なくとも一つ以上の物理モデルを記録していると共に、前記物理モデルを参照して、前記各故障に対応した前記定量的故障発生メカニズムの推定と、前記各故障に対応した前記定量的故障発生メカニズムの学習との内、少なくとも一方を行うようにしてもよい。

上記した構成により、物理モデルを参照することによって、比較的初期の内から、物理的に合理的な定量的故障発生メカニズムが推定できる確率が高くなる。

本発明に係る機械学習装置の他の態様では、前記機械学習装置は、前記レーザ装置における各故障に対して出力された前記定量的故障発生メカニズムに対する正否の判定は、前記レーザ装置の管理者あるいは操作者あるいは修理担当者によって確認された故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無と、前記物理モデルを参照して検証される、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムとの整合性の有無との内の少なくとも一方の合致性の有無によって行われてもよい。

上記した構成により、物理現象あるいは物理メカニズムとの整合性の有無も正否の判定に加えることによって、物理モデルに矛盾するような推定が排除され、種々の故障に対して合理的な定量的故障発生メカニズムを学習することができる。

本発明に係る機械学習装置の他の態様では、前記学習部が、学習結果を反映した少なくとも一つ以上の学習モデルを有すると共に、誤差計算部と学習モデル更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、前記差異の大きさに応じて誤差を計算し、前記学習モデル更新部で前記誤差に応じて前記学習モデルを更新すると共に、前記確認された故障発生状況と前記出力された定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルに照合すると矛盾している場合は、前者より更に大きな誤差が生じたとして誤差を計算し、前記学習モデル更新部が前記誤差の大きさに応じて前記学習モデルを更新するようにしてもよい。

上記した構成により、確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なるだけでなく、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せず矛盾する場合は、その故障に対する定量的故障発生メカニズムの学習結果の誤差がより大きいとして、学習モデルを更新することによって、様々な故障の中の各故障に対して物理モデルに適合した合理的な定量的故障発生メカニズムを学習することができる。

本発明に係る機械学習装置の他の態様では、前記学習部が、学習結果を反映した少なくとも一つ以上の価値関数を有すると共に、報酬計算部と価値関数更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とが一致する場合は、前記報酬計算部はプラスの報酬を設定し、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、差異の大きさに応じて前記報酬計算部はマイナスの報酬を設定し、確認された故障発生状況と推定した定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルと照合すると矛盾している場合は、前記報酬計算部は前者より大きなマイナスの報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新するようにしてもよい。

上記した構成により、教師あり学習で様々な故障の中の各故障に対応した定量的故障発生メカニズムを機械学習した結果を初期状態として強化学習を行うことで学習をより深化させることができる。確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なる場合より、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せずに矛盾する場合は、より大きなマイナスの報酬を設定することによって、種々の故障に対して物理モデルに適合したより合理的な定量的故障発生メカニズムを学習することができる。

本発明に係る機械学習装置の他の態様では、前記学習部が、前記レーザ装置における故障を検知した時に、前記故障に対して、単一の第１候補の前記定量的故障発生メカニズムだけでなく、第２候補の前記定量的故障発生メカニズムや、第３候補の前記定量的故障発生メカニズムなど、複数の前記定量的故障発生メカニズムを、前記意思決定部を通じて出力し、前記報酬計算部は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、前記定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定し、前記定量的故障発生メカニズムの候補順位が下位であるほど、相対的に絶対値の小さな報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新するようにしてもよい。

上記した構成により、少ない故障発生データを有効利用して学習を進めることができる。また、第１候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品が間違っていても、すぐ次の候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品をチェックできるので、故障個所が分からないために復旧に長時間を要するという問題の発生確率が低減できる。

本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置の前記状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの前記定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置の前記制御部に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有してもよい。

上記した構成により、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、レーザ装置の状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に近付いた時に、故障が発生する前に、レーザ装置の制御部に故障回避駆動条件を指令することによって、レーザ装置の故障が未然に防止できる。

本発明に係る機械学習装置の他の態様では、前記機械学習装置が、前記レーザ装置の前記制御部に対して、所定のスケジュールに従って、所定駆動条件で、前記レーザ装置を駆動するように指令し、前記所定駆動条件で駆動した時毎の前記レーザ装置の光出力特性データを含む前記状態変数を前記レーザ装置の前記状態変数の履歴データとして記録し、記録した前記履歴データを前記状態観測部が観測する状態変数に含めてもよい。

上記した構成により、定期的に所定の同一駆動条件で駆動した時のレーザ装置の状態変数を記録しておくことによって、レーザ装置の状態変数の推移が把握でき、摩耗故障による故障の定量的故障発生メカニズムの学習に役立てることができる。

本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合には、前記レーザ装置を標準的な駆動条件で駆動した時に、前記故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、前記故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、前記残存時間が所定時間より短くなると、前記残存時間と、前記残存時間経過後に発生すると予測される前記定量的故障発生メカニズムの内、少なくとも一方の情報を出力する予防保全装置としての機能も有してもよい。

上記した構成により、時間的にゆっくり変化する状態変数の値が故障発生領域に近付いていく場合の予防保全機能を有するようになり、摩耗故障による故障発生等を故障発生前に知ることができ、適確な予防保全を行うことができ、レーザ装置の保守時間を最小限に抑えることができる。

本発明に係る機械学習装置の他の態様では、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置が、新たに前記ネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた状態の内のいずれかの状態に該当し、前記レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合には、該当するレーザ装置の前記制御部に対して、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、前記低負荷駆動条件で駆動した時の状態変数を、前記状態観測部を通じて観測し、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力するようにしてもよい。

上記した構成により、長期休止中に加工ヘッドの保護ウィンドウが汚染しており、保護ウィンドウからの反射光で故障が発生したり、光軸調整が不充分で意図していない場所にレーザ出力光や反射光が照射して故障が発生したり、一瞬の内に故障が発生してしまうことが防止できるようになる。低負荷駆動だけでは判定できない場合、もう少し高い負荷駆動条件での駆動を試行するようにしても良い。

本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、前記レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目のリストを出力する機能を有するようにしてもよい。

上記した構成により、学習によって様々な故障の中の各故障に対応した定量的故障発生メカニズムを習得すると、故障の発生頻度を低減するために有効な改善点が分かってくるので、その情報が出力されると、レーザ装置の信頼性向上に対する有効な知見が得られ、高信頼・長寿命レーザ装置の開発が可能になる。各改善項目にスコアや優先順位が付記されるようにしても良い。

本発明に係る機械学習装置の他の態様では、第１ネットワークを介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセルを制御するフォグサーバ上に存在するようにしてもよい。

上記したように、比較的小規模のセルを制御するフォグサーバ上に存在させることでレーザ装置の状態変数の観測、故障回避駆動条件の指令等、リアルタイム性が重要な情報の交換を遅滞なく行うことができる。

本発明に係る機械学習装置の他の態様では、第１ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも１つのセルを制御するフォグサーバの少なくとも一つを、第２ネットワークを介して制御するクラウドサーバ上に存在するようにしてもよい。

上記したように、大規模な記録容量を備え、大規模な信号処理を高速で行うことが可能なクラウドサーバ上に存在させることで、ニューラルネットワーク等のよる機械学習に伴う信号処理を高速で行うことが可能になる。

本発明に係る機械学習装置の他の態様では、前記機械学習装置が複数存在し、複数の前記機械学習装置の間で、機械学習の結果を相互に交換または共有するようにしてもよい。

故障発生は、それほど頻繁に発生しないため、学習の進行に時間が掛かり易いが、上記構成により、学習結果を交換または共有することによって、学習の進行速度を速めることができる。また学習の精度も向上する。

本発明によれば、多くの故障モードがあり、従来の方法では故障発生原因や故障発生条件の把握が困難である高出力レーザ装置における故障について、物理モデルを参照して、検知された故障に対して、「何が原因（複数を含む）で、どの状態変数（複数を含む）がどのような値になったために、どのような物理現象によって、何処（複数を含む）が、どのような状態になる損傷を受けた」という一連の物理的な因果関係が含まれた定量的故障発生メカニズムを学習することにより、比較的少ない故障データによってでも、故障の原因から故障状況まで一貫して物理モデルと整合性のある定量的故障発生メカニズムを推定できるように学習し、また、その学習結果を利用して、レーザ装置の故障発生を未然に防ぐための適確な予防保全情報を出力できる機械学習装置を提供することができる。

また、本発明の機械学習装置にネットワークを通じて接続されたレーザ装置においては、故障の発生を未然に防ぐことができ、信頼性の高いレーザ装置を提供できる。

本発明の第１実施形態の機械学習装置の概念的な構成を示すブロック図であり、ネットワークよって接続しているレーザ装置の概念的な構成を示すブロック図を付記している。 図１に示す機械学習装置の動作の一例を示すフローチャートである。 図１に示す機械学習装置の動作の他の一例を示すフローチャートである。 本発明の第２実施形態の機械学習装置の概念的な構成を示すブロック図であり、ネットワークによって接続しているレーザ装置の概念的な構成を示すブロック図を付記している。 図４に示す機械学習装置の動作の一例を示すフローチャートである。 図４に示す機械学習装置の動作の他の一例を示すフローチャートである。 ニューロンのモデルを模式的に示す図である。 図７に示すニューロンを組合せて構成した３層のニューラルネットワークを模式的に示す図である。 本発明の第３実施形態の機械学習装置の動作の一例を示すフローチャートである。 状態変数を座標軸とする二次元空間における、故障発生領域故障と、状態変数の値を座標値とする点の移動の様子の一例を模式的に示した図である。 状態変数を座標軸とする二次元空間における、故障発生領域故障と、状態変数の値を座標値とする点の移動の様子の他の一例を模式的に示した図である。 本発明の第４実施形態の機械学習装置の動作の一例を示すフローチャートである。 本発明の第５実施形態の機械学習装置の動作の一例を示すフローチャートである。 本発明の第６実施形態の機械学習装置の動作の一例を示すフローチャートである。 本発明の第７実施形態の機械学習装置が出力する定量的故障発生メカニズムのリストのフォーマットの一例である。 本発明の第８実施形態の機械学習装置のネットワーク上の位置やネットワークへの接続状態の一例を示すブロック図である。

以下、本発明に係る機械学習装置の実施例を、図面を参照して説明する。各図面において、同じ部材には同じ参照符号を付している。また、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。なお、これらの図面は見易くするために、縮尺を適宜変更している。

＜第１実施形態＞
図１は、本発明の第１実施形態の機械学習装置１の概念的な構成を示すブロック図であり、ネットワーク３によって３台のレーザ装置２と接続されている状態を示している。３台のレーザ装置２の内、右端の１台のレーザ装置２については、レーザ装置の概念的な構成を示すブロック図で示している。レーザ装置２は、レーザ発振器４と、レーザ発振器に駆動電流を供給する電源部５と、レーザ発振器から出射したレーザ光を、光ファイバを経由して、図示していないが、レーザ加工対象であるワークに照射するための加工ヘッドを含むレーザ光学系６と、レーザ発振器から出射するレーザ光１０の光出力を検出する出力光センサ７と、ワークあるいはレーザ光学系に含まれる透過ウィンドウやファイバコネクタの端面等からレーザ発振器やレーザ光学系に戻ってきた反射光を検出する反射光センサ８と、電源部５に光出力指令に応じた電流出力指令を出力する等、レーザ装置２の各部に対応した指令を出力し、出力光センサ７から検出信号等、レーザ装置２の各部からの信号を受取る制御部９を備えており、制御部９がネットワーク３を通じて接続している機械学習装置１と情報のやり取りを行うことができるようになっている。

また、制御部９は、内部あるいは外部にメモリを備え、対応するレーザ装置２の加工ヘッドのような付属部品も含めた構造、型格、図番、仕様等のハードウェア構成に関する情報や、製造日、製造ロット、製造場所、製品番号、製造条件等を含む前記レーザ装置２の製造情報を記録しておき、ネットワーク３を通じて、機械学習装置１に出力することができるようにしてもよい。

なお、レーザ発振器４、電源部５、出力光センサ７、反射光センサ８は１台のレーザ装置２に複数含んでいても良く、例えば、レーザ光学系６が複数のレーザ光を結合する光結合器（コンバイナ）を含み、複数のレーザ発振器４に対して対応するレーザ発振器４にそれぞれ独立に駆動電流を供給できる複数の電源部５、各レーザ発振器の光出力と結合されたレーザ光の光出力を検出する複数の出力光センサ７、レーザ発振器とレーザ光学系の各部に戻ってくる反射光を検出するための複数の反射光センサ８を備えていてもよい。

一方、機械学習装置１は、ネットワークを通じて、レーザ装置２の制御部９から出力された、前記出力光センサ７によって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置２の内外の状態変数を観測する状態観測部１３と、前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズム（＝故障発生の定量的なメカニズム）に対する正否の判定結果を取得する判定結果取得部１２と、前記状態観測部１３からの出力および前記判定結果取得部１２からの出力を受取り、前記各故障の各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部１３により観測された前記装置の状態変数と、前記判定結果取得部１２により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部１１と、前記光出力の時系列データと前記光出力指令との照合等から前記故障の発生が検知された時には、前記学習部１１の学習結果を参照して、前記機械学習装置１から出力すべき前記定量的故障発生メカニズムを決定する意思決定部１４と、を備えている。

機械学習装置１の状態観測部１３が観測して学習部１１の出力する各レーザ装置の状態変数としては、主に、レーザ装置２の制御部９が、レーザ装置の各部に出す指令や、レーザ装置の各部から受ける信号や、制御部９が記録している情報であり、具体的には、出力光センサ７によって検出された光出力の時系列データと光出力指令以外に、レーザ装置の加工ヘッドを含む前記のようなハードウェア構成、前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力、レーザ装置に加わる振動強度、加速度、衝撃強度、レーザ装置２の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度、前記駆動条件あるいは前記駆動状況の履歴と、前記レーザ装置の修理履歴と、前記レーザ装置を制御する制御ソフトウェアの内部データと、前記出力データあるいは前記内部データに基づいて得られる計算データ等を含むことができる。このように状態変数という用語は、本願では、状態変数を状態変数群という意味で使用している場合がある。なお、レーザ装置２の周辺環境の検出するセンサの検出信号は、制御部９を経由しないで観測されるようになっていてもよい。

学習部１１は、状態観測部１３から出力された各レーザ装置の状態変数において、レーザ装置２への光出力指令と出力光センサ７による検出結果等から求められた光出力との差が所定範囲より大きくなった場合や、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱した場合に、故障が発生したと判定して、前記レーザ装置の故障発生の引き金になる故障原因から、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムを推定して、推定した定量的故障発生メカニズムを意志決定部から出力する。

故障が発生した判定されると、当該レーザ装置を停止して修理を行うことになるが、機械学習装置から出力された定量的故障発生メカニズムに含まれる損傷場所を調査・確認して、実際に損傷している場所や部品、実際の損傷の状態が、出力された定量的故障発生メカニズムに含まれている損傷場所や損傷状態や損傷の程度と一致しているか、不一致な点があるかを修理担当者等が判定した判定結果が判定結果取得部１２を通して、学習部に出力される。

なお、機械学習においては、本来は判定結果も人間が介在することなく自動的に行わるのが望ましく、画像センサ等で自動的に判定することも考えられるが、画像センサ等で全ての故障箇所について故障状態を確認することは困難であり、前述のように故障は頻発する現象ではなく、故障の修理には通常人間が介在するので、本発明の機械学習の一環に人間が介在することによる付加的工数の発生や処理時間の遅れは少ないので、人間が介在して故障状況を詳細に確認した方がより適確に学習できると考えられる。

学習部１１は、状態観測部１３からの出力および判定結果取得部１２からの出力を受取り、状態観測部１３により観測されたレーザ装置２の状態変数と、判定結果取得部に１２より取得された意思決定部１４から出力した定量的故障発生メカニズムの推定結果に対する正否の判定結果とに関連付けて、発生した故障に対応した定量的故障発生メカニズムを学習する。

本実施形態では、教師あり学習を適用した機械学習装置の例を示しており、機械学習装置１は、更に、判定結果付きデータと定量的故障発生メカニズムに関連した物理モデルを記録した判定結果付きデータ・物理モデル記録部１５を備え、前記学習部１１は、前記機械学習装置１から出力された定量的故障発生メカニズムと実際に確認された故障状況との食い違いを誤差として計算する誤差計算部１６と算出された誤差に応じて学習結果である学習モデルを更新する学習モデル更新部１７を備えている。

判定結果付きデータ・物理モデル記録部１５は、それまでに得られているレーザ装置の状態変数とその状態変数に対して推定した定量的故障発生メカニズムに対する正否の判定結果が対になった判定結果付きデータと、故障に関連した物理モデルが記録されている。物理モデルとしては、例えば、レーザ加工中にワークに付着していた油成分が油煙となって加工ヘッドの保護ウィンドウに付着し、保護ウィンドウでレーザ光が反射される成分、すなわち反射光があるワット数まで増加し、デリバリファイバをレーザ光とは逆方向に伝搬してきた反射光がフィードファイバとの融着点でクラッドに散乱し、クラッドを囲む保護スリーブの温度が上昇して保護スリーブの発火温度を越えたために保護スリーブが燃焼してファイバの温度が更に上昇して屈折率等の物性が変化してレーザ光の透過率が低下し、レーザ光の吸収によってファイバが更に昇温して、コアが変質するファイバヒューズが発生してレーザ光がファイバを伝搬しなくなるというような定量的故障発生メカニズムがあるとすれば、この一連の物理的な因果関係が含まれる定量的故障発生メカニズム全体を物理モデルと記録しても良いし、その一部の物理現象である、ある反射光センサで検出されたクラッドを伝搬する反射光強度とファイバの温度上昇の関係や、保護スリーブの発火温度等を記録しておいても良い。

学習部１１は、判定結果付きデータ・物理モデル記録部１５に記録されている判定結果付きデータあるいは記録されている判定結果付きデータに基づく学習結果と、物理モデルを参照して、故障が発生したと判定された時に、故障したレーザ装置２について観測した状態変数に対して、定量的故障発生メカニズムを推定して、推定結果を出力し、その推定に対する正否判定の結果を取得して学習を進める。

なお、判定結果付きデータ・物理モデル記録部１５は、機械学習装置１の内部に備える必要な無く、ネットワークやメモリカード等により、判定結果付きデータを学習部に提供することも可能であり、判定結果付きデータと物理モデルは、同じ記録部に記録される必要はなく、異なる記録部に記録されてもよい。

図２は、図１に示した機械学習装置の動作の一例を示すフローチャートである。図２に示されるように、図１に示す機械学習装置１において、学習を開始すると、まず、判定結果付きデータ・物理モデル記録部１５に記録されている判定結果付きデータと物理モデルを参照して学習部１１は初期学習モデルを作成し（ステップＳ１０１）、機械学習装置１にネットワーク３で接続された各レーザ装置２の状態変数を観測し（ステップＳ１０２）、レーザ装置２への光出力指令と出力光センサ７による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し（ステップＳ１０３）、故障が発生したと判定されない内は、ステップＳ１０２に戻ってレーザ装置２の状態変数を観測し続けるが、故障が発生したと判定された場合は、学習部１１は学習モデルと物理モデルを参照して（ステップＳ１０４）、故障原因から故障発生状況までの一連の定量的故障発生メカニズムを推定し（ステップＳ１０５）、推定した定量的故障発生メカニズムを意思決定部から出力する（ステップＳ１０６）。故障したレーザ装置を診断して修理しようとする者は、故障の発生状況を確認して、機械学習装置１の判定結果取得部１２に直接あるいはネットワークを通じて故障発生状況を入力する（ステップＳ１０７）。故障の発生状況を確認しても、故障の発生原因まで特定できない場合が多いので、故障箇所や故障部品と、故障あるいは損傷の状態、例えば、焼けているのか、熔けているのか、割れているのか、外れているのか、断線しているのか、短絡しているのか等、原則として修理時に確認できる内容を入力することになる。判定結果取得部１２は推定結果に対する判定結果を取得して（ステップＳ１０８）、学習部１１に出力する。学習部１１は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し（ステップＳ１０９）、不一致点があれば、不一致の度合いに応じて、誤差計算部１６で学習モデルの誤差を計算し（ステップＳ１１０）、誤差に応じて、学習モデル更新部１７は学習モデルを更新する（ステップＳ１１１）。続いて、機械学習を終了する指令が出ているか否かを判定し（ステップＳ１１２）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ１０２に戻って、ネットワークを通じて接続している各レーザ装置２の状態変数の観測を継続する。なお、ステップＳ１０９で、推定した定量的故障発生メカニズムに含まれる故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に故障発生状況と一致している場合は、直接、ステップＳ１１２に進んで、機械学習を終了する指令が出ているか否かを判定する。以上のステップＳ１０１〜ステップＳ１１２を繰り返すことによって、学習部１１は、学習モデルの更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習する。

故障原因から故障発生状況までの一連の定量的故障発生メカニズムを学習することによって、状態変数の統計的処理から故障原因や故障発生条件を推定する学習方法よりも、物理現象や物理的なメカニズムと整合性のある適確な推定がより確実に行えるようになる。また、物理モデルを参照することによって、物理的に不合理な学習結果は排除でき、学習の比較的初期の内から、すなわち、故障発生に関するデータが比較的少ない状況においても、物理的に合理的な定量的故障発生メカニズムが推定できる確率が高くなる。
なお、レーザ装置２に対しては、多くの状態変数を観測することによって、種々の故障に対応した定量的故障発生メカニズムを正確に学習することができるようになるので、故障に関連する可能性のある状態変数は、前述のように、できるだけ多く状態観測部１３で観測することが望ましい。

図３は、図１に示した機械学習装置の動作の他の一例を示すフローチャートであり、機械学習装置は、レーザ装置における故障に対して出力された定量的故障発生メカニズムに対する正否の判定に、前記レーザ装置の操作者あるいは修理担当者等によって確認された故障発生状況と出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無だけでなく、物理モデルを参照して検証される、確認された故障発生状況と出力された定量的故障発生メカニズムに含まれる物理現象あるいは物理メカニズムとの整合性の有無も含めている。図３のフローチャートの内、ステップＳ２０１〜ステップＳ２０８は、図２のフローチャートのステップＳ１０１〜ステップＳ１０８と同じである。ステップＳ２０９で、学習部１１は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し（ステップＳ２０９）、一致している場合は、直接、ステップＳ２１４に進んで、機械学習を終了する指令が出ているか否かを判定する点も、図２のフローチャートと同じである。異なるのは、ステップＳ２０９で、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点がある場合は、ステップＳ２１０に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定している点である。すなわち、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、誤差計算部１６は誤差１が生じたと計算し（ステップＳ２１１）、ステップＳ２１３で学習モデル更新部１７が誤差１の大きさに応じて学習モデルを更新する。一方、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、誤差計算部１６は誤差１より大きな誤差２が生じたと計算して（ステップＳ２１２）、ステップＳ２１３で学習モデル更新部１７は誤差２の大きさに応じて学習モデルを更新する。学習モデルを更新した後は、ステップＳ２１４に進んで、機械学習を終了する指令が出ているか否かを判定する点は、図２のフローチャートと同じである。以上のステップＳ２０１〜ステップＳ２１４を繰り返すことによって、学習部１１は、学習モデルの更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習する。一つの機械学習装置１が備える学習モデルは一つに限定されず、複数の学習モデルを備えることができる。

物理現象あるいは物理メカニズムとの整合性の有無も正否の判定に加えることによって、物理モデルに矛盾するような推定が排除され、種々の故障に対して合理的な定量的故障発生メカニズムを学習することができるようになる。具体的には、図３のフローチャートに示した動作例のように、確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なるだけでなく、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せず矛盾する場合は、その故障に対する定量的故障発生メカニズムの学習結果の誤差がより大きいとして、学習モデルを更新することによって、種々の故障に対して物理モデルに適合した合理的な定量的故障発生メカニズムを学習することができる。

学習の結果、各故障に対応した定量的故障発生メカニズムを出力できるようになると、定量的故障発生メカニズムには故障発生状況として故障した場所あるいは部品が含まれているので、故障が発生した場合に、故障個所を修復するのに要する時間を短縮できる。
なお、教師あり学習を行う機械学習器の学習の一例として、例えば以下の数１式に示すような予測モデルの回帰式を設定し、学習の過程において各状態変数ｘ₁，ｘ₂，ｘ₃，…が取る値を回帰式に当てはめた時に、目的変数ｙの値が得られるように、各係数ａ₀，ａ₁，ａ₂，ａ₃，…の値を調整することにより学習が進められる。なお、学習の方法はこれに限られるものではなく、教師あり学習のアルゴリズム毎に異なる。

教師あり学習のアルゴリズムとしては、ニューラルネットワーク、最小二乗法など様々な方法が周知となっており、本発明に適用する方法としていずれの教師あり学習アルゴリズムを採用してもよい。

＜第２実施形態＞
図４は、本発明の第２実施形態の機械学習装置１０１の概念的な構成を示すブロック図であり、図１と同様に、ネットワーク３よって３台のレーザ装置と接続されている状態を示しており、３台のレーザ装置の内、右端の１台のレーザ装置については、レーザ装置の概念的な構成を示すブロック図で示している。レーザ装置の構成は、図１と同じであり、図１と異なるのは、本実施形態では、強化学習を適用した機械学習装置１０１の例を示しており、学習部１１１は、誤差計算部１６と学習モデル更新部１７に代って、報酬計算部１９と価値関数更新部２０を備えていることである。また、判定結果付きデータ・物理モデル記録部１５は備えておらず、物理モデルは学習部に記録されているとしている。また、本実施形態の学習部１１１は、前述の教師有り学習による学習結果を初期状態として、学習を強化学習で進めるものとして、強化学習開始時点で既に初期価値関数を備えているものとしている。

図５は、図４に示した機械学習装置の動作の一例を示すフローチャートである。図３に記載したフローチャートに対して、初期学習結果が学習部１１１に備えられているとしているので、ステップＳ２０１の初期学習モデルを作成というステップはないが、ステップＳ３０３で参照する学習結果が学習モデルではなく価値関数であることを除けば、ステップＳ３０１〜ステップＳ３０９は、図３のフローチャートのステップＳ２０２〜ステップＳ２１０は同じである。異なるのは、そのステップ以降であり、ステップＳ３０８で、学習部１１１は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し、一致している場合は、報酬計算部がプラスの報酬（報酬１）を設定し（ステップＳ３１０）、ステップＳ３１３で価値関数更新部２０が報酬に応じて価値関数を更新する。次に、機械学習を終了する指令が出ているか否かを判定し（ステップＳ３１４）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ３０１に戻って、ネットワークを通じて接続している各レーザ装置２の状態変数の観測を継続する。ステップＳ３０８で、学習部１１１が、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致してないと判定した場合は、ステップＳ３０９に進み、図３のフローチャートのステップＳ２１０と同様に、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は一致しないが、確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているか否かを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部１９は、比較的小さなマイナスの報酬（報酬２）を設定し（ステップＳ３１１）、報酬に応じて価値関数更新部２０が価値関数を更新する（ステップＳ３１３）。一方、ステップＳ３０９で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、報酬計算部１９は比較的大きなマイナスの報酬（報酬３）を設定し（ステップＳ３１２）、ステップＳ３１３で価値関数更新部２０が設定された報酬に応じて価値関数を更新してからステップＳ３１４に進んで、機械学習を終了する指令が出ているか否かを判定し、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ３０１に戻って、ネットワークを通じて接続している各レーザ装置２の状態変数の観測し、学習を継続する。ここで、上記の報酬１、報酬２、報酬３は、報酬３＜報酬２＜０＜報酬１の関係にある。以上のステップＳ３０１〜ステップＳ３１４を繰り返すことによって、学習部１１１は、価値関数の更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習する。

図６は、図４に示した機械学習装置の動作の他の一例を示すフローチャートであり、機械学習装置１０１は、学習部１１１が、レーザ装置２における故障を検知した時に、故障に対して、単一の第１候補の定量的故障発生メカニズムだけでなく、第２候補の定量的故障発生メカニズムや、第３候補の定量的故障発生メカニズムなど、複数の定量的故障発生メカニズムを、意思決定部１４を通じて出力し、報酬計算部１９は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定するように動作する。図６のフローチャートの内、ステップＳ４０１〜ステップＳ４０７は、図５のフローチャートのステップＳ３０１〜ステップＳ３０７と同じである。ステップＳ４０７に続いて、カウンタの値（ｍ）を１にリセット（ステップＳ４０８）した後に、学習部１１１は、実際に確認した故障発生状況と推定した第ｍ候補（最初はｍ＝１なので第１候補）の定量的故障発生メカニズムに含まれる故障発生状況と一致しているか否かを判定する（ステップＳ４０９）。一致している場合は、報酬計算部１９は、プラスの報酬（＋Ａｍ）の設定し（ステップＳ４１０）、設定された報酬に応じて、価値関数更新部２０は、価値関数を更新し（ステップＳ４１６）、学習を終了する指令が出ているか否かを判定し（ステップＳ４１７）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ４０１に戻って、学習を継続する。ステップＳ４０９で実際に確認した故障発生状況と推定した第ｍ候補（最初はｍ＝１なので第１候補）の定量的故障発生メカニズムに含まれる故障発生状況と一致していないと判定された場合は、図５のステップＳ３０９と同様に、確認した故障発生状況が、推定した定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているか否かを判定し（ステップＳ４１１）、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部１９はマイナスの報酬（−Ｂｍ）を設定し（ステップＳ４１２）、カウンタの値（ｍ）が、設定した候補数（ｎ）より小さいか否かを判定し（ステップＳ４１４）、ｍ＜ｎであれば、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれている故障発生状況が未だ一致しておらず、かつ、推定した定量的故障発生メカニズムの候補が未だ残っているので、カウンタの値を＋１だけ増やして（ステップＳ４１５）、ステップＳ４０９に戻り、推定した定量的故障発生メカニズムの内の次の順位の候補の定量的故障発生メカニズムに含まれる故障発生状況が実際に確認した故障発生状況と一致しているか否かを判定する。ステップＳ４１１で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾すると判定された場合は、報酬計算部１９はマイナスの報酬（−Ｃｍ）を設定し（ステップＳ４１３）、ステップＳ４１４に進む。ステップＳ４１４で、ｍ＜ｎではないと判定された場合は、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれている故障発生状況が未だ一致していないが、推定した定量的故障発生メカニズムの候補が残っていないので、ステップＳ４１６に進んで、価値関数更新部２０は、報酬計算部１９で設定された報酬の合算値に応じて、価値関数を更新して（ステップＳ４１６）、学習を終了する指令が出ているか否かを判定し（ステップＳ４１７）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ４０１に戻って、学習を継続する。以上のステップＳ４０１〜ステップＳ４１７を繰り返すことによって、学習部１１１は、価値関数の更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習する。価値関数についても、一つの機械学習装置１０１が複数の価値関数を備えることができる。

ここで、Ａｍ、Ｂｍ、Ｃｍは、Ａ１＞Ａ２＞・・・Ａｍ・・・＞Ａｎ＞０，Ｂ１＞Ｂ２＞・・・＞Ｂｍ＞・・・＞Ｂｎ＞０，Ｃ１＞Ｃ２＞・・・＞Ｃｍ＞・・・＞Ｃｎ＞０，Ｂｍ＜Ｃｍの関係にある。但し、上記の動作において、マイナスの報酬（−Ｂｍ）と設定しているところをプラスの報酬（Ｂｍ）に設定して良い。その場合は、Ａｍ，Ｂｍ，Ｃｍは、Ａ１＞Ａ２＞・・・Ａｍ・・・＞Ａｎ＞０，Ｂ１＞Ｂ２＞・・・＞Ｂｍ＞・・・＞Ｂｎ＞０，Ｃ１＞Ｃ２＞・・・＞Ｃｍ＞・・・＞Ｃｎ＞０，Ａｍ＞Ｂｍの関係が成り立つように設定すれば良い。また、ＡｍやＢｍやＣｍの値は、具体的には、例えば、Ａｍ＝Ａ１／ｍ，Ｂｍ＝Ｂ１／ｍ，Ｃｍ＝Ｃ１／ｍ等のように設定しても良い。

以上のように、本実施形態においては、教師あり学習で種々の故障に対応した定量的故障発生メカニズムを機械学習した結果を初期状態として強化学習を行うことで学習をより深化させることができる。確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なる場合より、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せずに矛盾する場合は、より大きなマイナスの報酬を設定することによって、種々の故障に対して物理モデルに適合したより合理的な定量的故障発生メカニズムを学習することができる。

本実施形態においても、第１実施形態と同様に、学習の結果、各故障に対応した定量的故障発生メカニズムを出力できるようになると、定量的故障発生メカニズムには故障発生状況として故障した場所あるいは部品が含まれているので、故障が発生した場合に、故障個所を修復するのに要する時間を短縮できる効果がある。また、特に、図６のフローチャートで示したように動作した場合には、少ない故障発生データを有効利用して学習を進めることができ、第１候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品が間違っていても、すぐ次の候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品をチェックできるので、故障個所が分からないために復旧に長時間を要するという問題の発生確率が低減できるという効果がある。

なお、本実施形態において適用している強化学習では、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶものであり、例えば、後述のように、故障回避データを出力した結果、レーザ装置が反射光による故障を回避できたり、回避できなかったりして、未来に影響をおよぼすような行動を獲得できることを表している。

価値関数更新部は、いわゆるＱ学習を用いて強化学習を行うことができる。但し、強化学習の方法はＱ学習に限定されるものではない。Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法であって、ある状態ｓのとき、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択すれば良い。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ（ｓ，ａ）の正しい値は全く分かっていないので、ある状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、より良い行動の選択、すなわち、正しい価値Ｑ（ｓ，ａ）を学習していく。

更に、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（ｓ，ａ）＝Ｅ［Σ（γ_t）ｒ_t］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒ_tは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ（ｓ，ａ）の更新式は、例えば、下記の数２式により表すことができる。即ち、前記価値関数更新部は、下記の数２式を用いて価値関数Ｑ（ｓt，ａt）を更新する。

ここで、ｓ_tは、時刻ｔにおける環境の状態を表し、ａ_tは、時刻ｔにおける行動を表す。行動ａ_tにより、状態はｓ_t+1に変化する。r_t+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓ_t+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。

上述した数２式は、試行ａ_tの結果、帰ってきた報酬ｒ_t+1を元に、状態ｓ_tにおける行動ａ_tの評価値Ｑ（ｓ_t，ａ_t）を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ（ｓ_t，ａ_t）よりも、報酬ｒ_t+1と行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ（ｓ_t+1，ｍａｘ ａ_t+1）の合計の方が大きければ、Ｑ（ｓ_t，ａ_t）を大きくし、反対に小さければ、Ｑ（ｓ_t，ａ_t）を小さくすることを示している。つまり、ある状態におけるある行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるものである。

ここで、Ｑ（ｓ，ａ）の計算機上での表現方法は、すべての状態行動ペア（ｓ，ａ）に対して、その値を行動価値テーブルとして保持しておく方法と、Ｑ（ｓ，ａ）を近似するような関数を用意する方法がある。後者の方法では、前述の数２式は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、ニューラルネットワークを用いることができる。ニューラルネットワークは、ニューロンのモデルを模した演算装置およびメモリ等で構成される。

上記のように、教師あり学習の学習アルゴリズムや、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができるので、前記機械学習装置は、ニューラルネットワークを有することが好ましい。

図７は、ニューロンのモデルを模式的に示す図であり、図８は、図７に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。ニューラルネットワークは、図７に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。ニューロンは、複数の入力ｘに対する出力（結果）ｙを出力するものである。各入力ｘ（ｘ₁〜ｘ₃）には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられ、ニューロンは、以下の数３式により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。

ここで、θは、バイアスであり、ｆ_kは、活性化関数である。
図８に示したように、ニューラルネットワークの左側から複数の入力ｘ（ｘ₁〜ｘ₃）が入力され、右側から結果ｙ（ｙ₁〜ｙ₃）が出力される。入力ｘ₁〜ｘ₃は、３つのニューロンＮ₁₁〜Ｎ₁₃の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてｗ₁と表記している。

ニューロンＮ₁₁〜Ｎ₁₃は、それぞれ、ｚ₁₁〜ｚ₁₃を出力する。図８において、これらｚ₁₁〜ｚ₁₃は、まとめて特徴ベクトルｚ₁と表記され、入力ベクトルの特徴量を抽出したベクトルと見なすことができる。この特徴ベクトルｚ₁は、重みｗ₁と重みｗ₂との間の特徴ベクトルである。ｚ₁₁〜ｚ₁₃は、２つのニューロンＮ₂₁およびＮ₂₂の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてｗ₂と表記されている。ニューロンＮ₂₁，Ｎ₂₂は、それぞれｚ₂₁，ｚ₂₂を出力する。図８において、これらｚ₂₁，ｚ₂₂は、まとめて特徴ベクトルｚ₂と標記されている。この特徴ベクトルｚ₂は、重みｗ₂と重みｗ₃との間の特徴ベクトルである。ｚ₂₁，ｚ₂₂は、３つのニューロンＮ₃₁〜Ｎ₃₃の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてｗ₃と標記している。

最後に、ニューロンＮ₃₁〜Ｎ₃₃は、それぞれ、結果ｙ₁〜結果ｙ₃を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードがあり、学習モードにおいて、学習データセットを用いて重みｗを学習し、そのパラメータを用いて予測モードにおいて、レーザ加工条件データの出力の行動判断を行う。ここで、予測モードで実際にレーザ加工条件データの出力を行い、得られたデータを即時学習し、次の行動に反映させるオンライン学習も、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行うバッチ学習も行うこともできる。ある程度データが溜まるたびに学習モードを挟むということも可能である。

また、重みｗ₁〜ｗ₃は、誤差逆伝播法（Backpropagation）により学習可能である。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝播法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ（教師）との差分を小さくするように、それぞれの重みを調整（学習）する手法である。

図８のニューラルネットワークの中間層（隠れ層）は一層だが、２層以上にすることも可能であり、中間層が２層以上の場合は深層学習と呼ばれている。

以上、教師あり学習と強化学習の学習方法について簡単に述べたが、本発明に適用される機械学習方法は、これらの手法に限定されず、機械学習装置で用いることが出来る手法である「教師あり学習」、「教師なし学習」、「半教師あり学習」および「強化学習」等といった様々な手法が適用可能である。

＜第３実施形態＞
図９は、本発明の第３実施形態の機械学習装置の動作の一例を示すフローチャートであり、本発明の第１実施形態の教師あり学習で学習を行う機械学習装置１が、学習によって習得した様々な故障の中の各故障に対応した定量的故障発生メカニズムを参照して、ネットワーク３を通じて相互に情報通信が可能な状態に接続されたいずれかのレーザ装置２のいずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置２の制御部９に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有している場合の動作の一例を示すフローチャートである。

なお、レーザ装置２のいずれかの状態変数の値、あるいは複数のいずれかの前記状態変数の値を座標値とする点として定義される点が、故障が発生する故障発生領域に所定範囲より近付くとは、どのような意味かを図１０に模式的に示している。図１０では、レーザ装置２の状態変数の内、αとβという２つの状態変数の値を座標値とする点が、二次元の故障発生領域に近付いて行く様子を模式的に示しており、ｔｉは時間を表しており、ｔ１よりｔ２の方が後の時間を表している。図１０において、実線を境にして原点（α＝β＝０の点）から遠い領域が故障発生領域であり、実線を境にして原点に近い領域が故障発生領域外（＝故障の発生しない領域）であり、実線と一点鎖線で挟まれた領域が故障発生領域に所定範囲より近付いたとする領域を表している。αとβの値を座標値とする点が、原点側から一点鎖線を越えると、故障発生領域に所定範囲より近付いたという判定される。図１０の例では、故障発生領域に８０％まで近付くと、故障発生領域に所定範囲より近付いたとしている。また、図１０において、故障発生領域内に記された破線は、故障の状態や程度の境界線を示しており、αとβの値を座標値とする点が、故障発生領域内に少し入っただけなら、故障部位の破損状態は、溶解する程度だか、原点から遠ざかるについて、焼損から蒸発とより高温になったことを示す故障状態になることを示している。

なお、状態観測部１３が取得するレーザ装置２の状態変数には時系列データも含まれるので、図１０における変数のαやβは時間であってもよく、仮に横軸を時間とすると、図１１のような図になり、短時間であれば、γという状態変数の値がある程度大きくでも故障しないが、その状態が長く続くと故障発生領域に入るので、短時間の内に故障回避駆動条件に移行すれば故障を回避できるということになる。具体的な故障回避駆動条件としては、レーザ光出力を低減する、あるいは、レーザ発振を停止する等が考えられるが、これらに限定するものでなく、レーザ発振器を冷却している冷却機の冷却能力を上昇させる等であってもよい。図１１との実線、破線、一点鎖線、ｔ１、ｔ２の意味は、図１０と同じである。機械学習装置１，１０１が、学習によって習得する各故障に対応した定量的故障発生メカニズムには、図１０や図１１のような情報も含まれている。

但し、図１０や図１１では、説明を簡単にするために、負の値をとらない状態変数の場合について示しているが、故障発生領域を画定する状態変数は、負の値をとり得る状態変数であってもよいことは言うまでもない。また、状態変数の値を座標値とする点は仮想的な点であり、図１０や図１１のような二次元の面上の点を意味するだけでなく、一次元の線上の点であってもよいし、三次元の空間内の点であってもよいし、４次元や５次元等の仮想的空間内の点であってもよい。対応する故障発生領域も状態変数の値を座標値とする点と同じ次元の空間内に画定されることになる。

図９のフローチャートの説明に戻って、学習を開始すると、まず、判定結果付きデータ・物理モデル記録部１５に記録されている判定結果付きデータと物理モデルを参照して学習部１１は初期学習モデルを作成し（ステップＳ５０１）、次に、故障回避機能がオンに設定されているか、オフに設定されているかを確認し（ステップＳ５０２）、経過時間を計測するためのタイマをリセットした後、新たにタイマで経過時間のカウントを開始する（ステップＳ５０３）。なお、故障回避機能のオンオフ設定は、レーザ装置毎に設定してもよく、限界特性試験用レーザ装置だけ故障回避機能をオフの設定のままにして、他のレーザ装置については故障回避機能をオンに設定する等の設定を行って良い。続いて、機械学習装置１にネットワーク３で接続された各レーザ装置２の状態変数を観測し（ステップＳ５０４）、故障回避機能のオンオフの設定状態を判定する（ステップＳ５０５）。故障回避機能がオフに設定されていると判定されたレーザ装置２については、故障回避動作は行わないが、前述のように、それまでの学習結果を参照して、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が、故障発生領域内に入ったか否かを判定する（ステップＳ５０６）。ステップＳ５０６で、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定した場合は、レーザ装置２への光出力指令と出力光センサ７による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し（ステップＳ５０７）、故障が発生していないと判定された場合は、ステップＳ５１９に進み、故障が発生したと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定したにも関わらず、故障が発生したと判定されたので、誤差計算部１６は、学習結果（学習モデル）に誤差が生じているとして誤差３を計算する（ステップＳ５０８）。続いて、それまでの学習結果と記録されている物理モデルを参照して、故障原因から故障発生状況までの一連の内容を含む定量的故障発生メカニズムを推定し（ステップ５０９）、推定した定量的故障発生メカニズムを意思決定部１４から出力する（ステップＳ５１２）。ステップＳ５０６で、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定した場合も、ステップＳ５０７と同様に、故障が発生したと考えられる状態変数になっていないかを判定し（ステップＳ５１０）、故障が発生したと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定して、故障が発生したと判定されたので、学習結果に誤差は認められないので、直接ステップＳ５０９に進む。ステップＳ５１０で、故障が発生していないと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定したにも関わらず、故障が発生していないと判定されたので、誤差計算部１６は、学習モデルに誤差が生じているとして誤差４を計算して（ステップＳ５１１）、ステップＳ５１９に進む。

図９のステップＳ５１２〜ステップＳ５１８は、図３のフローチャートのステップＳ２０６〜ステップＳ２１２とほぼ同じであり、レーザ装置２の管理担当者や修理担当者等によって確認された故障発生状況が入力され（ステップＳ５１３）、判定結果取得部１２は、確認された故障発生状況を推定された定量的故障メカニズムに対する判定結果として取得して、学習部１１に出力する（ステップＳ５１４）。学習部１１は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し（ステップＳ５１５）、一致している場合は、ステップＳ５１９に進み、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点がある場合は、ステップＳ５１６に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定する。前述のように、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、誤差計算部１６は誤差１が生じたと計算し（ステップＳ５１７）、ステップＳ５１９に進む。一方、ステップＳ５１６で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、誤差計算部１６は誤差１より大きな誤差２が生じたと計算して（ステップＳ５１８）、ステップＳ５１９に進む。

一方、ステップＳ５０５で、故障回避機能がオンに設定されていると判定されたレーザ装置２については、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているか否かを判定し（ステップＳ５２１）、所定範囲より近付いていると判定された場合は、機械学習装置は、レーザ装置２の故障を回避するために、レーザ装置２に対して、故障回避駆動条件に駆動条件を切換えるように指令する（ステップＳ５２２）。その後、再度、レーザ装置２の状態変数を観測して（ステップＳ５２３）、故障が発生したと考えられる状態変数になっているか否を判定する（ステップＳ５２４）。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定され、レーザ装置２に指令した故障回避駆動条件が適切であれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、学習結果に誤差があり、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったか、指令した故障回避駆動条件が適切でなったことを示しているので、誤差計算部１６で誤差５を計算して（ステップＳ５２５）、ステップＳ５０９に戻って、学習モデルと物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップＳ５２４で故障が発生していないと判定された場合は、正しく故障回避が行えたことになり、ステップＳ５１９に進む。

一方、ステップＳ５２１で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定された場合は、再度、レーザ装置２の状態変数を観測して（ステップＳ５２６）、故障が発生したと考えられる状態変数になっているか否かを判定する（ステップＳ５２７）。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないことが正しく判定されていれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、学習結果に誤差があり、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったことを示しているので、誤差計算部１６で誤差６を計算して（ステップＳ５２８）、先の場合と同様に、ステップＳ５０９に戻って、学習モデルと物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップＳ５２７で、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点がいずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定されて、故障は発生していないと判定されたので、学習結果に誤差は認められず、ステップＳ５１９に進む。

以上のように、上記の全てのフローはステップＳ５１９に合流し、ステップＳ５１９では、誤差計算部１６で計算された誤差（正確には、学習モデル更新後に新しく計算された誤差）の有無が判定され、計算された誤差が少なくとも一つ以上あると判定された場合は、計算された誤差の大きさに応じて、学習モデル更新部１７が学習モデルを更新して（ステップＳ５２０）、経過時間を計測するタイマが設定した時間を越えていないか、即ち、タイムオーバーになっているか否かを判定する（ステップＳ５２９）。ステップＳ５１９で計算された誤差がないと判定された場合は、学習モデルの更新をパスして、ステップＳ５２９に進む。ステップＳ５２９でタイムオーバーになっていないと判定された場合は、機械学習を終了する指令が出ているか否かを判定し（ステップＳ５３０）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ５０４に戻って、レーザ装置２の状態変数の観測を継続する。ステップＳ５２９では、ステップＳ５２９で、タイムオーバーになっていると判定された場合は、ステップＳ５０２に戻って、故障回避機能がオンに設定されているか、オフに設定されているかを確認して、タイマをリセットした後、新たにタイマで経過時間のカウントを再開する（ステップＳ５０３）。このように、タイマで経過時間を計測しているのは、故障回避機能のオンオフの設定状態が変わっていないかを定期的に確認するためである。

上記のように、少なくとも一つの誤差が計算された場合は、ステップＳ５２０で、計算された誤差の大きさに応じて学習モデル更新部１７が学習モデルを更新するが、各誤差の大きさには、上述の誤差２＞誤差１の関係の他に、次のような関係にあってもよい。まず、誤差３と誤差４は、故障発生領域と故障発生領域外との境界線の位置精度の問題であり、ステップＳ５０６での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、この境界線から離れている程大きな誤差があると計算し、ステップＳ５０６での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点とこの境界線との隔たりが同じなら誤差３と誤差４の大きさは同じとしてもよい。誤差５は、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が故障発生領域に所定範囲より近付いたことを察知して、故障回避駆動条件を指令したが、故障が発生したことから、故障回避駆動条件が適切でなかったかも知れないが、前述の故障発生領域と故障発生領域外との境界線より安全サイドにあると推定されていた条件変数の値、あるいは複数の状態変数の値を座標値とする点の位置で故障が発生したので、誤差５は、通常は、誤差３や誤差４より大きいと計算されてもよい。一方、誤差６は、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているのに気付かない内に故障が発生したという結果に対応した誤差であるので、誤差６は誤差５より更に大きい誤差と計算されるようにしてもよい。

以上のステップＳ５０１〜ステップＳ５３０を繰り返すことによって、機械学習装置１は、学習モデルの更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できるようになる。その結果、レーザ装置をおける故障を次第に低減できるようになり、信頼性の高いレーザ装置を実現することができる。

＜第４実施形態＞
図１２は、本発明の第４実施形態の機械学習装置の動作の一例を示すフローチャートであり、本発明の第２実施形態の強化学習で学習を行う機械学習装置１０１が、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、ネットワーク３を通じて相互に情報通信が可能な状態に接続されたいずれかのレーザ装置２のいずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置２の制御部９に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有している場合の動作の一例を示すフローチャートである。

図１２のフローチャートにおいて、ステップＳ６０１〜ステップ６０６は、図９のフローチャートのステップＳ５０２〜ステップＳ５０７とほぼ同じであり、学習を開始すると、故障回避機能がオンに設定されているか、オフに設定されているか否かを確認し（ステップＳ６０１）、経過時間を計測するためのタイマをリセットした後、新たにタイマで経過時間のカウントを開始する（ステップＳ６０２）。なお、故障回避機能のオンオフ設定は、第３実施形態と同様に、レーザ装置毎に設定してもよく、限界特性試験用レーザ装置だけ故障回避機能をオフの設定のままにして、他のレーザ装置については故障回避機能をオンに設定する等の設定を行って良い。続いて、機械学習装置１０１にネットワーク３で接続された各レーザ装置２の状態変数を観測し（ステップＳ６０３）、故障回避機能のオンオフの設定状態を判定する（ステップＳ６０４）。故障回避機能がオフに設定されていると判定されたレーザ装置２については、故障回避動作は行わないが、前述のように、それまでの学習結果（価値関数）を参照して、レーザ装置２の状態変数の値、あるいは複数の状態変数の値をとする点が、故障発生領域内に入ったか否かを判定する（ステップＳ６０５）。ステップＳ６０５で、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定した場合は、レーザ装置２への光出力指令と出力光センサ７による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し（ステップＳ６０６）、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定して、故障が発生していないという通常の状態なので、機械学習装置１０１がレーザ装置２の状態を正しく認識しているという意味でごく小さなプラスの報酬を設定してもよいが、故障回避機能がオフに設定されているレーザ装置については、殆どの時間はこのような状態であるので過剰なプラスの報酬を設定することになる可能性が高いので、本実施形態では、特に報酬の設定は行わず、ステップＳ６２０に進み、故障が発生したと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定したにも関わらず、故障が発生したと判定されたので、報酬計算部１９は、マイナスの報酬（−Ｄの報酬）を設定する（ステップＳ６０７）。続いて、それまでの学習結果と記録されている物理モデルを参照して、故障原因から故障発生状況までの一連の内容を含む定量的故障発生メカニズムを推定し（ステップ６０８）、推定した定量的故障発生メカニズムを意思決定部１４から出力する（ステップＳ６１２）。ステップＳ６０５で、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定した場合も、ステップＳ６０６と同様に、故障が発生したと考えられる状態変数になっていないかを判定し（ステップＳ６０９）、故障が発生したと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定して、故障が発生したと判定されたので、正解であったので、報酬計算部１９が、プラスの報酬（＋Ｅの報酬）を設定してから（ステップＳ６１０）、ステップＳ６０８に進む。ステップＳ６０９で、故障が発生していないと判定された場合は、レーザ装置２の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定したにも関わらず、故障が発生していないと判定されたので、報酬計算部１９は、マイナスの報酬（−Ｆの報酬）を設定し（ステップＳ６１１）、ステップＳ６２０に進む。

図１２のステップＳ６１２〜ステップＳ６１９は、図５のフローチャートのステップＳ３０５〜ステップＳ３１２に類似しており、レーザ装置２の管理担当者や修理担当者等によって確認された故障発生状況が入力され（ステップＳ６１３）、判定結果取得部１２は、確認された故障発生状況を推定された定量的故障メカニズムに対する判定結果として取得して、学習部１１に出力する（ステップＳ６１４）。学習部１１１は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し（ステップＳ６１５）、一致している場合は、報酬計算部１９はプラスの報酬（＋Ｇの報酬）を設定し（ステップＳ６１６）、ステップＳ６２０に進む。ステップＳ６１５で、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点があると判定された場合は、ステップＳ６１７に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定する。前述のように、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し（ステップＳ６１７）、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部１９は、部分的には推定した定量的故障発生メカニズムは部分的には確認された故障発生状況と合っているので、比較的小さなマイナスの報酬（−Ｈの報酬）を設定し（ステップＳ６１８）、ステップＳ６２０に進む。一方、ステップＳ６１７で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムも矛盾していると判定された場合は、報酬計算部１９は、前記の−Ｈの報酬より大きなマイナスの報酬（−Ｉの報酬）を設定し（ステップＳ６１９）、ステップＳ６２０に進む。

一方、ステップＳ６０４で、故障回避機能がオンに設定されていると判定されたレーザ装置２については、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているか否かを判定し（ステップＳ６２２）、所定範囲より近付いていると判定された場合は、機械学習装置１０１は、レーザ装置２の故障を回避するために、レーザ装置２に対して、故障回避駆動条件に駆動条件を切換えるように指令する（ステップＳ６２３）。その後、再度、レーザ装置２の状態変数を観測して（ステップＳ６２４）、故障が発生したと考えられる状態変数になっているか否を判定する（ステップＳ６２５）。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定され、レーザ装置２に指令した故障回避駆動条件が適切であれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったか、指令した故障回避駆動条件が適切でなったことを示しているので、報酬計算部１９は、マイナスの報酬（−Ｊの報酬）を設定し（ステップＳ６２６）、ステップＳ６０８に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップＳ６２５で故障が発生していないと判定された場合は、正しく故障回避が行えたことになるので、報酬計算部１９は、プラスの報酬（＋Ｋの報酬）を設定し（ステップＳ６２７）、ステップＳ６２０に進む。

一方、ステップＳ６２２で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定された場合は、再度、レーザ装置２の状態変数を観測して（ステップＳ６２８）、故障が発生したと考えられる状態変数になっているか否かを判定する（ステップＳ６２９）。学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないことが正しく判定されていれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、報酬計算部１９は、マイナスの報酬（−Ｌの報酬）を設定し（ステップＳ６３０）、ステップＳ６０８に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。

ステップＳ６２９で、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点がいずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定されて、故障は発生していないという通常の状態なので、機械学習装置１０１がレーザ装置２の状態を正しく認識しているという意味でごく小さなプラスの報酬を設定してもよいが、故障回避機能がオンに設定されているレーザ装置については、殆どの時間はこのような状態であるので過剰なプラスの報酬を設定することになる可能性が高いので、本実施形態では、特に報酬の設定は行わずに、ステップＳ６２０に進む。

以上のように、上記の全てのフローはステップＳ６２０に合流し、ステップＳ６２０では、報酬計算部１９で設定された報酬（正確には、価値関数更新後に新しく設定された報酬）の有無が判定され、設定された報酬が少なくとも一つ以上あると判定された場合は、設定された報酬に応じて、価値関数更新部２０が価値関数を更新して（ステップＳ６２１）、経過時間を計測するタイマが設定した時間を越えていないか、即ち、タイムオーバーになっているか否かを判定する（ステップＳ６３１）。

タイムオーバーになっていないと判定された場合は、機械学習を終了する指令が出ているか否かを判定し（ステップＳ６３２）、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップＳ６０３に戻って、レーザ装置２の状態変数の観測を継続する。ステップＳ６３１で、タイムオーバーになっていると判定された場合は、ステップＳ６０１に戻って、故障回避機能がオンに設定されているか、オフに設定されているかを確認して、タイマをリセットした後、新たにタイマで経過時間のカウントを再開する（ステップＳ６０２）。このように、タイマで経過時間を計測しているのは、前述のように、故障回避機能のオンオフの設定状態が変わっていないかを定期的に確認するためである。

なお、ステップＳ６０７、ステップＳ６１０、ステップＳ６２６、ステップＳ６３０で報酬が設定された後、ステップＳ６０８に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進んだ場合は、その後に、＋Ｇの報酬か、−Ｈの報酬か、−Ｉの報酬が、更に設定されることになるが、その場合、先に例えば、−Ｄの報酬が設定されており、その後、＋Ｇの報酬が設定された場合は、その和である、（−Ｄ＋Ｇ）の報酬が設定されたとして、ステップＳ６２１で、価値関数更新部２０が、（−Ｄ＋Ｇ）の報酬に応じて、価値関数を更新するようにしてもよい。なお、ここで、Ｄ〜Ｌは、正の値としており、各報酬の大きさについては、前述のＩ＞Ｈの関係の他に、次のような関係にあってもよい。

まず、ＤとＦについては、故障発生領域と故障発生領域外との境界線の位置精度の問題であり、ステップＳ６０５での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、この境界線から離れている程、大きなマイナスの報酬を設定することが望ましい。逆に、Ｅについては、ステップＳ６０５での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点がこの境界線から近い程、大きなプラスの報酬を設定すればよい。Ｇについては、ＨやＩのマイナスの報酬の大きさに比べて、ある程度大きくないと報酬を最大化していくことが難しくなるので、（Ｈ＋Ｉ）≦Ｇ≦３（Ｈ＋Ｉ）程度に設定することが望ましいと考えられる。Ｊは、故障に関係した状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域に所定範囲より近付いたことを察知して、故障回避駆動条件を指令したが、故障が発生したことから、故障回避駆動条件が適切でなかったかも知れないが、前述の故障発生領域と故障発生領域外との境界線より安全サイドにあると推定されていた状態変数の値、あるいは複数の状態変数の値を座標値とする点の位置で故障が発生したので、Ｊは、通常は、ＤやＦより大きく設定してもよい。一方、Ｌは、故障に関係する状態変数の値、あるいは複数の状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているのに気付かない内に故障が発生したという結果に対応したマイナスの報酬であるので、Ｌ＞Ｊに設定することが望ましい。残るＫについては、適切に故障が回避できたためのプラスの報酬だが、状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域に余り近付いていない状態で故障回避駆動条件を指令してしまう傾向に偏らないために余り大きなプラスの報酬を設定することは望ましいと言えず、Ｋ＜Ｇの関係とすることが望ましいと考えられる。

以上のステップＳ６０１〜ステップＳ６３２を繰り返すことによって、機械学習装置１０１は、価値関数の更新を繰り返して、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できるようになる。その結果、レーザ装置をおける故障を次第に低減できるようになり、信頼性の高いレーザ装置を実現することができる。

＜第５実施形態＞
図１３は、本発明の第５実施形態の機械学習装置の動作の一例を示すフローチャートであり、図１に示した機械学習装置１が、レーザ装置２の制御部９に対して、所定のスケジュールに従って、所定駆動条件で、レーザ装置２を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録し、記録した履歴データを状態観測部が観測する状態変数に含め、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合に、レーザ装置を標準的な駆動条件で駆動した時に、故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、残存時間が所定残存時間より短くなると、残存時間や残存時間経過後に発生すると予測される定量的故障発生メカニズムを出力する予防保全装置としての機能も有する機械学習装置の動作の一例を示すフローチャートである。

なお、図１３では、所定のスケジュールに従って、所定駆動条件で、レーザ装置２を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録するという動作は簡単な動作なので省略し、記録された履歴データを用いて、残存時間を予測して出力する動作の部分のフローチャートだけを示しており、図９のフローチャートのステップＳ５１９の前に、図１３のフローチャートを挿入することによって、機械学習装置１は、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できる予防保全機能に加えて、次第に特性が劣化していずれ故障する部品等について故障するまでの残存時間や故障箇所の情報を含む予想される定量的故障発生メカニズムを出力する予防保全機能を有するようになる。

図１３に示したフローチャートにおいては、履歴データに追記があるか否か、すなわち、所定のスケジュールに従って、所定駆動条件で、レーザ装置２を駆動して新しい履歴データが追記された否かを判定し（ステップＳ７０１）、履歴データに追記がある場合は、同一駆動条件である所定駆動条件で駆動したにも関わらず、前回あるいは以前に、履歴データとしての記録したレーザ装置２の状態変数の値と比較すると、値の漸変している状態変数が存在しているか否かを判定し（ステップＳ７０２）、漸変状態変数が存在しない時は、ステップＳ５１９に戻り、漸変状態変数が存在する時は、その漸変状態変数の値が変化した間の実効的駆動時間を見積もる（ステップＳ７０３）、実効的駆動時間とは、標準駆動条件で駆動した場合に換算した駆動時間であり、例えば、レーザ出力が標準駆動条件のｎ倍であった場合は、加速係数はｎのｍ乗になるのであれば、実際の駆動時間×ｎ^mが実効的駆動時間になる。後述のように、この加速係数も機械学習で学習する対象とすることができる。実効的駆動時間を見積もると、漸変状態変数の値の変化量を実効的駆動時間で除算して、漸変状態変数の値の変化速度を算出し（ステップＳ７０４）、それ以前に、この漸変状態変数の値の変化速度を予測した予測結果が存在するか否かを判定し（ステップＳ７０５）、予測結果が存在すれば、今回算出した変化速度との差の大きさを判定し（ステップＳ７０６）、差が大きい場合は（本実施形態では差がδより大きい場合は）、前述の加速係数等に誤差があるためと考えられ、誤差計算部１６は誤差７を計算し（ステップＳ７０７）、この漸変状態変数の値の今後の変化速度、すなわち、漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標が今後どのように変化していくかを予測し（ステップＳ７０８）、図１０や図１１に示したような故障発生領域等の情報を含むそれまでの学習結果を参照して、漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標が予測したように変化することによって発生が予想される故障発生メカニズムを予測し（ステップＳ７０９）、故障発生が予測されるか否かを判断して（ステップＳ７１０）、故障が発生すると予測されない場合は、ステップＳ５１９に戻り、いずれ故障が発生すると予測された場合は、図１０や図１１に示したような故障発生領域等の情報と予測した漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標の今後の変化の状態を参照して、レーザ装置を標準的な駆動条件で駆動した時の故障発生までの残存時間を推定し（ステップＳ７１１）、推定した残存時間が所定時間より短いか否かを判定する（ステップＳ７１２）。推定した残存時間が所定時間より長い場合は、ステップＳ５１９に戻り、推定した残存時間が所定時間より短い場合は、推定した故障発生までの残存時間や、予測される故障発生メカニズムに含まれる故障発生予測箇所の情報を出力し（ステップＳ７１３）、ステップＳ５１９に戻る。

なお、ステップＳ７０５で、漸変状態変数の値の変化速度を予測した予測結果が未だ存在しない場合は、ステップＳ７０８に進む。また、ステップＳ７０１で、履歴データの追記がないと判定された場合は、故障発生までの残存時間の推定結果が存在するか否かを判定し（ステップＳ７１４）、残存時間の推定結果が存在しない時はステップＳ５１９に戻るが、残存時間の推定結果が存在する場合は、前述のステップＳ７０３と同様に、先に残存時間を推定した時点からの実効的駆動時間を見積り（ステップＳ７１５）、先に推定した残存時間から実効的駆動時間を減算して、その時点で予測される残存時間を算出し（ステップＳ７１６）、ステップＳ７１２で、新たに推定した残存時間が所定時間より短いか否かを判定する。これによって、履歴データの追記がない内に、残存時間が所定時間より大幅に減少して、残存時間の出力するタイミングが遅れるという問題を回避することができる。

第３実施形態や第４実施形態では、値が急変する状態変数に対して、故障を回避するために故障回避駆動条件を指令する機能を備えるのに対して、本実施形態においては、摩耗故障にように、時間的にゆっくり変化する状態変数の値が故障発生領域に近付いていく場合の予防保全機能であり、この場合は故障回避よりも、故障が発生するまでの時間や故障箇所の情報が重要である。事前に故障が予想される時間や場所が分かると、交換が必要になる部品やユニットの在庫確保や予算化等の準備を進めることができ、保守や修理のためのレーザ装置の停止期間を最小限に抑えることができる。

＜第６実施形態＞
図１４は、本発明の第６実施形態の機械学習装置の動作の一例を示すフローチャートであり、図４に示した機械学習装置１０１が、レーザ装置２の制御部９に対して、所定のスケジュールに従って、所定駆動条件で、レーザ装置２を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録し、記録した履歴データを状態観測部が観測する状態変数に含め、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合に、レーザ装置を標準的な駆動条件で駆動した時に、故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、残存時間が所定残存時間より短くなると、残存時間や残存時間経過後に発生すると予測される定量的故障発生メカニズムを出力する予防保全装置としての機能も有する機械学習装置の動作の一例を示すフローチャートである。

図１３と同様に、記録された履歴データを用いて、残存時間を予測して出力する動作の部分のフローチャートだけを示しており、図１２のフローチャートのステップＳ６２０の前に、図１４のフローチャートを挿入することによって、機械学習装置１０１は、レーザ装置２の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できる予防保全機能に加えて、次第に特性が劣化していずれ故障する部品等について故障するまでの残存時間や故障箇所の情報を含む予想される定量的故障発生メカニズムを出力する予防保全機能を有するようになる。

図１４は、図１３では、漸変状態変数の移動速度についての算出結果と前回予測した結果との差異が大きかった時に、誤差計算部１６で誤差７を計算している所が、漸変状態変数の移動速度についての算出結果と前回予測した結果との差異が小さかった時に（本実施形態では差異がδと同じか、δより小さかった時に）プラスの報酬（＋Ｍ）を設定し、差異が大きかった時に（本実施形態では差異がδより大きかった時に）マイナスの報酬（＋Ｎ）を設定するようになっているだけなので動作の説明は省略する。

第５実施形態や本実施形態では、所定のスケジュールに従って、所定駆動条件で、レーザ装置を駆動して、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の状態変数の履歴データとして記録し、状態観測部が観測する状態変数に含めるとしているが、このように定期的に同一駆動条件で駆動した時のレーザ装置の状態変数を記録しておくことによって、レーザ装置の状態変数の推移が把握でき、摩耗故障等による故障の定量的故障発生メカニズムの学習に役立てることができる利点がある。

一方、レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合、具体的には、新規にネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた等は、いきなり上記の所定駆動条件や標準的な駆動条件で駆動すると、予期せぬ故障が発生する可能性があるので、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、低負荷駆動条件で駆動した時の状態変数を、状態観測部を通じて観測し、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力するようにすることが望ましい。

そうすることによって、長期休止中に加工ヘッドの保護ウィンドウが汚染しており、保護ウィンドウからの反射光で故障が発生したり、光軸調整が不充分で意図していない場所にレーザ出力光や反射光が照射して故障が発生したり、一瞬の内に故障が発生してしまうことが防止できるようになる。低負荷駆動だけでは判定できない場合、もう少し高い負荷駆動条件での駆動を試行するようにしてもよい。

＜第７実施形態＞
図１５は、本発明の第７実施形態の機械学習装置が、出力したリストの一例であり、学習によって習得したレーザ装置における各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目が記載されている。学習によって様々な故障の中の各故障に対応した定量的故障発生メカニズムを習得すると、故障の発生頻度を低減するために有効な改善点が分かってくるので、その情報が出力されると、レーザ装置の信頼性向上に対する有効な知見が得られ、高信頼・長寿命レーザ装置の開発が可能になる。故障メカニズムについては、リストには概要だけを表示することになると思われるので、故障メカニズムの概要にリンクを貼って、クリックすると、定量的な値も含んだ定量的故障発生メカニズムの詳細が表示されるようにしてもよい。各改善項目にスコアや優先順位が付記されるようにしてもよい。また、平均修理費用や平均修復時間等の項目もリストに載せて、改善の必要性がより分かり易くなるようにしてもよい。

＜第８実施形態＞
図１６は、本発明の第８実施形態の機械学習装置のネットワーク上の位置やネットワークへの接続状態の一例を示すブロック図である。第１実施形態から第７実施形態のいずれかの機械学習装置２０１が、第１ネットワーク２１を介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセル２２を制御するフォグサーバ２３上に存在している。比較的小規模のセルを制御するフォグサーバ上に存在させることでレーザ装置の状態変数の観測、故障回避駆動条件の指令等、リアルタイム性が重要な情報の交換を遅滞なく行うことができる。

また、第１実施形態から第７実施形態のいずれかの機械学習装置３０１が、第１ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも１つのセルを制御するフォグサーバの少なくとも一つを、第２ネットワークを介して制御するクラウドサーバ上に存在している。大規模な記録容量を備え、大規模な信号処理を高速で行うことが可能なクラウドサーバ上に存在させることで、ニューラルネットワーク等のよる機械学習に伴う信号処理や計算を高速で行うことが可能になる。

また、図１６に示したように、機械学習装置２０１，３０１が複数存在し、複数の機械学習装置の間で、機械学習の結果を相互に交換または共有することが望ましい。故障発生は、それほど頻繁に発生しないため、学習の進行に時間が掛かり易いが、学習結果を交換または共有することによって、学習の進行速度を速めることができる。また学習の精度も向上する。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

１，１０１，２０１，３０１ 機械学習装置
２ レーザ装置
３ ネットワーク
４ レーザ発振器
５ 電源部
６ レーザ光学系
７ 出力光センサ
８ 反射光センサ
９ 制御部
１０ レーザ光
１１，１１１ 学習部
１２ 判定結果取得部
１３ 状態観測部
１４ 意思決定部
１５ 判定結果付きデータ・物理モデル記録部
１６ 誤差計算部
１７ 学習モデル更新部
１９ 報酬計算部
２０ 価値関数更新部
２１ 第１ネットワーク
２２ セル
２３ フォグサーバ
２４ 第２ネットワーク
２５ クラウドサーバ
２６ その他の機器

Claims (15)

1. 少なくとも一つのレーザ発振器と、
   前記レーザ発振器に駆動電流を供給する電源部と、
   前記レーザ発振器から出射したレーザ光の光出力を検出する少なくとも一つの出力光センサと、
   少なくとも、前記電源部に光出力指令に応じた電流出力指令を出力し、前記出力光センサからの検出信号を受取る制御部と、
   を備える、少なくとも１台のレーザ装置とネットワークを通じて相互に情報通信が可能な状態に接続された機械学習装置であって、
   前記レーザ装置の前記制御部を通じて、前記出力光センサによって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置の内外の状態変数を観測する状態観測部と、
   故障発生の引き金となる故障原因とその大きさから故障原因によって引き起こされたレーザ装置の状態の定量的な変化、レーザ装置の状態の変化に伴い損傷が発生する物理的なメカニズム、その物理的メカニズムによって損傷する場所や損傷状態や程度といった故障状況に至るまでの一連の因果関係も含むレーザ装置の定量的故障発生メカニズムであって、前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズムに対する正否の判定結果を取得する判定結果取得部と、
   前記状態観測部からの出力および前記判定結果取得部からの出力を受取り、前記各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部により観測された前記レーザ装置の状態変数と、前記判定結果取得部により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部と、
   少なくとも前記光出力の時系列データと前記光出力指令との照合から前記各故障の発生が検知された時には、前記学習部の学習結果を参照して、前記機械学習装置から出力すべき前記定量的故障発生メカニズムを決定して出力する意思決定部と、
   を備え、
   前記状態観測部による前記レーザ装置の状態の観測、前記意思決定部による出力するべき定量的故障発生メカニズムの決定と出力、出力された前記定量的故障発生メカニズムに対する正否の判定結果の前記判定結果取得部による取得、前記学習部による学習が繰り返し行われる、
   ことを特徴とする機械学習装置。
2. 前記状態観測部が観測する前記レーザ装置の前記状態変数に、前記レーザ装置の加工ヘッドを含むハードウェア構成と、
   前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、
   前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力と、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度と、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力と、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度と、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度と、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力と、レーザ装置に加わる振動強度、加速度、衝撃強度と、レーザ装置の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度と、
   前記駆動条件あるいは前記駆動状況の履歴と、
   前記レーザ装置の修理履歴と、
   前記レーザ装置を制御する制御ソフトウェアの内部データと、
   前記出力データあるいは前記内部データに基づいて得られる計算データとの内の少なくとも一つ以上が含まれる、
   ことを特徴とする請求項１に記載の機械学習装置。
3. 請求項１または２に記載の機械学習装置であって、前記レーザ装置における各故障に対応した、故障発生の引き金になる故障原因とその大きさから、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態や程度を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムの少なくともその一部を表現した少なくとも一つ以上の物理モデルを記録していると共に、前記物理モデルを参照して、前記各故障に対応した前記定量的故障発生メカニズムの推定と、前記各故障に対応した前記定量的故障発生メカニズムの学習とを行う、
   ことを特徴とする機械学習装置。
4. 前記レーザ装置における各故障に対して出力された前記定量的故障発生メカニズムに対する正否の判定は、前記レーザ装置の管理者あるいは操作者あるいは修理担当者によって確認された故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無と、前記物理モデルを参照して検証される、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムとの整合性の有無との内の少なくとも一方の合致性の有無によって行われる、
   ことを特徴とする請求項３に記載の機械学習装置。
5. 前記学習部が、学習結果を反映した少なくとも一つ以上の学習モデルを有すると共に、誤差計算部と学習モデル更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、前記差異の大きさに応じて誤差を計算し、前記学習モデル更新部で前記誤差に応じて前記学習モデルを更新すると共に、前記確認された故障発生状況と前記出力された定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルに照合すると矛盾している場合は、前者より更に大きな誤差が生じたとして誤差を計算し、前記学習モデル更新部が前記誤差の大きさに応じて前記学習モデルを更新する、
   ことを特徴とする請求項４に記載の機械学習装置。
6. 前記学習部が、学習結果を反映した少なくとも一つ以上の価値関数を有すると共に、報酬計算部と価値関数更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とが一致する場合は、前記報酬計算部はプラスの報酬を設定し、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、差異の大きさに応じて前記報酬計算部はマイナスの報酬を設定し、確認された故障発生状況と推定した定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルと照合すると矛盾している場合は、前記報酬計算部は前者より大きなマイナスの報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新する、
   ことを特徴とする請求項４に記載の機械学習装置。
7. 請求項６に記載の機械学習装置であって、前記学習部が、前記レーザ装置における故障を検知した時に、前記故障に対して、単一の第１候補の前記定量的故障発生メカニズムだけでなく、第２候補の前記定量的故障発生メカニズムや、第３候補の前記定量的故障発生メカニズムなど、複数の前記定量的故障発生メカニズムを、前記意思決定部を通じて出力し、前記報酬計算部は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、前記定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定し、前記定量的故障発生メカニズムの候補順位が下位であるほど、相対的に絶対値の小さな報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新する、
   ことを特徴とする機械学習装置。
8. 請求項１から７のいずれか１つに記載の機械学習装置であって、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置のいずれかの前記状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの前記定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置の前記制御部に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有する、
   こと特徴とする機械学習装置。
9. 請求項８に記載の機械学習装置であって、前記機械学習装置が、前記レーザ装置の前記制御部に対して、所定のスケジュールに従って、所定駆動条件で、前記レーザ装置を駆動するように指令し、前記所定駆動条件で駆動した時毎の前記レーザ装置の光出力特性データを含む前記状態変数を前記レーザ装置の前記状態変数の履歴データとして記録し、記録した前記履歴データを前記状態観測部が観測する状態変数に含める、
   ことを特徴とする機械学習装置。
10. 請求項９に記載の機械学習装置であって、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合には、前記レーザ装置を標準的な駆動条件で駆動した時に、前記故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、前記故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、前記残存時間が所定時間より短くなると、前記残存時間と、前記残存時間の経過後に発生すると予測される前記定量的故障発生メカニズムの内、少なくとも一方の情報を出力する予防保全装置としての機能も有する、
    ことを特徴とする機械学習装置。
11. 請求項１から１０のいずれか１つに記載の機械学習装置であって、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置が、新たに前記ネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた状態の内のいずれかの状態に該当し、前記レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合には、該当するレーザ装置の前記制御部に対して、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、前記低負荷駆動条件で駆動した時の状態変数を、前記状態観測部を通じて観測し、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力する、
    ことを特徴とする機械学習装置。
12. 請求項１から１１のいずれか１つに記載の機械学習装置であって、学習によって取得した各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、前記レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目のリストを出力する機能を有する、
    ことを特徴とする機械学習装置。
13. 請求項１から１２のいずれか１つに記載の機械学習装置であって、第１ネットワークを介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセルを制御するフォグサーバ上に存在する、
    ことを特徴とする機械学習装置。
14. 請求項１３に記載の機械学習装置であって、第１ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも１つのセルを制御するフォグサーバの少なくとも一つを第２ネットワークを介して制御する、クラウドサーバ上に存在する、ことを特徴とする機械学習装置。
15. 前記機械学習装置が複数存在し、複数の前記機械学習装置の間で、機械学習の結果を相互に交換または共有する、
    ことを特徴とする請求項１から１４のいずれか１つに記載の機械学習装置。

Images