JP6591509B2 - 金型温度異常予兆検知装置及びプログラム - Google Patents

Description

本発明の実施形態は、ダイカストマシン、射出成形機等に用いられる金型の温度異常の予兆を検知する金型温度異常予兆検知装置及びプログラムに関する発明である。

従来より、金型を用いた金属部品あるいは樹脂部品等の製造が行われている。
例えば、ダイカストマシンによる鋳造は、金型にアルミ溶液等の溶湯を流し込み、凝固させ、鋳造品を取り出す鋳造工程を含む。鋳造部品の欠陥には、湯回り不良や鋳巣があり、これらの欠陥は、欠陥全体の７０％を占める場合もある。いずれも金型の温度異常に起因する欠陥であることから、金型温度は、ダイカスト鋳造現場での重要な品質管理項目として扱われている。

金型の温度制御は、サーモカップルのような温度センサを用いて金型の温度を検出し、検出された温度に基づいて金型のヒーターを制御することによって行われる場合もあるが、サーモーカップルは、定点の温度しか検出できない。

そのため、例えば離型剤の不均一な散布などがあると、離型剤の散布による冷却効果も不均一になり、熱だまりが生じてもサーモカップルでは定点計測しかできず、かつ熱だまりの箇所も常に同じ場所に発生しないため、熱だまり箇所を検出できない場合があるため、湯回り不良や鋳巣不良が発生してしまう場合がある。

そこで、金型の表面全体を計測できるサーモグラフィを導入し、製造現場の有識者がサーモグラフィ画像から熱だまりの予兆発生メカニズムを解析して、熱だまりの予兆から離型剤の散布の方向や量などを調整することにより、金型の温度異常が発生しないように金型温度制御を行うことが行われる。

しかし、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。

特許第５６３７２８７号公報

そこで、本実施形態は、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及びプログラムを提供することを目的とする。

実施形態の金型温度異常予兆検知装置は、所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部であって、前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルである、モデル生成部と、前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、を有する。

実施形態に係わる金型温度制御システムの構成図である。 実施形態に係わる、ダイカストマシン７における金型キャビティへのアルミニウム等の溶湯の射出系を説明するための模式図である。 実施形態に係わるサーモ画像の例を示す図である。 実施形態に係わる、サーモ画像データ保存部２１のデータ構造を説明するための図である。 実施形態に係わる、現場有識者教示データ保存部２２のデータ構造を説明するための図である。 実施形態に係わる、前処理データ一時保存部２３ａのデータ構造を説明するための図である。 実施形態に係わる、推論モデルデータ保存部５１のデータ構造を説明するための図である。 実施形態に係わる、推論モデル生成処理のシーケンス図である。 実施形態に係わる、前処理データと教示データの対応関係を説明するための図である。 実施形態に係わる、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルを説明するための図である。 実施形態に係わる、マシン制御ルール保存部５２のデータ構造を示す図である。 実施形態に係わる、異常予兆判定ルール保存部５３のデータ構造を示す図である。 実施形態に係わる、前回判定一時保存部５５ａのデータ構造を示す図である。 実施形態に係わる、サーモ画像データ一時保存部６１ａのデータ構造を示す図である。 実施形態に係わる、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。 実施形態に係わる、推論実行からパトランプ点灯までの処理のシーケンス図である。 実施形態に係わる、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。 実施形態に係わる、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。 図実施形態に係わる、勾配データの可視化処理の流れの例を示すフローチャートである。 実施形態に係わる、推論注目データセットの一例を示す図である。 実施形態に係わる、モニタ６に表示される可視化された勾配データの表示例を示す図である。

以下、図面を参照して実施形態を説明する。
（システム構成）
図１は、本実施形態に係わる金型温度制御システムの構成図である。金型温度制御システム１は、推論モデル生成装置２と、金型温度自動制御装置３と、サーモグラフィ４と、パトランプ５と、表示装置であるモニタ６とを含む。

金型温度自動制御装置３は、接続されたダイカストマシン７に制御信号を出力する。図１では、金型温度自動制御装置３に接続された１台のダイカストマシン７が図示されているが、金型温度自動制御装置３に複数台のダイカストマシンを接続し、金型温度自動制御装置３は複数のダイカストマシンの制御を行うことができるようにしてもよい。

ダイカストマシン７は、金型Ｄの動きを制御するマシン動作制御部８を含む。金型温度自動制御装置３はダイカストマシン７のマシン動作制御部８へ制御信号を出力する。
サーモグラフィ４は、金型Ｄの所定の領域を撮像するように設置されている。サーモグラフィ４も、複数のダイカストマシンがあるときは、ダイカストマシン毎に設置される。後述するように、サーモグラフィ４が出力するサーモグラフィデータの中から、ダイカストの鋳造品が作成される各ショットにおける所定のタイミングで得られたサーモ画像が、推論モデル生成装置２、金型温度自動制御装置３の推論実行指示部６２以降の推論処理において用いられる。

推論モデル生成装置２が、ダイカストマシンの金型Ｄについての推論モデルを生成し、金型温度自動制御装置３は、生成された推論モデルに基づいて、金型Ｄの温度異常の予兆検知、ダイカストマシン７の自動制御など行う。よって、推論モデル生成装置２と金型温度自動制御装置３が、金型温度異常予兆検知装置を構成する。

図２は、ダイカストマシン７における金型キャビティへのアルミニウム等の溶湯の射出系を説明するための模式図である。
２つの金型Ｄ１，Ｄ２は、一方の金型Ｄ１がショット毎に矢印Ａで示す方向に移動して金型Ｄ２に密着して型締めされる。金型Ｄ１とＤ２が密着している間に、ランナーＲ内の溶湯Ｍが、プランジャーＰの移動により、２つの金型Ｄ１，Ｄ２内の金型キャビティ内に射出され充填される。

その後、金型キャビティ内の溶湯Ｍが保圧されて冷却された後に、金型Ｄ１が矢印Ａで示す方向とは反対方向に移動して、２つの金型Ｄ１，Ｄ２は、型開きし、成形された鋳造品の取り出しが行われる。

また、鋳造品を製造している途中で、鋳造品が金型から抜け易くするように、離型剤の散布が行われる。なお、複雑な構造の金型では、離散剤が均一に散布されにくく、離型剤の不均一な散布が続くと、金型の内側表面上に微小な高温箇所が発生し、やがて大きな熱だまりとなって、湯回り不良や鋳巣不良が発生する。

サーモグラフィ４は、金型Ｄ１、Ｄ２の一方の金型キャビティ側の内側表面を含むように、金型を撮像する。後述するように、サーモグラフィ４の画像は、ショット毎に一定のタイミングで収集される。

図３は、サーモ画像の例を示す図である。図３は、金型の内側表面を含む、サーモグラフィ４により撮像されて得られた画像の例を示す模式図であり、ここでは熱分布の状態は図示していない。サーモグラフィ４が金型の内側表面を斜め方向から撮像しているため、矩形の金型キャビティは台形で表わされている。サーモグラフィ４の画像ＳＭ中、キャビティ内側表面の領域Ｄｉは、点線で示されている。画像の切りだし領域ｒＳＭは二点鎖線で示されている。

ショット毎に得られるサーモグラフィ４の画像ＳＭからキャビティ内側表面の領域Ｄｉを含む領域が切り出されて、その切り出し領域ｒＳＭの画像が、後述するモデル生成、推論処理などに用いられる。

切り出し領域ｒＳＭの画像をモデル生成等に用いるのは、モデル生成等の精度を向上させるためであるが、サーモグラフィ４の画像ＳＭ全体をモデル生成、推論処理などに用いてもよい。
また、以下の例では、サーモグラフィ４は一台で、２つの金型の一方の金型キャビティ内側表面を撮像するが、サーモグラフィ４を２台以上設けて、ショット毎に２つの金型の両方の金型キャビティ内側表面を撮像するようにしてもよい。

次に、図１に戻り、推論モデル生成装置２の構成を説明する。
（推論モデル生成装置の構成）
推論モデル生成装置２は、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含む制御部１１（点線で示す）と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置１２（点線で示す）と、キーボード、モニタ、マウス、データ入力及び出力インターフェースなど入出力インターフェース（以下、入出力Ｉ／Ｆと略す）１３（点線で示す）、等のハードウエア回路を含むコンピュータである。

推論モデル生成装置２は、さらに、サーモ画像データ保存部２１と、現場有識者教示データ保存部２２と、サーモ画像前処理部２３と、前処理データ一時保存部２３ａと、推論モデル生成部２４と、を有する。

サーモ画像データ保存部２１、現場有識者教示データ保存部２２及び前処理データ一時保存部２３ａは、データを記憶する記憶領域であり、記憶装置１２に含まれる。
サーモ画像前処理部２３と推論モデル生成部２４は、ソフトウエアプログラムであり、記憶装置１２に記録されており、制御部１１のＣＰＵによって読み出されて実行される。

サーモ画像データ保存部２１は、ユーザにより指定されて登録されたサーモ画像データセットを保存する記憶部である。
図４は、サーモ画像データ保存部２１のデータ構造を説明するための図である。

サーモ画像データ保存部２１は、図４に示すように、各サーモ画像についての、撮影日時、製品の識別子（以下、ＩＤと略す）である製品ＩＤ、撮影対象の金型を組み込んだダイカストマシンのＩＤであるダイカストマシンＩＤ、サーモ画像のＩＤであるサーモ画像ＩＤ、及びサーモ画像データを含んで構成されるデータベースである。

サーモ画像データセットは、実際にダイカストマシンで鋳造する時の金型を、サーモグラフィ４を使って撮影した画像の集合体である。サーモ画像データ保存部２１に登録されているサーモ画像には、製造された製品の鋳造品質が良かったときの撮影画像と鋳造品質が悪かった時の撮影画像が混在している。

サーモ画像データは、ＪＰＥＧ、ＢＭＰ等のファイルフォーマット形式のデータであり、本実施形態ではカラー画像である。
現場有識者は、コンピュータである推論モデル生成装置２を操作して、事前に蓄積しておいたサーモ画像データセットを、サーモ画像データ保存部２１に登録する。

現場有識者教示データ保存部２２は、ユーザにより指定された教示データセットを保存する記憶部である。現場有識者教示データ保存部２２には、サーモ画像、すなわちサーモグラフィ４により得られた熱分布画像であるサーモ画像に関連付けられた教示データが登録される。

図５は、現場有識者教示データ保存部２２のデータ構造を説明するための図である。
図５に示すように、現場有識者教示データ保存部２２は、サーモ画像ＩＤと教示データを含んで構成される。

教示データは、現場有識者が鋳造品の品質（良品、不良品のいずれか）を判断して、設定されたデータである。鋳造時のサーモ画像データと紐づけられている。教示データとサーモ画像データの紐づけは、サーモ画像ＩＤで行われている。

以上のように、現場有識者は、コンピュータである推論モデル生成装置２を操作して、事前に設定しておいた教示データセットを、現場有識者教示データ保存部２２に登録することができる。

サーモ画像前処理部２３は、サーモ画像データ保存部２１から、サーモ画像ＩＤリストに含まれるサーモ画像のサーモ画像データセットを取得する。
サーモ画像ＩＤリストは、ユーザが、推論モデル生成装置２に対してモデル生成の実行リクエストを与えるときに、ユーザにより指定されるリストであり、推論モデルの生成に用いるサーモ画像を特定する。

ユーザが、推論モデル生成装置２に対してモデル生成の実行リクエストを与えると、制御部１１は、サーモ画像前処理部２３を実行し、その後、推論モデル生成部２４を実行する。

サーモ画像前処理部２３は、取得したサーモ画像データセットを入力とし、前処理を実行する。前処理では、後述するモデル生成処理の効率を上げるために、サーモ画像の各画素値を０〜１の範囲の値に収まるように正規化する処理が行われる。

前処理では、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する変換処理が行われる。
また、前処理では、全てのモノクロサーモ画像データから、ピクセル単位で加算しかつ２５５で割って平均値をとった平均画像データを作成する平均値画像データ生成処理が行われる。作成した平均画像データは一時的に記憶装置１２の所定の領域に保存される。

そして、前処理では、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する前処理データ作成処理が実行される。
サーモ画像前処理部２３は、作成された全ての前処理データを、前処理データ一時保存部２３ａに登録する。

図６は、前処理データ一時保存部２３ａのデータ構造を説明するための図である。
図６に示すように、前処理データ一時保存部２３ａは、サーモ画像ＩＤと前処理データを含んで構成される。

前処理データは、ＪＰＥＧ、ＢＭＰ等のファイルフォーマット形式のデータである。
上述したように、サーモ画像前処理部２３は、サーモグラフィ４により得られたサーモ画像中の所定の切り出し領域のみに対して、前処理を行う。

サーモグラフィ４は、金型の注目領域以外の領域も含まれるように金型を撮像しているため、そのようにして得られたサーモ画像中から、図３に示すように、注目領域である切り出し領域ｒＳＭのみを切り出して、その切り出した領域の画像データに対して、前処理が行われる。後述する金型異常温度推論処理も、同じ注目領域である切り出し領域ｒＳＭに対して行われる。注目領域のみに対して前処理等を行うことによって、推論精度が向上する場合があるからである。
なお、上述したように、画像ＳＭ全体に対して前処理を行うようにしてもよい。

推論モデル生成部２４は、サーモ画像前処理部２３の実行後に実行される。
推論モデル生成部２４は、前処理データ一時保存部２３ａに保存された前処理データに対してディープラーニングによる学習を実行し、推論モデルを生成する処理を行う。本実施形態での推論モデル生成部２４は、ダイカストマシンの鋳造ごとに、金型の温度を示すサーモ画像の各ピクセルデータをプロットした空間上から、良品と不良品をうまく分離できる境界面を定めたニューラルネットワーク型の推論モデルを作成する。

ここで、推論モデルとは、ニューラルネットワークを構成する入力層、隠れ層及び出力層の構造情報、すなわちニューラルネットワークの構造情報と、ニューラルネットワーク中の各種重みなどのパラメータ情報とからなるニューラルネットワーク型の推論モデルである。

ニューラルネットワーク型の推論モデルの生成方法は、ディープラーニングによる学習により行う。ディープラーニングによる学習とは、推論された出力データと、入力データに対する教示データ（正解）との誤差が少なくなるように、各層の重み（ω1・・・ωＮ）を少しずつ適正な値に更新し、最適な重み（すなわち推論モデル）を求める処理である。

本実施形態のニューラルネットワークには、サーモ画像データが対象のため、画像解析でよく利用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いている。なお、ＣＮＮについては、文献「ワイ・ルクン、ビー・ボザー、ジェイ・エス・デンカー、ディ・ヘンダーソン、アール・イー・ハワード、ダブリュ・ハバード、エル・ディ・ジャカル著、「手書きジップコード認識に適用される誤差逆伝播法」ニューラルコンピューテーション、１巻、５４１〜５５１頁、１９８９（Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L.D. Jackel, “Backpropagation applied to handwritten zip code recognition", NeuralComputation, vol.1, pp.541-551, 1989.）」を参照されたし。

また、本実施形態では、鋳造品の不良が生じる金型の温度が異常になる前に、サーモ画像の時系列変化から、異常の予兆が検知される。そのため、現在の鋳造からＮ（Ｎは、正の整数）回先の鋳造時の金型の温度異常の予兆を検知したい場合は、「Ｎ枚」分のサーモ画像データを入力として、Ｎ回先の教示データを出力として、推論モデルが作成される。このような推論モデルによって、サーモ画像の時系列変化の特徴が捉えられる。

例えば、前処理されたサーモ画像がｍ×ｋ（ｍは、画像の縦の画素数、ｋは、画像の横の画素数）、Ｎが３の場合、１サンプルは、ｍ×ｋ×Ｎの次元数を有する画素値データである。

本実施形態の推論モデルは、複数のサンプルデータから作成されるが、例えば、直前の連続する過去Ｎ枚のサーモ画像から、その後のＮショット先に製造される鋳造品の良／不良を推論し、温度異常の予兆のレベルを示す異常度を出力するためのモデルである。異常度は、数値で示され、ここでは０．０〜１．０の範囲の値であり、つまり確率という形で出力される。異常度は、値が低い程、良品の製造され易く、値が高い程、不良品の製造され易い確度は高いことを示す。

異常度を算出する推論処理では、入力データが、前述の推論モデルの入力層、隠れ層、出力層へと流れ、最後に出力データを生成する処理を実行する。異常度を示す確率は、最後の隠れ層からの出力値を入力に、ソフトマックス関数によって求められる。ここで、ソフトマックス関数とは、正常と異常など二つの確率分布の間に定義される尺度である。

推論モデル生成部２４が作成した推論モデルデータＭＤは、所定の形式のデータファイルとして、金型温度自動制御装置３の推論モデルデータ保存部５１に登録される。推論モデルデータは、推論モデル生成装置２と金型温度自動制御装置３が通信ラインで接続されていれば、推論モデル生成装置２から金型温度自動制御装置３に送信されて、推論モデルデータ保存部５１に登録される。推論モデル生成装置２と金型温度自動制御装置３が通信ラインで接続されていなければ、推論モデルデータＭＤをメモリカードなどの記憶媒体に記憶し、そのメモリカードのデータを管理者が推論モデルデータ保存部５１に登録する。

また、前処理部で作成された平均画像データも、推論モデルデータＭＤと共に、金型温度自動制御装置３に送信等されて、サーモ画像前処理部６３に登録される。

推論モデルデータは、入力層に与えられた入力に対して、ニューラルネットワークの出力層の各出力ノードの値を算出するために必要な情報を含む。ここで、各出力ノードの値を算出するために必要な情報は、各エッジの重み、バイアスの値、その他活性化関数のパラメータなどの各種パラメータである。

図７は、推論モデルデータ保存部５１のデータ構造を説明するための図である。図７は、複数の推論モデルについての推論モデルが推論モデルデータ保存部５１に登録されている例を示し、各推論モデルは、ダイカストマシン毎でかつ製品毎に生成されて推論モデルデータ保存部５１に登録される。

図７に示すように、推論モデルデータ保存部５１は、推論モデルＩＤ、製品ＩＤ、ダイカストマシンＩＤ、サーモ画像リスト及び推論モデルデータを含んで構成される。

推論モデルＩＤは、推論モデルを識別するためのＩＤである。
製品ＩＤは、製品（ここでは鋳造品）を識別するためのＩＤである。
ダイカストマシンＩＤは、ダイカストマシンを識別するためのＩＤである。

サーモ画像リストは、推論モデルを生成するために用いられたサーモ画像ＩＤのリスト情報である。
推論モデルデータは、推論モデルを特定する行列形式のモデルパラメータセットである。

次に、以上のような構成の推論モデル生成装置２における推論モデルの生成処理について説明する。
図８は、推論モデル生成処理のシーケンス図である。

まず、ユーザは、推論モデル生成装置２へのサーモ画像ＩＤリストの送信を行う（Ｃ１）。すなわち、推論モデル生成装置２により推論モデルを作成したいとするユーザは、推論モデル生成装置２のキーボードなどから、推論モデル生成のために用いるサーモ画像のリスト情報を推論モデル生成装置２に入力あるいは与える。

入出力Ｉ／Ｆ１３は、入力されたサーモ画像ＩＤリストを、サーモ画像前処理部２３へ送信する（Ｃ２）。
サーモ画像前処理部２３は、サーモ画像データ保存部２１から、サーモ画像ＩＤリストに示されるサーモ画像データセットを一括取得する（Ｃ３）。

サーモ画像前処理部２３は、取得したサーモ画像データセットを入力とし、上述した前処理を実行する（Ｃ４）。
サーモ画像前処理部２３は、全ての前処理データを、前処理データ一時保存部２３ａに登録する（Ｃ５）。

ユーザは、推論モデル生成部２４へ推論モデルの生成の実行を要求する（Ｃ６）。
推論モデル生成部２４は、前処理データ一時保存部２３ａから前処理データセットを一括取得する（Ｃ７）。

推論モデル生成部２４は、現場有識者教示データ保存部２２から、教示データを一括取得する（Ｃ８）。
ここでは、前処理データは、サンプル単位ではなく、一括して取得される。取得した前処理データと教示データは、サーモ画像ＩＤで紐付けられる。

推論モデル生成部２４は、ディープラーニングによる学習を実行し、推論モデルを生成する（Ｃ９）。推論モデル生成部２４への入力データは、前処理データと教示データのペアであり、出力データは、推論モデルデータＭＤである。

推論モデルにおけるニューラルネットワークの構造（入力層のノード数、隠れ層の数、出力層のノード数、各隠れ層のノード数など）は、ユーザにより予め設定される。
よって、推論モデルデータＭＤは、そのニューラルネットワークの構造における重みなどのパラメータデータのセットである。

ここで、本実施形態の推論モデルについて説明する。
図９は、前処理データと教示データの対応関係を説明するための図である。

図９において、ショット毎の前処理データの画像Ｇが時系列に沿って得られ、複数の画像Ｇに対応する教示データが、推論モデル生成部２４に与えられる。
図９では、画像Ｇ１が得られたときの製品は良品であり、同様に、画像Ｇ１に続く画像Ｇ２，Ｇ３が得られたときの製品も良品であったが、画像Ｇ３に続く画像Ｇ４、Ｇ５が得られたときの製品が不良品であるとき、画像Ｇ中の所定温度以上の領域ＨＡの変化に基づき、Ｎショット先の製品の良／不良を予測できる。

本実施形態の推論モデルは、Ｎを３としたとき、直前の過去３枚の画像から３ショット先に製造される製品の良／不良を予測するモデルとなる。よって、推論モデル生成部２４は、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルデータを生成する。

図１０は、Ｎ枚の前処理画像を入力データとして、Ｎショット先の製品の良／不良を予測する推論モデルを説明するための図である。
図１０では、前処理画像である画像Ｇ１１が得られた後、次のショット、すなわち型締め、射出、保圧、零曲、型開き及び取り出し、が行われ、製品が製造される。

前処理データと教示データは、サーモ画像ＩＤにより紐付けられており、推論モデル生成部２４は、各ショットで作成された製品の教示データ（良品あるいは不良品であるとの情報）に基づいて、連続する３ショット分の前処理データから、３ショット先の製品が良品となるか不良品となるかの推論をする推論モデルデータＭＤを、学習により生成する。

図１０の場合、連続する画像Ｇ１１，Ｇ１２，Ｇ１３を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１６が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像Ｇ１２，Ｇ１３，Ｇ１４を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１７が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像Ｇ１３，Ｇ１４，Ｇ１５を１つのサンプルデータとする推論モデルの入力に対して、画像Ｇ１８が得られたときに作成された製品が「不良品」であるという教示データが推論モデルの出力に対応している。

サンプルデータの各サーモ画像データは、所定の間隔で取得された金型の画像データである。推論モデル生成部２４は、複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、金型の温度異常の予兆を検知するための推論モデルを生成する。このとき、推論モデル生成部２４は、複数のサーモ画像データの中から抽出された連続する所定数（Ｎ）の時系列画像データを１つのサンプルデータとして学習を行う。

すなわち、推論モデル生成部２４は、所定の間隔で取得された金型の複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、複数のサーモ画像データの中から抽出された連続する所定数（Ｎ）の時系列画像データを１つのサンプルデータとして学習して、金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部を構成する。

以上のように、時系列的に連続する所定数の前処理画像が、纏めて１つのサンプルデータとして、推論モデル生成部２４に与えられ、ディープラーニングによる推論モデルの生成に用いられる。

上述したように、推論モデル生成部２４は、複数のサンプルデータを、推論モデルのニューラルネットワークに与え、ニューラルネットワーク中の各層の各ノードの重み係数などを含む、推論モデルデータＭＤを算出する。ここでは、金型のサーモ画像に基づいて、過去の複数の画像から複数先の製品が良品となるか不良品となるかを推論可能な推論モデルが、生成される。

上述したように、推論モデル生成部２４は、生成された推論モデルデータＭＤを、例えば通信ラインを介して、金型温度自動制御装置３に送信して推論モデルデータ保存部５１に保存する（Ｃ１０）。
以上のようにして、推論モデルが生成される。

推論モデルデータ保存部５１に保存された推論モデルデータＭＤは、金型温度自動制御装置３の管理者により、後述する金型温度異常度推論部５４にセットされる。
（金型温度自動制御装置の構成）
図１に戻り、金型温度自動制御装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む制御部４１（点線で示す）と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置４２（点線で示す）と、キーボード、モニタ、マウス、データ入力インターフェースなど入出力Ｉ／Ｆ（図示せず）とを含むコンピュータである。

金型温度自動制御装置３は、推論モデルデータ保存部５１と、マシン制御ルール保存部５２と、異常予兆判定ルール保存部５３と、金型温度異常度推論部５４と、金型温度異常予兆判定部５５と、パトランプリクエスト送信部５６と、マシン動作リクエスト送信部５７と、推論注目領域可視化処理部５８と、金型温度モニタ表示処理部５９と、サーモグラフィデータ収集部６０と、サーモグラフィ画像変換部６１と、推論実行指示部６２と、サーモ画像前処理部６３と、を有する。

推論モデルデータ保存部５１と、マシン制御ルール保存部５２と、異常予兆判定ルール保存部５３は、データを記憶する記憶領域であり、記憶装置４２に含まれる。
金型温度異常度推論部５４と、金型温度異常予兆判定部５５と、パトランプリクエスト送信部５６と、マシン動作リクエスト送信部５７と、推論注目領域可視化処理部５８と、金型温度モニタ表示処理部５９と、サーモグラフィデータ収集部６０と、サーモグラフィ画像変換部６１と、推論実行指示部６２と、サーモ画像前処理部６３は、ソフトウエアプログラムであり、記憶装置４２に記録されており、制御部４１のＣＰＵによって読み出されて実行される。

推論モデルデータ保存部５１は、上述した推論モデルデータＭＤが格納される記憶部である。
マシン制御ルール保存部５２は、ダイカストマシン７の動作を制御するマシン制御ルールを格納する記憶部である。マシン制御ルールは、前回の判定ＩＤ、現在の判定ＩＤ、マシン制御を組にしたレコードの集合体で構成される。マシン制御ルールのデータ構造については後述する。

図１１は、マシン制御ルール保存部５２のデータ構造を示す図である。マシン制御ルールは、前回の判定ＩＤ、現在の判定ＩＤ、マシン制御を組にしたレコードの集合体で構成される。
異常予兆判定ルール保存部５３は、異常予兆判定ルールを格納する記憶部である。

図１２は、異常予兆判定ルール保存部５３のデータ構造を示す図である。
異常予兆判定ルールは、判定ルール、判定ＩＤ、パトランプ制御を組にした二つ以上のレコードで構成される。レコード数は、異常度のレベル数に相当し、本実施形態では、３つのレベルを定義している。例えば、「JudgeRule01」は正常レベル、「JudgeRule02」は警告レベル、「JudgeRule03」はエラーレベルの意味を持つ。各判定ルールに対し、異常度の範囲を定義している。パトランプ制御は、適合する判定ルールに対し、パトランプで点灯させる色を定義する。

金型温度異常度推論部５４は、推論モデルに基づき、上述した異常度を推論する推論処理を実行する。より具体的には、金型温度異常度推論部５４は、受け取ったＮ枚分の前処理データを入力データとして、Ｎショット先の金型の温度異常の予兆の発生を検知する推論処理を実行し、０．０から１．０の範囲の値である異常度を出力する。

金型温度異常度推論部５４は、出力した異常度データＡＤを、金型温度異常予兆判定部５５へ送信する。
金型温度異常予兆判定部５５は、異常予兆判定ルールと異常度とに基づいて、異常予兆判定処理を実行する。

従って、金型温度異常度推論部５４と金型温度異常予兆判定部５５が、金型の所定数（Ｎ）の時系列画像データに基づいて、推論モデルを用いて所定数（Ｎ）先の金型の温度異常の予兆の発生を検知する推論実行部を構成する。

金型温度異常予兆判定部５５は、判定結果に基づき、パトランプ５への動作指示を決定し、パトランプリクエスト送信部５６へ出力し、ダイカストマシン７の動作内容を示す制御情報をマシン動作リクエスト送信部５７へ出力する。

金型温度異常予兆判定部５５は、判定結果を前回判定一時保存部５５ａに格納する。前回判定一時保存部５５ａは、記憶装置４２のメモリ領域でもよいが、所定のレジスタでもよい。

図１３は、前回判定一時保存部５５ａのデータ構造を示す図である。前回判定一時保存部５５ａには、前回判定ＩＤが、格納可能となっている。
図１に戻り、パトランプリクエスト送信部５６は、パトランプ５へ動作リクエスト信号を送信する処理部である。

マシン動作リクエスト送信部５７は、受信したマシン制御情報を、ダイカストマシン７のマシン動作制御部８へ送信する。例えば、受信したマシン制御情報が稼働再開であれば、ダイカストマシン７のマシン動作制御部８は、受信したマシン制御情報（稼働再開）に基づき、ダイカストマシン７の稼働を再開する。
推論注目領域可視化処理部５８は、注目領域の勾配データを可視する処理を実行する。

推論注目領域可視化処理部５８における処理については後述する。
金型温度モニタ表示処理部５９は、推論注目領域可視化処理部５８からの画像データに基づいて、モニタ６に表示する画像を生成する処理を実行する。

サーモグラフィデータ収集部６０は、サーモグラフィ４が出力するサーモグラフィデータからサーモグラフィ画像を収集する処理部である。サーモグラフィデータ収集部６０は、ダイカストマシン７の動作に基づいて所定のタイミングのサーモグラフィ画像を取得する。サーモグラフィ画像が取得されるタイミングは、例えば、金型のショットが開始される所定時間前のタイミングである。推論モデル生成装置２が使用したサーモ画像データも、このタイミングと同じタイミングで取得されたデータである。

サーモグラフィ画像変換部６１は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する。
サーモグラフィ画像変換部６１は、サーモ画像データを、サーモ画像データ一時保存部６１ａへ登録する。

図１４は、サーモ画像データ一時保存部６１ａのデータ構造を示す図である。サーモ画像データ一時保存部６１ａは、撮影日時、製品ＩＤ、ダイカストマシンＩＤ、サーモ画像ＩＤ及びサーモ画像データを含む。サーモ画像データ一時保存部６１ａのデータ構造は、図４のサーモ画像データ保存部２１のデータ構造と同じである。

なお、サーモ画像データ一時保存部６１ａに格納されたデータは、図１において点線で示すように、サーモ画像データ保存部２１に、通信ラインを介してあるいは人手によりマニュアルで記憶媒体を介して格納して、推論モデルの更新時に利用できるようにしてもよい。

サーモグラフィ画像変換部６１は、Ｎ枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部６２へ送信する処理部である。推論実行リクエストには、Ｎ枚分のサーモ画像が含まれる。

推論実行指示部６２は、サーモ画像前処理部６３にＮ枚分のサーモ画像を送信して、推論の実行を指示する。
サーモ画像前処理部６３は、受け取ったＮ枚分のサーモ画像に対して、前処理を行う。前処理では、推論モデル生成装置２のサーモ画像前処理部２３と同じように、０〜１の範囲の値に収まるように正規化処理が行われる。
すなわち、サーモ画像前処理部６３は、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する。

サーモ画像前処理部６３は、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する。
なお、平均画像データは、推論モデル生成時に作成され、事前にサーモ画像前処理部へ登録されたデータである。

サーモ画像前処理部６３は、Ｎ枚分の前処理データを、金型温度異常度推論部５４へ送信する。
（作用）
次に、金型温度自動制御装置３の動作について説明する。
１）サーモグラフィデータの収集から推論実行リクエストの送信までの処理
まず、サーモグラフィデータの収集から推論実行リクエストの送信までの処理について説明する。
図１５は、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。図１５の処理は、ダイカストマシン７が稼働中に実行される。

サーモグラフィ４が、ダイカストマシン７に設置された金型Ｄを撮像し、金型Ｄの温度を計測し、サーモグラフィデータを出力する（Ｃ１１）。サーモグラフィデータは、金型Ｄから放射される赤外線の数値データの集合体である。

サーモグラフィ４は、サーモグラフィデータ収集部６０に対して、計測したサーモグラフィデータを送信する（Ｃ１２）。
サーモグラフィデータ収集部６０は、サーモグラフィ画像変換部６１に対して、サーモグラフィデータを引き渡し、画像変換の実行を要求する（Ｃ１３）。

サーモグラフィ画像変換部６１は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する（Ｃ１４）。
サーモグラフィ画像変換部６１は、サーモ画像データを、サーモ画像データ一時保存部６１ａへ登録する（Ｃ１５）。

サーモグラフィ画像変換部６１は、Ｎ枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部６２へ送信する（Ｃ１６）。推論実行リクエストには、N枚分のサーモ画像が含まれている。

Ｃ１２からＣ１６は、ダイカストマシン７のショット単位で繰り返し実行される。
以上が、サーモグラフィデータの収集から推論実行リクエストの送信までの処理の流れである。
２）推論実行からパトランプ点灯までの処理
次に、推論実行からパトランプ点灯までの処理について説明する。

図１６は、推論実行からパトランプ点灯までの処理のシーケンス図である。
図１６に示すように、推論実行指示部６２は、サーモ画像前処理部６３にＮ枚分のサーモ画像を送信する（Ｃ２１）。

サーモ画像前処理部６３は、受け取ったN枚分のサーモ画像に対して、前処理を行う（Ｃ２２）。前処理では、上述したようにモデル生成処理と同じように、０〜１の範囲の値に収まるように正規化処理が行われる。

サーモ画像前処理部６３は、Ｎ枚分の前処理データを、金型温度異常度推論部５４へ送信する（Ｃ２３）。
金型温度異常度推論部５４は、受け取ったN枚分の前処理データを入力として、推論モデルに基づき推論処理を実行し（Ｃ２４）、０．０から１．０の範囲の値の異常度を出力する。すなわち、推論実行部を構成する金型温度異常度推論部５４は、金型の所定数（Ｎ）の時系列画像データである前処理データに基づいて、推論モデルを用いて異常度データを出力する。

金型温度異常度推論部５４は、出力した異常度を、金型温度異常予兆判定部５５へ送信する（Ｃ２５）。
金型温度異常予兆判定部５５は、異常予兆判定ルール保存部５３（図１２）から、異常予兆判定ルールを取得する（Ｃ２６）。

金型温度異常予兆判定部５５は、取得した異常予兆判定ルールと異常度に基づいて、異常予兆判定を実行する（Ｃ２７）。すなわち、推論実行部を構成する金型温度異常予兆判定部５５は、異常度に基づいて所定数（Ｎ）先の金型の温度異常の予兆の発生を検知する。

例えば、異常度が０．７であれば、図１２の判定ルールから、判定ＩＤが「JudgeRule02」に該当し、判定ＩＤの「JudgeRule02」と、パトランプ制御情報の「黄」を出力する。また、異常度が０．９であれば、図１２の判定ルールから、判定ＩＤが「JudgeRule03」に該当し、判定ＩＤの「JudgeRule03」と、パトランプ制御情報の「赤」を出力する。

金型温度異常予兆判定部５５は、前回判定一時保存部５５ａから、前回判定ＩＤを取得する（Ｃ２８）。図１３の場合、前回鋳造時の判定結果が正常だったので、予兆検出前に保存した「JudgeRule01」が取得される。取得した前回判定ＩＤは、後述するダイカストマシン７の再稼働処理において用いられる。

金型温度異常予兆判定部５５は、前回判定一時保存部５５ａに、現在の判定ＩＤの「JudgeRule02」を一時保存する（Ｃ２９）。
以上のＣ２１からＣ２９まで処理が、異常予兆判定に関わる。

金型温度異常予兆判定部５５は、パトランプリクエスト送信部５６に対し、判定された色（上記の例では黄）で点灯させるようにパトランプ点灯リクエストを送る（Ｃ３０）。

パトランプリクエスト送信部５６は、パトランプ点灯リクエストを受けて、上記の場合は、パトランプ５に所定の色で点灯するよう点灯指示をパトランプ５に出力する（Ｃ３１）。
よって、パトランプリクエスト送信部５６は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。

その結果、パトランプ５は、指示に応じた色の点灯指示を受け付けて、パトランプ５を点灯させる、上記の例では黄で点灯させる告知部である。パトランプ５の表示は、金型の温度異常の発生の予兆があることを製造ラインの作業者及び管理者に告知する。

従って、パトランプ５は、管理者等へ温度異常の予兆の発生を告知する告知部を構成する。

以上のＣ３０からＣ３１まで処理が、パトランプの制御に関わる。
次に、金型の温度異常の予兆の検知後、ダイカストマシン７の稼働を停止し、その後、金型の温度が低下して正常温度に回復し、ダイカストマシン７を再稼働するまでの処理について説明する
３）金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理
図１７は、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。

金型温度異常予兆判定部５５は、マシン制御ルール保存部５２から、マシン制御ルールを取得する（Ｃ４１）。
金型温度異常予兆判定部５５は、上述した図１６のシーケンス番号Ｃ２８で取得しておいた前回判定ＩＤと、現在の判定ＩＤから、適合するルールのレコードを選択し読み出す。例えば、前回判定ＩＤが「JudgeRule01」であり、現在の判定ＩＤが「JudgeRule02」であれば、図１１では、２番目のレコードが適合し、マシン制御して「稼働停止」が選択される。金型温度異常予兆判定部５５は、マシン動作リクエスト送信部に対して、マシン制御（稼働停止）を送信する（Ｃ４２）。

マシン動作リクエスト送信部５７は、受信したマシン制御（稼働停止）を、ダイカストマシン７のマシン動作制御部８へ送信する（Ｃ４３）。
マシン動作制御部８は、受信したマシン制御（稼働停止）に基づき、ダイカストマシン７の制御を実行（稼働停止）する。

２番目のレコードは、正常状態から異常状態になる予兆が検知されたため、金型の温度異常による不良品の製造される前に、ダイカストマシン７を停止させるルールを記述している。
よって、金型温度異常予兆判定部５５は、Ｎショット先において不良品が製造される温度異常の予兆を検出すると、不良品が製造されるＮショット前の時点で、ダイカストマシン７を停止させる。

以上のように、マシン動作リクエスト送信部５７は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。そして、マシン動作リクエスト送信部５７は、金型を用いて製品を製造する製造装置であるダイカストマシン７に対する動作制御のリクエスト信号を、ダイカストマシン７に送信する。特に、マシン動作リクエスト送信部５７は、金型温度異常度推論部５４が金型の温度異常の予兆の発生を検知したときに、ダイカストマシン７を停止させるリクエスト信号を、ダイカストマシン７に送信する。

ダイカストマシン７が停止されることにより、金型の温度は、上昇することはなくなり、低下し始める。
以上のように、パトランプ５の色が青色が黄色（あるいは赤色）に変わることにより、ダイカストマシン７の管理者は、熱だまりの予兆の発生を知ることができる。

さらに、ダイカストマシン７も停止するので、例えば離型剤の不均一散布による金型の温度異常が原因で不良が発生する前に、熱だまりの予兆を発見できるので、不良数を減らすことができる。

特に、金型が熱だまりを持ったまま鋳造し続けると、金型にアルミ等のカスが残るため、ダイカストマシン７を停止して、金型のクリーニングが行われるので、ダウンタイムが発生する。しかし、上述したように不良品が発生する前に熱だまりを発見できるため、鋳造し続けることはなくなり、金型のクリーニングを回避でき、結果として、ダウンタイムの低減も図ることができる。
４）金型の温度の正常判定からダイカストマシンの再稼働までの処理
次に、金型の温度の正常判定からダイカストマシンの再稼働までの処理について説明する。

ダイカストマシン７が停止しても、サーモグラフィ４のサーモグラフィデータは、サーモグラフィデータ収集部６０において、所定の間隔で収集される。この所定の間隔は、ダイカストマシン７が可動していたときの、データ収集周期と同じあるいは略同じである。

ダイカストマシン７の停止により、金型の温度が低下して、所定の正常温度になると、ダイカストマシン７が再稼働する。
図１８は、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。図１８の処理は、制御部４１の制御の下で行われる。

金型温度異常予兆判定部５５が金型の温度異常の予兆を検知して、ダイカストマシン７が停止すると、サーモグラフィデータの収集から推論実行リクエストの送信までの処理が実行される（ステップ（以下、Ｓと略す）１）。Ｓ１の処理は、上記のＣ１２〜Ｃ１６までの処理に対応する。

次に、金型温度異常度推論部５４は、上述した推論モデルに基づく推論の実行をし、金型温度異常予兆判定部５５は、異常予兆判定を行い、現在の判定ＩＤの一時保存までの処理を実行する（Ｓ２）。Ｓ２の処理は、上記のＣ２２〜Ｃ２９までの処理に対応する。
そして、金型温度異常予兆判定部５５は、金型の温度が正常温度になったか否かを判定する（Ｓ３）。

異常度が所定の値の範囲、上記の例であれば０．０から０．６未満の値であると、金型の温度は正常温度になったと判定されるが、異常度が所定の値の範囲に入らないときは、金型の温度は正常温度にならないため、処理は、Ｓ１に戻る。すなわち、金型の温度が正常温度に回復するまで、Ｓ１，Ｓ２の処理が繰り返される。

異常度が所定の値の範囲、上記の例であれば０．０から０．６未満の値であると、金型の温度は正常温度になったとして、サーモグラフィデータの収集から推論実行リクエストの送信までの処理を実行する（Ｓ４）。Ｓ４の処理は、Ｓ１の処理と同じである。すなわち、金型が正常温度に回復したと仮定し、上記のＣ１２〜Ｃ１６が実行される。

Ｓ４の処理後、金型温度異常予兆判定部５５は、推論実行からパトランプ点灯の処理を実行する（Ｓ５）。Ｓ５の処理は、上記のＣ２１からＣ３１までの処理に対応する。
Ｓ５では、金型温度異常予兆判定部５５は、取得した異常予兆判定ルールと異常度を使って、異常予兆判定を実行する。例えば、異常度が０．３と仮定すると、図１２の判定ルールから、「JudgeRule01に該当し、判定ＩＤの「JudgeRule01」に基づき、パトランプ５の色を青にする制御信号を出力する
金型温度異常予兆判定部５５は、前回判定一時保存部５５ａから、前回判定ＩＤを取得する。前回鋳造時の判定結果が警告（黄）だったので、予兆検出前に保存した「JudgeRule02」が取得される。

なお、金型温度異常予兆判定部５５は、前回判定一時保存部５５ａに対し、現在の判定ＩＤの「JudgeRule01」を登録する。
金型温度異常予兆判定部５５は、パトランプリクエスト送信部５６に対し、青を点灯させるようにパトランプ点灯リクエストを送信する。パトランプ５は、青の点灯指示を受け付けて、パトランプ５の色を青として点灯する。

次に、金型温度異常予兆判定部５５は、停止中のダイカストマシンを再稼働する稼働再開処理を実行する（Ｓ６）。
具体的には、金型温度異常予兆判定部５５は、マシン制御ルール保存部５２から、マシン制御ルールを取得する。

金型温度異常予兆判定部５５は、上記のＳ４で取得しておいた前回判定ＩＤ（「JudgeRule02」）と、現在の判定ＩＤ（「JudgeRule01」）から、適合するルールのレコードを見つける。図１１では、３番目のレコードが適合し、マシン制御として「稼働再開」が選択される。金型温度異常予兆判定部５５は、マシン動作リクエスト送信部５７に対して、マシン制御（稼働再開）を送信する。

マシン動作リクエスト送信部５７は、受信したマシン制御（稼働再開）を、ダイカストマシン７のマシン動作制御部８へ送信する。マシン動作制御部８は、受信したマシン制御（稼働再開）に基づき、ダイカストマシン７の稼働を再開する。

すなわち、マシン動作リクエスト送信部５７は、ダイカストマシン７を停止させるリクエスト信号をダイカストマシン７に送信した後、金型温度異常度推論部５４が金型の温度異常の予兆の発生を検知しないときに、ダイカストマシン７を再稼働させるリクエスト信号を、ダイカストマシン７に送信する。

以上のように、金型の温度異常の予兆が検知されると、金型の温度異常の予兆は、パトランプ５の色の変化で管理者に知らされる。
管理者は、サーモ画像を見て、金型の表面の温度の高い部分に離型剤を散布することにより金型の表面温度を低下させる等の対応を取ることができる。

さらに、金型の温度異常の予兆が検知されると、マシン制御ルールに基づいてダイカストマシン７が稼働を停止して、不良品の発生が防止される。
そして、ダイカストマシンが一旦停止した後、金型の温度が正常温度に戻ると、ダイカストマシン７は、自動的に再稼働する。

よって、不良品の発生が自動的に防止されると共に、現場管理者は、マニュアルでダイカストマシン７の運転再開させる必要がないので、ダイカストマシン７の運転再開の管理をしなくてもよい。
５）推論時の注目領域における勾配データの可視化処理
ところで、モニタ６には金型のサーモ画像が表示可能であるが、温度異常があったときに、生成された推論モデルに基づいて、温度異常の状態を、モニタ６に表示するようにしてもよい。

サーモ画像は、熱分布を色を用いて表示するが、ユーザは、熟練した現場有識者でない限り、どのような熱分布になると不良品が発生し易くなるか、あるいはどのような熱分布のときに不良品が発生しないかを判断することは、困難である。

そこで、本実施形態では、上述した推論モデルの勾配データを可視化した画像を生成し、サーモ画像に重畳表示する。
図１９は、勾配データの可視化処理の流れの例を示すフローチャートである。

現場管理者などのユーザが所定の指示を、入出力Ｉ／Ｆ（図示せず）から金型温度自動制御装置３へ与えると、制御部４１が図１９の処理を実行する。
まず、推論注目領域可視化処理部５８は、Ｎ枚分の前処理データを入力として、誤差逆伝搬法を実行し、入力に対する推論注目データセットを出力する（Ｓ１１）。誤差逆伝搬法については、「デビット・イー・ランメルハート、ジェフリー・イー・ヒントン、ロナルド・ジェイ・ウイリアムス著、「誤差逆伝播法による学習表示」、１９８６年１０月８日、ネイチャー３２３（６０８８）」（Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088)）を参照されたし。

誤差逆伝搬の処理は、事前にセットされた推論モデルに従って実行される。
推論注目データセットは、誤差逆伝搬法によって、Ｎ枚分の前処理データ集合の全てについて勾配ベクトルを算出し、その算出した勾配ベクトルを並べた行列である。

ここで、勾配ベクトルを構成する偏微分の値は、チェーンルールなどを用いて計算できる。チェーンルールとは、複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式のことをいう。

図２０は、推論注目データセットの一例を示す図である。入力変数がｎ個（画像の縦ピクセル数（ｍ）×横ピクセル数（ｋ）×画像枚数（Ｎ））の場合の例について示す。点線で示す推論注目データセットの各行の勾配ベクトルは、鋳造ごとのサーモ画像データ集合から算出した偏微分値である。

具体的には、１行目はＫ回目の鋳造時の勾配ベクトル、２行目は（Ｋ＋１）回目の鋳造時の勾配ベクトル、３行目は（Ｋ＋２）回目の鋳造時の勾配ベクトル、Ｌ行目は（Ｋ＋Ｌ）回目の鋳造時の勾配ベクトルを示す。

ユーザは、可視化処理のためのＮ枚分の前処理データを指示すると、図２０に示すようなデータの中から、対応するＮ枚分の推論注目データセットが選択される。

推論注目領域可視化処理部５８は、推論注目データセットの各勾配ベクトルの値を画素値に変換する処理を実行し、推論注目画像データとして出力する（Ｓ１２）。すなわち、推論注目データセットの各勾配ベクトルは、絶対値を取った０〜２５５の値に正規化され、画像データ化される。

推論注目領域可視化処理部５８は、Ｎ枚分の推論注目データセットから、推論注目領域平均画像データを作成する（Ｓ１３）。
推論注目領域可視化処理部５８は、データ単位で、前処理データに対応するサーモ画像データのＮ枚のサーモ画像と、Ｓ１３で作成された平均画像データの平均画像との合成を行った推論注目領域画像データを出力する（Ｓ１４）。上述した例であれば、３枚のサーモ画像と平均画像とを重畳した推論注目領域画像のデータが出力される。

なお、Ｎは１でもよく、その場合、Ｓ１４では、１枚のサーモ画像と、Ｓ１２で変換された画像とが合成される。
推論注目領域可視化処理部５８は、金型温度モニタ表示処理部５９に推論注目領域画像データを供給して、可視化された勾配データとサーモ画像がモニタ６の画面上に重畳表示する（Ｓ１５）。よって、可視化された勾配データは、サーモ画像上のエリア毎の誤差分布を示すということができる。

以上のように、推論注目領域可視化処理部５８と金型温度モニタ表示処理部５９は、推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ６上に表示するための処理を行う可視化処理部を構成する。

図２１は、モニタ６に表示される可視化された勾配データの表示例を示す図である。
図２１において、点線で示す領域Ｖｉは、勾配ベクトルをサーモ画像の領域毎に画像化した画像（以下、勾配ベクトル画像という）であるので、ユーザは、サーモ画像上に重畳された勾配ベクトル画像の模様の状態から、直感的に、金型の温度状態を知ることができる。

よって、ユーザは、モニタ６に表示された、多くの異常時の勾配ベクトル画像と多くの正常時の勾配ベクトル画像とを比較することができるので、異常時及び正常時の判定を勾配ベクトル画像を見ることによって、金型の温度の正常・異常の判定、予知などをすることができる。

また、ユーザは、異常時の勾配ベクトル画像から、金型設計へのフィードバックをすることも期待できる。
上述したように、例えば離型剤は毎回不均一に散布される場合があるため、熱だまりの箇所も常に同じ場所に発生しない。そのため、ピンポイントでの離型剤散布による冷却対策を打ちにくいという問題もある。しかし、上述したような熱だまりの予兆箇所も推定して可視化することで、熱だまりの予兆を検知した箇所を、ユーザが目で判断できるため、ピンポイントでの離型剤散布が可能になり、金型の冷却も加速され、不良数もさらに減ることが期待できる。

従来は、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。
しかし、上述した実施形態によれば、従来の現場有識者と同様に、金型の時系列データ（サーモ画像）から、熱だまりの発生の予兆を自動検知することができる。

さらに、熱だまり予兆の検知後、金型が正常温度に戻るまで、ダイカストマシンを一時停止して再開する自動制御が実現できる。
また、熱だまりの予兆箇所も推定し、可視化することができる。

以上のように、本実施形態によれば、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及びプログラムを提供することができる。

なお、上述した実施形態では、金型がダイカストマシン７に用いられる金型である例を説明したが、上述した実施形態は、射出成形機に用いられる金型にも適用可能である。

なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に上述した金型温度異常予兆検知装置を実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 金型温度制御システム、２ 推論モデル生成装置、３ 金型温度自動制御装置、４ サーモグラフィ、５ パトランプ、６ モニタ、７ ダイカストマシン、８ マシン動作制御部、１１ 制御部、１２ 記憶装置、２１ サーモ画像データ保存部、２２ 現場有識者教示データ保存部、２３ サーモ画像前処理部、２３ａ 前処理データ一時保存部、２４ 推論モデル生成部、４１ 制御部、４２ 記憶装置、５１ 推論モデルデータ保存部、５２ マシン制御ルール保存部、５３ 異常予兆判定ルール保存部、５４ 金型温度異常度推論部、５５ 金型温度異常予兆判定部、５５ａ 前回判定一時保存部、５６ パトランプリクエスト送信部、５７ マシン動作リクエスト送信部、５８ 推論注目領域可視化処理部、５９ 金型温度モニタ表示処理部、６０ サーモグラフィデータ収集部、６１ サーモグラフィ画像変換部、６１ａ サーモ画像データ一時保存部、６２ 推論実行指示部、６３ サーモ画像前処理部。

Claims (10)

1. 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部であって、前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルである、モデル生成部と、
   前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、
   前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、
   を有する金型温度異常予兆検知装置。
2. 前記推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ上に表示するための処理を行う可視化処理部を有する、請求項１に記載の金型温度異常予兆検知装置。
3. 前記情報出力部は、前記温度異常の予兆の発生を告知する告知部へ前記所定の情報を出力する、請求項１に記載の金型温度異常予兆検知装置。
4. 前記告知部は、パトランプであり、
   前記情報出力部は、前記パトランプに所定の色で点灯するよう点灯指示するリクエスト送信部である、請求項３に記載の金型温度異常予兆検知装置。
5. 前記情報出力部は、前記金型を用いて製品を製造する製造装置に対する動作制御のリクエスト信号を、前記製造装置に送信するリクエスト送信部である、請求項１に記載の金型温度異常予兆検知装置。
6. 前記リクエスト送信部は、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、前記製造装置を停止させるリクエスト信号を、前記製造装置に送信する、請求項５に記載の金型温度異常予兆検知装置。
7. 前記リクエスト送信部は、前記製造装置を停止させるリクエスト信号を前記製造装置に送信した後、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知しないときに、前記製造装置を再稼働させるリクエスト信号を、前記製造装置に送信する、請求項６に記載の金型温度異常予兆検知装置。
8. 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルであって、前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルである前記推論モデルを生成する第１の手順と、
   前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する第２の手順と、
   前記第２の手順において前記金型の前記温度異常の予兆の発生が検知されたときに、所定の情報を出力する第３の手順と、
   をコンピュータに実行させるためのプログラム。
9. 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部であって、前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルである、モデル生成部と、
   前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、
   前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、
   前記所定数の時系列画像データの中から指定された時系列画像データの各画素についての勾配ベクトルを逆誤差伝搬法により算出し、算出された前記勾配ベクトルの値を所定の画素値の範囲内の画素値に変換し、変換された前記画素値を前記指定された時系列画像データ上に重畳することによって、前記指定された時系列画像データの勾配ベクトルを可視化してモニタ上に表示するための処理を行う可視化処理部と、
   を有する金型温度異常予兆検知装置。
10. 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを１つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルであって、前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルである前記推論モデルを生成する第１の手順と、
    前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する第２の手順と、
    前記第２の手順において前記金型の前記温度異常の予兆の発生が検知されたときに、所定の情報を出力する第３の手順と、
    前記所定数の時系列画像データの中から指定された時系列画像データの各画素についての勾配ベクトルを逆誤差伝搬法により算出し、算出された前記勾配ベクトルの値を所定の画素値の範囲内の画素値に変換し、変換された前記画素値を前記指定された時系列画像データ上に重畳することによって、前記指定された時系列画像データの勾配ベクトルを可視化してモニタ上に表示するための処理を行う第４の手順と、
    をコンピュータに実行させるためのプログラム。

Images