JP6579290B2 - ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム - Google Patents

Description

本発明は、赤外画像を利用してガスを検知する技術に関する。

ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。

赤外画像を利用したガス検知として、例えば、特許文献１は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。

本発明者は、赤外画像を用いるガス検知において、カメラの視野に流れてきたガス状の物質（例えば、蒸気）が、同じ位置から常に出ているガス（例えば、配管等のガス漏洩源から常に出ているガス）と誤検知されることを見出した。なお、同じ位置は、全く同じ位置でもよいし、ほぼ同じ位置でもよい。「ほぼ同じ位置」とは、以下の通りである。例えば、ある配管に発生した漏洩箇所（漏洩源）が、この漏洩源よりも手前にある別の配管等と重なって撮影されている場合、漏洩源から漏洩しているガスの全部が撮影されず、別の配管等と重なっていないガスの一部が撮像される。風等の影響でガスがゆらいだとき、画像上、ガスが同じ漏洩源（同じ位置）から出ているように見えないことがある。このような場合、ほぼ同じ位置からガスが出ていると言う。

特開２０１２−５８０９３号公報

本発明は、ガスの検知精度を向上させることができるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。

上述した目的を実現するために、本発明の一側面を反映したガス検知用画像処理装置は、第１処理部と、第２処理部と、第３処理部と、を備える。前記第１処理部は、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する。前記第２処理部は、前記複数の第１画像を用いて、前記所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域を抽出する処理をすることにより、第２画像を生成する。前記第２処理部は、２以上の前記所定期間のそれぞれに対応して生成された前記複数の第１画像に前記出現領域の抽出処理をすることにより、２以上の前記第２画像を生成する。前記第３処理部は、前記ガス検知用画像処理装置は、２以上の前記第２画像を用いて、前記出現領域の共通領域を抽出する処理をすることにより、第３画像を生成する。

発明の１又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。

実施形態に係るガス検知システムの構成を示すブロック図である。 図１Ａに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データＤ１を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点ＳＰ１の温度変化を示すグラフである。 試験場所の地点ＳＰ２の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点ＳＰ１（図３）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波数成分データＤ２、時系列画素データＤ１から抽出された高周波数成分データＤ３を示すグラフである。 差分データＤ４を示すグラフである。 差分データＤ５を示すグラフである。 標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。 差分データＤ８を示すグラフである。 時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。 時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。 ガス候補が、同じ位置から常に出ているガスであるのか、又は、赤外線カメラの視野に流れてきたガス状の物質であるのかを区別するために、実施形態で実行される画像処理を説明するフローチャートである。 ガス状の物質が赤外線カメラの視野に流れてくる場合に関する赤外画像を示す画像図である。 ガスが常に同じ位置から出ている場合に関する赤外画像を示す画像図である。 図１３Ｂに示す塔の像を含む複数の赤外画像（フレーム）で構成される動画データを用いて生成された監視画像の動画を構成するフレーム群を示す画像図である。 ガス状の物質が赤外線カメラの視野に流れてくる場合に関する第２画像を示す画像図である。 ガスが常に同じ位置から出ている場合に関する第２画像を示す画像図である。 ガス状の物質が赤外線カメラの視野に流れてくる場合に関する、３つの第２画像、及び、これらの第２画像を基にして生成される第３画像を示す画像図である。 ガスが常に同じ位置から出ている場合に関する、３つの第２画像、及び、これらの第２画像を基にして生成される第３画像を示す画像図である。 図１６Ａに示す第２画像と、これを２値化した第５画像と、図１６Ａに示す第３画像と、これを２値化した第４画像と、を示す画像図である。 図１６Ｂに示す第２画像と、これを２値化した第５画像と、図１６Ｂに示す第３画像と、これを２値化した第４画像と、を示す画像図である。

以下、図面を参照して、本発明の１又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。

各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、第２画像Ｉｍ２）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、第２画像Ｉｍ２−１）。

図１Ａは、実施形態に係るガス検知システム１の構成を示すブロック図である。ガス検知システム１は、赤外線カメラ２とガス検知用画像処理装置３とを備える。

赤外線カメラ２は、ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データＭＤを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ２は、光学系４、フィルター５、二次元イメージセンサー６及び信号処理部７を備える。

光学系４は、被写体の赤外画像を二次元イメージセンサー６上で結像させる。フィルター５は、光学系４と二次元イメージセンサー６との間に配置され、光学系４を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター５を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、３．２〜３．４μｍの波長帯を通過させるフィルター５が用いられる。二次元イメージセンサー６は、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサーであり、フィルター５を通過した赤外線を受光する。信号処理部７は、二次元イメージセンサー６から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データＭＤとなる。

ガス検知用画像処理装置３は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部８、画像処理部９、表示制御部１０、ディスプレイ１１及び入力部１２を備える。

画像データ入力部８は、赤外線カメラ２の通信部（不図示）と通信する通信インターフェイスである。画像データ入力部８には、赤外線カメラ２の通信部から送られてきた動画データＭＤが入力される。画像データ入力部８は、動画データＭＤを画像処理部９へ送る。

画像処理部９は、動画データＭＤに所定の処理をする。所定の処理とは、例えば、動画データＭＤから時系列画素データを生成する処理である。

時系列画素データを具体的に説明する。図２は、時系列画素データＤ１を説明する説明図である。動画データＭＤで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム（複数の赤外画像）において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データＤ１とする。赤外画像の動画のフレーム数をＫとする。一つのフレームがＭ個の画素、すなわち、１番目の画素、２番目の画素、・・・、Ｍ−１番目の画素、Ｍ番目の画素で構成されている。画素データ（画素値）を基にして、輝度、温度等の物理量が定められる。

複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ−１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データＤ１となる。また、Ｍ番目の画素で説明すると、１番目のフレームに含まれるＭ番目の画素の画素データ、２番目のフレームに含まれるＭ番目の画素の画素データ、・・・、Ｋ−１番目のフレームに含まれるＭ番目の画素の画素データ、Ｋ番目のフレームに含まれるＭ番目の画素の画素データを、時系列に並べたデータが、Ｍ番目の画素の時系列画素データＤ１となる。時系列画素データＤ１の数は、一つのフレームを構成する画素の数と同じである。

図１Ａを参照して、画像処理部９は、第１処理部９１、第２処理部９２、第３処理部９３、第４処理部９４、第５処理部９５、及び、判定部９６を備える。これらについては、後で説明する。

表示制御部１０は、動画データＭＤで示される動画、及び、画像処理部９で上記所定の処理がされた動画を、ディスプレイ１１に表示させる。

入力部１２は、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置３は、表示制御部１０、ディスプレイ１１及び入力部１２を備えるが、これらを備えないガス検知用画像処理装置３でもよい。

図１Ｂは、図１Ａに示すガス検知用画像処理装置３のハードウェア構成を示すブロック図である。ガス検知用画像処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３ｂ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３ｃ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３ｄ、液晶ディスプレイ３ｅ、通信インターフェイス３ｆ、キーボード等３ｇ、及び、これらを接続するバス３ｈを備える。液晶ディスプレイ３ｅは、ディスプレイ１１を実現するハードウェアである。液晶ディスプレイ３ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス３ｆは、画像データ入力部８を実現するハードウェアである。キーボード等３ｇは、入力部１２を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。

ＨＤＤ３ｄには、画像処理部９及び表示制御部１０について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ（例えば、動画データＭＤ）が格納されている。画像処理部９を実現するプログラムは、動画データＭＤを取得し、動画データＭＤに上記所定の処理をする処理プログラムである。表示制御部１０を実現するプログラムは、例えば、動画データＭＤで示される動画をディスプレイ１１に表示させたり、画像処理部９によって上記所定の処理がされた動画をディスプレイ１１に表示させたりする表示制御プログラムである。これらのプログラムは、ＨＤＤ３ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ３ｄに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置３とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ３ｄに送られ、ＨＤＤ３ｄに記憶されてもよい。これらのプログラムは、ＨＤＤ３ｄの替わりにＲＯＭ３ｃに記憶してもよい。ガス検知用画像処理装置３は、ＨＤＤ３ｄの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。

ＣＰＵ３ａは、ハードウェアプロセッサの一例であり、これらのプログラムを、ＨＤＤ３ｄから読み出してＲＡＭ３ｂに展開させ、展開されたプログラムを実行することによって、画像処理部９及び表示制御部１０が実現される。但し、画像処理部９の機能及び表示制御部１０の機能について、各機能の一部又は全部は、ＣＰＵ３ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

なお、画像処理部９は、図１Ａに示す複数の要素によって構成される。従って、ＨＤＤ３ｄには、これらの要素を実現するためのプログラムが格納されている。すなわち、ＨＤＤ３ｄには、第１処理部９１〜第５処理部９５、及び、判定部９６のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第１処理プログラム〜第５処理プログラム、判定プログラムと表現される。

これらのプログラムは、要素の定義を用いて表現される。第１処理部９１及び第１処理プログラムを例にして説明する。第１処理部９１は、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第１画像を生成する。第１処理プログラムは、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第１画像を生成するプログラムである。

ＣＰＵ３ａによって実行されるこれらのプログラム（第１処理プログラム、第２処理プログラム等）のフローチャートが、後で説明する図１２である。

本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。

図３は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点ＳＰ１がある。地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２を示している。

画像Ｉ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された試験場所の赤外画像である。画像Ｉ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された試験場所の赤外画像である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。

画像Ｉ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された試験場所の赤外画像である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。

画像Ｉ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された試験場所の赤外画像である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。

時刻Ｔ１から時刻Ｔ４までの１５秒間で、背景の温度が約４℃下がっている。このため、画像Ｉ４は、画像Ｉ１と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。

時刻Ｔ１後かつ時刻Ｔ２前の時刻に、地点ＳＰ１において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである（約０．５℃）。このため、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。

図４Ａは、試験場所の地点ＳＰ１の温度変化を示すグラフであり、図４Ｂは、試験場所の地点ＳＰ２の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、４５とは、４５番目のフレームを意味する。フレームレートは、３０ｆｐｓである。よって、１番目のフレームから４５０番目のフレームまでの時間は、１５秒となる。

地点ＳＰ１の温度変化を示すグラフと地点ＳＰ２の温度変化を示すグラフとは異なる。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は、背景の温度変化を示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１には、ガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。

図４Ａに示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４からは、地点ＳＰ１でガスが噴出していることが分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。

このように、噴出されたガス（漏れたガス）による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。

この原因は、動画データＭＤ（図１Ａ）には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データＤ２が含まれるからである。低周波成分データＤ２で示される像（背景の明暗の変化）により、前記周波数成分データで示される像が見えなくなるのである。図４Ａ及び図４Ｂを参照して、地点ＳＰ１の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点ＳＰ２の温度変化を示すグラフが低周波成分データＤ２に対応する。

そこで、画像処理部９（図１Ａ）は、画素の位置がそれぞれ異なる複数の時系列画素データＤ１（すなわち、動画データＭＤを構成する複数の時系列画素データＤ１）を、動画データＭＤから生成し、複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図２を参照して、１番目画素の時系列画素データＤ１、２番目画素の時系列画素データＤ１、・・・、Ｍ−１番目画素の時系列画素データＤ１、Ｍ番目画素の時系列画素データＤ１を意味する。

漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データＤ３とする。画像処理部９は、動画データＭＤを構成する複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理に加えて、高周波成分データＤ３を除く処理をする。

このように、画像処理部９は、フレームの単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をするのではなく、時系列画素データＤ１の単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をする。

ガス検知用画像処理装置３は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置３は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図５は、監視画像の生成処理を説明するフローチャートである。

図１Ａ、図２及び図５を参照して、画像処理部９は、動画データＭＤからＭ個の時系列画素データＤ１を生成する（ステップＳ１）。

画像処理部９は、時系列画素データＤ１に対して、Ｋ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、低周波成分データＤ２とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の低周波成分データＤ２を抽出する（ステップＳ２）。

第１の所定数のフレームは、例えば、２１フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する１０フレーム、これより後の連続する１０フレームである。第１の所定数は、時系列画素データＤ１から低周波成分データＤ２を抽出できる数であればよく、２１に限らず、２１より多くてもよいし、２１より少なくてもよい。

画像処理部９は、時系列画素データＤ１に対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、高周波成分データＤ３とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の高周波成分データＤ３を抽出する（ステップＳ３）。

図６は、地点ＳＰ１（図４Ａ）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波成分データＤ２、時系列画素データＤ１から抽出された高周波成分データＤ３を示すグラフである。グラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。時系列画素データＤ１で示される温度は、比較的急に変化し（変化の周期が比較的短く）、低周波成分データＤ２で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。高周波成分データＤ３は、時系列画素データＤ１とほぼ重なって見える。

第３の所定数のフレームは、例えば、３フレームである。内訳は、ターゲットとなるフレーム、この直前の１フレーム、この直後の１フレームである。第３の所定数は、時系列画素データから第３の周波数成分データを抽出できる数であればよく、３に限定されず、３より多くてもよい。

図１Ａ、図２及び図５を参照して、画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された低周波成分データＤ２との差分を算出して得られるデータを、差分データＤ４とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ４を算出する（ステップＳ４）。

画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された高周波成分データＤ３との差分を算出して得られるデータを、差分データＤ５とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ５を算出する（ステップＳ５）。

図７Ａは、差分データＤ４を示すグラフであり、図７Ｂは、差分データＤ５を示すグラフである。これらのグラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。差分データＤ４は、図６に示す時系列画素データＤ１と低周波成分データＤ２との差分を算出して得られたデータである。図４Ａに示す地点ＳＰ１でガスの噴出を開始する前において（９０番目くらいまでのフレーム）、差分データＤ４で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー６のセンサーノイズを示している。地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。

差分データＤ５は、図６に示す時系列画素データＤ１と高周波成分データＤ３との差分を算出して得られたデータである。

差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データＤ３（高周波ノイズを示すデータ）を含む。差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データＤ３を含む。

差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。これに対して、差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データＤ５は、微小な振幅を繰り返している。これが高周波ノイズである。

差分データＤ４と差分データＤ５とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データＤ４の値がプラス、差分データＤ５の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データＤ４と差分データＤ５との差分を算出しても、高周波成分データＤ３を除去できない。高周波成分データＤ３を除去するには、差分データＤ４及び差分データＤ５を引き算できる絶対値のような値に変換する必要がある。

そこで、画像処理部９は、差分データＤ４に対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ６とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ６を算出する（ステップＳ６）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。

また、画像処理部９は、差分データＤ５に対して、Ｋ個のフレームより少ない第４の所定数（例えば、２１）のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ７とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ７を算出する（ステップＳ７）。移動標準偏差の替わりに、移動分散を用いてもよい。

図８は、標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データＤ６は、図７Ａに示す差分データＤ４の移動標準偏差を示すデータである。標準偏差データＤ７は、図７Ｂに示す差分データＤ５の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データＤ６及び標準偏差データＤ７のいずれの場合も、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。

標準偏差データＤ６及び標準偏差データＤ７は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データＤ６及び標準偏差データＤ７は、差分データＤ４及差分データＤ５を引き算できるように変換したデータと見なすことができる。

画像処理部９は、同じ時系列画素データＤ１から得られた標準偏差データＤ６と標準偏差データＤ７との差分を算出して得られるデータを、差分データＤ８とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ８を算出する（ステップＳ８）。

図９は、差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データＤ８は、図８に示す標準偏差データＤ６と標準偏差データＤ７との差分を示すデータである。差分データＤ８は、低周波成分データＤ２及び高周波成分データＤ３を除く処理がされたデータである。

画像処理部９は、監視画像を生成する（ステップＳ９）。すなわち、画像処理部９は、ステップＳ８で得られたＭ個の差分データＤ８で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部９は、ステップＳ９で得られた動画を表示制御部１０に出力する。表示制御部１０は、この動画をディスプレイ１１に表示させる。この動画に含まれる監視画像として、例えば、図１０に示す画像Ｉ１２及び図１１に示す画像Ｉ１５がある。

図１０は、時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。画像Ｉ１０は、図５のステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１１は、図５のステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１０と画像Ｉ１１との差分が、画像Ｉ１２（監視画像）となる。

図１１は、時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。画像Ｉ１３は、ステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１４は、ステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１３と画像Ｉ１４との差分が、画像Ｉ１５（監視画像）となる。図１０及び図１１に示す画像Ｉ１０〜画像Ｉ１５のいずれも、いずれも標準偏差を５０００倍にした画像である。

図１０に示す画像Ｉ１２は、図４Ａに示す地点ＳＰ１からガスが噴出される前に撮影された画像なので、画像Ｉ１２には、地点ＳＰ１からガスが出ている様子が現れていない。これに対して、図１１に示す画像Ｉ１５は、地点ＳＰ１からガスが噴出されている時刻で撮影された画像なので、画像Ｉ１５には、地点ＳＰ１からガスが出ている様子が現れている。

以上説明したように、実施形態によれば、画像処理部９（図１Ａ）が、赤外画像の動画データＭＤに含まれる低周波成分データＤ２を除く処理をして、動画データを生成し、表示制御部１０が、この動画データで示される動画（監視画像の動画）をディスプレイ１１に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。

センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー６（図１Ａ）において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ１１に表示させることができる。

実施形態は、図１２に示すステップＳ１００〜ステップＳ１０３を実行することにより、ガス候補が、同じ位置から常に出ているガスであるのか、又は、赤外線カメラ２の視野に流れてきたガス状の物質であるのかを区別することができる。図１２は、これらを区別するために、実施形態で実行される画像処理を説明するフローチャートである。ガスが常に同じ位置から出ている場合と、ガス状の物質が赤外線カメラ２の視野に流れてくる場合とを比較しながら、この画像処理について説明する。

図１３Ａは、ガス状の物質が赤外線カメラ２の視野に流れてくる場合に関する赤外画像Ｉｍ０−１を示す画像図である。図１３Ａでは、赤外画像Ｉｍ０−１の全体でなく、赤外画像Ｉｍ０−１のうち、塔の像１０１を含む四角形の部分だけが示されている。この部分に、赤外線カメラ２の視野に流れてくるガス状の物質が出現する。図１３Ｂは、ガスが常に同じ位置から出ている場合に関する赤外画像Ｉｍ０−２を示す画像図である。図１３Ｂでは、赤外画像Ｉｍ０−２の全体でなく、赤外画像Ｉｍ０−２のうち、塔の像１０２を含む四角形の部分だけが示されている。この部分に、同じ位置から常に出ているガスが出現する。

図１Ａに示す第１処理部９１は、塔の像１０２（図１３Ｂ）を含む複数の赤外画像Ｉｍ０（フレーム）で構成される動画データＭＤを用いて、監視画像の動画を生成する（図１２のステップＳ１００）。詳しく説明すると、第１処理部９１は、この動画データＭＤに対して、図５に示すステップＳ１〜ステップＳ９の処理をする。これにより、動画を構成する各フレームは、赤外画像Ｉｍ０から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図１０に示す画像Ｉ１２、図１１に示す画像Ｉ１５である。ガス候補が出現していれば、ガス候補が出現している領域を示すガス候補領域が、監視画像に含まれる。同じ位置から常に出ているガスの像が、ガス候補領域になることもあるし、赤外線カメラ２の視野に流れてきたガス状の物質の像が、ガス候補領域になることもある。画像Ｉ１５は、ガス噴出の開始から２秒後の画像である。画像Ｉ１５の中央付近に位置する白領域がガス候補領域である。ここでは、ガス候補領域は、同じ位置から常に出ているガスの像である。

図１４は、塔の像１０２（図１３Ｂ）を含む複数の赤外画像Ｉｍ０（フレーム）で構成される動画データＭＤを用いて生成された監視画像の動画を構成するフレーム群を示す画像図である。このフレーム群は、５秒間の動画に相当する。フレームレートは、３０ｆｐｓであるので、クレーム群を構成するフレームの数は、１５０である。

各フレーム（監視画像）が、第１画像Ｉｍ１となる。図１４では、第１画像Ｉｍ１の全体でなく、第１画像Ｉｍ１のうち、図１３Ｂに示す赤外画像Ｉｍ０−２に対応する部分が示されている。５秒間の動画において、第１画像Ｉｍ１−１が、１番目のフレームであり、第１画像Ｉｍ１−２が、２番目のフレームであり、第１画像Ｉｍ１−３が、３番目のフレームであり、第１画像Ｉｍ１−４が、ｋ番目のフレームであり（３＜ｋ＜１５０）、第１画像Ｉｍ１−５が、１５０番目のフレーム（最後のフレーム）である。第１画像Ｉｍ１において、ガス候補領域は、白、グレーで示される。

第１処理部９１は、同様にして、塔の像１０１（図１３Ａ）を含む複数の赤外画像Ｉｍ０（フレーム）で構成される動画データＭＤを用いて、監視画像の動画を生成する。この動画を構成するフレーム群を示す画像については、図示が省略されている。

実施形態では、図５に示すステップＳ１〜ステップＳ９の処理でガス候補領域を得ているが、赤外画像に対して画像処理をしてガス候補領域を得る公知の技術（例えば、特許文献１に開示された画像処理）を用いても良い。

以上説明したように、第１処理部９１は、所定期間において時系列に撮像された複数の赤外画像Ｉｍ０のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像Ｉｍ０のそれぞれを基にした複数の第１画像Ｉｍ１を生成する。

次に、出現領域の抽出について説明する（図１２のステップＳ１０１）。出現領域とは、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域である。所定期間として、５秒間を例にして説明するが、これに限定されない。図１Ａに示す第２処理部９２は、時系列に並ぶ複数の第１画像Ｉｍ１（ここでは、１５０個のフレーム）を用いて、出現領域を抽出する処理をすることにより、複数の第１画像Ｉｍ１を基にした第２画像Ｉｍ２を生成する。

図１５Ａは、ガス状の物質が赤外線カメラ２の視野に流れてくる場合に関する第２画像Ｉｍ２−１を示す画像図である。図１５Ａでは、第２画像Ｉｍ２−１の全体でなく、第２画像Ｉｍ２−１のうち、図１３Ａに示す赤外画像Ｉｍ０−１に対応する部分が示されている。第２画像Ｉｍ２−１の生成に用いられた複数の第１画像Ｉｍ１は、図示が省略されているが、塔の像１０１（図１３Ａ）を含む赤外画像Ｉｍ０の動画データＭＤを用いて生成された複数の第１画像Ｉｍ１である。図１５Ａに含まれる白領域、グレー領域が、出現領域である。

図１５Ｂは、ガスが常に同じ位置から出ている場合に関する第２画像Ｉｍ２−２を示す画像図である。図１５Ｂでは、第２画像Ｉｍ２−２の全体でなく、第２画像Ｉｍ２−２のうち、図１３Ｂに示す赤外画像Ｉｍ０−２に対応する部分が示されている。第２画像Ｉｍ２−２の生成に用いられた複数の第１画像Ｉｍ１は、図１４に示す複数の第１画像Ｉｍ１−１〜Ｉｍ１−５である。これらは、塔の像１０２（図１３Ｂ）を含む赤外画像Ｉｍ０の動画データＭＤを用いて生成された複数の第１画像Ｉｍ１である。図１５Ｂに含まれる白領域、グレー領域が、出現領域である。

第２画像Ｉｍ２の生成の仕方（すなわち、出現領域の抽出の仕方）の一例を説明する。第２処理部９２は、複数の第１画像ＩｍＩ（例えば、図１４に示す複数の第１画像Ｉｍ１−１〜Ｉｍ１−５）において、同じ順番に位置する画素の中から、画素が示す値（ここでは、標準偏差の差分）の最大値を決定する。第２処理部９２は、この最大値を、第２画像Ｉｍ２の上記順番に位置する画素の値とする。具体的に説明すると、第２処理部９２は、複数の第１画像Ｉｍ１において、１番目の画素が示す値の最大値を決定し、この値を、第２画像Ｉｍ２の１番目の画素の値とする。第２処理部９２は、複数の第１画像Ｉｍ１において、２番目の画素が示す値の最大値を決定し、この値を、第２画像Ｉｍ２の２番目の画素の値とする。第２処理部９２は、３番目以降の画素についても同様の処理をする。

このようにして、第２画像Ｉｍ２を構成する画素の値が定められると、出現領域が抽出され、出現領域が第２画像Ｉｍ２に含まれる。

第２処理部９２は、２以上の所定期間のそれぞれに対応して生成された複数の第１画像Ｉｍ１に出現領域の抽出処理をすることにより、２以上の第２画像Ｉｍ２を生成する。ここでは、２以上の所定期間が３つの所定期間を例にして説明する。

第２処理部９２は、図１５Ａに示す第２画像Ｉｍ２−１の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画よりも、前の５秒間の動画を構成する複数の第１画像Ｉｍ１を用いて、第２画像Ｉｍ２を生成し、後の５秒間の動画を構成する複数の第１画像Ｉｍ１を用いて、第２画像Ｉｍ２を生成する。これらの５秒間が３つの所定期間である。図１６Ａは、これら３つの第２画像Ｉｍ２−３，Ｉｍ２−１，Ｉｍ２−４、及び、これらを基にして生成される第３画像Ｉｍ３−１を示す画像図である。図１６Ａでは、第２画像Ｉｍ２−３，Ｉｍ２−１，Ｉｍ２−４及び第３画像１ｍ３−１の全体でなく、これらの画像のうち、図１３Ａに示す赤外画像Ｉｍ０−１に対応する部分が示されている。

第２画像Ｉｍ２−３の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画は、第２画像Ｉｍ２−１の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画と連続していてもよいし、していなくてもよい。同様に、第２画像Ｉｍ２−４の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画は、第２画像Ｉｍ２−１の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画と連続していてもよいし、していなくてもよい。

連続している場合の具体例を説明する。第２処理部９２は、１５秒間の動画のうち、１〜５秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−３を生成し、６〜１０秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−１を生成し、１１〜１５秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−４を生成する。連続していない場合の具体例を説明する。第２処理部９２は、２５秒間の動画のうち、１〜５秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−３を生成し、１１〜１５秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−１を生成し、２１〜２５秒の動画を構成する複数の第１画像Ｉｍ１を用いて第２画像Ｉｍ２−４を生成する。

第２画像Ｉｍ２に出現領域が含まれていれば、出現領域は、白、グレーで示される。第２画像Ｉｍ２−３には、出現領域が含まれていない。「前の５秒間」において、ガス状の物質が赤外線カメラ２の視野に流れてきていないので、第２画像Ｉｍ２−３の生成に用いられた複数の第１画像Ｉｍ１には、ガス候補領域が含まれていないからである。第２画像Ｉｍ２−４には、出現領域が含まれていない。「後の５秒間」において、赤外線カメラ２の視野に流れてきたガス状の物質が、既に視野を通過したので、第２画像Ｉｍ２−４の生成に用いられた複数の第１画像Ｉｍ１には、ガス候補領域が含まれていないからである。

第２処理部９２は、図１５Ｂに示す第２画像Ｉｍ２−２の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画よりも、前の５秒間の動画を構成する複数の第１画像Ｉｍ１を用いて、第２画像Ｉｍ２を生成し、後の５秒間の動画を構成する複数の第１画像Ｉｍ１を用いて、第２画像Ｉｍ２を生成する。図１６Ｂは、これら３つの第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６、及び、これらを基にして生成される第３画像Ｉｍ３−２を示す画像図である。図１６Ｂでは、第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６及び第３画像Ｉｍ３−２の全体でなく、これらの画像のうち、図１３Ｂに示す赤外画像Ｉｍ０−２に対応する部分が示されている。

第２画像Ｉｍ２−５の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画は、第２画像Ｉｍ２−２の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画と連続していてもよいし、していなくてもよい。同様に、第２画像Ｉｍ２−６の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画は、第２画像Ｉｍ２−２の生成に用いられた複数の第１画像Ｉｍ１によって構成される５秒間の動画と連続していてもよいし、していなくてもよい。

第２画像Ｉｍ２に出現領域が含まれていれば、出現領域は、白、グレーで示される。第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６のいずれにも、出現領域が含まれている。ガスが常に同じ位置から出ているので 第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６の生成に用いられた複数の第１画像Ｉｍ１に、ガス候補領域が含まれているからである。

次に、共通領域の抽出について説明する（図１２のステップＳ１０２）。共通領域の抽出には、２以上の第２画像Ｉｍ２が用いられる。３つの第２画像Ｉｍ２を例にして説明する。図１６Ａを参照して、図１Ａに示す第３処理部９３は、第２画像Ｉｍ２−３，Ｉｍ２−１，Ｉｍ２−４を用いて、出現領域の共通領域を抽出する処理をすることにより、これらの第２画像Ｉｍ２を基にした第３画像Ｉｍ３−１を生成する。

第３画像Ｉｍ３に共通領域が含まれていれば、共通領域は、白、グレーで示される。第２画像Ｉｍ２−３，Ｉｍ２−４には、出現領域が含まれていないので、第３画像Ｉｍ３−１には、共通領域が含まれていない。

図１６Ｂを参照して、図１Ａに示す第３処理部９３は、第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６を用いて、出現領域の共通領域を抽出する処理をすることにより、これらの第２画像Ｉｍ２を基にした第３画像Ｉｍ３−２を生成する。第３画像Ｉｍ３に共通領域が含まれていれば、共通領域は、白、グレーで示される。第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６のいずれにも、出現領域が含まれているので、第３画像Ｉｍ３−２には、共通領域が含まれている。

第３画像Ｉｍ３の生成の仕方（すなわち、共通領域の抽出の仕方）の一例について、第３画像Ｉｍ３−１を用いて説明する。図１６Ａを参照して、第３処理部９３は、第２画像Ｉｍ２−３、第２画像Ｉｍ２−１及び第２画像Ｉｍ２−４において、同じ順番に位置する画素の中から、画素が示す値の最小値を決定する。第３処理部９３は、この最小値を、第３画像Ｉｍ３の上記順番に位置する画素の値とする。具体的に説明すると、第３処理部９３は、第２画像Ｉｍ２−３、第２画像Ｉｍ２−１及び第２画像Ｉｍ２−４において、１番目の画素が示す値の最小値を決定し、この値を、第３画像Ｉｍ３−１の１番目の画素の値とする。第３処理部９３は、第２画像Ｉｍ２−３、第２画像Ｉｍ２−１及び第２画像Ｉｍ２−４において、２番目の画素が示す値の最小値を決定し、この値を、第３画像Ｉｍ３−１の２番目の画素の値とする。第３処理部９３は、３番目以降の画素についても同様の処理をする。

このようにして、第３画像Ｉｍ３を構成する画素の値を定めると、３つの第２画像Ｉｍ２の出現領域の共通領域が抽出できる。出現領域どうしの共通領域とし、ガス候補領域どうしの共通領域にしない理由は、次の通りである。ガスは不規則にゆらぐので、ガス候補領域の位置及び面積が刻々と変化する（例えば、図１４）。ガス候補領域どうしの共通領域にすると、同じ位置からガスが常に出ている場合でも、共通領域が存在しない、又は、共通領域が存在しても面積が小さくなるからである。

ガスが不規則にゆらぐことにより、ガス候補領域の位置及び面積が刻々と変化する影響を受けないようにするために、出現領域が用いられる。よって、所定期間の長さは、これを考慮して設定される。実施形態では、所定期間として、５秒間を例にして説明しているが、上記影響を受けなければ、例えば、３秒間でもよいし、１０秒間でもよい。

第３画像Ｉｍ３の生成に、３つの第２画像Ｉｍ２が用いられる例で説明したが、第３画像Ｉｍ３の生成に、２つの第２画像Ｉｍ２が用いられてもよいし、４以上の第２画像Ｉｍ２を用いられてもよい。例えば、長い期間継続して出ているガスの場合、第２画像Ｉｍ２の数を多くする（例えば、５）。

次に、同じ位置からガスが常に出ている場合、赤外線カメラ２の視野にガス状の物質が流れてきた場合のいずれに該当するかの判定について説明する（図１２のステップＳ１０３）。図１７Ａは、図１６Ａに示す第２画像Ｉｍ２−１と、これを２値化した第５画像Ｉｍ５−１と、図１６Ａに示す第３画像Ｉｍ３−１と、これを２値化した第４画像Ｉｍ４−１と、を示す画像図である。図１７Ａでは、こられの画像の全体でなく、これらの画像のうち、図１３Ａに示す赤外画像Ｉｍ０−１に対応する部分が示されている。

図１Ａに示す第５処理部９５は、第２画像Ｉｍ２−１において、所定の第２しきい値を超えている画素を、出現領域を構成する画素として設定して、２値化画像である第５画像Ｉｍ５−１を生成する。第２画像Ｉｍ２に出現領域が含まれていれば、出現領域は、白、グレーで示される。第５画像Ｉｍ５に出現領域が含まれていれば、出現領域は、白で示される。第２画像Ｉｍ２−１及び第５画像Ｉｍ５−１には、出現領域が含まれている。第５処理部９５は、第５画像Ｉｍ５−１において、例えば、モルフォロジーなどの既知の手法を用いてガスの出現領域を取り出し、出現領域に外接する矩形を設定する。これにより、第５画像Ｉｍ５−１の出現領域に、外接矩形Ｒ１が設定される。

図１Ａに示す第４処理部９４は、第３画像Ｉｍ３−１において、所定の第１しきい値を超えている画素を、共通領域を構成する画素として設定して、２値化画像である第４画像Ｉｍ４−１を生成する。第３画像Ｉｍ３に共通領域が含まれていれば、共通領域は、白、グレーで示される。第４画像Ｉｍ４に共通領域が含まれていれば、共通領域は、白で示される。第３画像Ｉｍ３−１及び第４画像Ｉｍ４−１には、共通領域が含まれていない。第４処理部９４は、第４画像Ｉｍ４−１に外接矩形Ｒ１を設定する。設定位置は、第５画像Ｉｍ５−１に設定された外接矩形Ｒ１の画素位置と同じ画素位置である。

図１Ａに示す判定部９６（第１判定部）は、第４画像Ｉｍ４−１に設定された矩形領域Ｒ１に含まれる共通領域の画素数と第５画像Ｉｍ５−１に設定された矩形領域Ｒ１に含まれる出現領域の画素数とにおいて、共通領域の画素数の割合が、所定の第３しきい値（例えば、３０％）を超えているとき、同じ位置からガスが常に出ている場合と判定し、第３しきい値以下のとき、赤外線カメラ２の視野にガス状の物質が流れてきた場合と判定する。ここでは、判定部９６は、赤外線カメラ２の視野にガス状の物質が流れてきた場合と判定する。

図１７Ｂは、図１６Ｂに示す第２画像Ｉｍ２−２と、これを２値化した第５画像Ｉｍ５−２と、図１６Ｂに示す第３画像Ｉｍ３−２と、これを２値化した第４画像Ｉｍ４−２と、を示す画像図である。図１７Ｂでは、こられの画像の全体でなく、これらの画像のうち、図１３Ｂに示す赤外画像Ｉｍ０−２に対応する部分が示されている。

第５処理部９５は、第２画像Ｉｍ２−２において、上記第２しきい値を超えている画素を、出現領域を構成する画素として設定して、２値化画像である第５画像Ｉｍ５−２を生成する。第２画像Ｉｍ２に出現領域が含まれていれば、出現領域は、白、グレーで示される。第５画像Ｉｍ５に出現領域が含まれていれば、出現領域は、白で示される。第２画像Ｉｍ２−２及び第５画像Ｉｍ５−２には、出現領域が含まれている。第５処理部９５は、第５画像Ｉｍ５−２において、モルフォロジーなどの既知の手法を用いてガスの出現領域を取り出し、出現領域に外接する矩形を設定する。これにより、第５画像Ｉｍ５−２の出現領域に、外接矩形Ｒ２が設定される。

第４処理部９４は、第３画像Ｉｍ３−２において、上記第１しきい値を超えている画素を共通領域を構成する画素として設定して、２値化画像である第４画像Ｉｍ４−２を生成する。第３画像Ｉｍ３に共通領域が含まれていれば、共通領域は、白、グレーで示される。第４画像Ｉｍ４に共通領域が含まれていれば、共通領域は、白で示される。第３画像Ｉｍ３−２及び第４画像Ｉｍ４−２には、共通領域が含まれている。第４処理部９４は、第４画像Ｉｍ４−２に外接矩形Ｒ２を設定する。設定位置は、第５画像Ｉｍ５−２に設定された外接矩形Ｒ２の画素位置と同じ画素位置である。

判定部９６（第１判定部）は、第４画像Ｉｍ４−２に設定された矩形領域Ｒ２に含まれる共通領域の画素数と第５画像Ｉｍ５−２に設定された矩形領域Ｒ２に含まれる出現領域の画素数とにおいて、共通領域の画素数の割合が、上記第３しきい値（３０％）を超えているとき、同じ位置からガスが常に出ている場合と判定し、第３しきい値以下のとき、赤外線カメラ２の視野にガス状の物質が流れてきた場合と判定する。ここでは、判定部９６は、同じ位置からガスが常に出ている場合と判定する。

なお、同じ位置からガスが常に出ている場合、赤外線カメラ２の視野にガス状の物質が流れてきた場合のいずれに該当するかの判定に、第５画像Ｉｍ５が用いられているが、第５画像Ｉｍ５が用いられない態様もある。図１７Ａ及び図１７Ｂを参照して、例えば、判定部９６（第２判定部）は、第４画像Ｉｍ４に含まれる共通領域の画素数が、所定の第４しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定し、第４しきい値以下のとき、赤外線カメラ２の視野にガス状の物質が流れてきた場合と判定する。

判定部９６は、同じ位置からガスが常に出ている場合、赤外線カメラ２の視野にガス状の物質が流れてきた場合のいずれに該当するかの判定に、２値化画像を用いたが、グレースケールの画像を用いてもよい。図１７Ａ及び図１７Ｂを参照して、例えば、判定部９６は、第３画像Ｉｍ３に含まれる共通領域を構成する画素の値を加算した値が、所定の第５しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定し（第３画像Ｉｍ３−２）、第５しきい値以下のとき、赤外線カメラ２の視野にガス状の物質が流れてきた場合と判定する（第３画像Ｉｍ３−１）。

実施形態の主な作用効果について説明する。同じ位置からガスが常に出ている場合、赤外線カメラ２の視野にガスが常に存在する。このため、３つ所定期間のいずれにおいても、期間の全部でガス候補領域が存在する。３つの所定期間とは、例えば、図１６Ａ及び図１６Ｂで説明した「前の５秒間」、「５秒間」、「後の５秒間」である。ガス候補領域とは、例えば、図１４に示す第１画像Ｉｍ１に含まれる白、グレーで示される領域である。

これに対して、赤外線カメラ２の視野にガス状の物質が流れてきた場合、赤外線カメラ２の視野にガス状の物質が流れていない状態から、流れている状態に変化する。このため、ある所定期間では、期間の全部でガス候補領域が存在するが、別の所定期間では、期間の全部でガス候補領域が存在しなかったり、期間の一部でガス候補領域が存在したりする。

ガスは、不規則にゆらぐ。同じ位置からガスが常に出ている場合でも、所定期間の個々の時刻どうしを比較すると、図１４に示すように、ガス候補領域の位置が完全に一致することはない。このため、出現領域を、所定期間の全期間において、ガス候補領域が出現していた領域にした場合、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、同じ位置からガスが常に出ている場合、出現領域の面積を常に比較的大きくすることができる（例えば、図１６Ｂ）。所定期間の少なくとも一部とは、所定期間が、例えば、５秒間としたとき、所定期間の全期間（５秒間）でもよいし、所定期間の一部（例えば、１秒間）でもよい。

同じ位置からガスが常に出ている場合、３つの所定期間のいずれにおいても、期間の全部でガス候補領域が存在する。このため、図１６Ｂに示すように、３つの所定期間のいずれにおいても、比較的大きい出現領域が存在する。すなわち、３つの第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６のいずれにも比較的大きい出現領域が含まれる。これに対して、赤外線カメラ２の視野にガス状の物質が流れてきた場合、ある所定期間では、比較的大きい出現領域が存在するが、別の所定期間では、出現領域が存在しなかったり、比較的小さい出現領域が存在したりする。すなわち、図１６Ａに示すように、３つの第２画像Ｉｍ２−３，Ｉｍ２−１，Ｉｍ２−４のうち、第２画像Ｉｍ２−１には比較的大きい出現領域が含まれるが、第２画像Ｉｍ２−３，Ｉｍ２−４には、出現領域が含まれない（出現領域が含まれていても、出現領域の面積が比較的小さい）。

なお、２以上の所定期間は、連続していてもよいし（例えば、ある所定期間が０〜５秒の間、別の所定期間が５秒〜１０秒の間）、離れていてもよいし（例えば、ある所定期間が０〜５秒の間、別の所定期間が１０秒〜１５秒の間）、一部が重複していてもよい（例えば、ある所定期間が０〜５秒の間、別の所定期間が３秒〜８秒の間）。

共通領域は、出現領域どうしにおいて、共通する領域である。同じ位置からガスが常に出ている場合、図１６Ｂを参照して、３つの第２画像Ｉｍ２−５，Ｉｍ２−２，Ｉｍ２−６のいずれにも比較的大きい出現領域が含まれる。このため、第３画像Ｉｍ３−２には、ある程度の面積を有する共通領域が含まれる。これに対して、赤外線カメラ２の視野にガス状の物質が流れてきた場合、図１６Ａを参照して、第２画像Ｉｍ２−１には、比較的大きい出現領域が含まれるが、第２画像Ｉｍ２−３，Ｉｍ２−４には、出現領域が含まれない（出現領域が含まれていても、出現領域の面積が比較的小さい）。このため、第３画像Ｉｍ３−１には、共通領域が含まれない（共通領域が含まれていても、共通領域の面積が比較的小さい）。

従って、共通領域を基にすれば、同じ位置からガスが常に出ている場合と赤外線カメラ２の視野にガス状の物質が流れてきた場合との区別が可能となる。よって、実施形態によれば、ガスの検知精度を向上させることができる。

（実施形態の纏め）
実施形態の一態様に係るガス検知用画像処理装置は、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理部と、前記複数の第１画像を用いて、前記所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域を抽出する処理をすることにより、第２画像を生成する第２処理部と、を備え、前記第２処理部は、２以上の前記所定期間のそれぞれに対応して生成された前記複数の第１画像に前記出現領域の抽出処理をすることにより、２以上の前記第２画像を生成し、前記ガス検知用画像処理装置は、２以上の前記第２画像を用いて、前記出現領域の共通領域を抽出する処理をすることにより、第３画像を生成する第３処理部を備える。

第１処理部は、所定期間において時系列に撮像された複数の赤外画像のそれぞれを基にして、複数の第１画像を生成する。時系列に並ぶ複数の第１画像において、最初の第１画像から最後の第１画像までの期間が、所定期間となる。

同じ位置からガスが常に出ている場合、カメラの視野にガスが常に存在する。このため、２以上の所定期間のいずれにおいても、期間の全部でガス候補領域が存在する。これに対して、カメラの視野にガス状の物質が流れてきた場合、カメラの視野にガス状の物質が流れていない状態から、流れている状態に変化する。このため、ある所定期間では、期間の全部でガス候補領域が存在するが、別の所定期間では、期間の全部でガス候補領域が存在しなかったり、期間の一部でガス候補領域が存在したりする。ここで、同じ位置から常に出ているガスは、検知対象のガスであり、ガス状の物質（例えば、蒸気）は、検知対象外のガスである。

ガスは、不規則にゆらぐ。同じ位置からガスが常に出ている場合でも、所定期間の個々の時刻どうしを比較すると、ガス候補領域の位置が完全に一致することはない。このため、出現領域を、所定期間の全期間において、ガス候補領域が出現していた領域にした場合、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、同じ位置からガスが常に出ている場合、出現領域の面積を常に比較的大きくすることができる。所定期間の少なくとも一部とは、所定期間が、例えば、５秒間としたとき、所定期間の全期間（５秒間）でもよいし、所定期間の一部（例えば、１秒間）でもよい。

同じ位置からガスが常に出ている場合、２以上の所定期間のいずれにおいても、期間の全部でガス候補領域が存在するので、２以上の所定期間のいずれにおいても、比較的大きい出現領域が存在する。すなわち、２以上の第２画像のいずれにも比較的大きい出現領域が含まれる。これに対して、カメラの視野にガス状の物質が流れてきた場合、ある所定期間では、比較的大きい出現領域が存在するが、別の所定期間では、出現領域が存在しなかったり、比較的小さい出現領域が存在したりする。すなわち、２以上の第２画像のうち、ある第２画像には比較的大きい出現領域が含まれるが、別の第２画像には、出現領域が含まれなかったり、比較的小さい出現領域が含まれたりする。

なお、２以上の所定期間は、連続していてもよいし（例えば、ある所定期間が０〜５秒の間、別の所定期間が５秒〜１０秒の間）、離れていてもよいし（例えば、ある所定期間が０〜５秒の間、別の所定期間が１０秒〜１５秒の間）、一部が重複していてもよい（例えば、ある所定期間が０〜５秒の間、別の所定期間が３秒〜８秒の間）。

共通領域は、出現領域どうしにおいて、共通する領域である。同じ位置からガスが常に出ている場合、２以上の第２画像のいずれにも比較的大きい出現領域が含まれるので、ある程度の面積を有する共通領域となる。これに対して、カメラの視野にガス状の物質が流れてきた場合、ある第２画像には、比較的大きい出現領域が含まれるが、別の第２画像には、出現領域が含まれなかったり、比較的小さい出現領域が含まれたりする。このため、共通領域が存在しないか、又は、小さい面積を有する共通領域が存在する。

従って、共通領域を基にすれば、同じ位置からガスが常に出ている場合とカメラの視野にガス状の物質が流れてきた場合との区別が可能となる。よって、実施形態の一態様に係るガス検知用画像処理装置によれば、ガスの検知精度を向上させることができる。

上記区別を実現する構成として、例えば、以下の第１例と第２例とがある。第１例は、以下の通りである。第４処理部は、前記第３画像において、所定の第１しきい値を用いて２値化することにより第４画像を生成する（好ましくは、第４処理部は、前記第３画像において、所定の第１しきい値を超えている画素を、前記共通領域を構成する画素として設定して、２値化画像である第４画像を生成する）。第５処理部は、２以上の前記第２画像の１つにおいて、所定の第２しきい値を用いて２値化することにより第５画像を生成する（好ましくは、第５処理部は、２以上の前記第２画像の１つにおいて、所定の第２しきい値を超えている画素を、前記出現領域を構成する画素として設定して、２値化画像である第５画像を生成する）。第１判定部は、前記第４画像に含まれる前記共通領域の画素数と前記第５画像に含まれる前記出現領域の画素数とおいて、前記共通領域の画素数の割合が、所定の第３しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定し、前記第３しきい値以下のとき、カメラの視野にガス状の物質が流れてきた場合と判定する。

第２例は、以下の通りである。第２判定部は、前記第４画像に含まれる前記共通領域の画素数が、所定の第４しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定し、前記第４しきい値以下のとき、カメラの視野にガス状の物質が流れてきた場合と判定する。

上記構成において、前記第２処理部は、前記複数の第１画像において、同じ順番に位置する画素が示す値の最大値を、前記第２画像の前記順番に位置する画素の値として設定して前記第２画像を生成する。

この構成は、第２画像の生成の仕方の一例である。例えば、複数の第１画像において、１番目の画素の値の最大値がαのとき、第２画像において、１番目の画素の値がαとされる。第２画像の残りの画素の値についても同様にして決められる。このようにして、第２画像を構成する画素の値が定められると、出現領域が抽出される。

上記構成において、前記第３処理部は、２以上の前記第２画像において、同じ順番に位置する画素が示す値の最小値を、前記第３画像の前記順番に位置する画素の値として設定して前記第３画像を生成する。

この構成は、第３画像の生成の仕方の一例である。例えば、２以上の第２画像において、１番目の画素の値の最小値がβのとき、第３画像において、１番目の画素の値がβとされる。第３画像の残りの画素の値についても同様にして決められる。このようにして、第３画像を構成する画素の値が定められると、共通領域が抽出される。

実施形態の他の態様に係るガス検知用画像処理方法は、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理ステップと、前記複数の第１画像を用いて、前記所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域を抽出する処理をすることにより、第２画像を生成する第２処理ステップと、を備え、前記第２処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された前記複数の第１画像に前記出現領域の抽出処理をすることにより、２以上の前記第２画像を生成し、前記ガス検知用画像処理方法は、２以上の前記第２画像を用いて、前記出現領域の共通領域を抽出する処理をすることにより、第３画像を生成する第３処理ステップを備える。

実施形態の他の態様に係るガス検知用画像処理方法は、実施形態の一態様に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の一態様に係るガス検知用画像処理装置と同様の作用効果を有する。

実施形態のさらに他の態様に係るガス検知用画像処理プログラムは、所定期間において時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理ステップと、前記複数の第１画像を用いて、前記所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域を抽出する処理をすることにより、第２画像を生成する第２処理ステップと、をコンピュータに実行させ、前記第２処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された前記複数の第１画像に前記出現領域の抽出処理をすることにより、２以上の前記第２画像を生成し、前記ガス検知用画像処理プログラムは、２以上の前記第２画像を用いて、前記出現領域の共通領域を抽出する処理をすることにより、第３画像を生成する第３処理ステップをコンピュータに実行させる。

実施形態のさらに他の態様に係るガス検知用画像処理プログラムは、実施形態の一態様に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の一態様に係るガス検知用画像処理装置と同様の作用効果を有する。

本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。

２０１７年５月２日に提出された日本国特許出願特願２０１７−０９１７９５は、その全体の開示が、その全体において参照によりここに組み込まれる。

本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラムを提供することができる。

Claims (8)

1. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理部と、
   前記複数の第１画像のうち、第１所定期間に対応する２以上の前記第１画像を基にして、前記第１所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された第２画像と、前記複数の第１画像のうち、前記第１所定期間に含まれない期間を含む第２所定期間に対応する２以上の前記第１画像を基にして、前記第２所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された第２画像とを含む、２以上の前記第２画像を生成する第２処理部と、
   前記２以上の第２画像を用いて、前記出現領域の共通領域を抽出し、前記共通領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを判定する判定部と、を備えるガス検知用画像処理装置。
2. 前記第２処理部は、前記複数の第１画像において、同じ順番に位置する画素が示す値の最大値を、前記第２画像の前記順番に位置する画素の値として設定して前記第２画像を生成する、請求項１に記載のガス検知用画像処理装置。
3. 前記共通領域が抽出された第３画像を生成する第３処理部をさらに備え、
   前記第３処理部は、前記２以上の第２画像において、同じ順番に位置する画素が示す値の最小値を、前記第３画像の前記順番に位置する画素の値として設定して前記第３画像を生成する、請求項１又は２に記載のガス検知用画像処理装置。
4. 前記第３画像において、所定の第１しきい値を用いて２値化することにより第４画像を生成する第４処理部をさらに備える、請求項３に記載のガス検知用画像処理装置。
5. 前記２以上の第２画像の１つにおいて、所定の第２しきい値を用いて２値化することにより第５画像を生成する第５処理部をさらに備え、
   前記判定部は、前記第４画像における前記共通領域の画素数と前記第５画像における前記出現領域の画素数とにおいて、前記共通領域の画素数の割合が、所定の第３しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定する、請求項４に記載のガス検知用画像処理装置。
6. 前記判定部は、前記第４画像に含まれる前記共通領域の画素数が、所定の第４しきい値を超えているとき、同じ位置からガスが常に出ている場合と判定する、請求項４に記載のガス検知用画像処理装置。
7. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理ステップと、
   前記複数の第１画像のうち、第１所定期間に対応する２以上の前記第１画像を基にして、前記第１所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された前記第１所定期間に対応する第２画像と、前記複数の第１画像のうち、前記第１所定期間に含まれない期間を含む第２所定期間に対応する２以上の前記第１画像を基にして、前記第２所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された前記第２所定期間に対応する第２画像とを含む、２以上の所定期間に対応する２以上の前記第２画像を生成する第２処理ステップと、
   前記２以上の第２画像を用いて、前記出現領域の共通領域を抽出し、前記共通領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを判定する判定ステップと、を備えるガス検知用画像処理方法。
8. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第１画像を生成する第１処理ステップと、
   前記複数の第１画像のうち、第１所定期間に対応する２以上の前記第１画像を基にして、前記第１所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された前記第１所定期間に対応する第２画像と、前記複数の第１画像のうち、前記第１所定期間に含まれない期間を含む第２所定期間に対応する２以上の前記第１画像を基にして、前記第２所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す出現領域が抽出された前記第２所定期間に対応する第２画像とを含む、２以上の前記所定期間に対応する２以上の前記第２画像を生成する第２処理ステップと、
   前記２以上の第２画像を用いて、前記出現領域の共通領域を抽出し、前記共通領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを判定する判定ステップと、をコンピュータに実行させるガス検知用画像処理プログラム。

Images