JP6494103B2 - 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム - Google Patents

Description

この発明は画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システムに関し、鉄道の軌道上を走行する列車の位置を検出し、軌道周辺の時系列的な環境の変化を把握するのに用いて好適なものである。

鉄道において、列車が走行する軌道の周辺の時系列的な環境の変化を検出することは、列車の走行に支障をきたすおそれのある建築物や植生などの支障物を早期に発見する上で重要である。軌道の周辺の時系列的な環境の変化を検出する方法として、同一路線で異なる日時に列車を走行させながら列車に設置したビデオカメラにより軌道の周辺を撮影することにより収録されたビデオ画像を比較することが考えられる。異なる日時に収録されたこれらのビデオ画像を比較する場合、比較されるビデオ画像のフレームは同一地点で撮影されたものであることが望ましい。このためには、列車の走行位置を正確に検出する必要がある。

従来、列車の走行位置を検出する技術として次のようなものが知られている。１つは、速度発電機からの信号によるＴＧ位置（列車の走行距離と経路情報とにより算出された列車の走行位置）とＧＰＳ受信機からのＧＰＳ位置とを比較して列車の位置を検出するとともに、検出した列車の位置を、加速度センサから出力される列車の上下振動信号と集音装置から出力される音響信号との両方の波形特徴を抽出して車上装置がレール継ぎ目や分岐部などの特異点を通過したときの特異点通過信号により補正する技術である（特許文献１参照。）。である。もう１つは、ＤＧＰＳ（差動地球測位システム）を移動体走行システムに適用し、列車の情報測定用走行を行って線路情報データベースを作成し、運用走行時には、情報処理部は、受信信頼度が高い場合にはＤＧＰＳ距離程を用い、受信信頼度が中程度の場合にはＤＧＰＳ距離程を初期値とし運用時線路曲率相当値を演算し、既知線路曲率相当値と比較して距離程を特定し、受信信頼度が低い場合には車軸回転数に基づく車軸距離程に基づいて距離程を特定する技術である（特許文献２参照。）。

特開２０１１−２２５１８８号公報 特開２００４−２７１２５５号公報 特開２０１５−２３３７０号公報

［平成２５年７月８日検索］、インターネット〈http://www.m-system.co.jp/mstoday/plan/mame/b ＿network/9812/index.html 〉

しかしながら、本発明者らの検討によれば、特許文献１、２で提案された列車の位置を検出する技術は、列車が走行する軌道の周辺の時系列的な環境の変化を検出する上で必要な位置の検出精度を得ることができなかったり、コストが高く付いたりするという欠点がある。

そこで、この発明が解決しようとする課題は、列車の走行位置を高精度にかつ低コストで検出することができる、画像処理を利用した列車位置検出システムを提供することである。

この発明が解決しようとする他の課題は、列車の走行位置を高精度にかつ低コストで検出することができ、それによって列車が走行する軌道の周辺の時系列的な環境の変化を容易にかつ正確に検出することができる、画像処理を利用した列車位置および環境変化検出システムを提供することである。

上記課題を解決するために、この発明は、
動画の撮影が可能なカメラが設置された列車を軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第１の動画の各フレーム画像から抽出されたＳＵＲＦ特徴および当該ＳＵＲＦ特徴と対応付けられた位置情報を格納した画像特徴データベースを有し、
上記第１の動画が収録された日時と異なる日時に上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と上記画像特徴データベースに格納された上記第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて上記列車の走行位置を検出することを特徴とする画像処理を利用した列車位置検出システムである。

また、この発明は、
動画の撮影が可能なカメラが設置された列車を軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第１の動画の各フレーム画像から抽出されたＳＵＲＦ特徴および当該ＳＵＲＦ特徴と対応付けられた位置情報を格納した画像特徴データベースを有し、
上記第１の動画が収録された日時と異なる日時に上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と上記画像特徴データベースに格納された上記第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて上記列車の走行位置を検出することを特徴とする画像処理を利用した列車位置および環境変化検出システムである。

この列車位置検出システムあるいは列車位置および環境変化検出システムにおいて、第１の動画の各フレーム画像から抽出されたＳＵＲＦ特徴と対応付けられた位置情報は、例えば、第１の動画の各フレーム画像と対応付けられたキロ程情報あるいは第１の動画の各フレーム画像と対応付けられた速度情報から速度の積分により求められる距離情報であるが、これに限定されるものではない。この速度情報は、例えば、列車に設置された速度発電機またはＧＰＳ受信機により取得されるものであるが、これに限定されるものではない。

第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と画像特徴データベースに格納された第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度は、好適には、第２の動画の指定されたフレーム画像から抽出されたＳＵＲＦ特徴点数に対する、第１の動画のフレーム画像と第２の動画の指定されたフレーム画像との間で対応点があるＳＵＲＦ特徴点数の比である。この場合、第１の動画のフレーム画像と第２の動画の指定されたフレーム画像との間で対応点があるＳＵＲＦ特徴点の対は、典型的には、ＳＵＲＦ特徴の特徴記述ベクトルのユークリッド距離が最も短い対である。好適には、第２の動画の各フレーム画像と対応付けられた速度情報のみによる列車の位置の推定結果に上記の類似度を重みとして反映させることにより列車の位置を検出する。こうすることで、列車の位置を高精度に検出することができる。

鉄道の軌道に特有な枕木などの、周期的に設けられた構造物による検出精度の低下を防止するために、好適には、第１の動画および第２の動画の各フレーム画像からＳＵＲＦ特徴を抽出する際に、例えば、当該フレーム画像の下部中央の軌道部分と中央遠隔風景部分とをマスク画像によりマスクしておく。

第２の動画のフレーム画像に対応するキロ程は、次のようにして求めることもできる。すなわち、列車に前後方向加速度計およびＧＰＳ受信機を設置する。こうして前後方向加速度計およびＧＰＳ受信機を設置した列車を軌道上を走行させながらカメラにより進行方向前方の空間を撮影することにより第１の動画および上記の前後方向加速度計により計測される前後方向加速度の積分または上記のＧＰＳ受信機により取得される速度情報を収録し、収録された第１の動画の各フレーム画像に手動などでキロ程を割り振って画像データベースを作成する。そして、第１の動画が収録された日時以後の異なる日時に列車を軌道上を走行させながらカメラにより進行方向前方の空間を撮影することにより収録される第２の動画と上記の画像データベースに格納された第１の動画とを比較することにより第２の動画の指定されたフレーム画像が第１の動画のどのフレーム画像に対応するかを決定することにより第２の動画のフレーム画像に対応するキロ程を決定する。

上記の列車位置および環境変化検出システムにおいては、好適には、カメラが設置された車両を軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影し、軌道上の互いに異なる位置であって第２の動画の各フレーム画像に対応付けられた速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された２枚の画像を比較することにより軌道の周辺の時系列的な環境の変化を検出する。ここで、軌道上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離は、サンプリング間隔あるいは前後２枚のフレーム間の距離と言い換えることもできる。選択された距離は、典型的には一定であり、予め決められるが、これに限定されるものではない。軌道上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された２枚の画像は視点の異なる画像であるから、この２枚の画像を比較することにより、言い換えるとこの２枚の画像を用いて一眼ステレオ視を行うことにより、軌道の周辺の時系列的な環境の変化を定量的に評価することができる。好適には、列車の進行方向と直交する面の方向に仮想支障枠が多段（あるいは多重）に設定される。

動画の撮影が可能なカメラは、列車の進行方向前方の空間を撮影することができるように設置され、典型的には、車両の運転室内、例えば運転室の前方の窓ガラスの内側に設置される。このカメラとしては、動画の撮影が可能である限り、基本的にはどのようなものを用いてもよく、デジタルカメラであってもアナログカメラであってもよく、録画機能の有無も問わない。このカメラは、例えば、ビデオカメラ、工業用カメラなどである。ビデオカメラとしては、好適にはデジタルビデオカメラが用いられ、取り分け、高解像度のデジタルビデオカメラ、例えばハイビジョンデジタルビデオカメラが用いられる。ビデオカメラとしては、遠赤外線を利用したサーモグラフィビデオカメラを用いてもよく、これによってこの列車位置検出システムあるいは列車位置および環境変化検出システムを夜間に利用することが可能となる。カメラにより撮影される画像と車両の速度情報とを画像同期装置により同期することにより、カメラにより撮影される画像と車両の速度情報とを一対一に関連付けすることができる。画像同期装置は、典型的には、カメラと共に列車の車両内に設置される。画像同期装置としては、画像同期が可能である限り、基本的にはどのようなものを用いてもよく、従来公知のものを用いることができる。画像同期装置は、専用化された画像同期装置であってもよいし、ソフトウェアで画像同期機能を持たせたコンピュータ、データロガーなどであってもよい。専用化された画像同期装置としては、好適には、選択された時間間隔毎に取得され、データインデクス（あるいは同期番号）がそれぞれ付与された速度情報のデータインデクスを選択された時間間隔毎に音声レベル信号に変換するデジタル／アナログ変換回路を有する画像同期装置が用いられる（特許文献３参照。）。この画像同期装置は、典型的には、音声入力機能を有するカメラの音声入力端子が接続される出力端子を有し、上記のデジタル／アナログ変換回路から出力される音声レベル信号はその出力端子から出力される。データインデクスは、典型的には、シリアル通信規格のシリアル信号として画像同期装置の入力端子に送られる。シリアル通信規格は、例えば、ＲＳ４８５、ＲＳ４２２ＡまたはＲＳ２３２Ｃであり、これらの中から必要に応じて選択されるが、中でもＲＳ４８５が好ましい。一つの典型的な例では、データインデクスを１２００Ｈｚまたは２２００Ｈｚの周波数信号に変換し、「１」を１２００Ｈｚ、「０」を２２００Ｈｚとする。典型的な例では、画像同期装置は、シリアル通信規格のシリアル信号として画像同期装置の入力端子に送られるデータインデクスをＴＴＬレベルの信号に変換するＴＴＬレベル変換回路を有し、このＴＴＬレベル変換回路の出力がデジタル／アナログ変換回路に入力される。速度情報あるいはこれに加えて他のセンサーデータなどを取得する時間間隔および音声レベル信号に変換する時間間隔は必要に応じて選ばれる。データインデクスのビット数は必要に応じて選ばれるが、例えば６ビット以上１０ビット以下である。

列車位置検出システムあるいは列車位置および環境変化検出システムは、カメラおよび画像同期装置に加えて、例えば、車両内に設置される車両動揺測定装置をさらに有する。この車両動揺測定装置は、例えば、加速度センサー、角速度センサーおよび傾斜センサーからなる群から選ばれた少なくとも一つを有する。このうち加速度センサーは、軌道上を走行する列車の車両の前後方向、左右方向および上下方向の加速度を検出する３軸加速度センサーである。

この発明によれば、第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と画像特徴データベースに格納された第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて列車の走行位置を検出するので、列車の走行位置を高精度にかつ低コストで検出することができる。また、列車位置および環境変化検出システムによれば、列車の走行位置を高精度にかつ低コストで検出することができ、それによって列車が走行する軌道の周辺の時系列的な環境の変化を容易にかつ正確に検出することができる。

この発明の第１の実施の形態による列車位置検出システムの概要を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムの画像同期装置の回路構成の一例を示す回路図である。 この発明の第１の実施の形態による列車位置検出システムの画像同期装置においてデータインデクスを音声レベル信号に変換する方法を説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムの画像同期装置の具体的な構成例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムの車両動揺測定装置の構成例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムの車両動揺測定装置の筐体の構成例を示す平面図、正面図および側面図である。 この発明の第１の実施の形態による列車位置検出システムの車両動揺測定装置の各部の信号波形の一例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムの画像同期装置の各部の信号波形の一例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムのカメラ姿勢調整プログラムの画面の一例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムの連動表示プログラムの画面の一例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるフレームマッチング処理の概念を説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられる画像特徴データベースの生成処理とフレームマッチング処理との関係を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられる画像特徴データベースの生成処理フローを示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるＳＵＲＦ特徴による対応点探索の一例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるＳＵＲＦ特徴によるテンプレートマッチングの一例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるＳＵＲＦ特徴の抽出例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるフレームマッチング処理のフローを示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるリファレンスビデオ画像の開始フレームに対応するベースビデオ画像のフレーム画像の探索フローを示す略線図である。 ＳＩＦＴ特徴の特徴記述ベクトルを説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムにおけるリファレンスビデオ画像の開始フレームに対するＳＵＲＦ特徴の抽出結果の一例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおけるリファレンスビデオ画像の開始フレームのＳＵＲＦ特徴と画像特徴データベースに格納されたベースビデオ画像のＳＵＲＦ特徴とのマッチングの例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおけるリファレンスビデオ画像の開始フレームおよびこの開始フレームに対応付けられたベースビデオ画像のフレームの例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおけるリファレンスビデオ画像の開始位置での確率密度分布の一例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおける速度情報による確率密度分布の更新の様子の一例を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムにおけるＳＵＲＦ特徴のマッチングによる速度累積誤差の修正方法を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいてＳＵＲＦ特徴の抽出時に用いるマスク画像の一例を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムにおいて用いられるフレームマッチング処理の精度を説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ奈良線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ奈良線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ奈良線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ奈良線でのフレームマッチング結果を示す図面代用写真である。 この発明の第１の実施の形態による列車位置検出システムを用いて行われたＪＲ草津線でのフレームマッチング結果を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラムの検知画面の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラム設定画面の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラム設定画面で用いられる軌道座標系の定義を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による仮想建築限界枠設定画面の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による仮想建築限界枠設定画面で用いられる建築限界枠幅の設定方法を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による仮想建築限界枠とビデオカメラ画像上の画素との関係の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術においてデジタルビデオカメラが前進した場合の見え方の変化の一例を説明するための略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術において前進するデジタルビデオカメラの画像の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラムの検知画面における消失点および画像の移動方向の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラムにおけるデジタルビデオカメラの前進前および前進後の仮想建築限界枠の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラムにおいてエピ極線上の追尾の方法の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術による建築限界支障検出プログラムにおけるエピ極線上の追尾による類似度プロファイルの一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術を用いて行われた試験線撮影試験における追尾の安定化を図るための検討結果を説明するための略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出の基礎となる建築限界支障検出技術を用いて行われた試験線撮影試験における異なる地点間の類似度プロファイルの合成方法の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出に用いられる支障限界枠の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて環境変化抽出に用いられる多重支障限界枠の一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により線路脇の電柱について建築限界枠支障個数を求めた結果を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られた結果の解析においてベースビデオ画像とリファレンスビデオ画像との対応する一対のフレームのみで差異を計算した一例を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたベースビデオ画像の処理対象区間の様子を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたリファレンスビデオ画像の処理対象区間の様子を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたベースビデオ画像における仮想建築限界枠による支障検出結果を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたリファレンスビデオ画像における仮想建築限界枠による支障検出結果を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたベースビデオ画像およびリファレンスビデオ画像における注目箇所の支障点個数および差異検出結果を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたベースビデオ画像の処理対象区間の様子を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたリファレンスビデオ画像の処理対象区間の様子を示す図面代用写真である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたベースビデオ画像およびリファレンスビデオ画像の注目箇所の支障点個数および差異検出の結果を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムを用いて実路線で行われた試験走行により得られたリファレンスビデオ画像における仮想建築限界枠による電柱の支障の検出結果を示す略線図である。 この発明の第２の実施の形態による列車位置および環境変化検出システムにおいて用いられる拡大された仮想建築限界枠を示す略線図である。 この発明の第１の実施の形態による列車位置検出システムあるいは第２の実施の形態による列車位置および環境変化検出システムにおいて用いられる複数ビデオ画像のハンドリング機能を有するアプリケーションの操作方法を説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムあるいは第２の実施の形態による列車位置および環境変化検出システムにおいて用いられるキロ程決め技術を説明するための略線図である。 この発明の第１の実施の形態による列車位置検出システムあるいは第２の実施の形態による列車位置および環境変化検出システムにおいて用いられるキロ程決め技術を説明するための略線図である。 この発明の第５の実施の形態による列車位置検出システムを示す略線図である。

以下、発明を実施するための形態（以下「実施の形態」という）について説明する。

〈第１の実施の形態〉
第１の実施の形態による画像処理を利用した列車位置検出システム（以下「列車位置検出システム」という。）について説明する。

［列車位置検出システムの全体構成］
図１はこの列車位置検出システムの概要を示す。図１に示すように、この列車位置検出システムにおいては、画像同期装置１０を介して、音声入力機能を有するデジタルビデオカメラ２０と車両動揺測定装置３０とが接続されている。より詳細には、車両動揺測定装置３０の出力端子と画像同期装置１０の入力端子とがケーブルＣ１により接続され、画像同期装置１０の出力端子とデジタルビデオカメラ２０の音声入力端子とがケーブルＣ２により接続されている。これらの画像同期装置１０、デジタルビデオカメラ２０および車両動揺測定装置３０は車両内、具体的には、例えば先頭車両内に設置される。

デジタルビデオカメラ２０は、例えば、列車の先頭車両の運転室内に、進行方向前方の空間を撮影することができるように設置される。より具体的には、デジタルビデオカメラ２０は、例えば、先頭車両の運転室の前方の窓ガラスの内側の面や窓ガラスの内側の面の直ぐ手前の台上に強力な吸盤などを用いて動かないように設置される。デジタルビデオカメラ２０としては、市販の汎用デジタルビデオカメラを用いることができるが、好適には、高解像度のデジタルビデオカメラ、例えばハイビジョンデジタルビデオカメラが用いられる。

車両動揺測定装置３０は、例えば、加速度センサー、角速度センサーおよび傾斜センサーからなる群から選ばれた少なくとも一つのセンサーを有する。このうち加速度センサーは、線路を走行する車両の前後方向、左右方向および上下方向の加速度を検出する３軸加速度センサーである。車両動揺測定装置３０にはケーブルＣ３を介してＧＰＳ受信機３８が接続されている。車両動揺測定装置３０は、ＧＰＳ受信機３８により受信されるＧＰＳ信号により、車両の位置（緯度、経度）の情報および速度情報（ＮＭＥＡ０１８３）を取得し、記録することができるように構成されている。また、車両動揺測定装置３０は、車両の車軸端などに設置された速度発電機から送出されるパルス電圧により軌道上の位置（キロ程）および速度情報を取得し、記録することができるように構成されている。車両動揺測定装置３０の詳細については後述する。

画像同期装置１０は、車両の走行中に、デジタルビデオカメラ２０により選択されたサンプリング間隔で撮影される線路空間の画像（フレーム）と車両動揺測定装置３０により取得される時系列の位置情報および速度情報とを同期させ、互いに一対一の関連付けを行うために用いられる。このために、画像同期装置１０では、車両動揺測定装置３０により生成されたデータインデクス（data index）（あるいは同期番号）が音声エンコードされ、デジタルビデオカメラ２０の音声トラックに記録される。画像同期装置１０の詳細については後述する。車両動揺測定装置３０では、速度発電機から送出されるパルス電圧を記録し、上述と同様に撮影画像との関連付けを行う。

デジタルビデオカメラ２０の設置の仕方の一例を説明する。すなわち、デジタルビデオカメラ２０の設置時には、線路の消失点がカメラ画像中心に来るように、しかも画面垂直方向が重力軸に平行になるようにする。この際、これらの調整を正確に行うため、画面に補助線を表示するようにする。また、デジタルビデオカメラ２０のレンズの広角端で撮影を行うため、デジタルビデオカメラ２０の設置時にこの補助線を使うにあたりレンズ歪および画像中心のずれが無視できないことから、レンズ歪補正および画像中心補正を施したビデオカメラ画像に補助線が引かれるツールプログラム（カメラセットアッププログラム）を開発し、このツールプログラムをインストールしたノート型パーソナルコンピュータ（ノートＰＣ）を車両内に持ち込んで使用する。また、この際、デジタルビデオカメラ２０から出力されるＨＤＭＩ（登録商標）信号をＰＣで入力できる形式（Ｈ．２６４）に変換するＨＤＭＩ−ＵＳＢ変換器をデジタルビデオカメラ２０とノートＰＣとの間に接続する。

上記のデジタルビデオカメラ２０のレンズ歪補正係数および画像中心のずれ、また後の処理で用いる焦点距離を別途較正しておく。これをカメラ内部パラメータキャリブレーションと呼ぶ。このために、上記のノートＰＣにはカメラ内部パラメータキャリブレーションプログラムをインストールしておく。このカメラ内部パラメータキャリブレーションのパラメータはファイルとして保存され、上記のデジタルビデオカメラ２０の設置時の作業および後の列車位置検出機能において用いられる。

列車を走行させながらデジタルビデオカメラ２０により撮影が行われた後、車両動揺測定装置３０から、動揺・緯度経度・速度データおよびデータインデクスが、例えば撮影回数分ＣＳＶファイルとしてデータ処理ＰＣ５０に渡される。また、デジタルビデオカメラ２０からは、撮影画像および音声エンコードされた車両動揺測定装置３０発行のデータインデクスがデータ処理ＰＣ５０に渡される。データ処理ＰＣ５０には、後に詳述する、フレームマッチング処理を始めとした各種の処理を行うための列車位置検出プログラムがインストールされている。データ処理ＰＣ５０は、列車内あるいは列車外のオフィスなどに設置される。車両動揺測定装置３０からの動揺・緯度経度・速度データおよびデータインデクスは、例えばＳＤカード経由でデータ処理ＰＣ５０に渡されてもよい。同様に、デジタルビデオカメラ２０からの撮影画像および音声エンコードされた車両動揺測定装置３０発行のデータインデクスは、例えばＳＤカード経由でデータ処理ＰＣ５０に渡されてもよい。

上記の各種データは、ビデオカメラ画像と各種センサーデータとを連動表示するプログラム（連動表示プログラム）に読み込まれ、ビデオカメラ画像の音声データからデータインデクスにデコードされ、動揺・経度緯度・速度データとビデオカメラ画像のフレームとは一対一対応の関係を与えられる。また、連動表示プログラム上でビデオカメラ画像と速度グラフとを同期表示し、データが妥当か否かを確認する。

ビデオカメラ画像および速度情報が妥当であると確認された後、連動表示プログラムからビデオカメラ画像と、各フレームの速度情報とが出力され、列車位置検出プログラムに読み込まれる。

［列車位置検出システムにおけるデータファイル入出力の概要］
この列車位置検出システムにおけるデータファイル入出力について説明する。

（１）既に述べたように、画像同期装置１０を介してデジタルビデオカメラ２０と車両動揺測定装置３０とを接続し、デジタルビデオカメラ２０で撮影されたビデオカメラ画像と車両動揺測定装置３０により得られた速度情報（速度データ）およびセンサーデータとを同時に収録する。
（２）車両動揺測定装置３０のＳＤカード内には、年月日時分秒をファイル名前半とする数種類のファイルが生成される。また、デジタルビデオカメラ２０のＳＤカード内にも年月日時分秒をファイル名とするビデオファイルが生成される。
（３）同期ビューアから車両動揺測定装置３０の解析プログラムを起動（キック）し、解析プログラムのＧＵＩでまず＿vbsd.binファイルを読み込む。解析プログラム内では引き続き＿vbsd.binファイル内にあるリンクから＿gpsd.csvファイル、＿xind.binファイルおよび＿spdd.binファイルを読み込む。
（４）次に、解析プログラムのＧＵＩを用いて、.INIファイル、.PTPファイルおよび.ANAファイルを出力し、これを同期ビューアに読み込む。
（５）同期ビューアでは、出力された.INIファイル、.PTPファイルおよび.ANAファイルを自動的に指定フォルダにコピーする。
（６）次に、同期ビューアによりビデオファイルである.mtsファイルを読み込み、音声トラックに記録されたデータインデクスを自動的にデコードし、ビデオカメラ画像のフレームとデータインデクスとの対応表ファイルを作成し出力する。

［列車位置検出システムの詳細］
（画像同期装置１０の詳細）
画像同期装置１０の詳細を説明する。図２はこの画像同期装置１０を示す。図２に示すように、画像同期装置１０は、デジタル信号であるデータインデクス（同期番号）をアナログ信号である音声レベル信号に変換するためのデジタル／アナログ変換（Ｄ／Ａ変換）回路１１を有する。このデジタル／アナログ変換は、例えば、データインデクスの「１」を音声周波数帯の周波数ｆ₁ の周波数信号に、「０」を音声周波数帯の周波数ｆ₂ （≠ｆ₁ ）の周波数信号に変換するものであり、典型的にはｆ₂ ＞ｆ₁ に選ばれる。一例として、図３に、データインデクスとして６ビットの「００１１００」を周波数信号に変換した例を示す。ｆ₁ 、ｆ₂ の具体例を挙げると、ｆ₁ ＝１２００Ｈｚ、ｆ₂ ＝２２００Ｈｚであるが、これに限定されるものではない。このデータインデクスは、車両動揺測定装置３０から選択された時間間隔毎に取得される時系列のデータ（位置情報のデータ、速度情報のデータおよび加速度センサーなどのセンサーデータ）にそれぞれ付与されるものであり、これらのデータに対して連番となっている。画像同期装置１０は入力端子１２を有し、データインデクスは車両動揺測定装置３０の出力端子からこの入力端子１２に送出される。データインデクスは、車両動揺測定装置３０からシリアル通信規格のシリアル信号として入力端子１２に供給される。シリアル通信規格は、例えば、ＲＳ４８５、ＲＳ４２２ＡまたはＲＳ２３２Ｃである。画像同期装置１０は出力端子１３を有し、デジタル／アナログ変換回路１１から出力される音声レベル信号はこの出力端子１３から出力される。この出力端子１３には、音声入力機能を有するデジタルビデオカメラ２０の音声入力端子が接続されるようになっている。

図４は画像同期装置１０の具体的な構成例を示す。図４に示すように、この画像同期装置１０は、ＴＴＬレベル変換回路１４、デジタル／アナログ変換回路１１および音声電圧レベル変換回路１５を有する。ＴＴＬレベル変換回路１４は画像同期装置１０の入力端子１２と接続されている。入力端子１２にはシリアル通信規格によるシリアル信号が供給され、このシリアル信号のレベルがＴＴＬレベル変換回路１４によりＴＴＬレベルに変換される。こうしてＴＴＬレベルに変換されたデータインデクスがデジタル／アナログ変換回路１１に入力され、音声レベル信号に変換される。例えば、車両動揺測定装置３０から入力端子１２にデータインデクスがＲＳ４８５レベル信号として供給され、このＲＳ４８５レベル信号がＴＴＬレベル変換回路１４によりＴＴＬレベルに変換される。デジタル／アナログ変換回路１４から出力される音声レベル信号は音声電圧レベル変換回路１５に入力され、電圧レベル変換が行われる。音声電圧レベル変換回路１５の出力端子は画像同期装置１０の出力端子１３と接続されている。出力端子１３には、デジタルビデオカメラ２０の音声入力端子を接続することができるようになっている。デジタル／アナログ変換回路１１の具体例を挙げると、ＨＡＲＴ（Highway Addressable Remote Transducer)モデム（例えば、非特許文献１参照。「ＨＡＲＴ」は登録商標。）である。ＨＡＲＴモデムでは、「１」を１２００Ｈｚの周波数信号に、「０」を２２００Ｈｚの周波数信号に変換する。画像同期装置１０は入力端子２５を有し、この入力端子２５に外部マイク２６を接続することができるようになっている。この外部マイク２６はモノラル録音に用いられる。入力端子２５は出力端子１３と接続されており、必要に応じて、入力端子２５に入力されるモノラル音声（あるいは、ステレオ片チャンネル）を音声レベル信号とともに出力端子１３から外部に送ることができるようになっている。

この画像同期装置１０によれば、車両動揺測定装置３０から出力される時系列のデータ（位置情報のデータ、速度情報のデータおよびセンサーデータ）に付与されたデータインデクスを音声レベル信号に変換しているので、この音声レベル信号をデジタルビデオカメラ２０の音声入力端子に入力して録音することができる。このため、この音声レベル信号を用いて、位置情報のデータ、速度情報のデータおよびセンサーデータとデジタルビデオカメラ２０により撮影された画像とを同期させることができる。この画像同期装置１０は簡単に構成することができるため、製造コストを低く抑えることができ、しかもサイズを小さくすることができる。

（車両動揺測定装置３０の詳細）
車両動揺測定装置３０の詳細を説明する。図５は車両動揺測定装置３０の構成を示す。車両動揺測定装置３０は、センサー処理部３１、表示処理部３２、位置情報処理部３３、データ保存部３４、外部インターフェース（Ｉ／Ｆ）制御部３５および電源制御部３６を有する。これらのセンサー処理部３１、表示処理部３２、位置情報処理部３３、データ保存部３４、外部インターフェース制御部３５および電源制御部３６は高速シリアルバス３７を介して相互に接続されている。外部インターフェース制御部３５の出力端子が画像同期装置１０の入力端子（図４に示す入力端子１２）と接続されている。位置情報処理部３３には、ＧＰＳ受信機３８により受信されるＧＰＳ信号および速度発電機３９の信号が供給されるようになっている。

センサー処理部３１は、軌道上を走行する車両の前後方向、左右方向および上下方向の加速度を検出するための３軸加速度センサー、角速度センサー（ヨー、ロール）および傾斜センサー（ピッチ、ロール）の出力信号が供給され、所定の処理が行われる。表示処理部３２は、例えば液晶ディスプレイ（ＬＣＤ）の表示制御を行う。位置情報処理部３３は、ＧＰＳ受信機３８により受信されるＧＰＳ信号により車両の位置（経度、緯度）を測定するとともに、速度発電機３９の信号により線路上の位置（キロ程）を測定する。データ保存部３４は、センサー処理部３１により処理されたセンサーデータおよびセンサーデータに付与されたデータインデクスを保存し、記録媒体としては例えばＳＤカードが用いられる。外部インターフェース制御部３５は、センサー処理部３１から出力されるＳＣＩ（Serial Communication Interface）のＴＴＬレベルのデータインデクスをシリアル通信規格、例えばＲＳ４８５レベルに変換して画像同期装置１０の入力端子１２に送る。電源制御部３６はバッテリー４０を備えており、センサー処理部３１、表示処理部３２、位置情報処理部３３、データ保存部３４、外部インターフェース制御部３５およびディスプレイへの電源の供給を制御する。

車両動揺測定装置３０の具体的な構成例（外形）を図６Ａ、ＢおよびＣに示す。ここで、図６Ａは平面図、図６Ｂは正面図、図６Ｃは側面図である。図６Ａ、ＢおよびＣに示すように、車両動揺測定装置３０は、直方体形状の筐体３０ａの内部に、図５に示すセンサー処理部３１、表示処理部３２、位置情報処理部３３、データ保存部３４、外部インターフェース制御部３５、電源制御部３６および高速シリアルバス３７が収納されている。ここで、センサー処理部３１、表示処理部３２、位置情報処理部３３、外部インターフェース制御部３５および電源制御部３６はそれぞれセンサー処理基板、表示処理基板、位置情報処理基板、外部インターフェース制御基板および電源制御基板として構成されている。筐体３０ａの大きさの一例を挙げると、２５０ｍｍ×１７０ｍｍ×１２０ｍｍ程度である。筐体３０ａの両端には把手３０ｂ、３０ｃが取り付けられており、これらの把手３０ｂ、３０ｃを両手で掴んで車両動揺測定装置３０を持ち運ぶことができるようになっている。筐体３０ａの前面にはＬＣＤ３０ｄが設置されている。このＬＣＤ３０ｄの表示は表示処理部３２により制御される。筐体３０ａの前面には電源スイッチ３０ｅが取り付けられている。電源スイッチ３０ｅは電源制御部３６と接続されている。電源スイッチ３０ｅにより車両動揺測定装置３０の電源のオン／オフを行うことができるようになっている。

車両動揺測定装置３０の外部インターフェース制御部３５のＳＣＩ（ＴＴＬ）信号の波形の例を図７Ａに、ＲＳ４８５レベル変換後のＲＳ４８５レベル信号の波形の例を図７ＢおよびＣに示す。また、画像同期装置１０に入力されたＲＳ４８５レベル信号の波形の例を図８ＡおよびＢに、ＴＴＬレベル変換回路１４により変換されたＴＴＬレベル信号の波形の例を図８Ｃに、音声電圧レベル変換を行った後の音声レベル信号の波形の例を図８Ｄに示す。

（カメラ姿勢調整プログラム）
この列車位置検出システムでは、上記のカメラ内部パラメータキャリブレーションの結果を読み込み、リアルタイムで歪補正したスルー画像を表示するカメラ姿勢調整プログラムを作成し、使用することもできる。このカメラ姿勢調整プログラムを用いることにより、列車位置検出エンジンにデジタルビデオカメラ２０のロール角度を補正する機能がなくても、線路の消失点を画像中心に正しく設定することができる。すなわち、カメラ画像そのものは、画像中心がずれているほか、歪もあり、正しく設定することが難しい。しかし、このカメラ姿勢調整プログラムを用いることにより、消失点を画像中心に容易に設定することができる。

図９にカメラ姿勢調整プログラムの画面（実際にはカラー画面）を示す。このカメラ姿勢調整プログラムの画面の機能について説明すると以下の通りである。
（１）デジタルビデオカメラ２０で撮影された画像をリアルタイム表示する。
（２）別途、上記の内部パラメータキャリブレーションにより得られた、デジタルビデオカメラ２０のレンズの歪補正係数および画像中心を読み込む。歪補正および画像中心補正をリアルタイムで行い、補正画像を表示する。
（３）画面に表示される縦線Ｌ１と横線Ｌ２とからなる十字線（例えば、赤十字線）の交点Ｐは、画像中心であり、線路の消失点がこの交点Ｐに重なるようにデジタルビデオカメラ２０の姿勢を調整する。
（４）画面の中央下部に表示された左下がりの斜め線Ｌ３および右下がりの斜め線Ｌ４（例えば、黄色線）は、画面右下の“２．左斜め線”および“３．：右斜め線”のラジオボタンで選択し、その下の左向きの矢印ボタン（←）および右向きの矢印ボタン（→）を押すことで、十字線の交点Ｐを中心に角度を調整することができる。これらの左斜め線Ｌ３および右斜め線Ｌ４を２本のレールに沿わせることで、消失点が正しいか否かを判断できる。
（５）画面に表示された二本の縦線Ｌ５、Ｌ６（例えば、黄緑線）は、画面垂直方向を表し、画面右下の“１：左垂線”および“４：右垂線”のラジオボタンで選択し、その下の左右向きの矢印ボタンを押すことで、左右位置を調整することができる。この左垂線および右垂線を建物などの垂線に沿わせることで、デジタルビデオカメラ２０のロール角を微調整する。

以上のカメラ姿勢調整プログラムを用いることで、デジタルビデオカメラ２０の取り付け姿勢を以下のように調整する。
・カメラ視線軸は、地平面と平行
・カメラ視線軸は、軌道方向と平行
・カメラ撮像面Ｙ軸と重力軸とは平行

なお、カメラ姿勢調整プログラムを用いることによりデジタルビデオカメラ２０の姿勢の調整を高精度で行うことができるが、実際に現場でデジタルビデオカメラ２０を取り付ける際には、たとえ姿勢の調整の精度を多少犠牲にしても、より簡便に姿勢を調整することが求められることもある。このような場合には、列車位置検出プログラムにおいて、撮影されたビデオカメラ画像から、デジタルビデオカメラ２０の姿勢を推定する。その際、例えば、撮影されたビデオカメラ画像上に図９に示すカメラ姿勢調整プログラム画面のようなガイド線を表示して、レールの消失点および建物垂直線をユーザーがマウス指定することが考えられる。

（連動表示プログラム）
連動表示プログラムは、車両動揺測定装置３０で収録されたＧＰＳデータおよび速度発電機情報と、デジタルビデオカメラ２０で撮影された画像とを連動表示する。図１０に連動表示プログラム１００の画面を示す。連動表示プログラムの機能は下記の通りである。
（１）ビデオカメラ画像の音声トラックの音声データからデータインデクスをデコードし、車両動揺測定装置３０の速度情報およびセンサーデータと対応付け、各ビデオフレームに速度情報を割り当てる。
（２）デジタルビデオカメラ２０のビデオフレームレートと車両動揺測定装置３０の速度情報サンプリングレートとは一般的に異なる。例えば、デジタルビデオカメラ２０のビデオフレームレートは６０Ｈｚ、速度情報サンプリングレートは１Ｈｚである。このため、一次の補間を行い、全ビデオフレームに速度情報を割り当てる。
（３）収録されたビデオカメラ画像と、加速度センサーデータ、ＧＰＳ速度データおよび速度発電機データとを連動して再生する。
（４）現在表示しているビデオフレームに対応した速度情報（ＧＰＳ速度）を表示する。

［フレームマッチング技術］
この列車位置検出システムにおいて使用するフレームマッチング技術について説明する。

このフレームマッチングのアルゴリズムは、（１）ベースビデオ画像特徴データベースの生成処理、（２）フレームマッチング処理、とからなる。このうち（２）のフレームマッチング処理は、同一路線を異なる日時に撮影したビデオ画像が複数本ある場合、特定の１本を基本となるビデオ画像（ベースビデオ画像）（第１の動画に対応する）とし、それ以外のビデオ画像（リファレンスビデオ画像）（第２の動画に対応する）の各フレームに対するベースビデオ画像の対応フレームを探索するという処理を行う。図１１にその一例を示す。図１１に示すように、ベースビデオ画像は複数のリファレンスビデオ画像との比較を行うため、予め画像特徴データベースを生成しておく。画像特徴データベースの詳細は後述するが、ベースビデオ画像の全フレーム画像のうち、フレームマッチングに用いる情報抽出を予め行いデータベース化することで、複数のリファレンスビデオ画像とのフレームマッチング処理において、同一処理が重複することを防ぐ。図１２にその一例を示す。図１２に示すように、同一路線の全てのリファレンスビデオ画像（この例ではリファレンスビデオ画像１〜３）は、ベースビデオ画像とフレームマッチングを行い、その結果をフレームマッチング結果として出力する。このとき、フレームマッチング結果は、リファレンスビデオ画像のフレーム番号（ビデオ画像の第１フレームを番号０として、以下カウントアップされる番号）と、それに対応するベースビデオ画像のフレーム番号とのペアを１レコードとするデータベースになる。

画像特徴データベースの生成処理フローを図１３に示す。図１３で入力されるベースビデオ画像および速度情報は、車両動揺測定装置３０によって収録されたデータセットで、ＭＰＥＧ４のビデオ画像ファイルと、ビデオフレームに対応付けられた速度情報およびキロ程情報を含む解析ファイルと、これらをフレームごとに対応付ける情報とから構成される。図１３で生成される画像特徴データベースとは、ベースビデオ画像の各フレーム画像に対し、画像の特徴的な情報を抽出し、その時点までの速度を積分した距離情報、および元データのキロ程情報を１レコードとしたものとなる。ここで使用するフレームマッチング技術では、ＳＵＲＦ（Speeded Up Robust Features）特徴を特徴量として用いる。これらの画像特徴は、例えば互いに異なる日時に同一対象物を撮影した図１４Ａに示す画像を入力画像としたとき、図１４Ｂに示すようにこれらの画像間で対応するポイントを探索するために用いられる。図１４Ｂに示すように、ＳＵＲＦ特徴による対応点推定が行われる（斜めの直線の両端位置がＳＵＲＦ特徴の位置である）。ＳＵＲＦ特徴は、画像内の特定対象物の探索（テンプレートマッチング）にも利用される。図１５にその一例を示す。

ＳＵＲＦ特徴はＳＩＦＴ（Scale Invariant Feature Transform)特徴などと同様、照明変化や拡大縮小、および回転に対して頑健であり、鉄道軌道画像のように天候、時刻などにより刻々と変化する自然画像において有効と考えられる。

一例として、図１６に、ＪＲ草津線で取得したビデオ画像に対して、実際にＳＵＲＦ特徴を抽出した結果を示す。図１６において、ビデオ画像上に描画された赤色・緑色・青色の３色のドットが抽出されたＳＵＲＦ特徴点位置を示す。赤色・緑色・青色はＳＵＲＦ特徴の強さを示し（赤ドットが最も強く、緑ドットが次に強く、青ドットが次に強い）、一定の強さ以下のものは排除される。レール面上および中央の遠方風景にはＳＵＲＦ特徴が検出されていないが、これは後に述べるフレームマッチングアルゴリズムへの悪影響を考慮して意図的に未検出とした。

図１３に示すように、上記のＳＵＲＦ特徴をベースビデオ画像の全フレームに対し検出し、画像特徴データベースに保存している。このとき、ＳＵＲＦ特徴検出を行ったフレームが、第１フレームを撮影した位置からどの距離にあるかを速度情報から速度の積分により求め、ＳＵＲＦ特徴と対応付けてデータベースに保存している。

本アルゴリズムにおいて、ＳＵＲＦ特徴を画像データベースとして保存し、フレームマッチング処理にて用いる目的および理由は下記の（１）〜（３）の通りである。
示す。

（１）ベースビデオ画像の特定フレームにリファレンスビデオ画像の特定フレーム上にある物体が存在するかを調べる。
（２）上記を実行するにあたり、天候・時刻などにより照明環境が変動しても影響されない。
（３）上記を実行するにあたり、カメラの取り付け角度あるいは車両の姿勢の誤差などがあっても影響されない

なお、画像特徴データベースは、好適には、ＳＵＲＦ特徴が上記のように頑健性を実現するため、１つの特徴に対し比較的大きな情報を持っており、ビデオ画像全フレームでは比較的大きくなる（例えば、１時間あたり１０ＧＢ程度）ため、バイナリデータとして保存する。

以上のようにして、ベースビデオ画像の画像特徴データベースを用いて、リファレンスビデオ画像とベースビデオ画像とのフレームマッチング処理を行う。フレームマッチング処理フローを図１７に示す。このフレームマッチング処理フローを図１７に付した（１）〜（１２）の順に説明すると下記の通りである。

（１）入力として、新しいリファレンスビデオ画像と対応付けられた速度情報のセットを準備する。
（２）予め準備されたベースビデオ画像の画像特徴データベースを用いる。
（３）リファレンスビデオ画像のフレーム画像からユーザーがフレームマッチングの開始フレームを指定する。
（４）リファレンスビデオ画像の開始フレームに対応するベースビデオ画像のフレームを探索する。この探索は図１８に示す処理フローで行う。すなわち、図１８に示すように、まずリファレンスビデオ画像の開始フレームに対し、ＳＵＲＦ特徴を抽出する。このリファレンスビデオ画像の開始フレームのＳＵＲＦ特徴と、ベースビデオ画像の画像特徴データベース内に格納されている各フレームのＳＵＲＦ特徴とを比較し、類似度を計算する。類似度は、以下に述べるベースビデオ画像およびリファレンスビデオ画像のフレーム画像各々の対応点がある特徴点数と、リファレンスビデオ画像のフレーム画像上で抽出されたＳＵＲＦ特徴点数との比として下記式（１）のように定義する。

この類似度を図１８に示す、リファレンスビデオ画像の開始フレームに対応するベースビデオ画像のフレーム探索フロー内のSim に代入する。

また、特徴点の対応は、ＳＵＲＦ特徴の特徴記述ベクトルのユークリッド距離が最も短くなる対を選択することにより得る。ここで、ＳＵＲＦアルゴリズムの基となるＳＩＦＴアルゴリズムで用いられている特徴記述ベクトルについて説明する。ＳＩＦＴ特徴の特徴記述ベクトルとは、特徴点周辺の画像輝度の各方向の変動量をベクトルで表したものである（図１９参照）。図１９の左図は入力画像であり、中心の白丸で示した点に特徴点があるとする。この地点の輝度がどの方向に最も勾配（輝度の変化量）があるかを計算する。この例の場合は、図１９の左図の左上方向（矢印方向）に輝度が最も変動している。この方向を縦軸に考えた４×４グリッド（左上図緑グリッド）を設定し、この各々１グリッド内で各方向への輝度の変動を計算する。こうすることで、画像が回転した場合でも、同一地点ではグリッド内の輝度の変動は同一となる。図１９の右図は、８方向に対する輝度の変動量を矢印の長さで表示したものである。本プログラムでは、４方向に対する変動量を使用している。よって、ＳＵＲＦ特徴は４×４グリッド×４方向＝６４個の値で、１つの特徴点を記述することとなる。すなわち、１つの特徴点は、６４次元ベクトルとして特徴付けられる。

２つの異なる画像上の特徴点に関し、この６４次元ベクトルが似ているということは、その特徴点およびその周辺が非常に似た画像であると推定できる。これは、言い換えると６４次元空間でユークリッド距離が短いということで、２つの画像上の特徴点を総当たりして、最も６４次元ベクトルが似ているもの同士を対応点として対にすることができる。また、上述の特徴記述ベクトルの求め方を考えると、輝度の絶対値などに影響されず、また画像間の回転変動があっても同一点の対応が取れると考えられる。

ＳＵＲＦアルゴリズムは、ＳＩＦＴと同様の性能を高速に行えるようにしたものであり、基本的な特徴点対応の考え方は同様である。

以上のように、ＳＵＲＦ特徴による対応点を検出し、式（１）により類似度を求める。この処理を画像特徴データベース内の全レコードに対して行い、類似度が最大になるレコードを求める。しかし画像特徴データベースの全レコードに対して行うと処理時間が増大するため、実際の処理では、例えば、画像特徴データベースに保存されたキロ程情報と、リファレンスビデオ画像のキロ程情報とを突き合わせ、ベースビデオ画像の対応するキロ程の前後１００ｍ程度で上記対応処理を行う。

以上のようにして最大の類似度を持つレコードを求めたら、それに対応するベースビデオ画像のフレーム番号を画像特徴データベースから取得し、出力する。

以下に、本処理を行っている様子を示す。図２０はリファレンスビデオ画像の開始フレーム画像に対するＳＵＲＦ特徴抽出結果を示し、図１８に示すフロー図右上のリファレンスビデオ画像の開始フレーム画像に対し、ＳＵＲＦ特徴抽出処理を行ったものである。図２０中の白点位置がＳＵＲＦ特徴として抽出された位置である。

図２１ＡおよびＢに、リファレンスビデオ画像の開始フレームのＳＵＲＦ特徴に対し、ベースビデオ画像の画像特徴データベースに格納されたＳＵＲＦ特徴をマッチングしている様子を示す。図２１ＡおよびＢの青点は、図２０の白点と同じもので、リファレンスビデオ画像の開始フレームで検出されたＳＵＲＦ特徴を示す。また、赤点は、ベースビデオ画像の画像特徴データベースから読み込まれたベースビデオ画像探索フレーム上のＳＵＲＦ特徴を示す。一部の青点と赤点はその間を黄色線で結ばれているが、これは、その両端点の赤・青が対応点であることを示す。図２１Ａは、対応点が２０個しかなく、類似度は低い。また、図２１Ｂは、最も類似度が高く１４６個の対応点が存在する。図２２に、この方法によって対応付けられたベースビデオ画像のフレームを示す。図２２中、右側がリファレンスビデオ画像の開始フレーム画像で、左側が上記アルゴリズムで対応付けられたベースビデオ画像のフレーム画像である。

（５）前記処理で求めたフレームに対応する位置（速度情報を積分した位置）の状態設定を行う。

状態とは、リファレンスビデオ画像の現在フレームの撮影位置の確からしさを確率密度で表したものである。求められた位置が最も確からしい位置であるから、ここを中心とした正規分布を設定する。図２３にその一例を示す。図２３のグラフ横軸は、ベースビデオ画像の位置（フレームに割り当てられた速度を積分したもの）で、縦軸はリファレンスビデオ画像の現在フレームを撮影した位置がそこである確からしさ（確率）である。グラフの左右中央が、（４）で求められた位置であり、ここを中心に正規分布を割り当てている（白い縦線）。以後、この確率密度を変更しながら、その最も確率が大きな位置に、リファレンスビデオ画像の現在のフレームを撮影した位置があると考える。

（６）リファレンスビデオ画像の次のフレーム画像を読み込む。以降（７）〜（１０）までの処理を繰り返すごとに読み込む。このとき、フレームに割り当てられた速度情報も読み込む。

（７）速度情報から、現在フレームでの図２３に示した確率密度を推定する。推定には以下の式（２）を用いる。
ここで、ｋおよびｉは、位置を表す（本システムでは、例えば０．５ｍごとの位置の連番）。ｔは時刻を表し、具体的には図１７のフロー図における（６）から（１２）に至るループを回る回数である。ｐは確率密度を表し、ｐ_i,t は時刻ｔのときに、ｉにビデオカメラが存在する確率を示す。

式（２）は、過去ｔ−１に位置ｉにビデオカメラが存在する確率密度分布ｐ_i,t-1 と現在ｔにその時の速度ｕ_t である場合、位置ｋに存在する確率を掛け合わせ、これを全位置に関して累積したものである。過去の確率分布を踏まえたうえで、現在の速度ｕ_t により現在の確率密度分布がどのように変更されるかを表している。

ここで、現在の速度ｕ_t で位置がどこに移動するかを考える。フレーム間の時刻をΔt
とすると、移動量は、ｌ＝ｕ_t ×Δｔとなるが、速度（本システムの場合は、ＧＰＳ速度情報あるいは速度発電機情報）データ自体に誤差が含まれている。この誤差を正規分布としてモデル化し、式（２）の中央部分を以下のように正規分布で定義する。
ここで、μ＝ｕ_t ×Δｔ、δ＝Δｔδ_s である。δ_s は速度情報の誤差分散で、本プログラムでは例えば１ｍ／ｓとする。

以上の計算により、図２３に示した確率密度分布を初期状態とし、以降時刻ｔ−１の確率密度分布をｔの確率密度分布に更新する。

実際のデータでこの計算により確率密度が変更される様子を図２４Ａ〜Ｃに以下に示す。図２４Ａ〜Ｃでは、Ａ、ＢおよびＣの順番で時刻が進み、確率密度分布が更新されている様子を示す。確率密度のピーク位置が徐々に右すなわち前方にシフトしていることが分かる。

以上の処理で、速度情報からリファレンスビデオ画像の現在フレームを撮影した位置が推定される。しかし、速度情報は誤差を含んでおり、上記のように確率密度を導入しているが、推定は速度の積分と本質的に変わらないため、この位置推定は時間が経つほど誤差が増大する。

（８）リファレンスビデオ画像のフレームが１０進む毎に、次の（９）で説明する状態推定修正を行う。

（９）（７）で推定された位置は、そのままでは誤差が累積するため、（４）で行っているものと同等の処理を行い、累積誤差を解消する。以下にその方法を説明する。

式（２）に対し、（４）で説明した類似度を重みとして各地点の確率密度に反映させる。このようにすれば、間違ったマッチングにより類似度が高くなる偽の位置があったとしても、速度による確率密度分布を考えると、最も確率が高くなることはない。速度情報だけによる推定が、この処理を行うことで正しい位置に補正される。図２５Ａ〜Ｃにその様子を示す。図２５Ａのグラフは、（７）の処理を繰り返した結果、真の位置から確率密度分布のピークがずれている状態を表す。図２５Ｂのグラフは、リファレンスビデオ画像の現在のフレームに対し、ベースビデオ画像の画像情報データベースのＳＵＲＦ特徴をマッチングさせて、類似度を表示したものである。この場合、真の位置で類似度がピークになるが、たまたま他の位置での類似度が高くなる可能性がある（例えば、周りに建物が無い田園風景で、電柱のみが規則的に表れる場合）。よって、画像の類似度のみでマッチングを行った場合、非常に大きな誤差を発生することがある。図２５Ｃのグラフは、図２５Ａの速度による確率密度分布に図２５Ｂのマッチングによる類似度を重みとして反映させたものである。図２５Ｃに示すように、マッチング類似度で現れていた偽のピークは、同じ位置の確率密度がほとんど０であるために、無くなっており、また確率密度は正しい位置に修正されることが分かる。当然このような処理を行っても真の位置からずれる可能性は残っているが、大きな誤差は生成されず、より妥当な位置が推定される。

（１０）推定された位置に対し、これに対応するベースビデオ画像のフレーム番号を画像特徴データベースから取得する。

（１１）（１０）ベースビデオ画像の対応フレームと、リファレンスビデオ画像の現在のフレームとをペアとしてフレーム対応情報ファイルに書き出す。

（１２）（６）から（１０）までの処理をリファレンスビデオ画像のフレーム番号を増加させながら行い、リファレンスビデオ画像の最後のフレーム（あるいは、指定されたフレーム）まで行う。

この列車位置検出システムでは、進行方向前方を向いた１台のデジタルビデオカメラ２０で軌道を撮影しているが、これにより、以下のような問題が発生するおそれがある。すなわち、軌道の枕木が繰り返しパターンとなっており、田園風景など他領域でのＳＵＲＦ特徴が少ない場合、間違ったマッチングを行ってしまう。しかも、枕木間が短いため、図２５ＢおよびＣで説明した修正が効かない場合がある。枕木は、繰り返し多数出現するため、この現象が長期間続き、結果として大きな誤差を発生する。また、画像中央遠くに建物が有り、手前は田園風景などのＳＵＲＦ特徴が少ない風景では間違ったマッチングを行ってしまう。これは、非常に遠くの風景は画像内で動きが極小さいことに起因している。車両が数十ｍ進行しているにもかかわらず、画像上ではこれを検出できないため、フレームマッチングによる修正機能により逆に誤差が拡大してしまう場合がある。このような鉄道のビデオ画像特有の問題を解決するため、マスク画像を導入する。図２６にマスク画像の一例を示す。図２６に示すように、このマスク画像では、下部中央の軌道部分と中央遠隔風景部分とをマスクしている。このマスク画像をＳＵＲＦ特徴抽出時に用いて、黒い領域では特徴抽出を行わないようにした。こうすることで、軌道上の枕木の規則的な繰り返しおよび遠隔風景の影響を排除できる。

（実路線での検証結果）
以上のアルゴリズムの実装を行い、実路線ビデオ画像でフレームマッチングを行った検証結果を説明する。

この列車位置検出システムにおいて用いたフレームマッチングの効果を確かめるため、同一データに対し、以下の４種類のフレームマッチングを行った。

（１）リファレンス画像の開始位置フレームに対してベースビデオ画像の対応フレームを探索後、単に両ビデオ画像を１フレームずつ増加させる。
（２）リファレンス画像の開始位置フレームに対してベースビデオ画像の対応フレームを探索後、速度情報のみを用いてフレームマッチングを行う。
（３）リファレンス画像の開始位置フレームに対してベースビデオ画像の対応フレームを探索後、画像のＳＵＲＦ特徴のマッチングのみを用いてフレームマッチングを行う。
（４）リファレンス画像の開始位置フレームに対してベースビデオ画像の対応フレームを探索後、速度情報および画像のＳＵＲＦ特徴のマッチングを用いて先に説明したアルゴリズムにてフレームマッチングを行う。

これら４つのフレームマッチングの精度は、フレームマッチング結果の画像を人間が目視比較し、軌道枕木が何本ずれているか（最低単位は、０．５本）で判定した。また、すべてのビデオ画像フレームで目視比較することはできないため、キロ程で５ｋｍ間を２００フレームごとに１００点程度サンプリングした。図２７に試験結果のグラフを示す。試験を行った路線は、ＪＲ草津線の草津→柘植間である。撮影条件は下記の通りである。

ベースビデオ画像
撮影日時：２０１４年９月１０日１１時
天候：曇天
画質：良好
リファレンスビデオ画像
撮影日時：２０１４年９月１２日１１時
天候：晴天
画質：良好
比較区間キロ程 ３６．７→３２．７

図２７において、横軸は、リファレンスビデオ画像のフレーム番号、縦軸は、上述したフレームマッチング結果のベースビデオ画像との誤差を枕木本数で表したものである。（１）で示すグラフは上記（１）を、（２）で示すグラフは上記（２）を、（３）で示すグラフは上記（４）の結果を表す。上記（３）（ＳＵＲＦ特徴マッチングのみ）の結果は、数フレームでいきなり数十本の誤差となったため、表示していない。

図２８〜図３１にＪＲ草津線における４回のフレームマッチング結果を示す画像例（図中左側の画像はベースビデオ画像、右側の画像はリファレンスビデオ画像を示す。）を、図３２にフレームマッチング結果のフレーム番号のグラフを示す。図３２の横軸は計算回数、縦軸はフレーム番号、（１）で示す折れ線グラフは今回のビデオ画像のフレーム番号、（２）で示す折れ線グラフは対応付けられた前回ビデオ画像のフレーム番号である。

試験を行った路線は、ＪＲ草津線 草津→柘植間である。撮影条件およびフレームマッチング結果は下記の通りである。

ベースビデオ画像
撮影日時：２０１４年９月１０日１１時
天候：曇天
画質：良好
リファレンスビデオ画像
撮影日時２０１４年９月１２日１１時
天候：晴天
画質：良好
比較区間キロ程 ３５．９０８→０．１

フレームマッチング結果は良好で誤差は最大で枕木本数１．５本程度であり、環境差異検出は十分可能と思われる。

図３３〜図３６に、ＪＲ奈良線におけるフレームマッチング結果の画像例（図中左側の画像はベースビデオ画像、右側の画像はリファレンスビデオ画像を示す。）を、図３７にフレームマッチング結果のフレーム番号のグラフを示す。図３７の横軸は計算回数、縦軸はフレーム番号、（１）の折れ線グラフは今回のビデオフレーム番号、（２）の折れ線グラフは対応付けられた前回のビデオフレーム番号である。

試験を行った路線は、ＪＲ奈良線 棚倉→東福寺間である。撮影条件およびフレームマッチング結果は下記の通りである。

ベースビデオ画像
撮影日時：２０１３年１２月１９日１４時
天候：晴天
画質：良好
リファレンスビデオ画像
撮影日時：２０１４年２月１２日９時
天候：雨天
画質：不良（先頭車両の運転室の前方の窓ガラスの内側の面へのデジタルビデオカメラ２０の固定に用いた吸盤の一部が写っており、雨だれによる画像の屈折、霧あるいはガラス窓の曇りにより非常にコントラストが悪い）
比較区間キロ程 ４．５→３０．０

フレームマッチング結果は部分的に不良であり、誤差が大きいところでは枕木本数６本程度であり、環境差異検出は不可と考えられる。また、フレームマッチングが成功している部分でも、画質が違いすぎる。

（検証結果の考察）
図２７に示すデータの取得に用いたビデオ画像は、同一路線で異なる日時に列車を走行させて撮影されたものであるが、停車駅などは同じであり、走行速度、加速・減速位置などはほぼ同一である。図２７の（１）のグラフは、ベースビデオ画像とリファレンスビデオ画像との開始位置を一致させ、両ビデオ画像のフレームを１つずつ送っただけのものであるため、運転手の操作による速度誤差および加速・減速位置誤差はそのまま反映される。よって、最大で枕木本数が７．５まで誤差が拡大している。しかし、駅間走行時間は同じであるため、累積的に誤差が拡大せず、最終的には誤差が収束している。（２）のグラフは、ビデオ画像と同期して収録された速度情報を微分して距離を計算し、フレームマッチングを行っている。（２）のグラフを見ると、２５０００フレームあたりから急激に誤差が拡大し、最終的には枕木本数２０本以上となっている。フレーム番号２５０００から２８０００は駅への停車区間となっており、負の加速度が加わっている区間となる。速度発電機の特性として、加速度区間においては車輪の滑りなどによる精度低下があり、これが累積的に誤差を拡大しているものと思われる。（３）のグラフは、今回使用したアルゴリズムでフレームマッチングされたものであり、３つのグラフの中で最も精度が高くなっている。誤差は、枕木本数０〜１．５となっており、これは画素のズレとしては最大９０画素程度、画像縦方向の９％程度となる。差異検出を行う場合、当然ながら画面内のほとんどの対象物がベースビデオ、リファレンスビデオのマッチングされた２フレーム画像に重複して存在しなければならない。ズレが一番大きいのは画面の端であり、中央に行くに従いズレは小さくなるため、今回計測した画像下端での枕木のずれが画像の１０％以下であれば十分に差異検出が可能であると思われる。

小さな誤差の原因は以下のことが考えられる。
（１）両ピッチングによるカメラ画角の移動による誤差
（２）ＳＵＲＦ特徴マッチングの間違いによる誤差

（１）は、車両がピッチングを起こした際、窓ガラスに装着されたビデオカメラの視線が上下方向に揺れ、画面下端が移動するために同一地点の画像でも枕木の見える本数が変動してしまうことが原因と考えられる。（２）は本アルゴリズムの本質的な問題で、前後方向に移動するカメラの映像ではよく似たフレーム画像が連続するため、画像の条件によっては正しいフレームの前後のフレームでＳＵＲＦ特徴の類似度が最も高くなることがあると考えられる。図２５Ａ〜Ｃで説明したアルゴリズムでは、ＳＵＲＦ特徴の類似度が最大のフレームが正しいマッチングフレームから大きく離れたフレームである場合には正しく働くが、近い場合には、誤差が発生する。

次に、草津線全線のビデオ画像をフレームマッチングした結果の画像を示す図２８〜図３１を見ると、良好にマッチングしていることが分かる。草津線全線を観察すると、操車場、住宅地、田園地帯、山間部など多様性に富んだ風景であるが、どのような場合でもフレームマッチング機能は良好に稼働していた。また、ベースビデオ画像とリファレンスビデオ画像では晴天と曇天程度の照明光の変動があるが、この程度の違いは克服できているものと思われる。

図３２のフレーム番号グラフは横軸が計算回数を表す。これは、図１７における（６）から（１２）までの計算を指している。これは、リファレンスビデオ画像のフレームと対応している。ただし、リファレンスビデオ画像のフレームに対応している速度が０の場合は、計算されずにスキップされる。図３２の（１）のグラフは、処理されるリファレンスビデオ画像のフレーム番号を縦軸の値として表示している。従って、傾きが１の直線となる。１５６４６フレームおよび５７３６６フレーム付近は駅での停車を表している。一方、図３２の（２）のグラフは、フレームマッチングによって対応付けられたベースビデオ画像のフレーム番号である。始発駅でビデオ画像の収録開始時点から発車までの時間が異なるため、図３２の（１）、（２）のグラフの左端の切片は異なっている。もし、ベースビデオ画像およびリファレンスビデオ画像を撮影したときの車両が正確に同一速度、加速・減速位置で走行していれば、図３２の（１）、（２）のグラフは、切片の量だけシフトして、完全に同じ形のグラフとなる。しかし、実際のグラフでは、（２）のグラフが微妙に曲線となっている。これは、リファレンスビデオ画像撮影時の車両の速度、加速・減速位置とベースビデオ画像撮影時車両のそれとが異なっているからと考えられる。もし、フレームマッチングの間違いによりリファレンスビデオ画像のフレーム番号が増加しているにもかかわらず、ベースビデオ画像の対応フレームの番号が減少していたら、単調増加ではなくなる。また、大きく対応を間違っている場合には、駅での停車以外の区間でステップ状やスパイク状となる。図３２ではこれらの形状がみあたらないため、全体として妥当にフレームマッチング処理が稼働していると言える。

次に、天候が極端に異なる例をＪＲ奈良線のビデオ画像で検証した結果について説明する。

図３３〜図３６は、ベースビデオ画像が晴天、リファレンスビデオ画像が雨天でのフレームマッチング結果を表している。草津線データと異なる条件は、天候だけでなく、窓ガラスに雨粒が多数ついており、風景が鮮明に見えない部分がある。また、一部区間では窓ガラスの曇りも確認できた。さらに、画像下部にビデオカメラ装着治具の吸盤の一部が写りこんでおり、フレームマッチング処理を行うには不利な画像となっている。また、速度情報も草津線が速度発電機を用いているのに対し、奈良線では、車両動揺測定装置３０のＧＰＳ受信機３８で得られたものを使用している。先に、図３７のフレームマッチング結果フレーム番号グラフを確認すると、途中の駅停車位置以外では、（２）のグラフは単調増加でステップ状やスパイク状の形状がなく、全体として安定してフレームマッチングが稼働しているものと考えられる。また、図３３〜図３６も一見正しくフレームマッチングできているように見えるが、図３６の地上子の位置を見ると枕木３〜４本程度ずれていることが確認できる。図３５もリファレンスビデオ画像のフレーム画像が不鮮明なため確認が困難であるが、ベースビデオ画像のほうがリファレンスビデオ画像よりも前方位置にあることが分かる。

これらの比較的大きな誤差が発生した理由は以下のように推定される。
（ａ）雨粒による画像の変形で、ＳＵＲＦ特徴の対応が正しくとれない。
（ｂ）下部吸盤により画像の一部が撮像されず、対応点が正しくとれない。
（ｃ）発車、停車など低速域ではＧＰＳの速度情報は誤差が大きい。

（ａ）は図１９で説明しているように、ＳＵＲＦ特徴は周辺の画像の輝度の変動方向を用いてマッチングしているため、雨粒によって光が屈折すると正しくＳＵＲＦ特徴のマッチングができなくなる。（ｂ）は、画像の一部が欠落しているため、リファレンスビデオ画像は実際の位置よりもかなり手前の状態がベースビデオ画像と一致する（画像の大きさは異なる）と判定される可能性がある。（ｃ）は本来、ＳＵＲＦ特徴のマッチングによってその誤差が修正されるため、（ａ）および（ｂ）がなければ、問題とはならないが、ＳＵＲＦ特徴のマッチングが正しくない場合は、誤差を増大させる要因となる。

以上のことから、今回使用したフレームマッチング機能の性能・特性をまとめると、以下の通りである。

・速度によるもの、画像マッチングによるものに比較し、この列車位置検出システムで採用したアルゴリズムを実装したフレームマッチング機能が最も精度が高いと言える。
・晴天・曇天程度の照明環境の変動化では環境変化差異検出を行える程度のフレームマッチング精度は確保可能である。
・晴天・雨天のような照明環境の変動（および雨粒などによる画質の変動）がある場合は環境変化差異検出を行う精度は確保できない

以上のように、この第１の実施の形態によれば、リファレンスビデオ画像の指定されたフレーム画像のＳＵＲＦ特徴と画像特徴データベースに格納されたベースビデオ画像の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて列車の走行位置を検出するので、列車の走行位置を高精度にかつ低コストで検出することができる。

〈第２の実施の形態〉
第２の実施の形態による画像処理を利用した列車位置および環境変化検出システム（以下「列車位置および環境変化検出システム」という。）について説明する。

［列車位置および環境変化検出システムの構成］
この列車位置および環境変化検出システムは、第１の実施の形態による列車位置検出システムに環境変化検出機能を付加したものである。この列車位置および環境変化検出システムの列車位置検出機能は第１の実施の形態による列車位置検出システムと同様に実現することができる。この列車位置検出機能により列車の走行位置を高精度に検出することができるため、時系列的な環境の変化を正確に抽出することができるようになる。

まず、この列車位置および環境変化検出システムにおいて用いられる環境変化抽出技術を説明する前に、この環境変化抽出技術の基礎となる、本出願人によって開発された建築限界支障検出技術について説明する。

データ処理ＰＣ５０に建築限界支障検出プログラムをインストールする。この建築限界支障検出プログラムは、収録され連動表示プログラムでビデオ画像のフレームと速度情報とが対応付けられたデータを読み込み、ビデオカメラ画像に撮像された対象物が、所定の位置、大きさに設定された仮想の建築限界枠に支障しているか否かを判定し、支障していると判定した場合には画面上で例えば建築限界枠の色を変えて表示する。

図３８に、建築限界支障検出プログラムの検出画面の一例を示す。この建築限界支障検出プログラムの機能について説明すると下記の通りである。
（１）“開始”ボタンを押すと、速度情報付ビデオカメラ画像が再生され、同時に建築限界支障検出処理が開始される。
（２）ビデオカメラ画像上に仮想の建築限界枠を点線（例えば、青点線）で表示する。この建築限界枠と重なる位置にあるビデオカメラ画像上の物体が建築限界枠の内側にある場合は、この点線が太い点線（例えば、赤点線）の表示に変わる。
（３）フレーム番号、速度、建築限界枠横方向サイズなどが表示される。
（４）フレーム番号を入力し、“ジャンプ”ボタンを押すと指定したフレームに画像がジャンプする。図３８においては、フレーム番号として“１７２０”が入力された例が示されている。

図３９に、建築限界支障検出プログラムの設定画面を示す。この設定画面の機能は下記の通りである。
（１）“参照”ボタンを押すと、入力データのファイルダイアログが表示され、建築限界支障検出に用いる、ビデオファイルおよび速度情報ファイルを指定できる。
（２）ビデオファイル読み込み後、“画像プレビュー開始”ボタンを押すと、画像が再生され内容を確認できる。
（３）“カメラ内部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ内部パラメータ（カメラレンズ焦点距離、歪補正係数、画像中心座標）が記述されたファイルを読み込める。
（４）“カメラ外部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ外部パラメータ（軌道面中心からの相対距離および軌道面に対する姿勢）が読み込める。軌道座標系は、図４０に示す通りである（Ｙ軸は軌道面に垂直）。
（５）“建築限界検出枠の設定ダイアログを開く”ボタンを押すと、仮想の建築限界枠を車両に対しどのように設定するかを指定する仮想建築限界枠設定画面が表示される。

図４１に仮想建築限界枠設定画面を示す。この設定画面の機能は下記の通りである。
（１）図４１の仮想建築限界枠設定画面の上部に模式的に示すように、デジタルビデオカメラ２０から仮想の建築限界枠の位置までの距離ｄおよび仮想の建築限界枠の大きさｒを想定し、仮想建築限界枠があたかもそこに存在するとして図３８のビデオカメラ画像上の点線（例えば、青点線）を描画している。このビデオカメラ画像上の点線で示した建築限界枠は、ｄおよびｒ、カメラ内部・外部パラメータによって、位置・大きさが変動する。画像処理精度としては、建築限界枠が極力、画面全体に広がるように設定するほうが有利であるため、そのようにｄを調整する。また、アルゴリズムが正しく作動していることを確認するために、意図的に建築限界枠を大きくして、実際には建築限界に支障しない対象物に反応させる操作をするために、ｒを大きく設定したりする。
（２）建築限界検出枠の半径に建築限界枠幅の１／２を入力する（メートル単位) 。例えば、１．９ｍを入力した場合、仮想建築限界枠は、軌道中心から１．９ｍのところに限界枠線が生成される（図４２参照）。
（３）建築限界検出枠の枠までの距離にデジタルビデオカメラ２０から仮想建築限界枠までの想定距離を入力する（メートル単位）。当然、この距離を大きくすると、ビデオカメラ画像上の点線（例えば、青点線）で表された仮想建築限界枠は小さくなり、距離を小さくすると建築限界枠は大きくなる。

（建築限界支障検出アルゴリズム）
建築限界支障検知アルゴリズムを説明する。

軌道上を走行する列車の車両の前方に取り付けられたデジタルビデオカメラ２０のビデオカメラ画像の複数枚フレームを用いて、一眼ステレオ視を行い、建築限界枠位置の画素に撮像されている対象物が実際の建築限界の内側にあるのか、外側にあるのかを判定する。

図４３は、デジタルビデオカメラ２０から見た場合に、設定した仮想の建築限界枠と同一画素に撮像される２本の棒の関係を示したものである。●で示した地点はビデオカメラ画像上の同一の画素に撮像されるが、１本は建築限界枠の内側、１本は建築限界枠の外側である。このように、２次元画像１枚では、建築限界枠内外判定は不可能である。

そこで、デジタルビデオカメラ２０が走行中に前進した位置から同一シーンを撮像することを利用してステレオ計測の原理を導入し、この問題を解決する。図４４では、デジタルビデオカメラ２０が前進した状態を示している。仮想の建築限界枠は移動しないとすると、ビデオカメラ画像上の建築限界枠は近づいて見えるために、外側に向かって大きくなっている。この状態で建築限界枠の内外にある２本の棒の見え方を考えると、建築限界枠内側にある棒はビデオカメラ画像上では仮想の建築限界枠の像よりも外側に写り、建築限界枠の外側に立っている棒はビデオカメラ画像上では仮想の建築限界枠の像よりも内側に写る（図４５ＡおよびＢ参照）。

よって、以下のような手順で、２次元画像上の建築限界枠位置に写っている対象物が実際には建築限界枠の内側にあるのか、外側にあるのかが判定できる。
（１）デジタルビデオカメラ２０が前進する前後の画像を準備
（２）仮想の建築限界枠が前進する前のビデオカメラ画像上のどこに写像されるか計算
（３）消失点から建築限界枠写像画素に向けた直線を生成
（４）移動後の建築限界枠写像を計算
（５）前進前後の画像間で、建築限界枠上の画素位置にあった対象物がどのように移動したかを追尾する。その際追尾は、（３）で求めた直線上に限定する
（６）移動後の位置が（４）で求めた建築限界枠写像位置より内側にあるか、外側にあるかを判定する（内側なら建築限界枠に支障しない、外側なら支障している）

（１）の処理では、ステレオ計測を成立させるために、レール上の位置の異なる、すなわち視点の異なる画像を用意する。毎フレームのステレオ視精度を安定させるためには、ステレオ視に用いる前後２枚の画像の視点間距離は、一定であるほうが望ましい。しかし、走行速度は、まちまちであるからフレーム数では指定できない。そこで、速度情報の積分からフレーム間の距離を計算し、予め決めておいた距離になるペア画像を探す必要がある。

（２）の処理は、デジタルビデオカメラ２０からの指定距離離れた位置に、仮想建築限界枠が存在するとして、カメラ外部・内部パラメータを用いてビデオカメラ画像上に仮想建築限界枠を射影する。建築限界枠は、平面上にあるため、ホモグラフィ変換でも求めることができる。

（３）の処理は、（５）で行われる追尾処理のために行われる。デジタルビデオカメラ２０が前進するとき、ビデオカメラ画像に写っている全ての点は、消失点からその点を結ぶ直線上を外側に向かって移動する（線路のカーブや、振動の影響はここでは省略する）。この直線をエピ極線と呼ぶ。図４６に消失点と画像の移動方向とを示す。

（４）では、（２）と同様の処理を仮想建築限界枠とデジタルビデオカメラ２０との距離を前進分だけ短くして行う。図４７に、前進前と前進後の仮想建築限界枠を前進前の画像上に表示した画像を示す。ここで、小さい点の点線（例えば、青点線）とより大きい点の点線（例えば、赤点線）とが混合した点線で示した建築限界枠が前進前のもの、より大きい点の点線（例えば、赤点線）だけで示した建築限界枠が前進後のものを示す。

（５）では、前進前の画像で建築限界枠上にあった物体が、前進後どこに移動したかを探索する。この際、前進前の建築限界枠上の画像の小領域をテンプレート画像とし、前進後の画像上で今テンプレート画像と同じ画像がどこにあるかを探索する。この際、探索は、2 次元的に行われるが、（３）で説明したエピ極線上を１次元探索すればよい（エピ極線拘束）。また、直線の探索範囲は、図４７で示した、小さい点の点線（例えば、青点線）とより大きい点の点線（例えば、赤点線）とが混合した点線で示した建築限界枠から、より大きい点の点線（例えば、赤点線）だけで示した建築限界枠を超えるところまでとなる（図４８参照）。前進前と前進後の建築限界枠間距離を１とすると、追尾する距離は１より若干大きくする。これは、建築限界枠よりさらに内部に突出している対象物を検知するためである。

図４９に示すように、追尾位置は、地点１の画像の建築限界枠上の小領域をテンプレート画像として切り出し、これを地点２の画像上でエピ極線上に移動させながら、対応位置の画像との類似度のプロファイルを計算する。この場合、この類似度プロファイルのピーク位置を追尾位置とし、その位置が地点２における建築限界枠位置を超えているか否かにより判定を行う。

さて、環境変化の抽出において、線路周辺の植生の接近が進行しているか否かは重要と思われる。しかし、植生は非常に細かな構造を持っており、そのため照明環境によって簡単に画像の状態が変動しやすくなっている。そのため、2 次元画像の差異を検出する方式では、ノイズが多数発生し本当の差異を抽出することは容易ではない。そこで、この第２の実施の形態においては、上述の建築限界支障検出技術で開発した物体の３次元情報を用いることで、環境変化抽出の安定性を向上させることを図る。異なる２時刻、具体的には朝と夕とで撮影したビデオ画像を考えると、朝と夕とで照明環境がまったく異なるため、照明環境の差異と環境の差異とを峻別することが困難である。一方、朝夕それぞれの３次元形状の計測を行うと照明環境の変化から受ける影響を軽減することが可能となる。

［環境変化抽出の処理の概要］
上述の建築限界支障検出技術では、図５２のように、ビデオカメラの前方に対し、レール上に仮想の建築限界枠（３．８ｍ幅）を設定し、撮像された対象物がこの枠の中に食い込んでいるか否かを検出するアルゴリズムを用いている。仮想建築限界枠に食い込んでいるか否かを２次元のビデオ映像から判断するために、ビデオカメラが前方方向に進行することを利用したステレオ視が用いられている。これに対し、環境変化抽出では、この仮想建築限界枠を図５３に示すように左右方向および高さ方向に拡張する。すなわち、多重化した仮想建築限界枠（最も内側の枠は標準枠、その外側の３つの枠は拡大した枠）を用いる。これにより、1 回目の撮影では建築限界枠への支障がなかった植生が、以降の撮影時に建築限界枠に支障するか否かをみることで、差異を検出することができる。

［環境変化抽出の処理技術の詳細］
（１）仮想建築限界枠の拡張
図５３に示すように、仮想建築限界枠の個数を拡張し、任意個数の仮想建築限界枠を設定する。これにより支障物体が線路方向に干渉していく経過を任意の精度で捉えることができ、環境の変化を精緻に検出する。拡張は、建築限界支障検出技術で開発した仮想支障枠を左右方向および高さ方向に拡幅することで行った。拡張を簡便に行うため、個数と拡幅量をメートル単位で指定することにより実行可能とした。なお、以降の検討および検証では、拡張した仮想建築限界枠１個（幅７．６ｍ）を用い、線路近傍の支障を検出した。

（２）ベースビデオ画像とリファレンスビデオ画像との間での差異検出
ベースビデオ画像およびリファレンスビデオ画像の双方の支障検出結果をもとに差異を計算する際、対応するフレーム間で支障有無や個数を単純な減算により行うと所望の結果を得るのが困難となることがある。図５４は、ビデオ画像中で線路傍に立つ電柱が写っている箇所で仮想建築限界支障枠の個数をプロットしたグラフである。グラフの横軸方向はフレームマッチングの結果を用いて同期させている。時速数十ｋｍで走行中の列車にて撮影したビデオ画像は数十フレーム毎秒（＝数十センチ毎フレーム）で撮影を行っており、ベースビデオ画像とリファレンスビデオ画像との間で各フレームのシャッターを切った位置に数十ｃｍの差異がある。従って、これらのフレーム間の対応付けは最小でも数十ｃｍの誤差を含むこととなる。ベースビデオ画像とリファレンスビデオ画像との間での単純な減算はこの誤差を無視しており、上図のような意図しない結果を招いてしまう。図５４のデータを単純な減算した場合には、図５５に示すような結果になる。本来であれば、ベースビデオ画像およびリファレンスビデオ画像とも同一の電柱が支障しているため、図５５の３段目の差異が何も現れないことが望ましい。

また、図５５に示すグラフでは線路傍の草木がノイズとして一部検出されている箇所がある。処理の安定化のため、このようなノイズは一定量検出されることを想定し、閾値処理を行うこととする（上のグラフでは３段目を計算する際にノイズを除去している）。

以上のことを踏まえ、この列車位置および環境変化検出システムでは、以下の手法にしたがって差異を計算し、頑健な検出を行う。

（１）注目フレームとその近傍を考慮して減算する。
（２）注目フレームの支障点個数が一定以下の場合には無視する。

具体的なアルゴリズムを以下に示す。
（差異計算アルゴリズム）
（Ａ）近傍フレームの閾値をｔ₁ とする
（Ｂ）支障点個数の閾値をｔ₂ とする
（Ｃ）ベースビデオ画像の注目フレーム番号をＮとする。
（Ｄ）フレームマッチングの結果を用い、Ｎに対応するリファレンスビデオ画像の注目フレーム番号Ｍを求める。
（Ｅ）ベースビデオ画像のＮ番目のフレームにて仮想建築限界枠を設け、支障点個数ＣＧ_b （Ｎ）を求める。リファレンスビデオ画像のＭ番目のフレームにて仮想建築限界枠を設け、支障点個数ＣＧ_r （Ｍ）を求める。ＣＧ_b （Ｎ）、ＣＧ_r （Ｍ）いずれもｔ₂ 以下ならばＮ番目のフレームの差異Ｄｉｆｆ（Ｎ）を０とする。この時点で終了となる。
（Ｆ）ベースビデオ画像の区間［Ｎ−ｔ₁ ，Ｎ＋ｔ₁ ］の各フレームにて支障点個数を求める。いずれかのフレームで支障点個数がｔ₂ 以上ならば支障物体ありと判定する。
（Ｇ）リファレンスビデオ画像の区間［Ｍ−ｔ₁ ，Ｍ＋ｔ₁ ］の各フレームにて支障点個数を求める。いずれかのフレームで支障点個数がｔ₂ 以上ならば支障物体ありと判定する。
（Ｈ）（Ｆ），（Ｇ）いずれも支障物体ありならば、Ｎ番目のフレームの差異Ｄｉｆｆ（Ｎ）＝０とする。（Ｆ），（Ｇ）いずれも支障物体なしならば、Ｎ番目のフレームの差異Ｄｉｆｆ（Ｎ）＝０とする。さもなくば、Ｎ番目のフレームの差異Ｄｉｆｆ（Ｎ）＝０を以下の式で求める。
ただし、Σ_p はすべての支障点に対する和、ｈｉｔ_N （ｐ）はＮフレーム目の支障点ｐが支障していれば１、さもなくば０とする関数である。つまり、支障有無の異なる支障点の個数が、当該フレームを差異とするものである。

以上の手続きによりＤｉｆｆ（Ｎ）≠０と判定したフレームは２本のビデオ画像の間で差異があり、Ｄｉｆｆ（Ｎ）＝０と判定したフレームは差異がない、と判定する。

［実路線での検証］
実路線を走行する列車で撮影した映像に対して処理を適用し、以下の２つの地点について検証を行った。

（１）草津線上り１７．１ｋｍ地点
ベースビデオ画像撮影日：２０１４年９月１０日
リファレンスビデオ画像撮影日：２０１４年９月１２日
（２）草津線上り２２．９ｋｍ地点
ベースビデオ画像撮影日：２０１４年９月１０日
リファレンスビデオ画像撮影日：２０１４年９月１２日

（Ａ）草津線上り１７．１ｋｍ地点での検証結果
ビデオ画像を目視で確認して差異のある箇所を探し、見つかった箇所を対象とした。図５６はベースビデオ画像の処理対象区間の様子、図５７はリファレンスビデオ画像の処理対象区間の様子を示す。図５６および図５７の各画像下の「＃００００００」はビデオ画像のフレーム番号を表す。このうち、差異検出の対象として注目したのは以下の３箇所（（１）〜（３））である。

（１）ベースビデオ画像、リファレンスビデオ画像ともに支障物体がある箇所
線路傍に電柱が立っており、いずれのビデオ画像でも仮想建築限界枠に物体が支障すると考えられる箇所であり、図５６の＃１３３０９４、図５７の＃１５４４７４が該当するものである。当該箇所における差異検出では、差異無しと判定することを想定している。

（２）ベースビデオ画像、リファレンスビデオ画像ともに支障物体がない箇所
線路近傍に物体が無く、いずれのビデオ画像でも仮想建築限界枠に物体が支障することがないと考えられる場所であり、図５６の＃１３３１３８、図５７の＃１５４４１０が該当するものである。当該箇所における差異検出では、差異無しと判定することを想定している。

（３）ベースビデオ画像のみ支障物体がある箇所
ベースビデオ画像にのみ線路傍の側溝で作業している人物が写っており、ベースビデオ画像のみで仮想建築限界枠に支障すると考えられる箇所である。当該箇所における差異検出では、差異有りと判定することを想定している。図５６の＃１３３１８９、図５７の＃１５４５４８が該当するものである。

上記の３箇所を含むビデオ画像を対象として、検出処理を行った。アルゴリズムのパラメータは、近傍フレームの閾値をｔ₁ ＝3 、支障点個数の閾値をｔ₂ ＝4 とした。仮想建築限界枠による支障の検出結果は図５８および図５９に示す通りとなった。図５８はベースビデオ画像、図５９はリファレンスビデオ画像である。画像中の赤点が支障している点、青点が支障していない点である。

処理結果は図６０に示すグラフのようになった。このグラフは横軸が時間軸、縦軸が検出程度を表す。１段目のグラフはベースビデオ画像における仮想建築限界枠の支障点個数、２段目のグラフはリファレンスビデオ画像における仮想建築限界枠の支障点個数、３段目のグラフは両ビデオ画像の差異を計算した結果である。

（Ｂ）草津線上り２９．１ｋｍ地点での検証結果
ビデオ画像を目視で確認して差異のある箇所を探し、見つかった箇所を対象とした。対象箇所の様子と、仮想建築限界枠（幅７．６ｍ）による支障点検出の結果を重畳表示した画像を図６１および図６２に示す。図６１はベースビデオ画像の処理対象区間の様子、図６２はリファレンスビデオ画像の処理対象区間の様子である。このうち、差異検出の対象として注目したのは線路傍の雑草の部分である。ベースビデオ画像（図３８の＃７８３０４）にて雑草が繁茂しているのが写っているが、リファレンスビデオ画像（図３９の＃５８４３７）では除草されており写っていない。したがって、ベースビデオ画像のみ仮想建築限界枠に支障すると考えられる。

上記箇所を含むビデオ画像を対象として、検出処理を行った。アルゴリズムのパラメータは、近傍フレームの閾値をｔ₁ ＝3 、支障点個数の閾値をｔ₂ ＝4 とした（上記の検証結果（Ａ）と同じ）。処理結果を図６３に示すグラフに示す。このグラフは、横軸が時間軸、縦軸が検出程度を表す。１段目のグラフはベースビデオ画像における仮想建築限界枠の支障個数、２段目のグラフはリファレンスビデオ画像における仮想建築限界枠の支障個数、３段目のグラフは両ビデオ画像の差異を計算した結果である。

［検証結果の考察］
（Ａ）の検証結果の注目箇所ごとに下記の通り考察を行った。

（１）ベースビデオ画像、リファレンスビデオ画像ともに支障物体がある箇所
ベースビデオ画像、リファレンスビデオ画像のいずれにおいても線路傍の電柱が支障しており、支障個数が増大していることが図５５に示すグラフから見て取れる。同箇所はフレームマッチングに誤差があり、電柱に由来する支障個数のピーク位置に若干ずれがある。差異をそのまま計算すると、図５５に示すように２つのピークが生じることとなる。

今回使用した差異計算アルゴリズムにより、注目フレームとその近傍フレームとを考慮して差異を計算することで、誤差をうまく吸収できている。従って、図５５の３段目のグラフにおいて差異が検出されていない。

（２）ベースビデオ画像、リファレンスビデオ画像ともに支障物体がない箇所
ベースビデオ画像、リファレンスビデオ画像のいずれにおいても支障個数が０で図５５の３段目のグラフにおいても、差異が検出されていない。また、当該箇所では線路から離れた位置にある側道に車両や作業員がいるが、これらは支障として検出されていない。

（３）ベースビデオ画像のみ支障物体がある箇所
ベースビデオ画像にのみ線路傍の側溝で作業している人物が支障しており、支障数が増大していることが図５５のグラフから見て取れる。差異を計算すると図５５の３段目のグラフのようになり、当該箇所に差異が存在することが読み取れる。

（Ｂ）の検証結果の注目箇所ごとに下記の通り考察を行った。

注目箇所では、図６１のベースビデオ画像で線路傍の雑草が支障しており、支障数が増大していることが図６３のグラフから見て取れる。一方で、図６２のリファレンスビデオ画像においては雑草が除草されており、支障する点はほとんどない。差異を計算すると、図６３の３段目のグラフのようになり、当該箇所に差異が存在することが読み取れる。

なお、仮想建築限界枠に線路傍の電柱が支障している箇所では、差異がほとんど検出されていない。これは差異有無の判定が線路の左右のどちら側かを考慮していないため、電柱による支障と雑草による支障を混同しているためである。仮想建築限界枠による支障判定および差異検出を線路の左右で分割する、すなわち図６３のグラフが６段（１段目：ベースビデオ画像支障検出左、２段目：ベースビデオ画像支障検出右、３段目：リファレンスビデオ画像支障検出左、４段目：リファレンスビデオ画像支障検出右、５段目：差異検出左、６段目：差異検出右）になるように分割することで、このような事態に対応することが可能となる。

上述のように、線路傍の支障物体の有無に応じて差異の有無を正しく判断でできていることが分かる。

［検証結果の考察に対する補足］
（仮想建築限界枠による支障検出の電柱に対する適用）
図６４に、リファレンスビデオ画像にて上記（１）の箇所の支障検出を行った結果を１フレームずつ示す。

仮想建築限界枠による支障検出では、注目フレームの注目点近傍の矩形領域の画素をテンプレートとして、次フレームにて類似した矩形領域を探索することによって、検出を実現している。ここで、矩形領域の画素の類似度の計算は、次式の正規化相互相関（ＺＮＣＣ）で行う。

注目点近傍でＺＮＣＣの値が最大となる矩形領域の位置を探索結果として得る。ただし、ＺＮＣＣの最大値が小さすぎる場合には探索該当なしと判断するほうが安定的に処理を行えるので、下限閾値を設けている。この下限閾値が適用されうるケースとして、注目点近傍の矩形領域が暗いために画素値の分散が小さい場合、がある。

図５９の例では、太陽とカメラの位置関係上、逆光となっており、電柱の表面が黒くつぶれてしまい、画素値の分散が小さい。従って、上述のＺＮＣＣによる類似度計算には不利な状況であるといえる。一方で、電柱の左右輪郭部においては、注目矩形に電柱以外の画素値分散が大きい景色が一部入っており、ＺＮＣＣの計算に不利な状況は軽減されている。従って、この電柱を含む前後数フレームで仮想建築限界枠による支障点の検出を行うと、電柱の左右輪郭に該当する２つのピークが得られることとなる。なお、この事象は逆光具合、車速とビデオフレームレートに依存することに注意が必要である。

（線路近傍物体の支障度合いの変化を検出するアルゴリズムの検討）
上記の［環境変化抽出の処理技術の詳細］の（２）ベースビデオ画像とリファレンスビデオ画像との間での差異検出、では線路近傍物体の支障の有無（＝環境変化の有無）を検出するアルゴリズムを説明した。さらなる環境変化検出の高度化を目指し、電柱が傾くことで線路に接近してくることを変化事例として想定し、これを検出することについて検討する。

これまでに述べた事項は、幅７．６ｍ（片側３．８ｍ) の仮想建築限界枠を用いた検出処理である。ここから電柱が線路側に２０ｃｍだけ近接してきたことを想定し、図６５に示すように、幅７．２ｍ（片側３．６ｍ) の仮想建築限界枠を用いて処理を行う。上記の電柱が傾斜する過程を、以下に説明する時点で撮影した３本のビデオカメラ画像で検出するものとする。

（Ａ）電柱が傾斜する前の時点で撮影したビデオ画像
（Ｂ）電柱が傾斜し、７．６ｍ幅の仮想建築限界枠に支障する時点で撮影したビデオ画像
（Ｃ）電柱が（Ｂ）よりさらに傾斜し、７．２ｍ幅の仮想建築限界枠に支障する時点で撮影したビデオ画像

３本のビデオ画像に対し、仮想建築限界枠による支障検出処理を以下の６回実行すると、それぞれ支障有無の判定が得られる。

（１）（Ａ）に対し、７．６ｍ幅の仮想建築限界枠を用いて処理…支障なし
（２）（Ａ）に対し、７．２ｍ幅の仮想建築限界枠を用いて処理…支障なし
（３）（Ｂ）に対し、７．６ｍ幅の仮想建築限界枠を用いて処理…支障あり
（４）（Ｂ）に対し、７．２ｍ幅の仮想建築限界枠を用いて処理…支障なし
（５）（Ｃ）に対し、７．６ｍ幅の仮想建築限界枠を用いて処理…支障あり
（６）（Ｃ）に対し、７．２ｍ幅の仮想建築限界枠を用いて処理…支障あり

６個の支障検出結果に対し、差異検出処理を以下の４回実行すると、それぞれ差異有無の判定が得られる。

（Ｉ）（ａ）（ｃ）に対して差異検出処理を行う…差異あり
（ＩＩ）（ｂ）（ｄ）に対して差異検出処理を行う…差異なし
（ＩＩＩ）（ａ）（ｅ）に対して差異検出処理を行う…差異あり
（ＩＶ）（ｂ）（ｆ）に対して差異検出処理を行う…差異あり

以上の処理結果から分かることは以下の点である。

・７．６ｍ幅の仮想建築限界枠による支障検出結果を用いた差異検出では、（Ａ）（Ｂ）および（Ａ）（Ｃ）の間で差異検出の結果が同一である（（Ｉ）と（ＩＩＩ）））。
・７．２ｍ幅の仮想建築限界枠による支障検出結果を用いた差異検出では、（Ａ）（Ｂ）および（Ａ）（Ｃ）の間で差異検出の結果が異なる（（ＩＩ）と（ＩＶ））

仮想建築限界枠の幅の広さによって２撮影時点の差異検出結果が異なるということは、その時点間で支障物体の支障具合に変化があったということである。したがって、上記のアルゴリズムにより線路傍の物体の支障具合の変化を検出することが可能となることが示唆される。

以上のように、この第２の実施の形態によれば、列車の走行位置を高精度にかつ低コストで検出することができ、それによって列車が走行する軌道の周辺の時系列的な環境の変化を容易にかつ正確に検出することができる。

〈第３の実施の形態〉
第３の実施の形態においては、第１の実施の形態による列車位置検出システムあるいは第２の実施の形態による列車位置および環境変化検出システムに、複数ビデオ画像のハンドリングが可能なソフトウェアを組み込んだものについて説明する。

［ソフトウェア機能の概要］
（１）単体再生機能
ベースビデオ画像とリファレンスビデオ画像との２本のビデオ画像を独立に再生および一時停止する。
（２）同時再生機能
ベースビデオ画像とリファレンスビデオ画像との２本のビデオ画像を撮影時のフレームレートで再生する。ただし、これらの２本のビデオ画像は撮影時の車両の速度が異なっているため、再生開始時点から一定時間経過したときには表示されているシーンが不一致となる。この不一致は時間の経過とともに拡大していくため、両ビデオ画像を比較してシーン中の差異を確認するのは困難となる。
（３）フレームマッチング結果を用いた同期再生機能
フレームマッチングを用い、任意時点で映像中のシーンが一致するようフレームを調整して表示する。（２）の例で考えると、再生開始後に車両速度のズレが原因でシーンの不一致が生じるが、それを補間するようフレーム番号を調整することで同期しての再生を実現する。これにより、時間の経過によらずシーンが一致するので、両ビデオ画像を比較してシーン中の差異を検討することが可能となる。
（４）フレームマッチング実行機能
ベースビデオ画像とリファレンスビデオ画像との２本のビデオ画像の間でフレームマッチングを行うのに必要なインターフェースを備え、映像を見ながら処理を行うことを可能とした。ソフトウェア起動時にビデオデータと処理パラメータとを設定し、一連の処理を実行する。

［アプリケーションの操作］
アプリケーション画面を図６６に示す。このアプリケーション画面上で［ソフトウェア機能の概要］で説明した機能ごとに以下の手順で操作を行う。

（１）単体再生
（Ａ）[INPUT] ボタンを押してベースビデオ画像を読み込む。
（Ｂ）[ ｜>]ボタンを押してベースビデオ画像の再生を開始する。
なお、リファレンスビデオ画像についても同様に（Ｃ）（Ｄ）のボタンで単体再生が可能である。
（２）同時再生
（Ａ）[INPUT] ボタンを押してベースビデオ画像を読み込む。
（Ｃ）[INPUT] ボタンを押してリファレンスビデオ画像を読み込む。
（Ｆ）[ 同時］ボタンを押し、ファイル選択ダイアログが開く。フレームマッチング結果ファイルを指定する。
（Ｄ）[ ｜>]ボタンを押して、再生を開始する。
（３）同期再生
（Ａ）[INPUT] ボタンを押してベースビデオ画像を読み込む。
（Ｃ）[INPUT] ボタンを押してリファレンスビデオ画像を読み込む。
（Ｆ）[ 同期] ボタンを押し、ファイル選択ダイアログが開く。フレームマッチング結果ファイルを指定する。
（Ｄ）[ ｜>]ボタンを押して、再生を開始する。

この第３の実施の形態によれば、第１の実施の形態あるいは第２の実施の形態と同様な利点に加えて、ベースビデオ画像およびリファレンスビデオ画像のハンドリングが容易になるという利点を得ることができる。

〈第４の実施の形態〉
第４の実施の形態においては、第１の実施の形態による列車位置検出システムあるいは第２の実施の形態による列車位置および環境変化検出システムにおいて、リファレンスビデオ画像のフレーム画像に対するキロ程を決定する技術について説明する。

図６７に示すように、画像を用いたキロ程決め計算機８０に、列車に設置されたデジタルビデオカメラ２０、ＧＰＳ受信機３８、前後方向加速度計９０および画像データベース１００を接続する。前後方向加速度計９０は列車の車両の前後方向の加速度を計測するためのものである。なお、速度発電機が使える場合は、ＧＰＳ受信機３８および前後方向加速度計９０の代わりに用いればよい。画像データベース１００は、同一路線の一度目の走行で、沿線のビデオ画像および速度情報を収録してベースビデオ画像とし、このベースビデオ画像の内容などから例えば手動でこのベースビデオ画像の各フレームのキロ程を正確に割り振ることにより作成する。そして、二度目の走行では、走行時のリファレンスビデオ画像と、画像データベース１００に格納されたベースビデオ画像とを比較し、また、速度情報を補助データとして用いて、現在のリファレンスビデオ画像の画像内容がベースビデオ画像内のどのキロ程位置にいるかを決定する。こうすることで、同一軌道上の走行により得られる計測データを正確かつ安定的にキロ程に対応させることができる。

このキロ程決め技術では、ＧＰＳ受信機３８により取得される速度の精度あるいは前後方向加速度計９０により計測される速度の精度は画像情報で補正されるため、ＧＰＳ受信機３８および前後方向加速度計９０とも、それほど精度が求められず、安価なもので足りる。さらに、デジタルビデオカメラ２０も、フレームレート、画像の解像度ともそれほど求められないため、安価もので足りる。

図６７に示すキロ程決め装置を図６８に示すようにして管理計測器１１０と接続する。すなわち、図６８に示すように、画像を用いたキロ程決め計算機８０に管理計測器１１０を接続する。計測時には、画像を用いたキロ程決め計算機８０から管理計測器１１０に対し、計測トリガパルスを送る。管理計測器１１０は、この計測トリガパルスのタイミングで各種データを取得する。また、デジタルビデオカメラ２０は、この計測トリガパルスに連動して撮像される。すなわち、計測トリガパルスの累積番号とデジタルビデオカメラ２０で撮影される画像のフレーム番号とは対応しているため、図６８の左下に示されているように、この情報を撮影時にファイルに出力しておく。このようにして収録されたビデオ画像から上述のキロ程決め処理を行えば、計測トリガパルス番号とキロ程とが対応付けられる。管理計測器１１０のサンプル数は計測トリガパルス数であるから、最終的にキロ程は直接、管理計測器１１０の収録データと対応付けられる。

以上のように、この第４の実施の形態によれば、次のような種々の利点を得ることができる。すなわち、小型かつ安価な装置で高精度なキロ程の決定が可能である。キロ程が正確に収録データと対応付けられることにより、収録データから現場作業が必要と判断された場合、このキロ程を基に現場を正確に特定することができ、それによって現場作業の能率が向上し、ひいては人件費の大幅な削減が可能となる。また、同一地点の状況を正確に比較することができるようになり、時系列的な環境変化を自動的に抽出することができるようになるため、広大な鉄道設備の高度な管理が可能となる。

〈第５の実施の形態〉
［列車位置検出システム］
図６９に示すように、第５の実施の形態による列車位置検出システムにおいては、第１の実施の形態において用いた画像同期装置１０の代わりに、画像同期プログラムがインストールされたコンピュータ２００を用いる。コンピュータ２００としては、例えば、ＰＣを用いることができる。その他のことは、第１の実施の形態と同様である。

この第５の実施の形態によれば、第１の実施の形態と同様な利点を得ることができる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。

例えば、上述の実施の形態において挙げた数値、構造、構成、形状、回路などはあくまでも例に過ぎず、必要に応じてこれらと異なる数値、構造、構成、形状、回路などを用いてもよい。

１０…画像同期装置、１１…デジタル／アナログ変換回路、１２、２５…入力端子、１３…出力端子、１４…ＴＴＬレベル変換回路、１５…音声電圧レベル変換回路、２０…デジタルビデオカメラ、２６…外部マイク、３０…車両動揺測定装置、３０ａ…筐体、３０ｂ、３０ｃ…把手、３０ｄ…ＬＣＤ、３０ｅ…電源スイッチ、３１…センサー処理部、３２…表示処理部、３３…位置情報処理部、３４…データ保存部、３５…外部インターフェース制御部、３６…電源制御部、３７…高速シリアルバス、４０…ＧＰＳ受信機、３９…速度発電機、５０…データ処理ＰＣ、２００…ＰＣ

Claims (11)

1. 動画の撮影が可能なカメラが設置された列車を軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第１の動画の各フレーム画像から抽出されたＳＵＲＦ特徴および当該ＳＵＲＦ特徴と対応付けられた位置情報を格納した画像特徴データベースを有し、
   上記第１の動画が収録された日時と異なる日時に上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と上記画像特徴データベースに格納された上記第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて上記列車の走行位置を検出し、
   上記第１の動画および上記第２の動画の各フレーム画像からＳＵＲＦ特徴を抽出する際に当該フレーム画像の下部中央の軌道部分と中央遠隔風景部分とをマスク画像によりマスクしておくことを特徴とする画像処理を利用した列車位置検出システム。
2. 上記位置情報は上記第１の動画の各フレーム画像と対応付けられたキロ程情報であることを特徴とする請求項１記載の画像処理を利用した列車位置検出システム。
3. 上記位置情報は上記第１の動画の各フレーム画像と対応付けられた速度情報から速度の積分により求められる距離情報であることを特徴とする請求項１記載の画像処理を利用した列車位置検出システム。
4. 上記速度情報は上記列車に設置された速度発電機またはＧＰＳ受信機により取得されるものであることを特徴とする請求項３記載の画像処理を利用した列車位置検出システム。
5. 上記類似度は、上記第２の動画の上記指定されたフレーム画像から抽出されたＳＵＲＦ特徴点数に対する、上記第１の動画のフレーム画像と上記第２の動画の上記指定されたフレーム画像との間で対応点があるＳＵＲＦ特徴点数の比であることを特徴とする請求項１〜４のいずれか一項記載の画像処理を利用した列車位置検出システム。
6. 上記第１の動画のフレーム画像と上記第２の動画の上記指定されたフレーム画像との間で対応点があるＳＵＲＦ特徴点の対はＳＵＲＦ特徴の特徴記述ベクトルのユークリッド距離が最も短い対であることを特徴とする請求項５記載の画像処理を利用した列車位置検出システム。
7. 上記第２の動画の各フレーム画像と対応付けられた速度情報のみによる上記列車の位置の推定結果に上記類似度を重みとして反映させることにより上記列車の位置を検出することを特徴とする請求項１〜６のいずれか一項記載の画像処理を利用した列車位置検出システム。
8. 上記列車に前後方向加速度計およびＧＰＳ受信機を設置し、上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより上記第１の動画および上記前後方向加速度計により計測される前後方向加速度の積分または上記ＧＰＳ受信機により取得される速度情報を収録し、収録された上記第１の動画の各フレーム画像にキロ程を割り振って画像データベースを作成し、上記第１の動画が収録された日時以後の異なる日時に上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録される上記第２の動画と上記画像データベースに格納された上記第１の動画とを比較することにより上記第２の動画の指定されたフレーム画像が上記第１の動画のどのフレーム画像に対応するかを決定することにより上記第２の動画の上記フレーム画像に対応するキロ程を決定することを特徴とする請求項１記載の画像処理を利用した列車位置検出システム。
9. 上記カメラはビデオカメラまたは工業用カメラであることを特徴とする請求項１〜８のいずれか一項記載の画像処理を利用した列車位置検出システム。
10. 動画の撮影が可能なカメラが設置された列車を軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第１の動画の各フレーム画像から抽出されたＳＵＲＦ特徴および当該ＳＵＲＦ特徴と対応付けられた位置情報を格納した画像特徴データベースを有し、
    上記第１の動画が収録された日時と異なる日時に上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影することにより収録された第２の動画の指定されたフレーム画像のＳＵＲＦ特徴と上記画像特徴データベースに格納された上記第１の動画の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することにより求められる類似度に基づいて上記列車の走行位置を検出し、
    上記第１の動画および上記第２の動画の各フレーム画像からＳＵＲＦ特徴を抽出する際に当該フレーム画像の下部中央の軌道部分と中央遠隔風景部分とをマスク画像によりマスクしておくことを特徴とする画像処理を利用した列車位置および環境変化検出システム。
11. 上記カメラが設置された上記列車を上記軌道上を走行させながら上記カメラにより進行方向前方の空間を撮影し、上記軌道上の互いに異なる位置であって上記第２の動画の各フレーム画像に対応付けられた速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された２枚の画像を比較することにより上記軌道の周辺の時系列的な環境の変化を検出することを特徴とする請求項１０記載の画像処理を利用した列車位置および環境変化検出システム。