JP7020494B2

JP7020494B2 - Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP7020494B2
Application number: JP2019556532A
Authority: JP
Inventors: 大地田中; 治宝珠山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2022-02-16
Anticipated expiration: 2037-12-01
Also published as: US20200348411A1; WO2019106850A1; JPWO2019106850A1; US11709254B2

Description

本発明は、ＳＡＲ画像解析システム、画像処理装置、画像処理方法および画像処理プログラムに関する。

上記技術分野において、特許文献１には、ＳＡＲ（Synthetic Aperture Rader)画像解析システムの一例が記載されている。特許文献１のＳＡＲ画像解析システムでは、各安定反射点候補において観測された位相に対して、モデルの当て嵌めを行い、当て嵌めるモデルとして変位が時間に対して線形に起こるというモデルを仮定する。次に、モデル当て嵌めが、どの程度ずれているかを特定し、モデルに当てはまらない位相の変化が全て標高や変位、大気の状態に起因しないノイズによるものとし、誤差の少なかった点を安定反射点として特定する。最後に、安定反射点を入力として、それらの点上で変位と標高を特定する。以上により、ノイズの影響が少ない安定反射点と、各安定反射点における精密な変位・標高が出力される。

特表２００３－５００６５８号公報（国際特許公開ＷＯ００／７２０４５）

IEEE IGARSS2017. "PERSISTENT SCATTERER CLUSTERING FOR STRUCTURE DISPLACEMENT ANALYSIS BASED ON PHASE CORRELATION NETWORK"

しかしながら、上記文献に記載の技術では、変位が非線形である対象や、標高が高い対象、変位が大きな対象について、変位計測が上手くできないという問題がある。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る画像処理装置は、
同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出手段と、
を備える。

上記目的を達成するため、本発明に係る画像処理方法は、
同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出ステップと、
を含む。

上記目的を達成するため、本発明に係る画像処理プログラムは、
同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係るＳＡＲ画像解析システムは、
複数のＳＡＲ画像に基づいて安定反射点を特定するための画像処理装置と、
前記安定反射点のデータを用いてＳＡＲ画像を解析するＳＡＲ画像解析装置と、
を備えるＳＡＲ画像解析システムであって、
前記画像処理装置は、少なくとも、
同一撮影対象を異なる時間に撮影した前記複数のＳＡＲ画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出手段と、
を備える。

上記目的を達成するため、本発明に係るＳＡＲ画像解析方法は、
複数のＳＡＲ画像に基づいて安定反射点を特定するための画像処理ステップと、
前記安定反射点のデータを用いてＳＡＲ画像を解析するＳＡＲ画像解析ステップと、
を含むＳＡＲ画像解析方法であって、
前記画像処理ステップは、少なくとも、
前記複数のＳＡＲ画像に渡る各画素の位相配列を位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出ステップと、
を含む。

本発明によれば、変位が非線形である対象や、標高が高い対象、変位が大きな対象について、大きな位相変化に影響されずに安定反射点らしさの評価指標を生成することができる。

本発明の第１実施形態に係る画像処理装置の機能構成を示すブロック図である。本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。本発明の第２実施形態に係る画像処理装置を含むＳＡＲ画像解析システムの概要を示す図である。本発明の第２実施形態に係る画像処理装置を含むＳＡＲ画像解析システムの機能構成を示す図である。本発明の第２実施形態に係る位相相関算出部の機能構成を示すブロック図である。本発明の第２実施形態に係るＳＡＲ画像記憶部の構成を示す図である。本発明の第２実施形態に係る位相配列蓄積部の構成を示す図である。本発明の第２実施形態に係る安定反射点候補テーブルの構成を示す図である。本発明の第２実施形態に係るクラスタテーブルの構成を示す図である。本発明の第２実施形態に係る位相統計量テーブルの構成を示す図である。本発明の第２実施形態に係る位相相関テーブルの構成を示す図である。本発明の第２実施形態に係る安定反射点テーブルの構成を示す図である。本発明の第２実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。本発明の第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。本発明の第３実施形態に係る位相相関算出部の機能構成を示すブロック図である。本発明の第３実施形態に係るノイズ除去テーブルの構成を示す図である。本発明の第３実施形態に係る画像処理装置の処理手順を示すフローチャートである。本発明の第４実施形態に係る位相相関算出部の機能構成を示すブロック図である。本発明の第４実施形態に係る位相相関テーブルの構成を示す図である。本発明の第４実施形態に係る位相統計量テーブルの構成を示す図である。本発明の第４実施形態に係る画像処理装置の処理手順を示すフローチャートである。本発明の第５実施形態に係る画像処理装置の機能構成を示すブロック図である。本発明の第５実施形態に係る安定反射点候補テーブルの構成を示す図である。本発明の第５実施形態に係る画像処理装置の処理手順を示すフローチャートである。前提技術のＳＡＲ画像解析システムの機能構成を示す図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての画像処理装置１００について、図１を用いて説明する。画像処理装置１００は、複数の画像に渡る各画素の位相配列から安定反射点らしさの評価指標を生成する装置である。

図１に示すように、画像処理装置１００は、位相配列蓄積部１０１と、クラスタリング部１０２と、位相相関算出部１０３と、を含む。位相配列蓄積部１０１は、複数の画像に渡る各画素の位相配列を蓄積する。クラスタリング部１０２は、位相配列に基づいて、各画素を複数のクラスタにクラスタリングする。位相相関算出部１０３は、複数のクラスタの各クラスタ内での位相変化と各画素における位相配列との相関を算出する。

本実施形態によれば、複数のクラスタの各クラスタ内での位相変化と各画素における位相配列との相関を算出するので、変位が非線形である対象や、標高が高い対象、変位が大きな対象について、大きな位相変化に影響されずに安定反射点らしさの評価指標を生成することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る画像処理装置について説明するが、本実施形態の画像処理装置の特徴を明瞭とするため、まず、前提技術として、ＳＡＲ画像解析システムの一例を説明する。

《前提技術の説明》
図１７は、特許文献１に記載されている、前提技術のＳＡＲ画像解析システム１７００の機能構成を示す図である。

図１７に示すように、ＳＡＲ画像解析システム１７００は、ＳＡＲ画像記憶部１７０１と、位相特定部１７０２と、安定反射点候補特定部１７０３と、モデル当て嵌め部１７０４と、モデル誤差特定部１７０５と、安定反射点特定部１７０６と、変位・標高特定部１７０７と、から構成される。

このような構成を有するＳＡＲ画像解析システム１７００はつぎのように動作する。まず、位相特定部１７０２は、同じ場所を異なる時期に撮影した複数のＳＡＲ画像をＳＡＲ画像記憶部１７０１から入力し、各々の画素における位相の変化を特定する。安定反射点候補特定部１７０３は、同じ場所を異なる時期に撮影した複数のＳＡＲ画像を入力とし、反射が安定している可能性の高い画素である、安定反射点候補を特定する。安定反射点候補としては、例えば、特許文献１では、同じ場所を異なる時期に撮影した複数のＳＡＲ画像を入力とし、複数のＳＡＲ画像にわたって反射の強度の変化が大きくないような点を、安定反射点候補として特定している。次に、モデル当て嵌め部１７０４は、安定反射点候補特定部で特定された安定反射点候補を入力とし、各安定反射点候補において観測された位相に対して、モデルの当て嵌めを行う。ここで、ＳＡＲ画像上の位相は、標高や変位、大気の状態等に応じて変化をする量である。すなわち、当て嵌めるモデルは、撮影対象の標高・変位、大気の状態等が、ＳＡＲ画像を撮影する時間によって、どのように変化するかを表すものである。特許文献１では、変位が時間に対して線形に起こるというモデルを仮定している。次に、モデル誤差特定部１７０５では、モデル当て嵌め部で行った当て嵌めが、どの程度ずれているかを特定する。特許文献１では、モデルに当てはまらない位相の変化が全て標高や変位、大気の状態に起因しないノイズによるものだと仮定し、モデルからの誤差の大きさはノイズの大きさを表すとしている。次に、安定反射点特定部１７０６は、モデル誤差特定部で特定された誤差を入力とし、誤差の少なかった点を安定反射点として特定する。最後に、変位・標高特定部１７０７は、前記の安定反射点を入力として、それらの点上で変位と標高を特定する。以上により、ノイズの影響が少ない安定反射点と、各安定反射点における精密な変位・標高が出力される。

（前提技術の課題）
しかしながら、このようなＳＡＲ画像解析システム１７００では、変位が非線形である対象や、標高が高い対象、変位が大きな対象について、変位計測が上手くできないという問題がある。その第１の原因は、線形な変位のモデルからの誤差の大きさを元にして安定かどうかを評価しているために、非線形な変位をしている物が安定反射点ではないと識別されてしまうことにある。もう１つの原因は、位相の当て嵌め自体が計算的に困難だということにある。位相は円周上の位置のような量であり、例えば一周分の位相変化を起こしても、あるいは２周分の位相変化を起こしても、変化後に観測すると原点に戻ってきているために、位相変化が全くない場合との区別がつかない。このため、大きな変位がある場合や標高が高い場合等、位相の変化が大きくなる場合に、正しい位相変化が分からなくなり、モデルが上手く当て嵌められなくなる。

《本実施形態の説明》
上記課題を解決するために、本実施形態に係る画像処理装置は、同じ場所を異なる時期に撮影した複数のＳＡＲ画像を入力として画素の各々における位相配列を作成する。その位相配列を入力として、画素を位相が同期しているクラスタに分割する。そして、クラスタリング結果とＳＡＲ画像上の画素の各々における位相配列を入力として、クラスタ各々の代表的な位相変化と、ＳＡＲ画像上の画素の各々における位相変化との相関を算出する。ここで、位相配列とは入力となるＳＡＲ画像のうち基準となる１枚に対して、その各々の画素上で作る配列であり、同じ場所を異なる時期に撮影した複数のＳＡＲ画像に渡り、基準となる１枚のＳＡＲ画像の各々の画素と同一地点であるような画素の各位相を配列の各要素として持つ。位相変化が類似した点群に分割し、その平均的な位相変化と評価対象となる点の位相変化が相関しているのかどうかを評価することにより、評価対象となる安定反射点候補がどの程度ノイズの影響を受けていないのかを判断することができる。以上の過程にはモデルの当て嵌めを行う処理は含まれていないため、高層ビルなどの位相のモデルを当てはめにくい対象についても安定反射点を特定することができる。

《画像処理装置の機能構成》
図２は、本実施形態に係る画像処理装置２００の機能構成を示すブロック図である。

図２を参照すると、本実施形態の画像処理装置２００は、最小構成として、位相配列蓄積部２０１と、クラスタリング部２０２と、位相相関算出部２０３とを備える。また、画像処理装置２００は、ＳＡＲ画像記憶部２０４と、安定反射点候補特定部２０５、安定反射点特定部２０６を含んでもよい。

位相配列蓄積部２０１は、ＳＡＲ画像記憶部２０４からの複数のＳＡＲ画像に基づいて、画像全体の画素の各々における位相を記録した配列である位相配列を蓄積する。クラスタリング部２０２は、クラスタリング手法をもちいて、画素を位相が類似しているクラスタに分割する。クラスタリング手法としては、例えば、非特許文献１に記載の方法を用いてよいが、これに限定されない。位相相関算出部２０３は、クラスタリング結果と画像全体の画素各々における位相配列に基づいて、各クラスタ内の代表的な位相変化と、画素の各々における位相変化との、相関を算出する。

安定反射点候補特定部２０５は、安定反射点になりうる画素を特定する。安定反射点候補特定部２０５を備える場合、クラスタリング部２０２は、安定反射点候補のみをクラスタリングする。安定反射点候補特定部２０５を備えてない場合、クラスタリング部２０２は、画像全体の画素をクラスタリングする。安定反射点特定部２０６を備える場合、安定反射点特定部２０６は、位相相関算出部２０３において算出された各画素と各クラスタとの相関を元に、所定の閾値を上回る相関を持つ画素を安定反射点とするなどを条件として、安定反射点を特定する。

続いて、本実施形態における画像処理装置の各機能構成について説明する。

（位相配列蓄積部）
位相配列蓄積部２０１は、画像全体の画素の各々における位相配列を蓄積する。位相配列の蓄積に当たって、位相配列蓄積部２０１は、画素ごとに、複数のＳＡＲ画像の各画素における位相を要素とする配列を生成する。この位相は、例えば、基準となるＳＡＲ画像と他のＳＡＲ画像との間での位相差として求めてもよい。この場合は、入力となる複数のＳＡＲ画像のうち、基準となるＳＡＲ画像があらかじめ定められる。そして、位相配列蓄積部２０１は、基準となるＳＡＲ画像と他のＳＡＲ画像の各々との位相差を求めて、それらを各画素における位相配列として蓄積する。また、別の例として、位相配列蓄積部２０１は、基準となるＳＡＲ画像を定めずに、複数のＳＡＲ画像の位相を時系列の順などに格納したものを位相配列としてもよい。各々の位相は、例えば絶対値が“１”となるように正規化された複素数の形式で格納される。また、位相配列蓄積部２０１は、ＤＥＭ(Digital Elevation Model)等を用いて、対象の標高に依存して変化しえる位相の変化を除去してもよいし、大気の揺らぎに依存した位相変化を公知の手法を用いるなどして除去してもよい。

（クラスタリング部）
クラスタリング部２０２は、画像全体の画素各々を、類似した位相を持つクラスタに分割する。例えば、非特許文献１に記載の方法を用いれば、画像全体の画素の各々を類似した位相を持つクラスタに分割することができる。

（位相相関算出部）
位相相関算出部２０３は、各クラスタの代表的な位相変化と、画像全体の各画素における位相配列との相関を算出する。算出された相関は、強いほど安定反射点らしいと判断するための評価指標として用いることができる。

《ＳＡＲ画像解析システム》
図３Ａは、本実施形態に係る画像処理装置２００を含むＳＡＲ画像解析システム３００の概要を示す図である。

ＳＡＲ画像解析システム３００は、画像処理装置２００を含むＳＡＲ画像解析装置３１０とＳＡＲ衛星３５０とを含む。ＳＡＲ画像解析システム３００は、ＳＡＲ画像を処理することにより、地上の構造物、例えば、高層ビルや高層マンションなどの傾きや地盤沈下などによるビルの沈み込みなどを判定する。

ＳＡＲ衛星３５０は、ＳＡＲ画像を撮影する。ＳＡＲ衛星３５０は、地表や、地上にある建造物、例えば、高層ビルや高層マンションなどのＳＡＲ画像を撮影する。ＳＡＲ衛星３５０が撮影したＳＡＲ画像は、例えば、ＳＡＲ画像記憶部２０４に保存される。また、ＳＡＲ衛星３５０は、撮影したＳＡＲ画像をＳＡＲ画像解析装置３１０に送信してもよい。

ＳＡＲ画像解析装置３１０は、ＳＡＲ衛星３５０が撮影した複数のＳＡＲ画像を取得する。ここで、ＳＡＲ画像解析装置３１０が取得する複数のＳＡＲ画像は、例えば、地表の同一地点や同一領域、同一範囲などを異なる撮影条件（日時、天候、撮影に用いたＳＡＲ衛星など）で撮影したＳＡＲ画像である。ＳＡＲ画像解析装置３１０は、ＳＡＲ画像記憶部２０４に保存されたＳＡＲ画像を取得してもよい。また、ＳＡＲ画像解析装置３１０は、ＳＡＲ衛星３５０から直接ＳＡＲ画像を取得してもよい。そして、ＳＡＲ画像解析装置３１０は、取得したＳＡＲ画像から安定反射点を特定する。ＳＡＲ画像解析装置３１０は、さらに、特定した安定反射点の各々における位相を特定する。

図３Ｂは、本実施形態に係る画像処理装置２００を含むＳＡＲ画像解析システム３００の機能構成を示す図である。

図３Ｂに示したように、ＳＡＲ画像解析システム３００は、ＳＡＲ画像記憶部２０４、ＳＡＲ画像解析装置３１０、安定反射点記憶部３３０および変位・標高記憶部３４０を有する。ここで、ＳＡＲ画像解析装置３１０は、本実施形態の画像処理装置２００、安定反射点特定部２０６および変位・標高算出部３１１を有する。

そして、ＳＡＲ画像解析装置３１０は、次のように動作する。本実施形態の画像処理装置２００は、複数のＳＡＲ画像間にわたる同一地点（画素）で観測された位相の違いを解析するために、同じ場所を異なる時期に撮影した複数のＳＡＲ画像をＳＡＲ画像記憶部２０４から取得する。本実施形態の画像処理装置２００は、クラスタリングされたクラスタの代表的な位相変化と各画素の位相配列との相関を、安定反射点らしさの評価指標として生成する。安定反射点特定部２０６は、取得した評価指標に基づいて安定反射点を特定する。特定された安定反射点は、例えば、安定反射点記憶部３３０に記憶される。

次に、変位・標高算出部３１１は、安定反射点特定部２０６で特定された安定反射点を入力とし、各安定反射点における変位および標高を算出する。算出した変位および標高は、例えば、変位・標高記憶部３４０に記憶される。

（位相相関算出部）
図４は、本実施形態に係る位相相関算出部２０３の機能構成を示すブロック図である。

図４を参照すると、位相相関算出部２０３は、位相統計量演算部４３１と、位相相関演算部４３２とを有する。

（位相統計量演算部）
位相統計量演算部４３１は、各クラスタに対して、各クラスタの代表的な位相変化を表す統計量を特定する。各クラスタの代表的な位相変化を表す統計量としては、例えば、各クラスタを構成する画素各々における位相配列の平均を用いる。または、距離に応じて変化する荷重関数を用いて位相配列の荷重平均を、各クラスタの代表的な位相変化として特定してもよい。すなわち、仮に相関を特定する対象の画素をi、クラスタをCとし、w(d)を例えば正の入力dに対して単調非増加な正の関数とし、画素各々の位置ベクトルをｒ_i、位相配列の各要素を格納した複素の列ベクトルをｓ_iとすると、場所rにおけるクラスタCの代表的な位相変化を表すベクトルｓ_C(r)は、下記の数式（１）のように特定される。

また、各クラスタの代表的な位相変化を表す統計量として、クラスタを構成する画素各々における位相配列に対して、その位相配列の要素の全てのペアに対する位相差を要素として持つ行列を算出し、これら行列の平均値を算出して用いてもよい。例えば、位相配列の要素の全ペアに対する位相差を記録した行列は、仮に画素iに対して求めるならば、画素iにおける位相配列の要素を収めた列ベクトルｓ_iを用いてｓ_i ｓ_i ^*として求めることができる。ただし、*は複素共役転置を表す記号である。各クラスタの代表的な位相変化を表す統計量としては、仮にクラスタCに対して特定するのであれば、クラスタCを構成する各画素iに対して求められた行列ｓ_i ｓ_i ^*の平均値を用いればよい。

また、数式（１）において定義したのと同様に、行列ｓ_i ｓ_i ^*の加重平均を、各クラスタの代表的な位相変化を表す統計量であるとしてもよい。すなわち、ｓ_C(r)を定義する際に用いたのと同様の文字の定義を用いて、クラスタの代表的な位相変化を表す統計量は、行列の加重平均Ｓ_C(r)の形式では、下記の数式（２）のように特定される。

また、クラスタの代表的な位相変化の特定に際して、ベクトルや行列の平均値ではなく、最頻値や中央値等、他の統計量を取っても構わない。また、上では複素数のベクトルや行列に対して複素数の統計量を直接計算したが、一旦、偏角を取り出し、偏角に対する統計量を特定してから、複素数に戻してもよい。また、平均計算では一般的に、求まるベクトルや行列の各要素の絶対値は“１”にならないが、絶対値が“１”になるように正規化し直しても構わない。

（位相相関演算部）
位相相関演算部４３２は、クラスタの代表的な位相変化と、画像全体の画素各々における位相変化との相関を演算する。この相関が強い画素ほど、ノイズが少なく、より安定反射点らしいと評価できる。相関を演算するにあたっては、例えば、画像全体の画素各々に対して下記のような計算を行う。仮に、相関を特定する画素のインデックスをiとし、画素iにおける位相配列の要素を収めた列ベクトルをｓ_iとし、画素iの位置ベクトルをｒ_iとする。クラスタCの代表的な位相変化を表す統計量として、数式（１）で定義したベクトルｓ_C(r)を用いるとする。このとき、位相相関演算部４３２は、クラスタCの代表的な位相変化と画素iにおける位相変化の相関corr(i,C)を、下記の数式（３）によって、画像全体の全ての画素iの各々に対して特定する。

または、クラスタＣの代表的な位相変化を表す統計量として、数式（２）で定義した行列ｓ_C(r)を用いるとすれば、位相相関演算部４３２はクラスタCの代表的な位相変化と画素iにおける位相変化の相関corr(i,C)を、下記の数式（４）によって、全ての画素iの各々に対して特定する。ただし、v_oneは全ての要素が1であるような列ベクトルである。

また、相関としては、数式（４）のようにして特定された値に、平方根や二乗等、正の入力に対して単調非減少な関数による変換を適宜適用したものを用いても構わない。

以上のようにして算出された、各クラスタの代表的な位相変化と、画像全体の画素の各々における位相変化との相関は、画素の各々におけるノイズの量が少ないほど強くなるため、ノイズの少ない画素である安定反射点を特定するのに役に立つ。すなわち、相関が高い画素ほど安定反射点らしいと判断することができる。ただし、上述した各クラスタの代表的な位相変化と、画像全体の画素の各々における位相変化との相関は、画像全体の画素の各々に対してクラスタの数だけ求まる。

そこで、これらの相関を画像全体の画素の各々が安定反射点かどうかを特定するのに用いるために、位相相関演算部４３２は、画素各々に対して、複数のクラスタとの間で特定した相関を１つにまとめ、その値を画素各々における相関として出力する。このまとめる処理については、例えば、画像全体の画素の各々に対してそれを含むクラスタを特定しておき、そのクラスタの代表的な位相変化との相関のみを用いるようにすることで実現される。または、画像全体内の画素の各々に対して、各クラスタとの間で特定された複数の相関の中から、最大の相関を取り出して用いてもよい。あるいは、画像全体の画素の各々に対して最近接するクラスタを特定しておき、そのクラスタの代表的な位相変化との相関のみを用いるようにしてもよい。

《各データの記憶構成》
以下、図５Ａ～図５Ｇを参照して、本実施形態で使用される各データの記憶構成を説明する。なお、以下では便宜上、図５Ａから図５Ｇに分けて説明するが、複数の記憶構成が一体であっても、さらに分けられていてもよい。

（ＳＡＲ画像記憶部）
図５Ａは、本実施形態に係るＳＡＲ画像記憶部２０４の構成を示す図である。ＳＡＲ画像記憶部２０４は、衛星などで撮像して送信されたＳＡＲ画像を蓄積する。なお、ＳＡＲ画像記憶部２０４の構成は、図５Ａに限定されない。

ＳＡＲ画像記憶部２０４は、各ＳＡＲ画像ＩＤ５１１のＳＡＲ画像に含まれる反射点ＩＤ（画像ＩＤ）５１２を記憶する。各反射点ＩＤ（画像ＩＤ）５１２に対応つけて、輝度５１３、位置５１４、位相５１５などを記憶する。

（位相配列蓄積部）
図５Ｂは、本実施形態に係る位相配列蓄積部２０１の構成を示す図である。位相配列蓄積部２０１は、ＳＡＲ画像に含まれる各反射点（画素）の複数のＳＡＲ画像に渡る位相配列を蓄積する。なお、位相配列蓄積部２０１の構成は、図５Ｂに限定されない。また、位相配列蓄積部２０１は、ＳＡＲ画像記憶部２０４から各反射点（画素）の複数のＳＡＲ画像に渡る位相配列を呼び出す位相配列生成部として実現してもよい。

位相配列蓄積部２０１は、各反射点ＩＤ（画素ＩＤ）５２１に対応して、各ＳＡＲ画像のタイムスタンプと位相との組からなる位相配列５２２を記憶する。

（安定反射点候補テーブル）
図５Ｃは、本実施形態に係る安定反射点候補テーブル５３０の構成を示す図である。安定反射点候補テーブル５３０は、安定反射点候補特定部２０５が複数のＳＡＲ画像における各反射点（画素）の中で、安定した反射点の候補を特定するために使用する。なお、安定反射点候補テーブル５３０の構成は、図５Ｃに限定されない。

安定反射点候補テーブル５３０は、各反射点ＩＤ（画素ＩＤ）５３１に対応付けて、安定反射点候補を特定するための安定反射点候補条件５３２と、安定反射点候補条件５３２による判定結果の安定反射点候補フラグ５３３とを記憶する。ここで、安定反射点候補フラグ５３３は、“１”の場合が安定反射点候補であり、“０”の場合が安定反射点候補でないとする。また、安定反射点候補条件５３２としては、輝度の安定、位置の安定、位相の安定などがあるが、これらに限定されない少なくとも１つの条件により判定する。

（クラスタテーブル）
図５Ｄは、本実施形態に係るクラスタテーブル５４０の構成を示す図である。クラスタテーブル５４０は、クラスタリング部２０２が位相配列に基づいて反射点（画素）をクラスタリングするために使用する。なお、クラスタテーブル５４０の構成は、図５Ｄに限定されない。

クラスタテーブル５４０は、クラスタＩＤ５４１に対応して、そのクラスタに分類された反射点ＩＤ（画素ＩＤ）５４２と、その位相配列５４３と、安定反射点候補フラグ５４４と、を記憶する。ここで、安定反射点候補のみをクラスタリングする場合には、安定反射点候補フラグ５４４は全て“１”の反射点（画素）がクラスタリングされる。

（位相統計量テーブル）
図５Ｅは、本実施形態に係る位相統計量テーブル５５０の構成を示す図である。位相統計量テーブル５５０は、位相統計量演算部４３１が各クラスタの代表的な位相変化を演算するために使用される。なお、位相統計量テーブル５５０の構成は、図５Ｅに限定されない。

位相統計量テーブル５５０は、クラスタＩＤ５５１に対応して、各クラスタに分類された反射点ＩＤ（画素ＩＤ）５５２と、その位相配列５５３とを記憶する。そして、各クラスタに分類された複数の反射点（画素）に基づいて算出された、各クラスタの位相統計量５５４を記憶する。位相統計量５５４には、例えば、位相配列の平均や位相配列の加重平均などが位相変化として記憶される。

（位相相関テーブル）
図５Ｆは、本実施形態に係る位相相関テーブル５６０の構成を示す図である。位相相関テーブル５６０は、位相相関演算部４３２が各反射点（画素）の位相配列と各クラスタの位相統計量（位相変化）との相関を演算するために使用される。なお、位相相関テーブル５６０の構成は、図５Ｆに限定されない。

位相相関テーブル５６０は、各反射点（画素）の位相配列群５６１と、各クラスタの位相統計量（位相変化）群５６２との間の、全組合せの位相相関値が算出され記憶される。

（安定反射点テーブル）
図５Ｇは、本実施形態に係る安定反射点テーブル５７０の構成を示す図である。安定反射点テーブル５７０は、安定反射点特定部２０６が位相相関算出部２０３からの位相相関値に基づいて安定反射点を特定するために使用される。なお、安定反射点テーブル５７０の構成は、図５Ｇに限定されない。

安定反射点テーブル５７０は、各反射点ＩＤ（画素ＩＤ）５７１に対応付けて、安定反射点候補フラグ５７２と、位相相関算出結果５７３と、安定反射点フラグ５７４と、を記憶する。ここで、安定反射点フラグ５７４は、“１”の場合が安定反射点であり、“０”の場合が安定反射点でないとする。

《画像処理装置のハードウェア構成》
図６は、本実施形態に係る画像処理装置２００のハードウェア構成を示すブロック図である。なお、図６においては、安定反射点候補特定部２０５を有し、安定反射点特定部２０６を有しない構成を示すが、これに限定されない。

図６で、ＣＰＵ(Central Processing Unit)６１０は演算制御用のプロセッサであり、プログラムを実行することで図２および図４の機能構成部を実現する。なお、ＣＰＵ６１０は、それぞれの機能に対応して複数あってもよい。ＲＯＭ(Read Only Memory)６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース６３０は、ネットワークを介して、ＳＡＲ画像記憶部２０４などの他の装置との通信を制御する。

ＲＡＭ(Random Access Memory)６４０は、ＣＰＵ６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ＳＡＲ画像データ６４１は、ＳＡＲ画像記憶部２０４から取得したＳＡＲ画像のデータである。位相配列データ６４２は、位相配列蓄積部２０１から取得した各反射点（画素）の位相配列のデータである。安定反射点候補データ６４３は、安定反射点候補テーブル５３０から取得した各反射点（画素）の安定反射点候補のデータである。クラスタデータ６４４は、クラスタテーブル５４０から取得した各反射点（画素）が分類されたクラスタのデータである。位相統計量算出データ６４５は、位相統計量テーブル５５０から取得した各クラスタの位相統計量のデータである。位相相関算出データ６４６は、位相相関テーブル５６０から取得した各反射点（画素）の位相配列と各クラスタの位相統計量（位相変化）との相関のデータである。入出力データ６４７は、入出力インタフェース６６０を介して、入出力機器と入出力するデータである。送受信データ６４８は、ネットワークインタフェース６３０を介して、他の装置と送受信を行うデータである。

ストレージ６５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。位相配列蓄積部２０１は、図５Ｂに示したように、各反射点（画素）の位相配列を蓄積する。安定反射点候補テーブル５３０は、図５Ｃに示したように、各反射点（画素）が安定反射点候補か否かを記憶する。クラスタテーブル５４０は、図５Ｄに示したように、各クラスタに分類された反射点（画素）を記憶する。位相統計量テーブル５５０は、図５Ｅに示したように、各クラスタの位相統計量（位相変化）を記憶する。位相相関テーブル５６０は、図５Ｆに示したように、各反射点（画素）の位相配列と各クラスタの位相統計量（位相変化）との相関を記憶する。

ストレージ６５０には、以下のプログラムが格納される。画像処理装置制御プログラム６５１は、本実施形態の画像処理装置２００の全体の処理を制御するプログラムである。位相配列蓄積モジュール６５２は、複数のＳＡＲ画像に渡る各反射点（画素）の位相配列を蓄積するモジュールである。安定反射点候補特定モジュール６５３は、各反射点（画素）のデータの安定らしさにより安定反射点候補を特定するモジュールである。クラスタリングモジュール６５４は、各反射点（画素）の位相配列に基づいて、各反射点（画素）を複数のクラスタにクラスタリングするモジュールである。位相統計量演算モジュール６５５は、各クラスタの代表的な位相特徴量（位相変化）を演算するモジュールである。位相相関演算モジュール６５６は、各反射点（画素）の位相配列と各クラスタの位相統計量（位相変化）との相関を演算するモジュールである。

入出力インタフェース６６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース６６０には、画像処理装置２００の状態を表示する表示部６６１や画像処理装置２００への操作入力をする操作部６６２が接続される。さらに、ＳＡＲ画像を格納した記憶媒体６６３が接続されてもよい。

なお、図６のＲＡＭ６４０やストレージ６５０には、画像処理装置２００が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

《画像処理装置の処理手順》
図７は、本実施形態に係る画像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を用いて実行し、図２および図４の機能構成部を実現する。

画像処理装置２００は、ステップＳ７０１において、複数のＳＡＲ画像から各反射点（画素）の位相配列を生成して蓄積する。画像処理装置２００は、ステップＳ７０３において、ＳＡＲ画像の各反射点（画素）を、位相配列に基づいて複数のクラスタにクラスタリングする。画像処理装置２００は、ステップＳ７０５において、各クラスタ内の反射点（画素）の位相配列から各クラスタの代表的な位相変化を表す統計量を算出する。画像処理装置２００は、ステップＳ７０７において、各クラスタの代表的な位相変化を表す統計量と、画像全体の各反射点（画素）の位相配列との間での相関を算出する。画像処理装置２００は、ステップＳ７０９において、算出された相関をそのまま、あるいは、まとめて出力する。相関が強い反射点（画素）ほど、ノイズの影響が少なく、変位解析に適した安定反射点らしいであると判断することができ、安定した評価指標となる。

本実施形態によれば、複数のクラスタの各クラスタ内での位相変化と各画素における位相配列との相関を安定反射点の評価に使用するので、変位が非線形である対象や、標高が高い対象、変位が大きな対象について、大きな位相変化に影響されずに安定反射点らしさを評価できる。

すなわち、本実施形態によれば、非線形な変位を起こす対象や、標高が高い対象、変位が大きな対象に対して、変位解析を行うのに必要な安定反射点の特定を行うことができる。というのは、画像全体の各々の画素に対して時間に線形に起こる変位等の仮定を行う必要が無く、モデルの当て嵌めも行う必要がないためである。本実施形態では、一旦、画素を類似した位相変化を持つクラスタに分割し、そのクラスタ各々における代表的な位相変化についての統計量を算出する。これにより、ノイズによる影響を取り除いた位相変化がクラスタの各々に対して求まる。画像全体の画素の各々に対して、クラスタ各々の代表的な位相変化との相関を算出することにより、画像全体の画素の各々におけるノイズが含まれた位相変化と、クラスタの各々におけるノイズが含まれていない位相変化がどの程度相関するかが分かる。そのため、相関が強い画素はノイズの少ない安定反射点であると特定することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、上記第２実施形態と比べると、算出された位相統計量からノイズを除去するノイズ除去部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

（位相相関算出部）
図８は、本実施形態に係る画像処理装置８００の位相相関算出部８０３の機能構成を示すブロック図である。なお、画像処理装置８００の構成は、図２の位相相関算出部２０３が位相相関算出部８０３に置き換えられたものである。

本実施形態における位相相関算出部８０３は、位相統計量演算部４３１と、ノイズ除去部８３３と、位相相関演算部４３２とを有する。すなわち、本実施形態における位相相関算出部８０３は、位相統計量演算部４３１と位相相関演算部４３２との間に、ノイズ除去部８３３を有する点のみが、第２実施形態の位相相関算出部２０３と異なる。

位相統計量演算部４３１は、クラスタの代表的な位相変化を表す統計量を算出する。ノイズ除去部８３３は、位相統計量演算部４３１で算出された統計量から、ノイズの影響を除去する。位相相関演算部４３２は、ノイズ除去部８３３によりノイズの影響が除去された統計量を用いて、各反射点（画素）との相関を算出する。

（ノイズ除去部）
続いて、ノイズ除去部８３３について詳細に説明する。ノイズ除去部８３３は、位相統計量演算部４３１で算出された、クラスタの代表的な位相変化に関する統計量からノイズの影響を除去する。位相統計量演算部４３１において、クラスタ各々の代表的な位相変化に関する統計量を算出した際に、ある程度のノイズの影響は除去されている。本実施形態においては、さらに、各クラスタ内の画素の各々において特定されうる位相配列についての事前知識を用い、事前知識に合致しないものをノイズとして除去することにより、ノイズに対する頑健さを増すことができる。

ノイズの影響を除去するにあたっての事前知識としては、例えば、各クラスタ内の画素各々における位相変化が、各クラスタを代表する位相変化のただ１種に対して、ノイズが加わったものであるという知識を用いる。この事前知識によれば、数式（２）によって算出された統計量であるところの行列Ｓ_C(r)は、固有値分解によってクラスタの代表的な位相変化に対応した固有ベクトル１本と、ノイズに対応する残りの固有ベクトルとに分かれる性質を持つことが分かる。したがって、例えば、数式（２）によって算出された特徴量であるところの行列Ｓ_C(r)を固有値分解し、最大固有ベクトルをクラスタの代表的な位相変化に対応する固有ベクトルであるとし、それ以外の固有ベクトルをノイズに起因するものであるとする。このように、行列Ｓ_C(r)から、最大固有ベクトルに対応した行列と、それ以外の行列とに分離することによって、ノイズの影響が除去された統計量を得ることができる。

また、クラスタの代表的な位相変化と、各クラスタの画素各々における位相変化の間に、ノイズに起因するものではない変化が少量含まれているという事前知識を用いてもよい。この事前知識によれば、この事前知識によれば、数式（２）によって特定された統計量であるところの行列Ｓ_C(r)は、固有値分解によってクラスタの代表的な位相変化に対応した固有ベクトル数本と、ノイズに対応する残りの固有ベクトルとに分かれる性質を持つことが分かる。したがって、例えば、数式（２）によって算出された特徴量であるところの行列Ｓ_C(r)を固有値分解し、固有値の大きい固有ベクトル数本をクラスタの代表的な位相変化に対応する固有ベクトルであるとし、それ以外の固有ベクトルをノイズに起因するものであるとする。このように、行列Ｓ_C(r)から、固有値の大きい固有ベクトル数本に対応した行列と、それ以外の行列とに分離することによって、ノイズの影響が除去された統計量を得ることができる。

また、変位について時間に対して緩やかであるといったモデルを仮定して、ノイズの影響を除去してもよい。この場合には、数式（２）によって算出された統計量であるところの行列Ｓ_C(r)上では、画像取得時期としての撮影時期の近い画像に対応する位相配列の要素同士で位相比較を行っている成分については絶対値が大きくなる。一方、撮影時期の離れた画像に対応する位相配列の要素同士で位相比較を行っている成分については絶対値が小さくなる。ただし、ノイズに関しては、行列Ｓ_C(r)の対角成分を除く成分については、時期が離れているかどうか関係なく絶対値を大きくするような性質がある。以上のことから、撮影時期の近いもの同士での位相比較に対応する行列Ｓ_C(r)中の成分はそのまま、撮影時期の離れたもの同士での位相比較に対応した行列Ｓ_C(r)中の成分は強制的に“０（ゼロ）”に近づけることで、ノイズの影響を除去することができる。

（ノイズ除去テーブル）
図９は、本実施形態に係るノイズ除去テーブル９１０の構成を示す図である。ノイズ除去テーブル９１０は、ノイズ除去部８３３が位相統計量演算部４３１により算出された位相統計量（位相変化）のノイズを除去するために使用される。なお、ノイズ除去テーブル９１０の構成は、図９に限定されない。

ノイズ除去テーブル９１０は、クラスＩＤ９１１とその位相統計量９１２に対応して、複数のノイズ除去方法９１３と、各ノイズ除去方法９１３によりノイズ除去された位相統計量９１４と、を記憶する。ここで、ノイズ除去方法９１３としては、固有値分解による最大固有ベクトルを選択、固有値分解による大きい数本の固有ベクトルを選択、撮影時期の離れたもの同士の位相比較を排除、などが含まれる。

《画像処理装置の処理手順》
図１０は、本実施形態に係る画像処理装置８００の処理手順を示すフローチャートである。このフローチャートは、ノイズ除去テーブル９１０が追加された図６のＣＰＵ６１０がＲＡＭ６４０を用いて実行し、図２および図８の機能構成部を実現する。なお、図１０において、図７と同様のステップには同じステップ番号を付して、重複する説明を省略する。

ステップＳ２０７からステップＳ７０５までは、図７と同様に動作する。その後、画像処理装置８００は、ステップＳ１００６において、ステップＳ７０５で算出されたクラスタ内の統計量からノイズの影響を除去する。画像処理装置８００は、ステップＳ７０７では、ノイズの影響を除去された統計量を用いて、図７と同様の方法で、各クラスタの代表的な位相変化と、評価対象の位相変化がどの程度合致するかという相関を算出する。したがって、相関が強い画素ほど、ノイズの影響が少なく、変位解析に適した安定反射点らしい判断することができる。

本実施形態によれば、非線形な変位を起こす対象や、標高が高い対象、変位が大きな対象に対して、変位解析を行うのに必要な安定反射点の特定を行うことができる。特に、本実施形態には、構成としてノイズの影響を除去する部分が含まれており、より頑健に安定反射点を特定することができる。

［第４実施形態］
次に、本発明の第４実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、上記第２実施形態と比べると、位相相関算出部の相関演算部と位相統計量演算部とが逆に配置される点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

（位相相関算出部）
図１１は、本実施形態に係る画像処理装置１１００の位相相関算出部１１０３の機能構成を示すブロック図である。なお、画像処理装置１１００の構成は、図２の位相相関算出部２０３が位相相関算出部１１０３に置き換えられたものである。

本実施形態における位相相関算出部１１０３は、位相相関演算部１１３１と、位相統計量演算部１１３２とを有する。位相相関演算部１１３１は、画像全体の画素の各々において位相配列蓄積部２０１に蓄積された位相配列と、クラスタリング部２０２でクラスタリングされた各クラスタを構成する各反射点（画素）における位相配列との相関を演算する。位相統計量演算部１１３２は、画像全体の各反射点（画素）に対して算出された、各クラスタを構成する各反射点（画素）における位相変化との相関に対して、例えば、クラスタ内における相関の平均値等といった統計量を演算する。

位相相関算出部１１０３においては、評価対象の各々と、各クラスタを構成する画素の各々との、位相変化の相関の統計量を算出する。

（位相相関演算部）
位相相関演算部１１３１は、画像全体の画素の各々と、クラスタを構成する画素の各々との位相変化の相関を算出する。画素の位相変化同士間の相関は、例えば次のように演算する。仮に、相関を特定する対象の画素のインデックスをiとし、クラスタをCとし、クラスタC内の画素のインデックスをj∈Cとする。画素iにおける位相配列の要素を列ベクトルｓ_iに、画素jにおいて観測された位相配列の要素を列ベクトルｓ_jに格納するとすれば、画素iと画素jの位相変化同士の相関corr(i,j)は、下記の数式（５）で算出される。

また、上記の画素iとjの位相変化同士の相関に対して、正の数に対して単調非減少な関数を適用しても構わない。例えば二乗しても構わない。または、ある閾値以下の入力に対しては“０（ゼロ）”となるような関数を適用してもよい。このような関数の適用により、極端に相関が弱い画素の影響を除去して評価を行うことが可能になる。

（位相統計量演算部）
位相統計量演算部１１３２は、位相相関演算部１１３１において算出された、画像全体の各画素の位相配列と、各クラスタを構成する各画素における位相配列との相関を入力とする。そして、画像全体の各画素における位相配列と各クラスタを構成する画素における全体としての位相変化との相関を表す統計量を算出する。仮に、相関を演算する対象の画素のi、相関を演算する対象のクラスタをCとすると、位相統計量演算部１１３２は、クラスタ全体との相関を表す統計量corr(i,C)を、数式（５）で求まったcorr(i,j)に対して、クラスタCに含まれる全ての画素j∈Cに関する統計量として算出する。例えば、下記の数式（６）のように、corr(i,j)のj∈Cに対する平均値を演算する。

あるいは、最大値、最頻値、中央値等の他の統計量を用いてもよい。また、例えば、距離に応じて単調非増加な荷重関数を用いて重み付けした評価を行ってもよい。例えば、荷重平均を用いるならば、w(d)をdに対して単調非増加な関数とし、ｒ_i,ｒ_jをそれぞれ画素i,jの位置として、下記の数式（７）のように特定してもよい。

以上のようにして算出された、画像全体の画素の各々における位相変化と、各クラスタについて構成する画素における位相変化全体としての相関を表す統計量は、第２実施形態における位相相関算出部２０３で特定した画素の各々における位相変化とクラスタ各々の代表的な位相変化との相関と、ほとんど同様の扱いをすることができる。すなわち、画像全体の画素の各々における位相変化と、各クラスタについて構成する画素における位相変化全体としての相関を表す統計量が、強くなるほどより安定反射点らしいと判断することができる。本実施形態における、画素各々に対するクラスタ内全体での相関の統計量は、クラスタごとに求まるため、各画素に対して複数求まるが、第２実施形態と同様にして、画素ごとに１つの値にまとめられる。

（位相相関テーブル）
図１２Ａは、本実施形態に係る位相相関テーブル１２１０の構成を示す図である。位相相関テーブル１２１０は、位相相関演算部１１３１が画像全体の各画素の位相配列とクラスタを構成する各画素の位相配列との相関を算出するために使用される。なお、位相相関テーブル１２１０の構成は、図１２Ａに限定されない。

位相相関テーブル１２１０は、各反射点（画素）の位相配列群５６１と、各クラスタに分類された各反射点（画素）の位相配列群１２６２との間の、全組合せの位相相関値が算出され記憶される。

（位相統計量テーブル）
図１２Ｂは、本実施形態に係る位相統計量テーブル１２２０の構成を示す図である。位相統計量テーブル１２２０は、位相統計量演算部１１３２が位相相関演算部１１３１において算出された各画素の位相配列と各クラスタを構成する各画素の位相配列との相関から、各画素における位相配列と各クラスタの位相変化との相関を表す統計量を算出するために使用される。なお、位相統計量テーブル１２２０の構成は、図１２Ｂに限定されない。

位相統計量テーブル１２２０は、反射点ＩＤ（画素ＩＤ）１２２１に対応して、各クラスタの相関統計量１２２２、１２２３、…を記憶する。各クラスタの相関統計量１２２２、１２２３、…は、各反射点ＩＤ（画素ＩＤ）１２２１と各クラスタ内の各反射点（画素）との相関群と、その相関群から算出された相関統計量として相関平均や相関加重平均を記憶する。

《画像処理装置の処理手順》
図１３は、本実施形態に係る画像処理装置１１００の処理手順を示すフローチャートである。このフローチャートは、位相相関テーブル１２１０や位相統計量テーブル１２２０を有する図６のＣＰＵ６１０がＲＡＭ６４０を用いて実行し、図２および図１１の機能構成部を実現する。なお、図１３において、図７と同様のステップには同じステップ番号を付して、重複する説明を省略する。ステップＳ７０１とＳ７０３は、図７と同様に動作する。

画像処理装置１１００は、ステップＳ１３０５において、画像全体の各画素における位相配列と、各クラスタを構成する各画素における位相配列との相関を算出する。次に、画像処理装置１１００は、ステップＳ１３０７においては、ステップＳ１３０５で算出された、各画素における位相配列と各クラスタを構成する各画素における位相配列との相関に対して、クラスタごとに相関統計量を算出する。画像処理装置１１００は、ステップＳ１３０９において、算出された相関統計量をそのまま、あるいは、まとめて出力する。最終的に算出された、クラスタ内の相関についての統計量が強いほど、ノイズの影響が少なく、変位解析に適した安定反射点であると判断することができる。

本実施形態によれば、非線形な変位を起こす対象や、標高が高い対象、変位が大きな対象に対して、変位解析を行うのに必要な安定反射点の特定を行うことができる。特に、本実施形態では、画像全体の画素の各々における位相変化と、各クラスタを構成する画素の各々における位相変化との相関を算出するため、画像全体の画素の各々に対して、各クラスタを構成する画素の中から、極端に異なる位相変化を持つ画素の影響を除去して評価を行うことができる。このような評価方法は、例えば、クラスタリングのアルゴリズムによって、クラスタが十分に分かれず、複数のクラスタが混ざったような状態で特定されるような場合に有用である。

なお、本実施形態において、統計量演算部１１３２で、平均以外の、例えば、最頻値を統計量として算出するなどによって、さらにノイズの影響を除去する効果を得ることができる。

［第５実施形態］
次に、本発明の第５実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、上記第２実施形態乃至第４実施形態と比べると、位相相関算出部の算出結果を安定反射点候補特定部にフィードバックする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《画像処理装置の機能構成》
図１４は、本実施形態に係る画像処理装置１４００の機能構成を示すブロック図である。なお、図１４において、図２と同様の機能構成部には同じ参照番号を付して、重複する説明は省略する。図１４においては、図２の位相相関算出部２０３および安定反射点候補特定部２０５を、位相相関算出部１４０３および安定反射点候補特定部１４０５に置き換え、その間をフィードバック線で結んだものである。

安定反射点候補特定部１４０５は、安定反射点になりうる画素を特定する。特に、本実施形態における安定反射点候補特定部１４０５は、第２実施形態における安定反射点候補特定部２０５と異なり、位相相関算出部１４０３で算出された相関を元に、安定反射点候補を再度、特定しなおす機能を有する。クラスタリング部２０２は、安定反射点候補特定部１４０５で再度、特定された安定反射候補を入力として、再度、クラスタリングを行う。位相相関算出部１４０３は、画像全体の各画素における位相配列に対して、クラスタリング部２０２で再度、クラスタリングされたクラスタ各々を代表する位相変化との相関を算出する。このように、位相相関算出部１４０３で算出された相関は安定反射点候補特定部１４０５にフィードバックされ、再度、安定反射点候補の特定が行われる。

なお、位相相関算出部１４０３としては、前述した第２実施形態における位相相関算出部２０３、あるいは、第３実施形態における位相相関算出部８０３、あるいは、第４実施形態における位相相関算出部１１０３、のいずれを用いてもよい。

（安定反射点候補テーブル）
図１５は、本実施形態に係る安定反射点候補テーブル１５３０の構成を示す図である。安定反射点候補テーブル１５３０は、安定反射点候補特定部１４０５が複数のＳＡＲ画像における各反射点（画素）の中で、安定した反射点の候補の特定を、相関を基に繰り返すために使用する。なお、図１５において、図５Ｃと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。また、安定反射点候補テーブル１５３０の構成は、図１５に限定されない。

安定反射点候補テーブル１５３０は、各反射点ＩＤ（画素ＩＤ）５３１に対応付けて、位相相関算出部１４０３からフィードバックされた位相相関算出結果１５３２と、位相相関算出結果１５３２に基づいて変更される安定反射点候補フラグ１５３３と、を記憶する。ここで、安定反射点候補フラグ１５３３は、“１”の場合が安定反射点候補であり、“０”の場合が安定反射点候補でないとする。例えば、反射点ＩＤ（画素ＩＤ）５３１が“A0001-0002”の反射点（画素）は、最初は安定反射点候補であったが位相相関算出結果１５３２に基づいて安定反射点候補から外されている。

《画像処理装置の処理手順》
図１６は、本実施形態に係る画像処理装置１４００の処理手順を示すフローチャートである。このフローチャートは、安定反射点候補テーブル１５３０を有する図６のＣＰＵ６１０がＲＡＭ６４０を用いて実行し、図１４の機能構成部を実現する。なお、図１４において、図７と同様のステップには同じステップ番号を付して、重複する説明を省略する。ステップＳ７０１は、図７と同様に動作する。

画像処理装置１４００は、ステップＳ１６０３において、安定反射点となりうる画素を安定反射点候補として特定する。画像処理装置１４００は、ステップＳ１６０５において、安定反射点候補を位相配列に基づいてクラスタリングする。画像処理装置１４００は、ステップＳ１６０７において、各クラスタにおける代表的な位相変化と画像全体の各画素における位相配列との相関を算出する。なお、ステップＳ１６０７は、図７の（Ｓ７０５、Ｓ７０７）、図１０の（Ｓ７０５、Ｓ１００６、Ｓ７０７）、あるいは、図１３の（Ｓ１３０５、Ｓ１３０７）のいずれかを実行する。

画像処理装置１４００は、ステップＳ１６０９において、特定されたクラスタ、あるいは、特定されたクラスタとの位相の相関が終了条件を満たしているかを判定する。終了条件としては、例えば、所定回数の繰り返しを行ったかどうかを用いることができる。あるいは、評価対象の画素のうち、安定反射点候補となった画素における相関が一定以上に強かった場合に、全ての安定反射点候補が安定反射点としての条件を満たす、つまり安定反射点候補特定部１４０５が安定反射点を正確に特定したとして、終了条件を満たすと判断してもよい。

終了条件を満たさない場合、画像処理装置１４００は、ステップＳ１６１１において、現在の位相相関算出結果を安定反射点候補特定部１４０５にフィードバックして、ステップＳ１６０３から再度、再度安定反射点候補の特定を更新あるいはやり直して処理を繰り返す。終了条件を満たした場合、画像処理装置１４００は、ステップＳ１６１３において、絞られた安定反射点候補の位相相関算出結果を出力して処理を終了する。

最終的に算出されたクラスタ内の相関についての統計量が強いほど、ノイズの影響が少なく、変位解析に適した安定反射点であると判断することができる。

本実施形態によれば、非線形な変位を起こす対象や、標高が高い対象、変位が大きな対象に対して、変位解析を行うのに必要な安定反射点の特定を行うことができる。特に、本実施形態は、安定反射点候補の特定を、画像全体の画素の各々に対して特定された相関の強さに応じてやり直すことにより、安定反射点らしさをより正確に評価できるような相関を算出できる。というのは、ノイズが少ないと判断された安定反射点候補に対してクラスタを抽出し、その安定反射点候補の特定結果をより正確にしていくように構成したことによって、安定反射点候補のクラスタを代表する位相変化と、画像全体の画素の各々における位相変化との相関をする際のノイズの影響を低減することができるためである。

［他の実施形態］
本発明は、高層ビルや橋等非線形な変位や大きな変位を持ちうる対象の変位を、ＳＡＲ画像を用いて解析するようなプログラムに適用できる。また、音波を利用すれば、合成開口ソナーにも適用可能である。本発明によってクラスタ内で安定した位相を持つ画素を抽出すれば、反射強度だけではノイズに埋もれてしまっていた対象も見つけることが可能である。また、Time Of Flightカメラ等で撮影された位相画像にも適用できる。本発明を適用すれば、対象の位置が多少動くものに対しても、観測値の揺れがノイズに起因するものであるかを識別できるようになり、頑健に対象物の立体形状を抽出することができるようになる。また、コヒーレントな光の干渉を利用した位相画像にも適用することができる。

さらに、撮像素子等のパターンと、撮影対象に付加されたパターンとの間での干渉による位相を利用した精密な歪み計測手法として、サンプリングモアレ法などがあるが、干渉結果を測定する際にノイズで信号が揺らいでいるのか、対象が動いているのかを識別しにくい。本手法により、位相が同期して変化しているかどうかを調べることにより、対象が動いているのかノイズが多いのかを分離することができるようになる。

なお、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する画像処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
複数の画像に渡る各画素の位相配列を蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出手段と、
を備える画像処理装置。
（付記２）
前記位相相関算出手段は、
各クラスタ内での代表的な位相変化の統計量を演算する第１位相統計量演算手段と、
前記代表的な位相変化と前記各画素における位相配列との相関を演算する第１位相相関演算手段と、
を有する付記１に記載の画像処理装置。
（付記３）
前記第１位相統計量演算手段は、各クラスタ内の複数の画素の位相配列の平均を前記代表的な位相変化の統計量とする付記２に記載の画像処理装置。
（付記４）
前記第１位相統計量演算手段は、前記各画素の位置に対応して重み付けを行う付記３に記載の画像処理装置。
（付記５）
前記位相相関算出手段は、さらに、クラスタ内での前記代表的な位相変化へのノイズの影響を除去するノイズ除去手段を備える付記２乃至４のいずれか１項に記載の画像処理装置。
（付記６）
前記ノイズ除去手段は、前記第１位相統計量演算手段が演算した代表的な位相変化の統計量を固有値分解して、その最大固有ベクトルをノイズの影響が除去された前記代表的な位相変化とする付記５に記載の画像処理装置。
（付記７）
前記ノイズ除去手段は、前記第１位相統計量演算手段が演算した代表的な位相変化の統計量を固有値分解して、その最大固有ベクトルからの数本の固有ベクトルをノイズの影響が除去された前記代表的な位相変化とする付記５に記載の画像処理装置。
（付記８）
前記ノイズ除去手段は、画像取得時期の離れた位相比較に対応する成分を排除することにより、ノイズの影響が除去された前記代表的な位相変化とする付記５に記載の画像処理装置。
（付記９）
前記位相相関算出手段は、
各クラスタ内の画素の位相配列と前記各画素における位相配列との相関を演算する第２位相相関演算手段と、
各クラスタ内での代表的な相関の統計量を演算する第２位相統計量演算手段と、
を有する付記１に記載の画像処理装置。
（付記１０）
前記第２位相統計量演算手段は、各クラスタ内の複数の画素における相関の平均を前記代表的な相関の統計量とする付記９に記載の画像処理装置。
（付記１１）
前記第２位相統計量演算手段は、前記各画素の位置に対応して重み付けを行う付記１０に記載の画像処理装置。
（付記１２）
前記位相相関算出手段は、前記算出された相関をまとめる処理を含む付記１乃至１１のいずれか１項に記載の画像処理装置。
（付記１３）
前記複数の画像に渡る各画素から、反射が安定した安定反射点となる候補の画素を特定する安定反射点候補特定手段をさらに備える付記１乃至１２のいずれか１項に記載の画像処理装置。
（付記１４）
前記安定反射点候補特定手段は、前記位相相関算出手段により算出された相関に基づいて、再度、安定反射点となる候補の画素の特定を更新する付記１３に記載の画像処理装置。
（付記１５）
前記安定反射点候補特定手段による安定反射点となる候補の画素の特定と、前記位相相関算出手段による相関の算出とを、所定回数の繰り返し、または、安定反射点候補の相関が一定以上となるまで繰り返す付記１４に記載の画像処理装置。
（付記１６）
前記位相相関算出手段が算出した位相相関を参照して、安定反射点を特定する安定反射点特定手段をさらに備える付記１乃至１５にいずれか１項に記載の画像処理装置。
（付記１７）
複数の画像に渡る各画素の位相配列を位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出ステップと、
を含む画像処理方法。
（付記１８）
複数の画像に渡る各画素の位相配列を位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出ステップと、
をコンピュータに実行させる画像処理プログラム。
（付記１９）
複数のＳＡＲ画像に基づいて安定反射点を特定するための画像処理装置と、
前記安定反射点のデータを用いてＳＡＲ画像を解析するＳＡＲ画像解析装置と、
を備えるＳＡＲ画像解析システムであって、
前記画像処理装置は、少なくとも、
前記複数のＳＡＲ画像に渡る各画素の位相配列を蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出手段と、
を備えるＳＡＲ画像解析システム。
（付記２０）
複数のＳＡＲ画像に基づいて安定反射点を特定するための画像処理ステップと、
前記安定反射点のデータを用いてＳＡＲ画像を解析するＳＡＲ画像解析ステップと、
を含むＳＡＲ画像解析方法であって、
前記画像処理ステップは、少なくとも、
前記複数のＳＡＲ画像に渡る各画素の位相配列を位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記各画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタ内での位相変化と前記各画素における位相配列との相関を算出する位相相関算出ステップと、
を含むＳＡＲ画像解析方法。

Claims

同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出手段と、
を備える画像処理装置。
前記位相相関算出手段は、
各クラスタにおける代表的な位相変化として、前記各クラスタに含まれる複数の位相配列の統計量を演算する第１位相統計量演算手段と、
前記代表的な位相変化と前記複数画素それぞれにおける位相配列との相関を演算する第１位相相関演算手段と、
を有する請求項１に記載の画像処理装置。
前記位相相関算出手段は、さらに、各クラスタにおける前記代表的な位相変化へのノイズの影響を除去するノイズ除去手段を備える請求項２に記載の画像処理装置。
前記位相相関算出手段は、
各クラスタにおける複数の位相配列と前記複数画素それぞれにおける位相配列との相関を演算する第２位相相関演算手段と、
前記複数画素それぞれの各クラスタにおける代表的な位相変化との相関として、前記複数画素それぞれに対して演算された前記相関の統計量を演算する第２位相統計量演算手段と、
を有する請求項１に記載の画像処理装置。
前記複数画素から、反射が安定した安定反射点となる候補の画素を特定する安定反射点候補特定手段をさらに備える請求項１乃至４のいずれか１項に記載の画像処理装置。
前記安定反射点候補特定手段は、前記位相相関算出手段により算出された相関に基づいて、再度、安定反射点となる候補の画素の特定を更新する請求項５に記載の画像処理装置。
前記位相相関算出手段が算出した位相の前記相関を参照して、安定反射点を特定する安定反射点特定手段をさらに備える請求項１乃至６のいずれか１項に記載の画像処理装置。
同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出ステップと、
を含む画像処理方法。
同一撮影対象を異なる時間に撮影した複数の画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して位相配列蓄積手段に蓄積する位相配列蓄積ステップと、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリングステップと、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出ステップと、
をコンピュータに実行させる画像処理プログラム。
複数のＳＡＲ画像に基づいて安定反射点を特定するための画像処理装置と、
前記安定反射点のデータを用いてＳＡＲ画像を解析するＳＡＲ画像解析装置と、
を備えるＳＡＲ画像解析システムであって、
前記画像処理装置は、少なくとも、
同一撮影対象を異なる時間に撮影した前記複数のＳＡＲ画像のそれぞれに含まれる複数画素について、同一位置の画素の撮影時の位相の履歴を表す位相配列を生成して蓄積する位相配列蓄積手段と、
前記位相配列に基づいて、前記複数画素を複数のクラスタにクラスタリングするクラスタリング手段と、
前記複数のクラスタの各クラスタにおける代表的な位相変化と、前記複数画素それぞれにおける位相配列との相関を算出する位相相関算出手段と、
を備えるＳＡＲ画像解析システム。