JP2023141112A - 情報処理システム、及び景観定量化方法 - Google Patents

Abstract

【課題】街の景観を、その景観画像に基づいて定量化することを可能にする情報処理システム、及び景観評価方法を提供する。
【解決手段】情報処理システムは、景観画像内の像の特徴量を抽出する特徴量抽出部と、前記景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、前記景観画像の撮影地点から延伸する道路を識別する道路識別部と、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部と、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部とを備える。
【選択図】図８

Description

本発明は、情報処理システム、及び景観定量化方法に関する。

街の景観は、周囲の建物や道路の状況に影響される。街の景観を道路上で撮影した景観画像を用いて、街の景観を定量化する手法が知られている（非特許文献１）。一般的な街並みは、道路を挟んで向かい合うように建物が建てられていることが多い。

特開平１１－３１２３９号公報

井上ほか、"景観的価値の主観的評価から推定される「場所の価値」に基づく地区分析"、2020年10月、公益社団法人日本都市計画学会、都市計画論文集 Vol.55No.3、［令和４年２月２２日検索］、インターネット＜URL:https://www.jstage.jst.go.jp/article/journalcpij/55/3/55_1372/_pdf/-char/ja＞

しかしながら、建物の周りには、敷地内通路が設けられている。この敷地内通路を一般的な道路と識別すると、街の景観の定量化に影響することがあった。

本発明は、上記事情に鑑みてなされたものであり、街の景観を、その景観画像に基づいて定量化することを可能にする情報処理システム、及び景観評価方法を提供することを目的とする。

（１）上記課題を解決するため、本発明の一態様は、景観画像内の像の特徴量を抽出する特徴量抽出部と、前記景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、前記景観画像の撮影地点から延伸する道路を識別する道路識別部と、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部と、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部とを備える情報処理システムである。
（２）上記の情報処理システムにおいて、前記像の特徴量には、前記像の境界、連続性、及び幅の中の少なくとも１つが含まれる。
（３）上記の情報処理システムにおいて、前記特徴量抽出部は、前記景観画像内の近景側の像の特徴量から前記像の境界に基づく複数の線分を抽出し、前記道路識別部は、前記複数の線分に基づいて消失点の位置を決定し、前記消失点の位置にあたる被写体までの距離に基づいて、前記敷地内通路と道路とを区分する。
（４）本発明の一態様は、景観画像内の像の特徴量を抽出するステップと、前記景観画像内の像の特徴量に基づいて、前記景観画像の撮影地点から延伸する道路を識別するステップと、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出するステップと、前記種別ごとに算出された前記比率と、前記道路の特徴量とを用いて、前記景観画像が撮影された街の景観の指標値を決定するステップとを含む景観定量化方法である。

本発明の各態様によれば、街の景観を、その景観画像に基づいて定量化することを可能にする。

実施形態に係る情報処理システム１の構成図である。 実施形態に係る景観定量化処理装置３の構成図である。 実施形態のデータテーブルの構成図である。 実施形態の解析対象外にする画像の一例を説明するための図である。 上記の図４（ａ）の地点の周辺地域の画像の一例を説明するための図である。 駅の周辺地域の画像の一例を説明するための図である。 図６に示した駅から少し離れた地域の街道筋の画像の一例を説明するための図である。 実施形態の定量化処理のフローチャートである。 実施形態の道路の特徴量の抽出について説明するための図である。 実施形態の「後段の処理に適さない画像」について説明するための図である。 実施形態の景観画像における部分画像の範囲の設定について説明するための図である。 実施形態の景観画像内の空の領域と、植栽の領域を抽出した結果について説明するための図である。 実施形態の景観画像内の被写体の種別の識別について説明するための図である。 実施形態の景観画像内の被写体の種別の識別について説明するための図である。 実施形態の景観定量化処理の結果を説明するための図である。 実施形態の景観定量化処理の結果を説明するための図である。 実施形態の変形例の景観画像における部分画像の範囲の設定について説明するための図である。 実施形態の変形例の景観画像における部分画像の範囲の設定について説明するための図である。 景観画像内の空の領域と、街の状態の傾向について説明するための図である。 実施形態の学習処理のフローチャートである。

以下、図面を参照して本発明の一実施形態について説明する。

（第１の実施形態）
図１は、実施形態に係る情報処理システム１の構成図である。
情報処理システム１は、例えば、端末装置２と、景観定量化処理装置３とを含む。端末装置２と景観定量化処理装置３は、例えば、ネットワークＮＷを介して通信する。

まず、撮影者Ｕ１は、端末装置２等を利用して、端末装置２のカメラによって、道路上で対象地点の周囲を撮影する。端末装置２として、端末装置２Ａと端末装置２Ｂの何れかを適用できる。端末装置２Ａは、移動体に搭載され、移動体の周囲の状況を撮像可能なカメラを有する。端末装置２Ｂは、撮影者Ｕ１によって携帯され、その周囲の状況を撮像可能なカメラ又はスマートフォンなどである。この端末装置２によって生成される周囲の状況の画像データは、例えば、周囲の被写体のカラー画像のデータであってよい。以下に示す画像は、標準型から広角型のレンズを利用して撮影されたものを例示するが、これに制限されることはなく、適当な画角で撮影された画像を利用してもよい。例えば、処理に適した画像には、撮影地点から道路の延伸方向を見込む景色が映った画像が含まれるとよい。なお、撮影者Ｕ１は、特定の人であってもよく、複数の人であってよい。端末装置２は、車載カメラ装置であってもよい。
なお、本実施形態では、特に明示しなければ、端末装置２に端末装置２Ａ（車載カメラ装置等）を適用した事例を代表例として説明する。

図２を参照して、実施形態に係る景観定量化処理装置３について説明する。図２は、実施形態に係る景観定量化処理装置３の構成図である。

景観定量化処理装置３は、制御部３１０、記憶部３２０、通信処理部３３０、表示部３４０、及び学習処理部３５０を備える。

通信処理部３３０は、端末装置２と通信することにより、端末装置２が撮像した画像のデータを受信する。表示部３４０は、液晶表示パネルなどを含めて構成される表示装置であり、画像などの各種情報を表示させる。

制御部３１０は、例えば、情報取得部３１１、景観画像抽出部３１２、部分画像範囲生成部３１３、種別識別処理部３１４、比率算出部３１５、景観定量化処理部３１６、地域価値推定部３１７、表示処理部３１８、及び特徴量抽出部３１９を備える。

情報取得部３１１は、外部から供給される各種データを受けて、受け付けた各種データを、各種データの種別に応じて記憶部３２０にそれぞれ記憶させる。各種データには、定量化対象地点（撮影地点）の周囲の状況を示す画像の景観画像データ、教師用画像データ、識別処理用の設定値などが含まれる。例えば、情報取得部３１１は、各端末装置２から、端末装置２のカメラによって道路上で撮影して得られた画像を夫々取得して、取得画像データ記憶部３２１に追加する。

景観画像抽出部３１２は、端末装置２のカメラによって撮像されて得られた複数の画像を取得画像データ記憶部３２１から取得して、この複数の画像の中から、後述する処理に適した画像を所定の選択基準に基づいて選択する。景観画像抽出部３１２は、その結果を景観画像データ記憶部３２２に追加する。ここで選択された画像を、景観画像と呼ぶ。景観画像抽出部３１２は、景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、景観画像の撮影地点から延伸する道路を識別する道路識別部の一例である。

例えば、後述する処理に適した画像には、撮影地点から道路の延伸方向を見込む景色が映った画像が含まれる。処理に適さない画像には、その撮影地点から前記道路の横断方向を見込む景色が映った画像（図４（ａ））、及び撮影地点近傍の車両が比較的大きく映り込んだ画像（図４（ｂ））が含まれる。これに対する所定の選択基準として、撮影地点から道路の延伸方向を見込む景色が映った画像を含めて、その撮影地点から前記道路の横断方向を見込む景色が映った画像を含めないことと、撮影地点近傍の車両が比較的大きく映り込んだ画像を含めないことなどを規定してもよい。
これにより、景観画像抽出部３１２は、撮影地点から道路の延伸方向を見込む景色が映った画像を含めて、その撮影地点から前記道路の横断方向を見込む景色が映った画像を含めないように画像を選択する。景観画像抽出部３１２は、撮影地点近傍の車両が比較的大きく映り込んだ画像を除外することもできる。この選択結果に基づいて、景観画像抽出部３１２は、選択された画像を景観画像として抽出するとよい。

部分画像範囲生成部３１３は、例えば、その景観画像（景観画像データ）から定まる、遠近図法表示の消失点（以下、単に「消失点」と呼ぶ。）に関連付けて、部分画像範囲データ記憶部３２３に格納されている部分画像の範囲（図１１等。）の設定に関する所定の規則に基づいて部分画像の範囲を決定する。例えば上記の所定の規則として、景観画像内の消失点の位置に関連付けて配置された多角形内を部分画像の範囲に定めることと、その多角形の大きさと、消失点の位置からその多角形の外形までの距離とが予め定められていてよい。消失点の位置からその多角形の外形までの距離は、０以上の任意の距離に定めてよい。以下の説明では、多角形の一例として四角形を例示して説明する。部分画像範囲生成部３１３は、その部分画像範囲データを景観画像データ記憶部３２２に追加する。部分画像範囲データには、部分画像の範囲を、景観画像上の位置に対応付けるための情報として、部分画像の範囲の上限下限、左右方向の位置などの情報が含まれていてよい。以下、景観画像データに関連付けられている部分画像範囲データを用いて、景観画像の一部を切り出した画像のことを、単に部分画像と呼ぶ。
なお、部分画像範囲生成部３１３は、景観画像内の像の特徴量から消失点の推定に関わる複数の線分を抽出して、抽出した複数の線分に基づいて消失点を決定するとよい。例えば、２次元平面上で方向が互いに異なる２つの直線は、１点で交差する。上記の各線分を延長すると、上記の交点が集中する領域がある。これらの交点を代表する位置を消失点としてよい。

種別識別処理部３１４は、撮影地点が位置する道路の延伸方向の景色が映った景観画像又は部分画像に示された被写体の種別を識別する。例えば、種別識別処理部３１４は、学習結果記憶部３２５から最適化処理がなされた学習済モデルを取得して、これを用いて、撮影地点が位置する道路の延伸方向の景色が映った景観画像又は部分画像に示された被写体の種別を識別する。種別識別処理部３１４は、識別結果を景観画像データ記憶部３２２に追加する。

比率算出部３１５は、部分画像の中で被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する。比率算出部３１５は、その結果を景観画像データ記憶部３２２に追加する。

景観定量化処理部３１６は、被写体の種別ごとに算出されたその比率を用いて、景観画像が撮影された街の景観の指標値を決定する。景観定量化処理部３１６は、その結果を景観画像データ記憶部３２２に追加する。

表示処理部３１８は、上記の各部が処理の対象にする画像と、各種解析結果などを表示部３４０に表示させる。

特徴量抽出部３１９は、例えば画像内の道路の直進性とその特徴の連続性などを算出する。地域価値推定部３１７は、評価対象の地域の価値を推定する。特徴量抽出部３１９と地域価値推定部３１７の詳細について後述する。

学習処理部３５０は、制御部３１０内の各部の処理の最適化を図るため、各部が夫々備える解析用モデルの学習処理を実施する。例えば、学習処理部３５０は、種別識別処理部３１４による種別識別処理の最適化を図るため、種別識別処理部３１４の学習処理を実施する。学習処理部３５０は、特徴量抽出部３１９による特徴量抽出処理の最適化を図るため、特徴量抽出部３１９の学習処理を実施する。

例えば、学習処理部３５０は、情報取得部３１１を介して取得した学習用画像データを用いた教師あり型の機械学習手法に基づいて、種別識別処理部３１４の学習処理を実施する。学習処理部３５０は、種別識別処理部３１４をその種別識別処理に適した特性にして、学習の結果を記憶部３２０に記憶させる。

学習処理部３５０は、情報取得部３１１を介して取得した学習用画像データを用いた教師あり型の学習手法に基づいて、特徴量抽出部３１９の学習処理を実施する。学習処理部３５０は、特徴量抽出部３１９をその特徴量抽出処理に適した特性にして、学習の結果を記憶部３２０に記憶させる。

記憶部３２０は、取得画像データ記憶部３２１、景観画像データ記憶部３２２、部分画像範囲データ記憶部３２３、教師用画像データ記憶部３２４、学習結果記憶部３２５、及び設定値データ記憶部３２６を備える。

例えば、取得画像データ記憶部３２１には、端末装置２から取得した景色の画像（後述する図４から図７の画像等）のデータが、画像の識別情報、画像情報、撮影された位置の位置情報、撮影した方向の情報、撮影日時の情報などに関連付けて登録される。

景観画像データ記憶部３２２には、景色の画像データから選択された景観画像（後述する図４から図７の画像等）のデータ（景観画像データ）が、画像の識別情報に関連付けて格納される。例えば、景観画像のデータには、画像の識別情報、画像データの他に、部分画像範囲、被写体の種別を識別する処理の解析単位（各画素）に対する識別結果の識別結果画像、面積比率、景観指標値などの項目のデータを含む。

部分画像範囲データ記憶部３２３には、景観画像内の一部の領域にあたる部分画像の範囲を規定するデータが格納される。

教師用画像データ記憶部３２４には、学習処理に利用する教師用画像のデータ（教師用画像データ）が登録される。学習結果記憶部３２５には、例えば、学習処理により最適化処理がなされた種別識別処理部３１４に関するデータが登録される。設定値データ記憶部３２６には、各機能部が処理に利用する変数などの設定値が登録される。

図３は、実施形態の景観画像データ記憶部３２２のデータテーブルの構成図である。
図３に示す景観画像データ記憶部３２２のデータテーブルには、例えば、画像の識別情報（Ｎｏ）、景観画像データ、部分画像範囲データ、識別結果画像データ、被写体の種別ごとの比率（面積比率）などの項目のデータを含む。この被写体の種別は、図に示すように、空、植栽、建物、構造物、乗物などが含まれる。以下の説明では、空と植栽以外を纏めて、「その他」のものとして説明することがある。

図４から図７に、実施形態の処理を説明するための画像を例示する。

図４は、実施形態の解析対象外にする画像の一例を説明するための図である。
図４（ａ）に示す画像は、Ｔ字路の交差点を見込む位置から撮影した、説明用の画像である。交差点から左右に直線状に伸びる道路がある。この画像は、厳密には光軸方向に比較的長く延伸する道路上で撮影された画像ではない。この画像は、どちらかといえば直線状の道路の延伸方向に対して直交する方向の画像である。画像の中心部にあたる位置に建物があり、これによって空が覆われている。

なお、図４（ａ）の正面に位置する建物の前の空間には、敷地内の駐車場の一部が映っている。敷地内の駐車場は、敷地内通路の一例である。この空間は、この画像を撮影した地点を含む道路が交差点を越して延伸しているものではない。このような画像は、敷地内の利用状況を示すものであり、この地域の状況を示す画像として利用するには情報が不足している。

図４（ｂ）に示す画像は、撮影方向にあたる前方を、車両が横切ったことにより、この車両によって前方の景色が覆われている。複数の画像を撮影していると、このような画像も混入することがある。

図５は、上記の図４（ａ）の地点の周辺地域の画像の一例を説明するための図である。
図５（ａ）に示す画像は、比較的遠くまでまっすぐに延伸する道路の両側に街路樹がある景色が含まれている。この道路に面している建物は、２－３階ほどのものが多い。
図５（ｂ）に示す画像は、比較的遠くまでまっすぐに延伸する道路の両側に街路樹がある。この道路の両側に学校の敷地が面しているが、学校の建物は、街路樹で隠れていて確認できない。
図５（ｃ）に示す画像は、その前方に３叉路の交差点を見込む位置の画像である。交差点に面して、撮影方向の正面に住宅があり、遠くの景色が住宅の屋根越しに確認できる。この道路の左側には街路樹があり、敷地内の建物は確認できない。この道路の右側には、比較的低い高さの植栽を設けたマンションと住宅とが並んでいる。

図６は、駅の周辺地域の画像の一例を説明するための図である。
図６（ａ）に示す画像は、道路に沿って比較的高い建物が並んでいる景色を含む画像である。この道路は、比較的幅員が広く設けられている一方通行路である。道路の両脇に歩道があり、そこには街路樹が設けられている。
図６（ｂ）に示す画像は、上記図６（ａ）の撮影地点から駅の方に近づいた地点からの景色が映った画像である。この道路に沿って比較的高い建物が並んでいる。また正面には、駅ビルとして利用されている比較的高い建物が並んでいる。この道路は、幅員が狭いため、車道が３車線しか確保できず、歩道の幅も狭い。そのため街路樹もない。
図６（ｃ）に示す画像は、上記の駅から遠ざかる方向の道路から見える景色を含む画像である。この道路は、拡幅を含む再開発が行われた道路である。撮影された範囲には、片側２車線の車道と、中央分離帯部分とが設けられている。中央分離帯部分に、地下駐車場の出入り口が設けられている。

図７は、図６に示した駅から少し離れた地域の街道筋の画像の一例を説明するための図である。
図７（ａ）に示す画像は、正面に５叉路の交差点を見込む景色を含む画像である。この道路の両側に歩道があり、そこには街路樹が設けられている。この周辺はビル街である。
図７（ｂ）に示す画像は、緩やかに左にカーブする道路を見込む景色を含む画像である。この道路の両側に歩道があり、そこには街路樹がある。この周辺はビル街である。
図７（ｃ）に示す画像は、右にカーブする道路を見込む景色を含む画像である。この道路の両側に歩道があり、そこには植栽がある。道路に面している建物は、２－３階のものが多い。この画像の遠景には、送電用の鉄塔と送電線が含まれている。

次に、制御部３１０による「定量化処理」と「学習処理」などの主な処理について説明する。

［定量化処理］
図８を参照して、実施形態の定量化処理について説明する。図８は、実施形態の定量化処理のフローチャートである。

特徴量抽出部３１９は、取得画像データ記憶部３２１中の複数の画像の中から無作為に選んだ各画像の特徴量を抽出する（ステップＳＡ１０）。なお、取得画像データ記憶部３２１中の画像が、景観画像として扱える画像であれば、この処理を省略することができる。

景観画像抽出部３１２は、特徴を抽出した複数の画像の中から、撮影地点が位置する道路の延伸方向の景色が映った景観画像を所定の選択基準に従って選択する（ステップＳＡ１２）。景観画像抽出部３１２は、選択した景観画像を景観画像データ記憶部３２２に追加する。

種別識別処理部３１４は、景観画像データ記憶部３２２内の景観画像について、景観画像の所定の範囲（例えば、部分画像。）内の被写体の種別を識別して領域を区分する（ステップＳＡ１４）。種別識別処理部３１４は、その結果を景観画像データ記憶部３２２に追加する。なお、景観画像の所定の範囲は、部分画像範囲データ記憶部３２３に格納されているデータに基づいて決定される。

比率算出部３１５は、景観画像データ記憶部３２２内の景観画像について、景観画像の所定の範囲（部分画像）内の被写体について、被写体の種別ごとにその領域の面積比率を算出して、街の景観の定量化処理を実施する（ステップＳＡ１６）。その結果を景観画像データ記憶部３２２に追加する。

地域価値推定部３１７は、景観画像データ記憶部３２２に格納された上記の領域の面積比率を用いて、景観価値の推定処理を実施する（ステップＳＡ１８）。

上記の手順を実施することにより、街の景観を、その景観画像に基づいて定量化する。以下、上記の手順の各ステップの処理について、より具体的な例を上げて説明する。

（ステップＳＡ１０：画像内の特徴量の抽出）
図９を参照して、上記の図８中のステップＳＡ１０の処理に係る画像内の特徴量の抽出について説明する。
図９は、実施形態の道路の特徴量の抽出について説明するための図である。
前述した図５から図７までの中から抽出した４つの画像を、図９に再掲する。図９（ａ）に、前述の図５（ａ）と同じ画像を示す。図９（ｂ）に、前述の図６（ｂ）と同じ画像を示す。図９（ｃ）に、前述の図５（ｃ）と同じ画像を示す。図９（ｄ）に、前述の図６（ｃ）と同じ画像を示す。上記の各画像において、縁石、道路標示などの像から道路の特徴量を抽出可能な部分に直線を添えて示す。

この図９に示す各画像から夫々の画像内の道路の特徴量と、画像内の消失点とが抽出される。これに係る処理について、以下、順に説明する。

（ＳＡ１０－１：画像内の道路の特徴量の抽出）
画像内の道路の特徴量の抽出について説明する。
道路の特徴を示す情報がその画像から検出されたときに、その画像に道路が映っていると識別するとよい。その識別に用いる道路の特徴量として、例えば、その道路の直線性、その道路の特徴の連続性、その道路の幅の中の少なくとも１つが含まれるとよい。

都市部の道路には、歩道と車道、縁石、中央分離帯、道路標示等（道路区画線、中央線、車両通行帯区画線、横断歩道標示等）が設けられている。図９（ｃ）に示すような住宅街の道路でも、少なくとも縁石が設けられている。上記の縁石、中央分離帯、道路標示等の境界線又は輪郭には、道路の延伸方向に沿った部分が含まれている。道路の延伸方向に沿った部分には、その道路の直進性とその道路の特徴の連続性に係る情報が含まれている。

特徴量抽出部３１９は、例えばその道路の直進性とその道路の特徴の連続性を、上記の情報を用いて算出し、その結果をこの道路の特徴量とする。

例えば、特徴量抽出部３１９は、上記の縁石、中央分離帯、道路標示等の境界線又は輪郭から、道路の延伸方向を推定するとよい。特徴量抽出部３１９は、例えば、その境界線又は輪郭に基づいて、その境界線又は輪郭の成分を算出する。特徴量抽出部３１９は、算出した成分の位置、長さ、方向などに基づいて規則性を導いて、これに基づいてこの道路の延伸方向を示す特徴量を導出する。例えば、特徴量抽出部３１９は、算出した成分の位置、長さ、方向を、夫々ベクトルの起点位置、長さ、方向に対応付ける。特徴量抽出部３１９は、例えば、算出した成分同士の関係を、ベクトル演算を用いて導出してもよい。以下、同様である。

特徴量抽出部３１９は、延伸する道路の各地点で、上記の境界線又は輪郭に基づいて抽出された各地点の道路の延伸方向の成分が、道路の延伸方向に揃っている範囲が長いほど、直線性が高いと判断してよい。特徴量抽出部３１９は、上記の各地点の道路の延伸方向の成分が揃っている範囲が長いほど、その道路の特徴の連続性が高いと判断してよい。

特徴量抽出部３１９は、例えばその道路の幅を、上記の境界線又は輪郭、車線数などの情報を用いて算出する。特徴量抽出部３１９は、算出した幅をこの道路の広さを示す特徴量としてもよい。

なお、特徴量抽出部３１９は、画像内の道路の位置を正確に識別していなくても、また、上記の各被写体（像）の種類を識別していなくてもよい。この場合、特徴量抽出部３１９は、例えば画像の下半分の領域で、概ね画像の中心方向に延伸する成分を抽出することにより、上記の処理に利用する情報を簡易的に取得してもよい。換言すれば、画像の中心部分から放射状に、画像の下方向又は斜め下方向に向かう成分を抽出することで、これに代えることができる。

（ＳＡ１０－２：画像内の消失点の抽出）
特徴量抽出部３１９は、例えば、画像内の近景側の道路部分の特徴量である近景道路特徴量を用いて消失点の位置を決定する。
例えば、特徴量抽出部３１９は、上記の境界線又は輪郭に沿った線分を延長する。特徴量抽出部３１９は、画像の中で画像の略中心に向かう複数の線分を適当に選ぶことで、その線分の交点から消失点を決定する。このような処理により、特徴量抽出部３１９は、画像内に消失点の位置を定めることができる。図９の各画像内に、十字を円で囲ったシンボルを示す。このシンボルの位置は、消失点の位置を示す。このシンボルを水平方向に横切る直線は、アイレベルを示す。

その道路が直線状に延伸していれば、線分が抽出された上記の境界線又は輪郭の遠端から消失点までの距離が比較的短くなる。その一方で、道路が行き止まりになっていたり、交差点で延伸方向が変わったり、カーブしていたりすると、上記の境界線又は輪郭が途中で確認できなくなる。その結果、上記の境界線又は輪郭の遠端から消失点までの距離が比較的長くなる。

上記の傾向に基づいて、道路の直進性を推定できる。
道路の特徴の連続性は、上記の道路の直進性と同様の手法を利用して検出するとよい。

（ＳＡ１２：後段の処理に適した景観画像の選択）
図１０を参照して、上記のステップＳＡ１２の処理による、後段の処理に適した景観画像の選択について説明する。景観画像は、下記の実施形態による各処理の結果に基づいて選択される。

ところで、比較例の中には、無作為に抽出された複数の画像を、後段の処理の対象にするものがある。この比較例の場合、必ずしも後段の処理に適した画像だけが収集されるとは限らない。無作為に収集された複数の画像には、後段の処理に適さない画像が混入することがある。後段の処理に適さない画像が含まれている程度により、これがノイズとなって後段の処理の精度が低下することがある。無作為に抽出された複数の画像の中から、後段の処理に適した画像を選択することができれば、後段の処理の精度の低下を抑止できる。

そこで、実施形態では、下記の２点に着目して後段の処理に適さない画像を処理の対象から除くことで、後段の処理に適した画像を選択して利用する。以下、これについて説明する。

まず、「後段の処理に適さない画像」の一例を示す。
図１０は、実施形態の「後段の処理に適さない画像」について説明するための図である。

・第１の「後段の処理に適さない画像」として、撮影地点から道路の横断方向を見込む景色が映った画像を挙げる。この画像には、道路沿いの建物が中心に映り込み、消失点方向に延伸する道路が含まれていない。図１０（ａ）の画像（前述の図４（ａ）の画像に相当）はその一例である。そのため、これに関する画像は、地域の景色の特徴よりも、道路沿いの建物の特徴等が影響した画像になる。例えば、撮影地点から建物までの距離がさらに近くなると、２階建ての建物であっても建物の外壁が映るにとどまるために、屋根越しの景色が画像に入らないこともある。また、この図１０（ａ）の画像ように、建物の周りに敷地内通路が設けられていることがあるが、これを一般的な道路と識別すると、街の景観の定量化に影響することがあった。

・第２の「後段の処理に適さない画像」として、撮影地点から極端に近い物体が映った画像を挙げる。例えば、車載カメラを利用して画像を取得する場合に、信号待ちで前方に車両が止まっていたり、車両、人物などが車の前を横切ることで景色が遮られたりすることがある。図１０（ｂ）の画像（前述の図４（ｂ）の画像に相当）の画像はその一例である。このように、一時的に物体によって画像の一部の領域が覆われることがある。覆われる範囲が一部であっても、その範囲が比較的広いときには、物体がないときとは異なる傾向の画像になる。このように、撮影地点から道路の延伸方向を見込む景色を撮像して得られた画像であっても、撮影地点から極端に近い物体があると、その物体によって画像が覆われてしまうことから、後段の処理（解析）に適さない画像になることがある。

景観画像抽出部３１２は、道路上で撮影して得られた複数の画像の中から、所定の選択基準に基づいて、後段の処理に適さない画像と、後段の処理に適した画像とを識別して、後者の画像を景観画像として選択する。「後段の処理に適さない画像」を識別する際に、下記の手法を適用してもよい。

景観画像抽出部３１２は、景観画像内の像の特徴量に基づいて識別することで、敷地内通路と一般的な道路とを区分する。例えば、上記の像の特徴量には、画像の中心部の被写体までの距離、像の境界、連続性、及び幅の中の少なくとも１つが含まれる。なお、上記の通り、景観画像の消失点の位置は、抽出された複数の線分に基づいて決定されている。

景観画像抽出部３１２は、例えば撮影地点から、画像の中心部の被写体の実際の位置までの距離の推定値に基づいて敷地内通路と道路とを区分する。距離の推定には、遠近法に基づいた演算処理を利用する。これにより、図５（ａ）のように比較的遠方まで延伸する道路と、図７（ｃ）のように途中で屈曲する道路と、図１０（ａ）のように光軸方向に延伸する道路がない敷地内通路などとを区分できる。景観画像抽出部３１２は、図５（ａ）と図７（ｃ）のような、撮影地点から所定値以上に延伸する道路を含む画像を、景観画像に含み、これとは反対に、図１０（ａ）のような消失点を覆い比較的大きく映った建物の像が存在する画像を景観画像から除くとよい。なお、建物に制限されず、塀、生垣、植栽についても同様である。

景観画像抽出部３１２は、例えば像の境界を用いて、像の境界と消失点の位置関係に基づいて敷地内通路と道路とを区分する。図１０（ａ）のように光軸方向に延伸する道路がない敷地内通路の場合、敷地境界付近の縁石、区画線等に基づいた像の境界が、画像を横切る方向に存在することが多い。図１０（ａ）の画像には、区画線が画像を横切る方向に存在している。このように、消失点の位置よりも下の画像の中で、画像を横切る方向に所定の長さを超えて延伸する線又は線分が検出されたときには、その線又は線分から消失点までの間に道路以外が存在している可能性がある。

景観画像抽出部３１２は、例えば像の連続性を用いて、像の連続性と消失点の位置関係に基づいて敷地内通路と道路とを区分する。図１０（ａ）の画像には、区画線が画像に横切る方向に存在している。このように、消失点の位置よりも下側の領域の中で、画像を横切る方向の線又は線分が検出されたときに、その線又は線分から消失点までの間に敷地内通路が存在していると推定するとよい。

これにより、道路と敷地内通路とを区分できる。

なお、上記の説明では、道路の特徴を、景観画像の選択に利用することを提案したが、画像内には道路に面した建物も存在する。道路に面した建物が、同じ意匠、同じ高さ、同じセットバックで建てられていることがまれである。そのため、縁石や道路指標に基づいて、消失点を導出するよりも、建物の特徴を利用することの方がより困難になることがある。

（ＳＡ１４：景観画像内の被写体の種別の識別）
図１１を参照して、上記のステップＳＡ１４の処理に係る景観画像内の被写体の種別の識別について説明する。図１１は、実施形態の景観画像における部分画像の範囲の設定について説明するための図である。
下記の通り、ステップＳＡ１４の処理を、例えば２段階に分けることができる。各景観画像に対して下記の各処理が実施されることにより、景観画像内の所定の範囲に部分画像が設定され、その所定の範囲中の被写体の種別が夫々識別される。以下、順に説明する。

・景観画像における部分画像の範囲の設定
・景観画像内の被写体の種別の識別

（ＳＡ１４－１：景観画像における部分画像の範囲の設定）
図１１に示す景観画像の中に、例えば、景観画像内の消失点の位置に基づいて、景観画像内の消失点よりも上側の範囲を部分画像として規定する範囲を定める。部分画像の範囲は、評価対象領域の一例である。

（ＳＡ１４－２：景観画像内の被写体の種別の識別）
次に、図１２から図１４を参照して、景観画像内の被写体の種別の識別（クラス分け）について説明する。図１３と図１４は、実施形態の景観画像内の被写体の種別の識別について説明するための図である。図１２は、実施形態の景観画像内の空の領域ＳＫと、植栽の領域ＰＬ、道路の領域ＲＤと、建物の領域ＢＬとを抽出した結果について説明するための図である。
図１３に示す各画像は、前述の図１０に示した画像と同じものに、アイレベルの追記と、植栽の領域を模擬した図形を追加したものである。図１４に示す各画像は、前述の図１３に示した画像から、空の領域ＳＫと、植栽の領域ＰＬを抽出した結果を模擬したものである。

近年、深層学習型の人工知能（学習済モデル）を利用して、１枚の画像から、その中の被写体を種別ごとに識別する処理が知られている。このクラス分け処理のアルゴリズムとして、「セマンティックセグメンテーション」などがある。このようなクラス分け処理では、適当に学習された学習済みモデルを用いて、画像内の各画素を、各種被写体の種別に対応付ける被写体の種別を識別する処理を実施する。

例えば、種別識別処理部３１４は、例えば、このような手法の処理を実施することにより、画像内の各画素を、前述の図３に示した各区分に関連付けて識別して、各画素に対して、区分（クラス）に対応するラベルを付与した画像を生成する。
上記の図１３と図１４に示した画像は、処理を説明するための仮想的な分割結果を示すものであるが、正規には前述の図１０の画像に基づいて上記と同様の処理を行い、図１２に示すような識別結果を得るとよい。

種別識別処理部３１４は、区分（クラス）に対応するラベル付の結果に基づいて、各種別の領域の広さ（面積の比率）を、種別ごとの画素の数から算定する。

なお、上記のクラス分け処理に係るアルゴリズムは、特定の手法に制限されることなく、対象物の識別性がより高い既知のものを適用してよい。

種別識別処理部３１４は、抽出された景観画像内の被写体の種別を、学習済モデルを用いて識別させるとよい。この学習済モデルは、「セマンティックセグメンテーション」用のエンコーダネットワークとデコーダネットワークとの組み合わせで実現されていてもよく、これ以外の手法で構成してもよい。

（ＳＡ１６：景観画像内の領域の面積比率の算出と定量化処理）
景観画像内の領域の面積比率を算出には、２つの方法の何れかを適用し、この結果に基づいて街の景観の定量化処理を実施する。

第１の面積比率の算定方法（ＣＡＳＥ１）：
この場合、上記の選択によって、景観定量化処理部３１６の処理の対象にする景観画像は、その中に少なくとも空の領域が含まれる画像である。
景観定量化処理部３１６は、種別ごとに算出された比率の中の空の領域の比率を用いて、景観画像が撮影された街の景観の指標値を決定する。

第１の面積比率の算定方法（ＣＡＳＥ２）：
この場合、上記の選択によって、景観定量化処理部３１６の処理の対象にする景観画像は、その中に少なくとも空の領域が含まれる画像であり、状況により植生の領域が含まれる。
景観定量化処理部３１６は、種別ごとに算出された比率の中の空の領域の比率と植生の領域の比率を用いて、景観画像が撮影された街の景観の指標値を決定する。

このように、「街の景観の定量化処理」において、評価対象の範囲を選択できる。

景観定量化処理部３１６は、予め定められた算定基準を用いて街の景観の指標値を算出する。予め定められた算定基準として、例えば次の式（１）を用いるとよい。

（街の景観）=k1ｘa1+k2ｘa2+…+knｘan （１）

式（１）におけるa1、a2、…、anは、種別ごとに算出された比率である。k1、k2、…、knは、種別ごとに設定された係数である。式（１）の係数の値は、街の景観の特徴に基づいて、これを分類するように設定される。式（１）の係数の値を、例えば主成分分析などの統計的手法によって決定するとよい。

図１５Ａは、実施形態の景観定量化処理の結果を説明するための図である。
図１５Ａに示す表は、前述の図３の景観画像データ記憶部３２２のデータテーブルの一部を変更したものである。図１５Ａに示す表には、例えば、画像の識別情報（Ｎｏ）、被写体の種別ごとの比率、景観の指標値などの項目のデータを含む。なお、被写体の種別は、空、植栽、その他の３つに整理されている。
図１５Ａに示す表に、街の景観の特徴が互いに異なる幾つかの代表地点の景観の指標値を計算した結果を示す。この表に示すように、被写体の種別には少なくとも空と植生とが含まれている。図１５Ａに示す表は、被写体の種別ごとに算出された被写体ごと比率の中から、空の領域と植生の領域の比率を用いて、景観画像が撮影された街の景観の指標値を導出した一例である。

上記の式（１）において、（k1、a1）を空の領域の係数と比率に割当てて、（k2、a2）を植栽の領域の係数と比率に割当てて、（k3、a3）を道路、建物、・・・等のその他の領域に割当てる。例えば、（k1、k2、k3）をそれぞれ、（１、０、－０．１）にした「結果１」と、（１、０．５、－０．１）にした「結果２」と、（１、１、－０．１）にした「結果３」をこの表に示す。「結果１」は、上記のＣＡＳＥ１に対応する。「結果２」、「結果３」は、上記のＣＡＳＥ２に対応する。

ここで説明に利用する景観画像は、前述した図１３の画像である。

図１５Ａ（ａ）に示す結果は、景観画像全域に対する比率を用いて算出された指標値の例である。この場合、空の比率が比較的大きな場合であっても、その違いが抑圧されていて確認しにくいものとなっている。

図１５Ａ（ｂ）に示す結果は、部分画像に対する比率を用いて算出された指標値の例である。この場合、「結果１」に示す値は、空の比率に比較的近い値になっている。「結果３」に示す値は、植栽の比率の傾向に似た傾向がみられる。このように、解析対象を部分画像にすることで、状況の違いが分かりやすくなっている。

上記の通り、係数の値を、解析の目的に合った値に設定することで、街の景観の評価の目的に合わせて街の景観を数値化できる。

（ＳＡ１８：景観価値の推定）
地域価値推定部３１７は、景観画像データ記憶部３２２に格納された上記の領域の面積比率を用いて、景観価値の推定処理を実施する。この場合も、上記の「街の景観の定量化処理」と同様に、評価対象の範囲を選択できる。
地域価値推定部３１７は、予め定められた算定基準を用いて街の景観の指標値を算出する。予め定められた算定基準として、例えば次の式（２）を用いるとよい。

（街の景観価値）=kk1ｘa1+kk2ｘa2+…+kknｘan （２）

式（２）におけるa1、a2、…、anは、式（１）の場合と同様で、種別ごとに算出された比率である。kk1、kk2、…、kknは、種別ごとに設定された係数である。式（２）の係数の値は、街の景観に含まれる被写体の種別ごとの視野内の存在確率に基づいて、これを分類するように設定される。式（２）の係数の値を、例えば主成分分析などの統計的手法によって決定するとよい。

また、地域価値推定部３１７は、評価対象の地域の価値を推定するためのモデルが定められていて、評価対象の地域の景観画像に基づいてそのモデルを用いて評価対象の地域の価値を推定してもよい。このモデルは、道路の延伸方向を画角に含めて撮像された景観画像に対する主観評価の結果と、主観評価に用いられた景観画像において被写体の種別ごとに算出された各比率との関係を用いて決定されているとよい。例えば、上記の式（２）の係数であるkk1、kk2、…、kknを適宜調整して、上記のモデルを特徴づける変数として用いるとよい。主観評価の結果は、地域価値推定の結果に関係する対象者に相当する複数のユーザに対するアンケートの結果などを適用してもよい。アンケートに、「眺望がよい街か。」、「緑が豊かな街か。」、「買い物に便利な街か。」などの項目があり、各項目に合わせて、kk1、kk2、…、kknを適宜調整するとよい。

上記の通り、評価対象の地域の景観画像に基づいた比較的簡易な評価方法で、その街の景観価値を数値化できる。

図１７を参照して、景観画像内の空の領域と、街の状態の傾向について説明する。
図１７は、景観画像内の空の領域と、街の状態の傾向について説明するための図である。図１７に、景観画像内の空の領域ＳＫと、道路に面している建物と植栽の領域ＥＺとを区分して示す。建物と植栽とを纏めて建物等という。

領域ＳＫと領域ＥＺとの境界Ｌは、その道路に面している街の状態に関係する。建物等の高さと位置により、景観画像における境界Ｌの傾きと位置が変化する。

例えば、景観画像における境界Ｌの内、道路沿いの建物等に係る境界Ｌ１は、下記の傾向を示す。
建物等の高さが高くなるほど、境景観画像における境界Ｌ１の傾きが急になる。
また、景観画像の撮影地点が配置される道路の幅が広くなるほど、建物等が、撮影地点から道路の幅方向に遠い位置に配置される。そのため、建物等の高さが同じであれば、景観画像の撮影地点が配置される道路の幅が広くなるほど、景観画像における境界Ｌ１の位置が景観画像の横方向に外側に寄り、これとともに境界Ｌ１の傾きが緩くなる。

景観画像における境界Ｌの内、正面方向に建物等に係る境界Ｌ２は、下記の傾向を示す。
前述の通り、正面方向に建物等が存在すると、境界Ｌ２が顕在化する。正面方向の建物までの距離が比較的遠い場合には、比較的短い境界Ｌ２が存在することになる。この場合の比較的短い境界Ｌ２は解析の結果に対する影響は少ない。
正面方向の建物までの距離が比較的近い場合には、比較的長い境界Ｌ２が存在することになる。この場合の比較的長い境界Ｌ２は、その建物等までの距離が近いほど、またその建物等の高さが高いほど、景観画像における境界Ｌ２の位置が景観画像の縦方向に上方向に寄る。

このように、景観画像内の空の領域ＳＫと、道路に面している建物等の領域ＥＺとの関係から、景観画像に写った街の状況を読み取ることができる。

上記の実施形態の情報処理システム１によれば、比率算出部３１５は、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する。景観定量化処理部３１６は、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する。これにより、街の景観を、その景観画像に基づいて定量化できる。

景観画像抽出部３１２は、道路上で撮影して得られた複数の画像の中から、撮影地点から道路の延伸方向を見込む景色が映った画像を含めて、その撮影地点からその道路の横断方向を見込む景色が映った画像を含めないように画像を選択して、選択された画像を景観画像として抽出してもよい。

例えば、景観画像抽出部３１２は、被写体の種別には少なくとも空が含まれていて、種別ごとに算出された前記比率の中の前記空の領域の比率を用いて、景観画像が撮影された街の景観の指標値を決定するとよい。
或いは、景観画像抽出部３１２は、被写体の種別には少なくとも空と植生とが含まれていて、種別ごとに算出された比率の中の前記空の領域と植生の領域の比率を用いて、景観画像が撮影された街の景観の指標値を決定するとよい。
上記の何れの場合であっても、景観画像抽出部３１２による処理によって、街の景観の指標値を導出可能であり、街の景観を定量化することができる。

また、上記の実施形態の情報処理システム１の景観定量化処理部３１６は、景観画像内の被写体の種別ごとに算出された面積比率と、撮影地点を含む道路の特徴量とを用いて、景観画像が撮影された街の景観の指標値を決定してもよい。

また、上記の実施形態の情報処理システム１の景観定量化処理部３１６は、景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、景観画像の撮影地点から延伸する道路を識別して、その識別結果を用いて景観画像の適否を判定する。これにより、比率算出部３１５と景観定量化処理部３１６の処理に適した景観画像を選択できる。

（第１の実施形態の変形例）
第１の実施形態では、部分画像の範囲を消失点の位置よりも高い範囲に部分画像の範囲を配置する事例について説明した。本変形例では、これに代えて、消失点の位置よりも高い範囲の一部に部分画像を配置する事例について説明する。本変形例は、端末装置２の光軸の向きに撮影ごとに揺らぎが生じる場合等に好適である。以下、これについて説明する。

（「ＳＡ１４－１：景観画像における部分画像の範囲の設定」の変形例について）
図１５Ｂと図１６Ａと図１６Ｂとを用いて、本変形例における部分画像の範囲の設定について説明する。図１５Ｂは、実施形態の景観定量化処理の結果を説明するための図である。図１６Ａと図１６Ｂは、実施形態の変形例の景観画像における部分画像の範囲の設定について説明するための図である。

先に、図１６Ａと図１６Ｂを用いて、端末装置２の光軸の向きに撮影ごとに揺らぎが生じる場合の一例について説明して、その後に図１５Ｂを用いて解析的な結果について説明する。

図１６Ａ（ａ１）から（ａ３）に、撮影位置を変えずに同じ方向の画像を撮影して得られた３枚の画像を示す。これらの画像には、撮影された時刻が異なることの他に、カメラの光軸の向きが上下方向に揺らいで、撮影された範囲が互いに異なっている。例えば画面内の信号機の位置が明らかに互いに異なっている。また、撮影された時刻が異なるため、画像内の乗物の位置、台数なども互いに異なっている。
図１６Ａ（ａ１）から（ａ３）の各画像の面積は夫々同じであるが、少なくとも空の領域の面積が互いに異なることが視認できる。このように、画像全体に対する面積比率を評価指標に用いる場合には、光軸の向きの揺らぎが、夫々の評価指標の結果に影響することがわかる。

そこで、上記の図１６Ａ（ａ１）から（ａ３）の３枚の画像を、図１１内に配置する位置を調整して、消失点（アイレベル）を揃えるように配置したものを、図１６Ａ（ｂ１）から（ｂ３）に示す。このように、画像を配置する位置を調整すれば、信号機の見かけの高さを揃えることができる。

図１６Ａ（ｂ１）から（ｂ３）の画像を比べると、アイレベルから上側の面積が互いに異なっていることがわかる。このように、端末装置２を支持する状況が変化すると、取得できる画像に収まる範囲が異なるものになる。

そこで、本変形例では、景観画像内の一部の領域を部分画像として切り出して、後段の処理に利用する。

部分画像の設定は、主に下記の条件を満たすように設定する。
・処理の対象とする画像の大きさ、画素構成などを揃えること。
・撮像時に生じる光軸の揺らぎを吸収すること。

例えば、撮像時の揺らぎの影響の程度により、次の２つのケースのうちの何れかを適用するとよい。特に下記の「第１のケース」は、「第２のケース」よりも撮像条件の揺らぎの影響が少ない場合に適する。カメラの支持が比較的堅牢である場合には、第１のケースが適しており、カメラを手で支持する場合のように、光軸の方向が揺らぐ場合には、第２のケースが適している。ただし、上記の適用例は一例であり、これに制限されない。

第１のケース：
例えば、図１６Ａ（ｂ１）から（ｂ３）に示すように、部分画像の範囲を、景観画像内の消失点の位置よりも上の範囲にする。
この場合、部分画像の横幅は、景観画像の横幅に等しくなる。部分画像の高さは、景観画像の上端から消失点の高さまでの範囲になる。部分画像の外枠と消失点が重なる位置関係になる。

第２のケース：
例えば、図１６Ｂ（ｃ１）から（ｃ３）に示すように、部分画像の範囲を、景観画像の中で消失点の位置よりも上の範囲内に配置する。
この場合、部分画像の横幅は、例えば景観画像の横幅に等しくするか、又は景観画像の横幅よりも狭くする。部分画像の高さは、景観画像の上端から消失点の高さまでの長さよりも短くなるように範囲が定められている。例えば、部分画像の外枠の下辺と消失点（アイレベル）が重なる位置関係に部分画像の範囲（外枠）を配置するとよい。

上記の２つのケースを纏めて説明する。
景観画像の中で、消失点よりも下側になる範囲が評価の対象から除かれていることが共通している。この範囲は、アイレベルよりも低い領域になる。この範囲には、主に道路と、道路に設けられた付帯物と、乗物、人などが主に含まれる。例えば、地面よりも高くアイレベルよりも低いものが視界に存在しても、アイレベルを超える高さのものが視界に存在する場合よりも、そのものからの圧迫感を受けにくい。

その一方で、カメラの光軸の方向が上方向又は下方向に変わると景観画像の中消失点の位置が変化する。特に、光軸の方向の変化に応じて、景観画像の中で消失点の位置を挟んで、その上側の範囲の面積と下側の範囲の面積がそれぞれ変化する。例えば、光軸が幾らか下を向くと（図１６Ａ（ａ１）、（ｂ１）、図１６Ｂ（ｃ１））、消失点よりも高い位置にある空の面積が減り、消失点よりも低い位置にある道路の面積が増える。その逆に光軸が幾らか上を向くと（図１６Ａ（ａ３）、（ｂ３）、図１６Ｂ（ｃ３））、消失点よりも高い位置の空の面積が増え、消失点よりも低い位置の道路の面積が減る。

図１６Ａ（ａ１）から（ａ３）に示すように、部分画像を解析に用いない比較例の場合には、景観画像の全体の面積に対する、それぞれ区分された各種類の領域の面積の比を導出する。この場合、景観画像の面積が変わらないのに、消失点よりも高い位置の領域の面積が変化する。このため、この場合の面積の比率が示す値の精度が低くなることがわかる。

上記の第１のケースの場合、景観画像内の消失点の位置よりも上の範囲の面積に対する、消失点の位置よりも上の範囲内に位置していて、それぞれ区分された各種類の領域の面積の比を導出する。この場合は、景観画像の面積が変わらないことは比較例と同じであるが、これを解析に利用しない。景観画像の面積に代えて、消失点よりも高い位置の領域の面積を利用することで、消失点よりも高い位置の領域の面積の変化の傾向と、それぞれ区分された各種類の領域の面積の変化の傾向を揃えることができる。例えば、光軸が下に向くと、消失点よりも高い位置の空の面積が減り、消失点よりも高い位置に含まれる各部の領域もこれに伴って減少する場合がある。上記の通り、増減の傾向を揃えることができても、増減に関する変化率が揃うものではない。そのため、上記の影響を完全になくすことは困難であるが、その影響を軽減させることができる。

上記の第２のケースの場合、景観画像内の消失点の位置よりも上側の範囲内に部分画像がある。この部分画像の面積に対する、部分画像内に位置していて、それぞれ区分された各種類の領域の面積の比を導出する。

例えば、この第２のケースの場合に、景観画像の上端部分を、部分画像の範囲から除くように部分画像の範囲を設定する。このように部分画像の範囲を設定すれば、光軸の上下方向の変動があっても、部分画像として設定した範囲が景観画像から外れない程度の変動であれば、光軸の上下方向の変動の影響を受けにくくなる。このように、第２のケースの場合には、第１のケースに比べて面積の比率が示す値の精度が高くなることがわかる。

上記の場合、この第２のケースの部分画像に定めた範囲が、人が自然体で道路の延伸方向を眺めたときの視野の中心付近になる。そのため、この部分画像の範囲が如何に分類されるかによって、その地点からの景色の印象に影響するといえる。

図１５Ｂを参照して、部分画像の範囲の設定方法を変えたときの定量化処理の結果について説明する。図１５Ｂに示す表は、前述の図１５Ａと同様の項目を含む。この説明に利用する景観画像は、前述した図１６Ａ（ｂ１）から（ｂ３）の画像である。

図１５Ｂ（ａ）に示す結果は、景観画像全域に対する比率を用いて算出された指標値の例である。この場合、空の比率が増加すると、その分その他の比率が減少する傾向がある。その結果、「結果１」から「結果３」の何れの結果についても、図１６Ｂ（ｂ１）から（ｂ３）の画像の違いの影響を吸収できず、各値に差が生じている。

図１５Ｂ（ｂ）に示す結果は、消失点の位置よりも上の範囲に設定された部分画像に対する比率を用いて算出された指標値の例である。この場合、空の比率が増加しても、その他の比率に変化がみられるが、上記の図１５Ｂ（ａ）に示す結果ほどではない。その結果、「結果１」から「結果３」の中で、特に「結果３」の結果は、図１６Ｂ（ｂ１）から（ｂ３）の画像の違いの影響を、軽減しているといえる。

なお、前述した図１６Ｂ（ｃ１）から（ｃ３）に示した手法の解析的な検証結果の説明を省略するが、上記の図１６Ａ（ｂ１）の景観画像について、部分画像を用いて解析した結果に相当する値になることは、その詳細を説明するまでもなく明らかである。

一般的なカメラに搭載されている技術（比較例）との違いについて説明する。
カメラの技術として、所謂「手ブレ」による振動的な光軸の揺らぎの影響を、画像処理の手法を用いて補正して、所謂「手ブレ」による画像内の像の移動を抑圧する「手ブレ補正」という技術がある。この技術は、定期的にサンプリングされた複数の画像の相関性を用いて、上記の振動的な揺らぎの影響を軽減させるものである。揺らぎの成分が、所謂「手ブレ」による振動的な光軸の揺らぎによるものでなければ、このような「手ブレ補正」の技術を用いても、その揺らぎの影響を抑圧できない。

例えば、人がカメラを手で支持して撮影すると、人の関心がある方向に光軸が向きやすい。この揺らぎは、所謂「手ブレ」のような振動的な動きとは異なるものであるから、所謂「手ブレ補正」機能を有効にした端末装置２で撮影しても、この揺らぎを抑制しきれない。本実施形態によれば、１枚の静止画像である景観画像に基づいて、この景観画像に含まれる光軸の向きの偏りによる揺らぎに対しても、その揺らぎを抑圧することが可能である。これは、一般的な「手ブレ補正」の技術とは異なるものである。

この技術の適用は、人が端末装置２Ｂ（カメラ）を手で支持して撮影する場合への適用に限らない。例えば、車両の積み荷の荷重の変化、乗員数の変化などによって、車両の前輪と後輪とに分散する荷重が変化する。このような場合、車体の前方が浮き気味になったり、沈み気味になったり、車体の姿勢（水平性）が変化することがある。このような車両に搭載された端末装置２Ａのカメラによって取得された画像に対して、上記の処理を適用することで、車体の姿勢の変化の影響を抑圧できる。

（第２の実施形態）
以下の実施形態では、制御部３１０が深層学習の手法を用いる事例について、第１の実施形態との相違点を中心に説明する。

最初に、制御部３１０の景観画像抽出部３１２が深層学習の手法を用いて景観画像を抽出する事例について説明する。
景観画像抽出部３１２は、例えば学習済みの多相の人工ニューラルネットワーク（ＤＮＮ）を含んで構成される。景観画像抽出部３１２は、景観画像を抽出する際に、適当に学習された学習済みのＤＮＮを学習済みモデルとして用いる。この学習済みモデルを用いることで、景観画像抽出部３１２は、後段の処理に適した景観画像を抽出するように構成される。

このＤＮＮの学習に際し、制御部３１０内の各部が下記するように構成される。

情報取得部３１１（教師データ取得部）は、教師データとして、学習用景観画像を取得して、取得画像データ記憶部３２１に追加する。学習用景観画像には、画像のデータと、処理に適した景色の画像にはそれを示すラベルが付与されている。学習用景観画像には、処理に適さない景色の画像が含まれていてもよく、この場合のラベルには、処理に適した景色の画像でないことを示すラベルが付与される。

これにより、情報取得部３１１は、道路上で撮影して得られた複数の画像の中から撮影地点から道路の延伸方向を見込む景色が映った画像を含めて、その撮影地点から道路の横断方向を見込む景色が映った画像を含めないように選択させるための学習用景観画像として、その学習用景観画像にラベルが付与された教師データを取得する。

学習処理部３５０は、複数の撮影地点で撮影された画像を含む学習用景観画像を用いて、景観画像抽出部３１２に含まれるモデルの識別特性を学習させる。モデルの学習の方法は、一般的な手法を用いてよい。

景観画像抽出部３１２は、上記のように学習された学習済モデルを用いて景観画像を抽出する。
以降の処理は、第１の実施形態の事例を適用してよい。

［学習処理］
図１８を参照して、実施形態の学習処理について説明する。
図１８は、実施形態の学習処理のフローチャートである。
情報取得部３１１は、上記の学習用景観画像を教師データとして取得して（ステップＳＡ２２）、教師用画像データ記憶部３２４に追加する。なお、設定値データ記憶部３２６に調整用の設定値（パラメータ）が予め格納されていてもよく、情報取得部３１１が取得して設定値データ記憶部３２６に追加してもよい。

学習処理部３５０は、複数の撮影地点で撮影された画像を含む学習用景観画像と調整用の設定値とを用いて、景観画像抽出部３１２に含まれるモデルの識別特性を学習させる学習処理を実施して（ステップＳＡ２４）、その学習結果を学習結果記憶部３２５に追加する。このモデルは、画像内の道路の特徴を抽出して、後段の処理に適した画像を識別するように最適化する学習処理がなされる。

上記の実施形態によれば、景観画像抽出部３１２がその学習済みモデルを用いることにより、第１の実施形態と同様の効果を奏する。

（第３の実施形態）
制御部３１０の種別識別処理部３１４が深層学習の手法を用いて景観画像内の被写体の種別を識別する事例について説明する。
種別識別処理部３１４は、例えば、「セマンティックセグメンテーション」などを適用可能に構成された多層構造のエンコーダネットワークとデコーダネットワークを備える。種別識別処理部３１４は、適当に学習されたものをモデルとして用いる。

情報取得部３１１（教師データ取得部）は、教師データとして、学習用景観画像を取得して、取得画像データ記憶部３２１に追加する。例えばこの学習用景観画像は、画像の領域が被写体の種別（空、植栽等。）に対応付けて分割されたラベル画像が付与されたものである。
なお、この学習用景観画像は、第２の実施形態と同様に、道路上で撮影して得られた複数の画像の中から撮影地点から道路の延伸方向を見込む景色が映った画像と、その撮影地点から道路の横断方向を見込む景色が映った画像を識別するラベルが付与されていてもよく、又は道路上で撮影して得られた複数の画像の中から撮影地点から道路の延伸方向を見込む景色が映った画像で構成されていてもよい。

学習処理部３５０は、ラベル画像が付与された学習用景観画像を用いて、種別識別処理部３１４に含まれるモデルの識別特性を学習させる。モデルの学習の方法は、一般的な手法を用いてよい。

種別識別処理部３１４は、上記のように学習された学習済モデルを用いて景観画像内の被写体の像の種別を識別する。
上記以外の処理は、第１、第２の実施形態の事例を適用してよい。

上記の実施形態によれば、種別識別処理部３１４がその学習済みモデルを用いることにより、第１の実施形態と同様の効果を奏する。

（第４の実施形態）
制御部３１０の地域価値推定部３１７が深層学習の手法を用いて、地域価値を推定する事例について説明する。
地域価値推定部３１７は、例えば、ＤＮＮを備える。地域価値推定部３１７は、適当に学習されたＤＮＮをモデルとして用いて、地域価値を推定する。

情報取得部３１１（教師データ取得部）は、教師データとして、サンプルの景観画像に対するユーザの主観評価の結果（アンケートの回答、又はその集計結果等。）がラベルとして付与された学習用景観画像を取得して、取得画像データ記憶部３２１に追加する。
例えば、主観評価には、「眺望がよい街か。」、「緑が豊かな街か。」、「買い物に便利な街か。」などの複数の項目（質問）を用意して、サンプルの景観画像に対する回答をアンケートの形で回答を収集する。例えば、否定的から肯定的までを１から５までに割当てた５段階の値を、回答として用意する。ユーザは、サンプルの景観画像を夫々評価した結果を、５段階の値で回答する。

なお、この学習用景観画像は、第２の実施形態と同様に、道路上で撮影して得られた複数の画像の中から撮影地点から道路の延伸方向を見込む景色が映った画像と、その撮影地点から道路の横断方向を見込む景色が映った画像を識別するラベルが付与されていてもよく、又は道路上で撮影して得られた複数の画像の中から撮影地点から道路の延伸方向を見込む景色が映った画像で構成されていてもよい。

学習処理部３５０は、夫々ラベルが付与された学習用景観画像を用いて、地域価値推定部３１７に含まれるモデルの識別特性を学習させる。モデルの学習の方法は、一般的な手法を用いてよい。

地域価値推定部３１７は、上記のように学習された学習済モデルを用いて景観画像内の比さ隊の種別を識別する。
上記以外の処理は、第１から第３の実施形態の事例を適用してよい。

上記の実施形態によれば、地域価値推定部３１７がその学習済みモデルを用いることにより、第１の実施形態と同様の効果を奏する。

なお、本実施形態の地域価値推定部３１７についての説明を、景観定量化処理部３１６に適用して、評価の目的に合わせた街の指標値を導出できるようにしてもよい。

少なくとも上記の実施形態によれば、情報処理システム１は、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部３１５と、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部３１６とを備えることで、街の景観を、その景観画像に基づいて定量化することができる。

また、情報処理システム１は、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部３１５と、前記道路の特徴量を抽出する特徴量抽出部３１９と、前記種別ごとに算出された前記比率と、前記道路の特徴量とを用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部３１６とを備えることで、街の景観を、その景観画像に基づいて定量化することができる。

また、情報処理システム１は、景観画像内の像の特徴量を抽出する特徴量抽出部３１９と、前記景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、前記景観画像の撮影地点から延伸する道路を識別する景観画像抽出部３１２（道路識別部）と、撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部３１５と、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部３１６とを備えることで、街の景観を、その景観画像に基づいて定量化することができる。

また、情報処理システム１は、端末装置２のカメラで撮影した景観画像から所定の規則に基づいてその一部を切り出した部分画像の中で、互いに種別が異なる被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部３１５と、前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部３１６とを備えることで、街の景観を、その景観画像に基づいて定量化することができる。

なお、情報処理システム１を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波によりほかのコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…情報処理システム、２、２Ａ、２Ｂ…端末装置、３…景観定量化処理装置、３１０…制御部、３１１…情報取得部、３１２…景観画像抽出部、３１３…部分画像範囲生成部、３１４…種別識別処理部、３１５…比率算出部、３１６…景観定量化処理部、３１７…地域価値推定部、３１８…表示処理部、３１９…特徴量抽出部、３２０…記憶部、３２１…取得画像データ記憶部、３２２…景観画像データ記憶部、３２３…部分画像範囲データ記憶部、３２４…教師用画像データ記憶部、３２５…学習結果記憶部、３２６…設定値データ記憶部、３５０…学習処理部

Claims (4)

1. 景観画像内の像の特徴量を抽出する特徴量抽出部と、
   前記景観画像内の像の特徴量に基づいて敷地内通路と道路とを区分して、前記景観画像の撮影地点から延伸する道路を識別する道路識別部と、
   撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出する比率算出部と、
   前記種別ごとに算出された前記比率を用いて、前記景観画像が撮影された街の景観の指標値を決定する景観定量化処理部と
   を備える情報処理システム。
2. 前記像の特徴量には、前記像の境界、連続性、及び幅の中の少なくとも１つが含まれる、
   請求項１に記載の情報処理システム。
3. 前記特徴量抽出部は、
   前記景観画像内の近景側の像の特徴量から前記像の境界に基づく複数の線分を抽出し、
   前記道路識別部は、
   前記複数の線分に基づいて消失点の位置を決定し、前記消失点の位置にあたる被写体までの距離に基づいて、前記敷地内通路と道路とを区分する
   請求項１又は請求項２に記載の情報処理システム。
4. 景観画像内の像の特徴量を抽出するステップと、
   前記景観画像内の像の特徴量に基づいて、前記景観画像の撮影地点から延伸する道路を識別するステップと、
   撮影地点が位置する道路の延伸方向の景色が映った景観画像の中で、被写体の像の領域が占める面積の比率を被写体の種別ごとに算出するステップと、
   前記種別ごとに算出された前記比率と、前記道路の特徴量とを用いて、前記景観画像が撮影された街の景観の指標値を決定するステップと
   を含む景観定量化方法。

Images