JP6358350B2 - 物理的シーンモデルの構築方法及び装置、運転支援方法及び装置 - Google Patents

Description

本発明は、画像処理の分野に関し、さらに具体的には、物理的シーンのモデル構築方法と装置、運転を支援する方法と装置に関する。

画像処理の分野において、物理的シーンのモデルを構築することは重要な意義がある。道路環境を例として、道路環境モデルは高度運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ、 ＡＤＡＳ）の重要な一部である。道路環境モデルを構築すると、ＡＤＡＳにおける例えば車道逸脱早期警報、自動走行制御や緊急ブレーキ等の多くの応用がさらに正確に、かつさらに容易に実行可能になる。

従来の道路環境モデルにおいて、道路環境のある対象に対して、例えば車道線モデル、道路エッジモデル等の単一のモデルを構築すると、含有する対象が単一であることから、リアルの物理的シーンにおける各種対象及び前記各種対象間の関係を表すことができない。

本発明は、上記状況を鑑みてなされたものであり、複数種の対象を含有する物理的シーンを仮想化することにより、前記物理的シーンにおいて複数種の対象及び前記複数種の対象間の関係を正確に反映可能な物理的シーンモデル構築方法と装置を提供する。

なお、本発明は、複数種の対象を含む物理的シーンを仮想化し、かつ前記物理的シーンにおける複数種の対象及び前記複数種の対象間の関係を正確に反映するのみならず、仮想化のモデルに基づき各種運転に役立つ情報と操作を提供することにより、運転過程がより安全かつ確実になり、自動化程度が一層高い運転支援方法と装置も提供する。

本発明の１実施例においては、物理的シーンの画像を取得し、前記画像から前記複数種の対象の各種対象の特徴を抽出し、シーンモデルが存在するか否かを判断し、シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行い、及び前記初期化シーンモデルを出力することを含む、複数種の対象を含む物理的シーンのモデル構築方法を提供する。

本発明の他の実施例においては、複数種の対象を含む物理的シーンのモデル構築装置を提供し、それは前記物理的シーンの画像を取得する取得モジュール、前記画像から前記複数種の対象の各種対象の特徴を抽出する抽出ユニット、シーンモデルが存在するか否かを判断する判断ユニット、シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行う初期化ユニット、及び前記初期化シーンモデルを出力する第一出力ユニットを含む。

本発明のさらに他の実施例においては、プロセッサー、記憶装置、及び前記記憶装置に記憶されたコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドが前記プロセッサーに実行される際は、前記物理的シーンの画像を取得し、前記画像から前記複数種の対象の各種対象の特徴を抽出し、シーンモデルが存在するか否かを判断し、シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行い、及び前記初期化シーンモデルを出力するステップが実行される、複数種の対象を含む物理的シーンのモデル構築装置を提供する。

本発明のさらに他の実施例においては、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体にコンピュータプログラムコマンドが記憶され、前記コンピュータプログラムコマンドがコンピュータに実行される際は、前記物理的シーンの画像を取得し、前記画像から前記複数種の対象の各種対象の特徴を抽出し、シーンモデルが存在するか否かを判断し、シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行い、及び前記初期化シーンモデルを出力するステップが実行される、複数種の対象を含む物理的シーンのモデルを構築するためのコンピュータプログラム製品を提供する。

本発明のさらに他の実施例においては、車両の運転情報を取得し、複数種の道路アセンブリを含む道路環境のモデルを取得し、前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成し、及び前記操作情報を出力することを含み、そのうち、前記道路環境のモデルが、前記道路環境の画像を取得し、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出し、道路環境のモデルが存在するか否かを判断し、道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行うステップによって構築される、運転支援方法を提供する。

本発明のさらに他の実施例においては、車両の運転情報を取得する第一取得ユニット、複数種の道路アセンブリを含む道路環境のモデルを取得する第二取得ユニット、前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成する生成ユニット、及び前記操作情報を出力する出力ユニットを含む。前記装置が、前記道路環境の画像を取得する第三取得ユニット、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出する抽出ユニット、道路環境のモデルが存在するか否かを判断する判断ユニット、道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行う初期化ユニットをさらに含む、運転支援装置を提供する。

本発明の他の実施例においては、プロセッサー、記憶装置、前記記憶装置に記憶されたコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドが前記プロセッサーに実行される際は、車両の運転情報を取得し、複数種の道路アセンブリを含む道路環境のモデルを取得し、前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成し、及び前記操作情報を出力するステップを実行する。そのうち、前記道路環境のモデルが、前記コンピュータプログラムコマンドが前記プロセッサーに実行される際は、前記道路環境の画像を取得し、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出し、道路環境のモデルが存在するか否かを判断し、道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行うステップの実行によって構築される、運転支援装置を提供する。

本発明のさらに他の実施例においては、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体にコンピュータプログラムコマンドが記憶され、前記コンピュータプログラムコマンドがコンピュータに実行される際は、車両の運転情報を取得し、複数種の道路アセンブリを含む道路環境のモデルを取得し、前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成し、及び前記操作情報を出力するステップを実行する。そのうち、前記道路環境のモデルが、前記コンピュータプログラムコマンドによって前記プロセッサーに実行される際は、前記道路環境の画像を取得し、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出し、道路環境のモデルが存在するか否かを判断し、道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行うステップの実行によって構築される、運転を支援するためのコンピュータプログラム製品を提供する。

本発明の実施例の方法、装置とコンピュータプログラム製品においては、複数種の対象を含む物理的シーンの画像を取得し、各種対象の特徴を抽出し、かつシーンモデルが存在しない場合は抽出した各種対象の特徴に基づき初期化シーンモデルを取得し、それにより、複数種の対象を含む物理的シーンを仮想化でき、こうして前記物理的シーンにおいて複数種の対象及び前記複数種の対象間の関係を正確に反映できる。なお、本発明の実施例の方法、装置とコンピュータプログラム製品においては、車両の運転情報と複数種の道路アセンブリを含む道路環境のモデルを取得することにより、運転を支援するための操作情報を生成し、かつ出力し、これにより、複数種の対象を含む物理的シーンを仮想化でき、かつ仮想化のモデルによって前記物理的シーンにおける複数種の対象及び前記複数種の対象間の関係を正確に反映できるのみならず、前記仮想化のモデルに基づき各種の運転に役立つ情報と操作を提供することにより、運転過程がさらに安全かつ確実で、自動化程度が一層高くなる。

本発明の実施例における複数種の対象を含む物理的シーンのモデル構築方法の主なステップのフローチャートを示す。 本発明のもう一つの実施例における複数種の対象を含む物理的シーンのモデル構築方法の主なステップのフローチャートを示す。 本発明の実施例における運転支援方法の主なステップのフローチャートを示す。 本発明の実施例における複数種の対象を含む物理的シーンのモデル構築装置の主な配置のブロック図を示す。 本発明もう一つの実施例における複数種の対象を含む物理的シーンのモデル構築装置の主な配置のブロック図を示す。 本発明の実施例における運転支援装置の主な配置のブロック図を示す。

以下、図面を参照して本発明の実施例を詳細に記述する。

まず、図１を参照して本発明の実施例に記載の物理的シーンのモデル構築方法を記述する。

図１は、本発明の実施例に記載の複数種の対象を含む物理的シーンのモデル構築方法の主なステップのフローチャートを示す。前記方法が処理能力を備えるいかなる電子設備に応用でき、例えばコンピュータ、コンソール（例えば自動車における制御センター）、サーバー等である。前記物理的シーンはリアル世界における様々なシーンであっても良く、例えば室内シーン、室外シーン等である。前記物理的シーンにタイプ別の複数種の対象を含む。例えば、前記物理的シーンが道路環境である状況で、前記複数種の対象は車道、路肩石、柵、十字路、交通標識、交通信号、木、建築物及び電信柱等のような少なくとも二種類の対象を含む。もちろん、当業者は、上記に記述する物理的シーン及びそのうち含む対象はわずかな例で、本発明の実施例の物理的シーンのモデル構築方法がそれに限らないということを理解するであろう。

図１に示すように、まず、ステップＳ１１０において、前記方法によって前記物理的シーンの画像を取得する。

具体的に言えば、前記方法はビデオカメラで前記物理的シーンをリアルタイムに収集して前記画像を取得することである。代わりに、前記方法は同じく各種の記憶装置から事前に収集した前記画像を取得できる。第一例において、前記画像はグレイ階調図であっても良い。第二例において、前記画像は視差図であっても良い。もちろん、当業者は、上記に記述する前記画像のタイプは例のみで、本発明の実施例の物理的シーンのモデル構築方法がそれに限らないということを理解するであろう。画像収集方法と処理方法の相違により、他の様々なタイプの画像を取得できる。

次に、ステップＳ１２０において、前記画像から前記複数種の対象における各種対象の特徴を抽出する。

具体的に言えば、前記特徴は該種類の対象の特徴を反映できる画像特徴であり、例えば、グレイ階調特徴、視差特徴等である。もちろん、当業者は、上記に記述する前記画像の特徴は例のみで、本発明の実施例の物理的シーンのモデル構築方法がそれに限らないということを理解するであろう。収集した画像の格式の相違と使用した画像処理方法の相違に頼り、対応対象の他の各種の画像特徴を抽出できる。

なお、本発明の実施例の物理的シーンのモデル構築方法は本分野における既存の各種の特徴抽出方法を用いて各種対象の特徴を抽出できる。例として、エッジ特徴抽出方法の使用によって前記特徴を抽出できる。各種の特徴抽出方法の具体的な処理は当業者に知られるため、ここで詳しく記述しない。

一方では、ステップＳ１３０において、シーンモデルが存在するか否かを判断する。

具体的に言えば、第一例として、シーンモデルが存在するか否かを判断するために、前記方法はローカル記憶装置等を読み取ることができる。第二例として、シーンモデルが存在するか否かを判断するために、前記方法はネットワークを介して関連アドレスにアクセスでき、即ち、遠隔記憶装置等を読み取ることができる。

図１に示すフローチャートにおいてステップＳ１３０をステップＳ１１０とＳ１２０の後に配置するが、実場合は、ステップＳ１３０、及びステップＳ１１０とステップＳ１２０の処理をいかなる順序で実行できることに注意されたい。例えば、ステップＳ１３０がステップＳ１１０とステップＳ１２０に逆に、または同時に実行できる。

前記シーンモデルが存在すると判断した場合は、前記方法が終了する。

他方では、シーンモデルが存在しないと判断した場合は、前記方法はステップＳ１４０に進む。

ステップＳ１４０において、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行う。

具体的に言えば、まず、各種対象の初期化対象モデルを取得するように、前記方法は抽出した各種対象の特徴に基づき、それぞれ各種対象の対象モデルに初期化処理を行う。

さらに具体的には、各種対象に対して、所定回数で抽出した特徴における少なくともいくつかの特徴を選択する。前記所定回数が当業者に設計の需要に応じて適切に確定され、ここで具体的な制約をしない。前記少なくともいくつかの特徴はランダムサンプルコンセンサス（ＲＡＮＳＡＣ、 ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）方法に基づき選択してもいいし、当業者に制限されても良い。代わりに、抽出した特徴全体を選択しても良い。

その後、前記所定回数と同じ数の複数の候補対象モデルを取得するように、毎回選択した前記少なくともいくつかの特徴に基づきそれぞれ前記対象モデルのパラメータを演算しても良い。次に具体的な例と突き合わせて前記パラメータの演算処理を詳細に記述する。

続いて、抽出した特徴に基づき各候補対象モデルの支点数とコストの少なくともいずれかを演算できる。前記支点数は抽出した特徴と候補対象モデルとの間のマッチング度を表し、前記コストは抽出した特徴と前記候補対象モデルとの間の偏差を表する。当業者は各種の既存アルゴリズムを採用して前記支点数とコストを演算できる。例示的に、例えば、前記対称モデルにマッチングした特徴の数量を統計して前記支点数としても良い。なお、例示的に、すべてのモデルにマッチングした特徴からモデルまでの距離の和を累加させることによって前記コストを取得し、そのうち距離は特徴点からモデルにおける曲線までの最小距離と定義できる。

最後には、前記マッチング度と前記コストの前記少なくともいずれかに基づき、前記複数の候補対象モデルから対象モデルを確定し、前記初期化対象モデルとすることができる。

上記に記述する処理によって各種対象の初期化対象モデルを取得した後に、事前に設定した対象モデル間の関係に基づき、前記複数種の対象の初期化対象モデルを検証できる。

さらに具体的には、前記対象モデル間の関係は位置関係と内容関係の少なくともいずれかを含み、それが当業者に前記物理的シーンと前記対象の相違に応じて適切に設置でき、ここで具体的に制限しない。

そのため、第一例として、事前に設定した対象モデル間の位置関係に基づき、前記複数種の対象の前記初期化対象モデルに位置関係検証を行うことができる。つまり、上記の前記取得した複数の初期化対象モデル間が前記位置関係を満たすか否かを判断する。

第二例として、事前に設定した対象モデル間の内容関係に基づき、前記複数種の対象の前記初期化対象モデルに内容関係検証を行うことができる。つまり、上記の前記取得した複数の初期化対象モデル間が前記内容関係を満たすか否かを判断する。

第三例として、上記第一例と第二例を突き合わせ、即ち、前記複数種の対象の前記初期化対象モデルに位置関係検証と内容関係検証を行う。

検証が成功しない場合は、前記複数の候補対象モデルから改めて対象モデルを確定して前記初期化対象モデルとして、かつ上記のような前記検証処理を繰り返す。検証が成功した場合は、最終に前記初期化シーンモデルを取得し、それは上記のような検証によって取得した各種対象の初期化対象モデルを含む。

上記にはそれぞれシーンが含む各種対象の初期化対象モデルを取得し、かつ各初期化対象モデルが所定の対象モデル間の関係を満たすか否かを検証することによってシーン全体の初期化シーンモデルを取得する実施方式を記述する。もちろん、上記に記述するのは例のみである。当業者は該例の上で他の実施方式によって初期化シーンモデルを取得できる。例えば、第二実施方式において、それぞれシーンにおける各種対象の初期化対象モデルを取得することの代わりに、抽出した各種対象の特徴、及び事前に設定したシーン制限条件に基づき、シーン全体の初期化シーンモデルを直接取得するなどである。

上記に記述するステップＳ１４０によって前記初期化シーンモデルを取得した後に、前記方法はＳ１５０に進み、かつ前記初期化シーンモデルを出力する。

第一例において、前記初期化シーンモデルが前記電子設備自体の含有またはローカルまたは遠隔に接続した記憶装置に出力してその中に記憶できる。第二例において、前記初期化シーンモデルが前記電子設備のプロセッサーに出力され、それによって前記プロセッサーが前記初期化シーンモデルに基づき対応の処理を行い、等等である。

上記、図１と突き合わせて本発明の実施例の複数種の対象を含む物理的シーンのモデル構築方法を記述する。

本発明の実施例の複数種の対象を含む物理的シーンのモデル構築方法により、複数種の対象を含む物理的シーンを仮想化でき、それによって前記物理的シーンにおける複数種の対象及び前記複数種の対象間の関係を正確に反映できる。

かつ、本発明の実施例の方法で取得したシーンモデルは各対象の対象モデルを簡単に組み合わせることではなく、対象モデル間の関係を考慮した上で対象モデルの適切な集合を行うことであるため、構築したシーンモデルがさらに物理的シーンの条件に一致し、対象モデル間が相互に矛盾している状況が発生しない。

上記に記述する本発明の実施例の方法において、ステップＳ１３０にてシーンモデルが存在すると判断した場合は、前記方法は終了する。代わりに、シーンモデルが存在すると判断した場合は、抽出した対象の特徴に基づきシーンモデルを更新しても良い。次に、図２と突き合わせて該状況での処理を記述する。

図２は本発明のもう一つの実施例における複数種の対象を含む物理的シーンのモデル構築方法の主なステップのフローチャートを示す。

図２に示すステップＳ２１０−Ｓ２５０の処理はそれぞれ図１に示すステップＳ１１０−Ｓ１５０の処理に類似し、ここで重複しない。

図１との違いは、ステップＳ２３０において、シーンモデルが存在すると判断した場合は、前記方法はＳ２６０に進む。ステップＳ２６０において、抽出した各種対象の特徴が前記シーンモデルにマッチングするか否かを判断する。具体的には、前記方法は前記特徴を前記シーンモデルに出力し、かつ前記特徴が前記シーンモデルを満たすか否かを判断しても良い。

さらに具体的に言えば、例として、前記特徴から前記シーンモデルまでの最小距離を演算しても良い。例えば、特徴が点特徴である場合は、点からシーンモデルにおける全ての線までの距離の最小値を演算し、または、特徴が線分特徴である場合は、線分からシーンモデルにおける線分斜率に最も接近した線までの距離を演算する。

その後、前記最小距離が事前に設定した閾値より小さいか否かを判断する。前記最小距離が事前に設定した閾値より小さいと判断した場合は、前記特徴が前記シーンモデルを満たすと確定する。さもないと、最小距離が事前に設定した閾値より小さくない場合は、前記特徴が前記シーンモデルを満たさないと確定する。

もちろん、上記に記述した対象特徴がシーンモデルにマッチングするか否かを判断する方法は例のみである。当業者はこの上で他の各種の方式を設計して前記判断を行う。

続いて、抽出した各種対象の特徴が前記シーンモデルにマッチングすると判断した場合は、前記方法はステップＳ２７０に進む。ステップＳ２７０において、前記シーンモデルを更新する。

具体的には、まず、抽出した各種対象の特徴に基づき、前記シーンモデルにおける各種対象を含む対象モデルを更新する。さらに具体的には、最急降下法、ガウスニュートン法等の各種の方式で前記対象モデルを更新しても良い。

その後、更新した各種対象の対象モデル間の関係に基づき、前記シーンモデルを更新できる。例えば、図１の前記方式と突き合わせることにより、更新した各対象の対象モデルが前記対象モデル間の関係を満たすか否かを検証できる。検証が失敗した場合は、前記シーンモデルの更新が失敗した。この際、改めて対象モデルを更新すること等によって再度に更新処理を行うことができる。一方では、検証が成功した場合は、前記シーンモデルの更新が成功した。

続いて、ステップＳ２８０において、更新したシーンモデルを出力する。

そのため、図２に示す本発明の実施例と突き合わせる方法において、シーンモデルなしの状況でシーンモデルを構築できるのみならず、さらに既存のシーンモデルがある状況でシーンモデルを更新でき、それによって物理的シーンは比較的小さい変化が発生した状況でもシーンモデルと物理的シーンがタイムリーに一致性を維持し、マッチング度と精度を向上させることができる。

なお、図２に示すように、ステップＳ２６０において、抽出した少なくとも一種類の対象の特徴が前記シーンモデルにマッチングしないと判断した場合は、図１に記述したステップＳ１４０とＳ１５０に類似したステップＳ２４０とＳ２５０と突き合わせる処理により、抽出した各種対象の特徴に基づき改めてシーンモデルの初期化処理を行い、初期化シーンモデルを取得し、かつ前記初期化シーンモデルを出力する。

こうして、本発明の実施例の方法において、シーンモデルが既に存在した場合は、対象特徴がシーンモデルにマッチングした状況でシーンモデルを更新できるのみならず、さらに対象特徴がシーンモデルにマッチングしない状況で改めてシーンモデルを初期化でき、それによって物理的シーンは比較的大きい変化が発生した状況でもシーンモデルと物理的シーンがタイムリーに一致性を維持し、マッチング度と精度を向上させることができる。

上記のように、図１と図２と突き合わせて本発明の実施例の複数種の対象を含む物理的シーンのモデル構築方法を記述する。上述の通り、本発明の実施例の方法はリアル世界における各種のシーンに対する仮想化に応用できる。次に、物理的シーンが道路環境として、前記対象が道路アセンブリとする状況を例として本発明の実施例の方法の応用例を記述する。

まず、前記道路環境における車両、電信柱等の位置に取り付けられた画像収集設備（例えばカメラ）によって前記道路環境の画像を取得する。

続いて、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出できる。前記道路アセンブリは道路における静的物体であっても良く、例えば車道、路肩石、柵、十字路、交通標識、交通信号、木、建築物、電信柱等の少なくとも二種類またはそれ以上である。

その後、道路環境のモデルが存在するか否かを判断する。道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行う。

具体的には、まず、道路アセンブリの初期化モデルを取得するように、それぞれ各種の道路アセンブリの道路アセンブリモデルを初期化する。

例えば、道路モデルＲｏａｄＭｏｄｅｌが下記の表現式（１）によって表記できる。

そのうち、ＶａｎｉｓｈＬｉｎｅｌは道路モデルにおける消線の位置であり、ＲｏａｄＨｅｉｇｈｔｌは道路モデルの路面高さであり、ＬａｎｅＮｕｍは車道の数量であり、ＲｏａｄＰａｒａｓは道路モデルのパラメータであり、ＬａｎｅＷｉｄｔｈは各車道の幅であり、ＣｕｒｂＨｅｉｇｈｔは路肩石の高さであり、かつＧｕａｒｄｒａｉｌＨｅｉｇｈｔは柵の高さである。

具体的には、道路モデルはいろんなタイプを有し、例えば直線モデル、放物線モデル、スプラインモデル、双曲線モデル、蛇型モデルと３Ｄモデル等である。直線モデルを例として、道路モデルは下記の表現式（２）によって表される。

そのうち、ＬｅｆｔＷｈｉｔｅＬｉｎｅは道路範囲の左境界の線であり、即ち、最も左側の白線であり、ＯｔｈｅｒＷｈｉｔｅＬｉｎｅｓは道路範囲内における車道の他の白線を表するために用い、Ｃｕｒｂｓ は路肩石であり、かつＧｕａｒｄｒａｉｌｓは柵である。

ａｒとｂｒは道路モデルの曲線パラメータであり、即ち上記の表現式（１）におけるＲｏａｄＰａｒａｓである。

ｖｌ１は表現式（１）におけるＶａｎｉｓｈＬｉｎｅｌの略語である。

ｌａｗは表現式（１）におけるＬａｎｅＷｉｄｔｈの略語である。

ｃｈは表現式（１）におけるＣｕｒｂＨｅｉｇｈｔの略語である。

ｇｈは表現式（１）におけるＧｕａｒｄｒａｉｌＨｅｉｇｈｔの略語である。

ｘｒとｙｒはそれぞれＬｅｆｔＷｈｉｔｅＬｉｎｅ、ＯｔｈｅｒＷｈｉｔｅＬｉｎｅｓ、ＣｕｒｂｓとＧｕａｒｄｒａｉｌｓの各横座標と縦座標を表し、添え字ｉは第ｉ本の線を表し、その範囲は０からＬａｎｅＮｕｍまでである。

上記のとおりの表現式（２）によって各パラメータを演算すると、初期化の道路モデルを取得する。

もう一つの例として、横断歩道モデルＺｅｂｒａＭｏｄｅｌが下記の表現式（３）によって表できる。

そのうち、ＶａｎｉｓｈＬｉｎｅ２は横断歩道における消線の位置であり、ＲｏａｄＨｅｉｇｈｔ２は横断歩道の路面の高さであり、ＬｉｎｅＮｕｍは横断歩道モデルの線の数量であり、ＬｉｎｅＷｉｄｔｈは各線の幅であり、ＬｉｎｅＧａｐＷｉｄｔｈは横断歩道の線間の間隔の幅であり、ＺｅｂｒａＰａｒａｓは横断歩道モデルのパラメータである。

具体的には、横断歩道モデルが通常に線形モデルによって表できる。例えば、下記の表現式（４）によって横断歩道モデルを表できる。

そのうち、ａｚとｂｚはモデルの曲線パラメータであり、即ち上記表現式（３）におけるＺｅｂｒａＰａｒａｓである。

ｖｌ２は表現式（３）におけるＶａｎｉｓｈＬｉｎｅ２の略語である。

ｌｉｗは表現式（３）における＿ＬｉｎｅＷｉｄｔｈの略語である。

Ｉｇｗは表現式（３）におけるＬｉｎｅＧａｐＷｉｄｔｈの略語である。

ｘｚとｙｚはそれぞれＬｅｆｔＺｅｂｒａとＯｔｈｅｒＺｅｂｍの各横座標と縦座標を表し、添え字ｉは第ｉ本の線を表し、その範囲は０からＬｉｎｅＮｕｍまでである。

上記のような表現式（４）によって各パラメータを演算すると、初期化の道路モデルを取得する。

当業者は、上記に記述した道路モデルと横断歩道モデルの表現式はわずかな例であるということを理解するであろう。物理的シーンにおける道路の相違と横断歩道の相違によって決まっていて、他の様々な適切な表現式を採用して前記道路モデルと前記横断歩道モデルを表してもいい。

なお、当業者は、上記道路モデルと横断歩道モデルの例の上で、前記道路環境モデルにおける他の様々な道路アセンブリのモデルを類似的に表し、かつそのモデルパラメータを求解できる。例えば、電信柱モデルＰｏｌｅＭｏｄｅｌが下記の示す表現式（５）によって表できる。

そのうち、ＲｏａｄＨｅｉｇｈｔ３は電信柱モデルの路面の高さであり、ＮｅａｒＰｏｌｅＤｉｓｔａｎｃｅはカメラ等の画像収集設備が最も接近した電信柱の距離であり、ＰｏｌｅＷｉｄｔｈは電信柱の幅であり、ＰｏｌｅＧａｐＤｉｓｔａｎｃｅは電信柱間の距離である。

その他の各種の道路アセンブリの初期化モデル及びそのモデルパラメータの表は上記に類似したため、ここで詳細に記述しない。

上記のように各種の道路アセンブリのモデルを取得した後に、事前に設定した対象モデル間の位置関係または内容関係の少なくともいずれかに基づき、対象モデルを検証できる。

道路モデルと横断歩道モデルとの間の関係を例として、その位置関係が下記の表現式（６）−（８）によって表できる。

上記表現式（６）の表する意味は、道路モデルにおける消線の位置が横断歩道モデルにおける消線の位置と同じである。上記表現式（７）の表する意味は、道路モデルの路面の高さが横断歩道モデルの路面の高さと同じである。上記表現式（８）の意味は、横断歩道の位置は最左側の道路線と再右側の道路線との間に位置するということである。

なお、道路モデルと横断歩道モデルとの間の内容関係の一つ例は、１５道路タイプが高速道路である場合は、横断歩道がないと記述する。

もう一つの例として、道路モデルと電信柱モデルに対して、その位置関係が下記の表現式（９）によって表できる。

上記表現式（９）の表する意味は、道路モデルの路面の高さが電信柱モデルの路面の高さと同じである。

なお、道路モデルと電信柱モデルとの内容関係の一つ例は、道路タイプが都市道路である場合は、横断歩道がないと記述する。

上記のような方式で各道路アセンブリモデル間の位置関係と内容関係を検証しかつ検証が成功した後に、最終の道路環境モデルを取得し、それが下記の表現式（１０）によって表できる。

そのうち、上記の通り、ＲｏａｄＴｙｐｅは道路タイプを表し、例えば高速道路或いは都市道路であっても良い。ＶａｎｉｓｈＬｉｎｅは消線の位置を表し、ＲｏａｄＨｅｉｇｈｔは路面の高さを表し、Ｒｅｌａｔｉｏｎは対象モデル間の関係を表する。

なお、ＲｏａｄＭｏｄｅｌは道路モデルを表し、ＺｅｂｒａＭｏｄｅｌは横断歩道モデルを表し、ＢｕｉｌｄｉｎｇＭｏｄｅｌは建築物モデルを表し、ＴｒｅｅＭｏｄｅｌは木モデルを表し、ＳｉｇｎＭｏｄｅｌは交通標識モデルを表し、ＰｏｌｅＭｏｄｅｌは電信柱モデルを表する。

上記表現式（１０）の含有する道路アセンブリモデルは例のみである。具体的な道路環境の相違に応じて、道路環境のモデルがさらに多くまたは少ない道路アセンブリモデルを含有しても良いことに注意されたい。

上記、物理的シーンを道路環境として、前記対象を道路アセンブリとしての状況を例として本発明の実施例の方法の応用例を記述する。もちろん、本発明の実施例の方法はこれに限らず、他の様々な物理的シーンを構築するためのモデルであっても良い。

次に、図３と突き合わせて本発明の実施例の運転支援方法を記述する。本発明の実施例の運転支援方法は車両自体の制御センター等に応用できるのみならず、他の外部電子設備にも応用でき、例えば車内に置かれたコンピュータ、遠隔サーバー等である。前記方法が他の外部電子設備に応用される状況で、前記電子設備は車両の制御センターに通信できる。

図３は本発明の実施例における運転支援方法の主なステップのフローチャートを示す。

まず、ステップＳ３１０において、車両の運転情報を取得する。具体的には、前記運転情報は速度情報、ハンドル情報、アクセル情報、ブレーキ情報、指示灯情報の少なくともいずれかまたは他のいかなる組み合わせを含む。

一方では、ステップＳ３２０において、複数種の道路アセンブリを含む道路環境モデルを取得する。具体的には、前記道路環境モデルは図１と図２のいかなる一つ前記方式を参照にして構築する。さらに具体的に言えば、まず、車両に取り付けられた画像収集設備（例えばカメラ）によって前記道路環境の画像を取得できる。その後、前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出する。続いて、道路環境モデルが存在するか否かを判断する。道路環境モデルが存在しないと判断した場合は、初期化シーンモデルを取得して前記道路環境モデルとするように、抽出した各種の道路アセンブリの特徴に基づき道路環境モデルの初期化処理を行う。

図３に示すフローチャートにおいてステップＳ３２０をステップＳ３１０の後に配置したが、実場合は、いかなる順序でステップＳ３１０とステップＳ３２０の処理を実行してもいいことに注意されたい。例えば、ステップＳ３１０とステップＳ３２０が逆に、または同時に実行しても良い。

続いて、ステップＳ３３０において、前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成する。

具体的には、前記運転情報と前記道路環境のモデルに基づき、速度早期警報情報、方向早期警報情報、妨害物早期警報情報、緊急ブレーキ情報の少なくともいずれかまたはそのいかなる組み合わせを生成する。

さらに具体的に言えば、方向早期警報情報を例として、前記道路環境モデルに基づき前方道路曲線を確定できる。なお、前記仮想情報におけるハンドル情報等の情報に基づき、車両の現在走行方向を確定できる。そのため、車両の現在走行方向と前方道路曲線を比べ、かつ車両が走行している道路から逸脱するか否かを判断する。逸脱すると判断した場合は、車道逸脱早期警報情報を生成し、前記方向早期警報情報の例とする。

続いて、ステップＳ３４０において、前記操作情報を出力する。

具体的には、第一例において、前記車両はディスプレイを含み、かつ前記操作情報を前記ディスプレイに出力し、それによって前記ディスプレイを通じて前記操作情報を表示できる。

第二例において、前記車両はスピーカを含み、かつ前記操作情報を前記スピーカに出力し、それによって前記スピーカを通じて前記操作情報を出力できる。

第三例において、前記車両はコントローラを含み、かつ前記操作情報を前記コントローラに出力し、前記コントローラは前記操作情報に基づき前記車両の含む運転アセンブリを制御し、例えば自動クルーズコントロールまたは緊急ブレーキ等である。

もちろん、上記に記述したのは例のみであり、当業者は上記例を適切に組み合わせまたは他の方式によって前記操作情報を出力できる。

上記、図３と突き合わせて本発明の実施例の運転支援方法を記述する。本発明の実施例の運転支援方法により、道路環境モデルに基づき正確に提示しまたは制御でき、運転安定性の向上に有利であり、かつ運転過程の自動化を向上させる。

次に、図４と突き合わせて本発明の実施例における複数種の対象を含む物理的シーンのモデル構築装置を記述する。

図４は本発明の実施例における複数種の対象を含む物理的シーンのモデル構築装置の主な配置のブロック図を示す。

図４に示すように、本発明の実施例の複数種の対象を含む物理的シーンのモデル構築装置４００は主に取得ユニット４１０、抽出ユニット４２０、判断ユニット４３０、初期化ユニット４４０と第一出力ユニット４５０を含む。

前記取得ユニット４１０は前記物理的シーンの画像を取得する。

前記抽出ユニット４２０は前記画像から前記複数種の対象における各種対象の特徴を抽出する。

前記判断ユニット４３０はシーンモデルが存在するか否かを判断する。

シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、前記初期化ユニット４４０は抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行う。

前記第一出力ユニット４５０は前記初期化シーンモデルを出力する。

一つの実施例において、前記装置４００は、マッチングユニット、更新ユニットと第二出力ユニットをさらに含む。前記マッチングユニットはシーンモデルが存在すると判断した場合は、抽出した各種対象の特徴が前記シーンモデルにマッチングするか否かを判断する。前記更新ユニットは抽出した各種対象の特徴が前記シーンモデルにマッチングすると判断した場合は、前記シーンモデルを更新する。前記第二出力ユニットは更新したシーンモデルを出力する。

もう一つの実施例において、前記装置４００は、再初期化ユニットと第三出力ユニットをさらに含む。前記再初期化ユニットは抽出した少なくとも一種類の対象の特徴が前記シーンモデルにマッチングしないと判断した場合は、抽出した各種対象の特徴に基づき改めてシーンモデルの初期化処理を行い、それによって初期化シーンモデルを取得する。前記第三出力ユニットは前記初期化シーンモデルを出力する。

もう一つの実施例において、前記初期化ユニット４４０は、抽出した各種対象の特徴に基づき、それぞれ各種対象の対象モデルを初期化処理し、それによって各種対象の初期化対象モデルを取得するサブ初期化ユニット、事前に設定した対象モデル間の関係に基づき、前記複数種の対象の初期化対象モデルを検証する検証ユニット、及び、検証が成功した場合は、各種対象の初期化対象モデルを含む前記初期化シーンモデルを取得する取得ユニットを含む。

もう一つの実施例において、前記サブ初期化ユニットは、各種対象に対して、所定回数で抽出した特徴における少なくともいくつかの特徴を選択する選択ユニット、毎回選択した前記少なくともいくつかの特徴に基づきそれぞれ前記対象モデルのパラメータを演算し、それによって前記所定回数と同じ数の複数の候補対象モデルを取得する第一演算ユニット、抽出した特徴に基づき各候補対象モデルの支点数とコストの少なくともいずれかを演算し、前記支点数は抽出した特徴と対象モデルとの間のマッチング度を表し、前記コストは抽出した特徴と前記候補対象モデルとの間の偏差を表する第二演算ユニット、及び前記マッチング度と前記コストの前記少なくともいずれかに基づき、前記複数の候補対象モデルから対象モデルを確定し、前記初期化対象モデルとする対象モデル確定ユニットを含む。

もう一つの実施例において、前記検証ユニットは、事前に設定した対象モデル間の位置関係に基づき、前記複数種の対象の前記初期化対象モデルに位置関係検証を行う第一検証ユニット、及び事前に設定した対象モデル間の内容関係に基づき、前記複数種の対象の前記初期化対象モデルに内容関係検証を行う第二検証ユニットの少なくともいずれかを含む。

もう一つの実施例において、前記更新ユニットは、抽出した各種対象の特徴に基づき、前記シーンモデルにおける各種対象の対象モデルを更新する第一更新ユニット、及び更新した各種対象の対象モデル間の関係に基づき、前記シーンモデルを更新する第二更新ユニットを含む。

次に、図５と突き合わせて本発明のもう一つ実施例における複数種の対象を含む物理的シーンのモデル構築装置を記述する。

図５は本発明もう一つの実施例における複数種の対象を含む物理的シーンのモデル構築装置の主な配置のブロック図を示す。

図５に示すように、本発明の実施例の複数種の対象を含む物理的シーンのモデル構築装置５００は主にプロセッサー５１０と記憶装置５２０を含み、これらのアセンブリはパスシステム５３０と／または他の形式の接続機構（例示しない）によって相互に接続される。図５に示した装置５００のアセンブリと構造は例のみであり、制限的ではなく、需要に応じて、装置５００は同じく他のアセンブリと構造を含有してもいいことに注意されたい。例えば、前記装置５００はさらにカメラ等の画像収集アセンブリを含有しても良く、それによってシーンの画像を収集するために用いる。

プロセッサー５１０は中央処理ユニット（ＣＰＵ）またはデータ処理能力と／またはコマンド実行能力を備える他の形式の処理ユニットであっても良く、かつ装置５００における他のアセンブリを制御できて希望機能を実行する。

記憶装置５２０は一つまたは複数のコンピュータプログラム製品を含有してもよく、前記コンピュータプログラム製品は各種の形式のコンピュータ可読記憶媒体を含有してもよく、例えば揮発性記憶装置と／または非揮発性記憶装置である。前記揮発性記憶装置はランダムアクセル記憶装置（ＲＡＭ） と／またはキャッシュ記憶装置（ｃａｃｈｅ）等を含有してもいい。前記非揮発性記憶装置は読み出し専用記憶装置（ＲＯＭ）、ハードディスク、フラッシュメモリ等を含有してもいい。前記コンピュータ可読記憶媒体に一つまたは複数のコンピュータプログラムコマンドを記憶でき、プロセッサー５１０は前記プログラムコマンドを実行でき、それによって本発明の実施例の物理的シーンのモデル構築方法の機能及び／または他の希望機能を実現させる。

次に、図６と突き合わせて本発明の実施例における運転支援装置を記述する。

図６は本発明の実施例の運転支援装置の主な配置のブロック図を示す。図６に示すように、本発明の実施例の運転支援装置６００は主に第一取得ユニット６１０、第二取得ユニット６２０、生成ユニット６３０、出力ユニット６４０、第三取得ユニット６５０、抽出ユニット６６０、判断ユニット６７０と初期化ユニット６８０を含む。

前記第一取得ユニット６１０は車両の運転情報を取得する。

前記第二取得ユニット６２０は複数種の道路アセンブリを含む道路環境のモデルを取得する。

前記生成ユニット６３０は前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成する。

前記出力ユニット６４０は前記操作情報を出力する。

前記第三取得ユニット６５０は前記道路環境の画像を取得する。

前記抽出ユニット６６０は前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出する。

前記判断ユニット６７０は道路環境のモデルが存在するか否かを判断する。

道路環境が存在しないと判断した場合は、前記初期化ユニット６８０は抽出した各種の道路アセンブリの特徴に基づき道路環境モデルの初期化処理を行い、それによって初期化シーンモデルを取得して前記道路環境モデルとする。

一つの実施例において、前記運転情報は速度情報、ハンドル情報、アクセル情報、ブレーキ情報、指示灯情報の少なくともいずれかを含む。

もう一つの実施例において、前記生成ユニット６３０が、前記運転情報と前記道路環境のモデルに基づき、速度早期警報情報、方向早期警報情報、妨害物早期警報情報、緊急ブレーキ情報の少なくともいずれかを生成するように配置される。

もう一つの実施例において、前記出力ユニット６４０が、前記操作情報を前記車両の含むディスプレイに出力し、前記ディスプレイによって前記操作情報を表示し、前記操作情報を前記車両の含むスピーカに出力し、それによって前記スピーカによって前記操作情報を出力し、前記操作情報を前記車両の含むコントローラに出力し、前記コントローラは前記操作情報に基づき前記車両の含む運転アセンブリを制御することの少なくともいずれかを実行するように配置される。

本発明のもう一つの実施例において、本発明の実施例の運転支援装置は図５に例示した類似の構造によって実現できる。即ち、前記装置は主にプロセッサーと記憶装置を含み、これらのアセンブリはパスシステムと／または他の形式の接続機構（例示しない）によって相互に接続される。前記記憶装置は一つまたは複数のコンピュータプログラムコマンドを記憶でき、プロセッサーは前記プログラムコマンドを実行でき、それによって本発明の実施例の運転支援方法の機能及び／または他の希望機能を実現させる。

なお、本発明の実施例は複数種の対象を含む物理的シーンのモデルを構築するためのコンピュータプログラム製品をさらに提供し、それはコンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体にコンピュータプログラムコマンドを記憶し、前記コンピュータプログラムコマンドがコンピュータに実行される際は図１から図２までのいかなる一つの前記方法と突き合わせたいかなる実施例を実行する。

なお、本発明の実施例はさらに運転を支援するためのコンピュータプログラム製品も提供し、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体にコンピュータプログラムコマンドを記憶し、前記コンピュータプログラムコマンドがコンピュータに実行される際は図３の前記方法と突き合わせたいかなる実施例を実行する。

以上、図１から図６までと突き合わせて本発明の実施例の複数種の対象を含む物理的シーンのモデル構築方法、装置とコンピュータプログラム製品、及び本発明の実施例の運転支援方法、装置とコンピュータプログラム製品を記述する。

本明細書において、専門用語「含む」、「含有」またはそのいかなる他の変体の目的は非競合性の含有をカバーすることにあり、それによって一連の要素を含む過程、方法、品物または設備はそれらの要素を含むのみならず、さらに明確に列記されなかった他の要素も含み、またはさらに該種類の過程、方法、品物または設備の固有する要素も含むことに注意されたい。さらに多くの制限がない状況で、分句「一つの……を含む」に制限された要素は、前記要素を含む過程、方法、品物または設備に他の同じ要素も存在することを排除しない。
なお、本明細書において、「第一…ユニット」、「第二…ユニット」の表現は記述時に区分しやすいためであるが、それが物理的に分離した二つまたは複数のユニットを必ず実現させることを意味していないことに注意されたい。実場合は、需要に応じて、前記ユニットは一つのユニットで全体的に表現してもいいし、複数のユニットで表現してもいい。

最後には、上記一連の処理はここで記述した時系列の順序に基づき実行した処理を含むのみならず、さらに時間順序ではなく、同時またはそれぞれ実行した処理も含むことに注意されたい。

上記の実施方式の記述により、当業者は本発明がソフトウェアと必要なハードウェアプラットフォームの突き合わせ方式を通じて実現できるとはっきりと把握でき、もちろん完全にハードウェアを通じて実施してもいい。このような了解に基づき、本発明の技術的解決手段が背景技術に役たつ全部または一部はソフトウェア製品の形式で表現でき、該コンピュータソフトウェア製品は記憶媒体に記憶でき、例えばＲＯＭ／ＲＡＭ、ディスク、コンパクトディスク等であり、複数のコマンドを含むことによって一台のコンピュータ設備（パソコン、サーバー、またはネットワーク設備等であってもいい）が本発明の各実施例または実施例のある部分の前記方法を実行する。

本発明の実施例において、ユニット／モジュールがソフトウェアで実現でき、それによって様々なタイプのプロセッサーで実行できる。例えば、一つのマークされた実行可能コードモジュールはコンピュータコマンドの一つまたは複数の物理的或いはロジックブロックを含み、例えば、それが対象、過程または関数に構築できる。それにもかかわらず、マークされたモジュールの実行可能コードは物理的に一体にする必要がなく、サイト別に記憶された異なるコマンドを含有してもよく、これらのコマンドが結合した場合は、それはユニット／モジュールを構成し、かつ該ユニット／モジュールの規定目的を実現させる。

ユニット／モジュールはソフトウェアを利用して実現させた場合は、従来のハードウェアプロセスレベルを考慮するため、ソフトウェアで実現可能なユニット／モジュールに対して、コストを考慮しない状況で、当業者は対応のハードウェア回路を構築して対応の機能を実現させてもよく、前記ハードウェア回路は通常の超大規模集積（ＶＬＳＩ）回路またはゲートアレイ及びロジックチップ、トランジスター等の既存半導体または他の個別部品を含む。モジュールはプログラム可能ハードウェア設備、例えば現場プログラム可能ゲートアレイ、プログラム可能アレイロジック、プログラム可能ロジック設備等を通じて実現できる。

以上、本発明を詳細に紹介していて、この文章は具体的な例を応用して本発明の原理及び実施方式を記述し、上記実施例の記述は本発明の方法及びその中核思想の理解に役立つために用いる。それと同時に、通常の当業者に対して、本発明の思想により、具体的な実施方式及び応用範囲にいずれも変化があるため、つまり、本明細書の内容は本発明を限定するものと解釈すべきではない。

Claims (18)

1. 複数種の対象を含む物理的シーンのモデルを構築する方法であって、
   前記物理的シーンの画像を取得するステップ、
   前記画像から前記複数種の対象の各種対象の特徴を取得するステップ、
   シーンモデルが存在するか否かを判断するステップ、
   前記シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行うステップ、及び
   前記初期化シーンモデルを出力するステップを含み、
   前記シーンモデルの初期化処理を行うステップは、
   各種対象の初期化対象モデルを取得するように、抽出した各対象の特徴に基づき、それぞれ各種対象の対象モデルに初期化処理を行い、
   事前に設定した対象モデル間の関係に基づき、前記複数種の対象の初期化対象モデルを検証し、及び
   検証が成功すれば、各種対象の初期化対象モデルを含む前記初期化シーンモデルを取得するステップを含む、方法
2. 前記シーンモデルが存在すると判断した場合は、抽出した各種対象の特徴が前記シーンモデルにマッチングするか否かを判断するステップ、
   抽出した各種対象の特徴が前記シーンモデルにマッチングすると判断した場合は、前記シーンモデルを更新するステップ、及び
   更新したシーンモデルを出力するステップをさらに含む、請求項１に記載の方法。
3. 抽出した少なくともいずれかの対象の特徴が前記シーンモデルにマッチングしないと判断した場合は、初期化シーンモデルを取得するように、抽出した各対象の特徴に基づき改めてシーンモデルの初期化処理を行うステップ、及び
   前記初期化シーンモデルを出力するステップをさらに含む、請求項２に記載の方法。
4. 各種対象の対象モデルに対して初期化処理を行うステップは、
   各種対象に対して、所定回数で抽出した特徴における少なくともいくつかの特徴を選択し、
   前記所定回数と同じ数の複数の候補対象モデルを取得するように、毎回選択した前記少なくともいくつかの特徴に基づきそれぞれ前記対象モデルのパラメータを演算し、
   抽出した特徴に基づき各候補対象モデルの支点数とコストのうちの少なくともいずれかを演算し、前記支点数は、抽出した特徴と候補対象モデルとの間のマッチング度を表し、前記コストは、抽出した特徴と前記候補対象モデルとの間の偏差を表し、及び
   前記マッチング度と前記コストのうちの少なくともいずれかに基づき、前記初期化対象モデルとして、前記複数の候補対象モデルから対象モデルを確定するステップを含む、請求項１に記載の方法。
5. 前記複数種の対象の初期化対象モデルを検証するステップは、
   事前に設定した対象モデル間の位置関係に基づき、前記複数種の対象の前記初期化対象モデルに位置関係検証を行うステップ、及び
   事前に設定した対象モデル間の内容関係に基づき、前記複数種の対象の前記初期化対象モデルに内容関係検証を行うステップのうちの少なくともいずれかを含む、請求項１に記載の方法。
6. 前記シーンモデルを更新するステップは、
   抽出した各種対象の特徴に基づき、前記シーンモデルに含まれている各種対象の対象モデルを更新し、及び
   更新した各種対象の対象モデルと対象モデル間の関係に基づき、前記シーンモデルを更新するステップを含む、請求項２に記載の方法。
7. 複数種の対象を含む物理的シーンのモデルを構築する装置であって、
   前記物理的シーンの画像を取得する取得モジュール、
   前記画像から前記複数種の対象の各種対象の特徴を抽出する抽出ユニット、
   シーンモデルが存在するか否かを判断する判断ユニット、
   前記シーンモデルが存在しないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づきシーンモデルの初期化処理を行う初期化ユニット、及び
   前記初期化シーンモデルを出力する第一出力ユニットを含み、
   前記初期化ユニットは、
   各種対象の初期化対象モデルを取得するように、抽出した各種対象の特徴に基づき、それぞれ各種対象の対象モデルに初期化処理を行うサブ初期化ユニット、
   事前に設定した対象モデル間の関係に基づき、前記複数種の対象の初期化対象モデルを検証する検証ユニット、及び
   検証が成功した場合は、各種対象の初期化対象モデルを含む前記初期化シーンモデルを取得する取得ユニットを含む、装置。
8. 前記シーンモデルが存在すると判断した場合は、抽出した各種対象の特徴が前記シーンモデルにマッチングするか否かを判断するマッチングユニット、
   抽出した各種対象の特徴が前記シーンモデルにマッチングすると判断した場合は、前記シーンモデルを更新する更新ユニット、及び
   更新したシーンモデルを出力する第二出力ユニットをさらに含む、請求項７に記載の装置。
9. 抽出した少なくとも一種の対象の特徴が前記シーンモデルにマッチングしないと判断した場合は、初期化シーンモデルを取得するように、抽出した各種対象の特徴に基づき、再度シーンモデルの初期化処理を行う再初期化ユニット、及び
   前記初期化シーンモデルを出力する第三出力ユニットをさらに含む、請求項８に記載の装置。
10. 前記サブ初期化ユニットは、
    各種対象に対して、所定回数、抽出した特徴における少なくともいくつかの特徴を選択する選択ユニット、
    前記所定回数と同じ数の複数の候補対象モデルを取得するように、毎回選択した前記少なくともいくつかの特徴に基づき、前記対象モデルのパラメータをそれぞれ演算する第一演算ユニット、
    抽出した特徴に基づき、各候補対象モデルの支点数とコストの少なくともいずれかを演算し、前記支点数は、抽出した特徴と候補対象モデル間のマッチング度を表し、前記コストは抽出した特徴と前記候補対象モデル間の偏差を表す、第二演算ユニット、及び
    前記マッチング度と前記コストの少なくともいずれかに基づき、前記初期化対象モデルとして、前記複数の候補対象モデルから対象モデルを確定する対象モデル確定ユニットを含む、請求項７に記載の装置。
11. 前記検証ユニットは、
    事前に設定した対象モデル間の位置関係に基づき、前記複数種の対象の前記初期化対象モデルに位置関係検証を行う第一検証ユニット、及び
    事前に設定した対象モデル間の内容関係に基づき、前記複数種の対象の前記初期化対象モデルに内容関係検証を行う第二検証ユニットのうちの少なくともいずれかを含む、請求項７に記載の装置。
12. 前記更新ユニットは、
    抽出した各種対象の特徴に基づき、前記シーンモデルに含まれている各種対象の対象モデルを更新する第一更新ユニット、及び
    更新した各種対象の対象モデルと対象モデル間の関係に基づき、前記シーンモデルを更新する第二更新ユニットを含む、請求項８に記載の装置。
13. 運転情報を取得するステップ、
    複数種の道路アセンブリを含む道路環境のモデルを取得するステップ、
    前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成するステップ、及び
    前記操作情報を出力するステップを含み、
    前記道路環境のモデルは、
    前記道路環境の画像を取得するステップ、
    前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出し、道路環境のモデルが存在するか否かを判断するステップ、及び
    道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行うステップによって構築され、
    前記道路環境のモデルの初期化処理を行うステップは、
    各種の道路アセンブリの初期化道路アセンブリモデルを取得するように、抽出した各種の道路アセンブリの特徴に基づき、それぞれ各種の道路アセンブリの道路アセンブリモデルに初期化処理を行い、
    事前に設定した道路アセンブリモデル間の関係に基づき、前記複数種の道路アセンブリの初期化道路アセンブリモデルを検証し、及び
    検証が成功すれば、各種の道路アセンブリの初期化道路アセンブリモデルを含む前記初期化シーンモデルを取得するステップを含む、運転支援方法。
14. 前記運転を支援するための操作情報を生成するステップは、
    前記運転情報と前記道路環境のモデルに基づき、速度早期警報情報、方向早期警報情報、障害物早期警報情報、緊急ブレーキ情報のうちの少なくともいずれかを生成するステップを含む、請求項１３に記載の運転支援方法。
15. 前記操作情報を出力するステップは、
    前記車両に含まれているディスプレイを介して前記操作情報を表示するように、前記操作情報を前記ディスプレイに出力するステップ、
    前記車両に含まれているスピーカを介して前記操作情報を出力するように、前記操作情報を前記スピーカに出力するステップ、及び
    前記操作情報を、前記操作情報に基づき前記車両に含まれている運転アセンブリを制御するための、前記車両に含まれているコントローラに出力するステップのうちの少なくともいずれかを含む、請求項１３に記載の運転支援方法。
16. 運転情報を取得する第一取得ユニット、
    複数種の道路アセンブリを含む道路環境のモデルを取得する第二取得ユニット、
    前記運転情報と前記道路環境のモデルに基づき、運転を支援するための操作情報を生成する生成ユニット、及び
    前記操作情報を出力する出力ユニットを含み、
    前記道路環境の画像を取得する第三取得ユニット、
    前記画像から前記複数種の道路アセンブリにおける各種の道路アセンブリの特徴を抽出する抽出ユニット、
    道路環境のモデルが存在するか否かを判断する判断ユニット、及び
    道路環境のモデルが存在しないと判断した場合は、初期化シーンモデルを前記道路環境のモデルとして取得するように、抽出した各種の道路アセンブリの特徴に基づき道路環境のモデルの初期化処理を行う初期化ユニットをさらに含み、
    前記初期化ユニットは、
    各種の道路アセンブリの初期化道路アセンブリモデルを取得するように、抽出した各種の道路アセンブリの特徴に基づき、それぞれ各種の道路アセンブリの道路アセンブリモデルに初期化処理を行い、
    事前に設定した道路アセンブリモデル間の関係に基づき、前記複数種の道路アセンブリの初期化道路アセンブリモデルを検証し、及び
    検証が成功すれば、各種の道路アセンブリの初期化道路アセンブリモデルを含む前記初期化シーンモデルを取得することを行う、運転支援装置。
17. コンピュータに、請求項１〜６の任意の１項に記載の複数種の対象を含む物理的シーンのモデルを構築する方法、又は、請求項１３〜１５の任意の１項に記載の運転支援方法を実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images