JP2024172398A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Abstract

【課題】画像より特定の物体を検出する際に、障害物によるオクルージョンが物体を分断していても、複数個に分かれることなく検出を行う技術を提供する。
【解決手段】画像処理装置は、入力画像を受け付ける入力部と、入力画像から特徴量を抽出する特徴量抽出部と、上記特徴量を用いて画像内の物体領域を検出する物体領域検出部と、上記物体領域における物体の端点の座標を推定する物体端点推定部と、上記入力画像上で２つの物体領域における上記端点の間を補完する軌道を算出する物体架橋部と、上記軌道上の輝度値推移より、上記２つの物体領域が同一の物体に含まれるか判定する同一物体判定部と、上記物体領域検出部の出力した物体領域を上記同一物体判定部の出力した判定結果に基づき修正する物体領域修正部と、修正された上記物体領域を出力する出力部とを含む。
【選択図】図２

Description

本発明は画像中の特定の物体を検出する画像処理技術に関する。

近年、カメラ等で撮像された画像の解析において、特定の物体の検出が多く行われる。物体の検出においては、障害物による当該物体の遮蔽による検出精度の低下を防ぐため、例えば特開２０２１－０５６８９９（特許文献１）に記載の技術がある。この広報には、「画像から検出された動体領域の位置と、画像における所定領域とに基づき、当該所定領域の少なくとも一部の色を動体領域の色に基づき補正した補正画像を生成する」という記載がある。

特開２０２１－０５６８９９号公報

特許文献１では、オクルージョンが発生し得るとして設定された所定領域を分割した小領域のうち、検出対象物体と隣接している部分のみ補正される。しかしオクルージョンが広範囲にわたる場合、対象物体と隣接しないオクルージョン小領域が存在してしまう。なおかつ当該物体がオクルージョンにより分断される場合、補正画像においても物体の分断は解消されず、物体は複数個に分かれて検出される事態が想定される。

そこで本発明では、オクルージョンにより分断された物体が複数個に分かれて検出されるという課題を抑制する技術を提供することを目的とする。

上記課題を解決するために、代表的な本発明の画像処理装置、方法及びシステムの一つは、検出された二つの物体領域について両領域間の輝度値の推移を解析し、両物体が障害物により分断された単一の物体であると判定された場合には、両物体領域を統合し、当該物体の検出結果を修正するものである。

本発明の他の態様は、画像中の特定の物体を検出する画像処理装置であって、入力画像を受け付ける入力部と、前記入力画像から特徴量を抽出する特徴量抽出部と、前記特徴量を用いて画像内の物体領域を検出する物体領域検出部と、前記物体領域における物体の端点の座標を推定する物体端点推定部と、前記入力画像上で２つの物体領域における前記端点の間を補完する軌道を算出する物体架橋部と、前記軌道上の輝度値推移より、前記２つの物体領域が同一の物体に含まれるか判定する同一物体判定部と、前記物体領域検出部の出力した物体領域を前記同一物体判定部の出力した判定結果に基づき修正する物体領域修正部と、修正された前記物体領域を出力する出力部と、を含む。

本発明の他の態様は、装置が画像中の特定の物体を検出する画像処理方法であって、装置が、入力画像より物体領域を検出し、前記装置が、検出された２つの物体領域間の輝度値推移を抽出し、前記装置が、前記輝度値推移より前記２つの物体領域が同一の物体の含まれるかを判定し、前記装置が、前記判定の結果に応じて前記物体領域を修正する、ことを含む。

本発明の一態様によれば、画像上で障害物によるオクルージョンが分断する物体であっても、複数に分かれることがなく、単一の物体として検出することのできる装置、方法及びシステムを提供可能となる。

実施例１に係る画像処理装置のハードウェア構成の一例を示す図 実施例１に係る画像処理装置の機能構成の一例を示すブロック図 実施例１に係る画像処理方法の処理フローの一例を説明するフローチャート 実施例１に係る物体領域間を架橋する処理を説明する図 実施例１に係る物体領域間を架橋する処理を説明する図 実施例１に係る物体領域間を架橋する処理を説明する図 実施例１に係る物体領域間を架橋する処理を説明する図 実施例１に係る物体領域間の輝度値を抽出する処理を説明する図 実施例２に係る画像処理装置の機能構成の一例を示すブロック図 実施例２に係る画像処理方法の処理フローの一例を説明するフローチャート 実施例２に係る物体領域の組み合わせを選択する処理を説明する図 実施例２に係る物体領域の組み合わせを選択する処理を説明する図 実施例２に係る物体領域の組み合わせを選択する処理を説明する図 実施例２に係る物体領域の組み合わせを選択する処理を説明する図 実施例３に係る画像処理装置の機能構成の一例を示すブロック図 実施例３に係る画像処理方法の処理フローの一例を説明するフローチャート 実施例４に係る画像処理システムのハードウェア構成の一例を示す図

以下、添付図面に従って実施例を説明する。本明細書の一実施例は、検出された二つの物体領域について両領域間の輝度値の推移を解析し、両物体が障害物により分断された単一の物体であると判定された場合には、両物体領域を統合し、当該物体の検出結果を修正する。これにより、画像上で障害物によるオクルージョンが分断する物体であっても、単一の物体として検出することができる。

実施例１は、画像中より特定物体の領域を検出し、さらに領域間の輝度値推移を参照することで、障害物によるオクルージョンが対象物体を分断している場合にその分断を判定し、検出された物体領域を修正する画像処理装置及びその方法を提供する。

より具体的には、画像上で、障害物のオクルージョンにより対象物体の領域が複数個に分かれて検出された場合に、分断された物体領域間を結ぶ線を算出し、その線上の輝度値推移からオクルージョンによる分断の有無を判定する。これにより同一の物体に由来する物体領域を統合することができ、物体の検出において過検出を抑制することが可能となる。様々な種類の対象物体の検出が可能であり、例えば、棒状の桿菌、ナノロッド（ナノスケール及び棒状の金属または半導体材料)、人体等を含む。
＜画像処理装置のハードウェア構成＞

図１は、実施例１における画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１は、インターフェース装置１０と、演算装置１１と、メモリ１２と、バス１３と、を備える。インターフェース装置１０、演算装置１１、メモリ１２はバス１３を介して情報の送受信を行う。

画像処理装置１の各部について説明する。インターフェース装置１０は、画像処理装置１の外部にある装置と信号の送受信を行う通信装置である。インターフェース装置１０と通信を行う装置としては、カメラ、顕微鏡等の撮像装置２０、モニタ、プリンタ等の表示装置２１がある。

演算装置１１は、画像処理装置１内での各種処理を実行する装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。演算装置１１によって実行される機能については、図２を用いて後述する。

メモリ１２は、演算装置１１が実行するプログラムや、その処理で使用するネットワークとその重み、処理結果等を記憶する装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。
＜画像処理装置の機能構成＞

図２は、実施例１における画像処理装置の機能構成の一例を示すブロック図である。

画像処理装置１は、入力部１００と、特徴量抽出部１０１と、物体領域検出部１０２と、物体端点推定部１０３と、物体架橋部１０４と、橋部輝度値抽出部１０５と、同一物体判定部１０６と、物体領域修正部１０７と、出力部１０８と、を備える。各機能部は、演算装置１１上で動作するプログラムとして実現しても良いし、専用のハードウェアを有するモジュールとして実現しても良い。

入力部１００は、インターフェース装置１０より入力される、対象物体を検出する画像を受け付ける。特徴量抽出部１０１は、入力部１００に入力された画像について特徴量を算出する。物体領域検出部１０２は、特徴量抽出部１０１が出力する特徴量を基に、画像内における対象物体の領域を当該物体に外接する矩形として算出する。また特徴量を基に、検出された各領域が示す物体の識別結果、及び識別結果の確からしさを示す尤度を算出する。

物体端点推定部１０３は、物体領域検出部１０２の出力する全ての物体領域について、各物体の２つの端点の座標値を算出する。物体架橋部１０４は、物体領域検出部１０２の出力する物体領域のうち２つの物体領域を選択した組み合わせについて、物体端点推定部１０３の出力する両領域の物体端点を結ぶ線を、入力画像における座標値の集合として算出する。

橋部輝度値抽出部１０５は、入力部１００に入力された画像より、物体架橋部１０４の出力する線上の輝度値を抽出する。同一物体判定部１０６は、物体架橋部１０４により架橋された各物体領域の組み合わせについて、橋部輝度値抽出部１０５の出力する端点を結んだ線上の輝度値を入力とし、オクルージョンにより分断された同一の物体に由来する物体領域であるか否かを判定する。

物体領域修正部１０７は、物体領域検出部１０２の出力する対象物体領域を、同一物体判定部１０６の出力する判定結果に基づいて修正する。出力部１０８は、物体領域修正部１０７が修正した対象物体領域の検出結果を装置外部へ出力する。
＜各部の構成と動作＞

以下、機能部の内、特徴量抽出部１０１、物体領域検出部１０２、物体端点推定部１０３、物体架橋部１０４、橋部輝度値抽出部１０５、同一物体判定部１０６、物体領域修正部１０７、出力部１０８の動作について詳細に説明する。

特徴量抽出部１０１は、入力部１００に入力された画像について、特徴量を算出する。特徴量の算出にはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の深層学習を使用する。

物体領域検出部１０２は、特徴量抽出部１０１が出力する特徴量を基に、画像内における対象物体の領域、検出された各領域が示す物体の識別結果、及び識別結果の確からしさを示す尤度を算出する。なお、物体領域、識別結果及び尤度の算出には、ＣＮＮ等の深層学習を使用する。

学習は、入力する画像並びに正しい物体領域及び識別結果の多くの学習データセットを用意する。画像を特徴量抽出部１０１に入力し、物体領域検出部１０２からの出力と正解とを比較し、その比較結果により特徴量抽出部１０１と物体領域検出部１０２のパラメータを更新する。検出する対象が１種類の場合にも、検出された物体領域が対象の物体を示すことを識別結果として算出し、また対象の物体であることの尤度が計算されてよい。

物体端点推定部１０３は、物体領域検出部１０２の出力する全ての物体領域について、各物体の２つの端点の座標値を算出する。上記端点の推定にはＣＮＮ等の深層学習を使用する。学習は、検出された物体領域と正しい端点の座標値を示す多くの学習データセットを用意する。物体領域の画像を物体端点推定部１０３に入力し、物体端点推定部１０３からの出力と正解とを比較し、その比較結果により物体端点推定部１０３のパラメータを更新する。なお、端点の算出は、予め設定された条件に基づいて実行されてもよい。例えば、物体の重心を通る直線において最も長い線と物体の輪郭との交点を、端点としてもよい。

物体架橋部１０４は、物体領域検出部１０２の出力する物体領域のうち２つの同一識別結果の物体領域を選択した各組み合わせについて、物体端点推定部１０３の出力する両領域の物体端点を結ぶ線（軌道）を、入力画像における座標値の集合として算出する。架橋する線は両物体の近接する端点同士を直線で結んだ折れ線であっても良いし、対象物体の形状が湾曲する場合に備え、スプライン補間等の手法により両物体の端点間を補完した曲線であっても良い。

橋部輝度値抽出部１０５は、物体領域検出部１０２の出力する物体領域のうち２つの領域を選択した各組み合わせについて、入力部１００に入力された画像より、物体架橋部１０４の出力する線上の座標の輝度値を抽出する。抽出した輝度値は１次元のベクトル（輝度値の配列）とし、同一物体判定部１０６へ出力する。なお抽出する輝度値は、上記入力画像の画素値を直接抽出しても良いし、ノイズを除去するために上記入力画像に平滑化処理を加えた画像の画素値を抽出しても良い。カラー画像において、画素の輝度は、Ｒ、Ｇ、Ｂの輝度値から所定の式により算出されてよい。

同一物体判定部１０６は、物体領域検出部１０２の出力する物体領域のうち２つの領域を選択した各組み合わせについて、橋部輝度値抽出部１０５の出力する架橋された線上の輝度値を入力とし、障害物により分断された同一の物体であるか否かを判定する。判定は上記線上の輝度値推移を予め設定した輝度値推移のパターンと比較しても良いし、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の機械学習やＣＮＮ等の深層学習を使用しても良い。上記判定においては、架橋された両物体領域が分断された同一の物体に由来することの確からしさを示す尤度を算出する。算出された尤度が予めユーザにより設定された閾値以上である場合、両物体領域は同一の物体に由来するものと判定される。

同一物体判定部１０６のモデルの学習は、線上の輝度値推移を示す１次元ベクトルと、同一物体である又は異なる物体であることの正解を示す多くの学習データセットを用意する。正解の尤度は、例えば、同一物体であれば１であり、異なる物体であれば０であってもよい。線上の輝度値を示す１次元ベクトルをモデルに入力し、出力された尤度と正解とを比較し、その比較結果によりモデルのパラメータを更新する。上述のように、同一物体判定部１０６は、モデルを使用して同一物体であることの尤度を算出し、その値を予め設定された閾値と比較して判定してよい。

上述のように、同一物体判定部１０６は、線上の輝度値推移を予め設定した輝度値推移のパターンと比較し、その類似度に応じて、二つの物体領域が同一物体か否かの判定を行ってもよい。図５を参照して後述するように、障害物とその障害物により分断された同一の物体の輝度値推移は、特定の形状（パターン）を有し得る。

具体的には、障害物の影が背後の対象物体上に生じることで、輝度値推移上に図５に示すような谷状の輝度値低下部分が生じ得る。前面にある障害物が背面の物体に影を落とすとき、輝度値推移上では、前面障害物から影領域に差し掛かる点で輝度値は急激に落ち込み、前面障害物から離れるに伴い緩やかに影は薄まり輝度値は高まる。そのため、輝度値推移に前記輝度値低下のパターンが存在するとき、前面に障害物となる物体が存在していると判断できる。

障害物により分断された同一物体を示す１又は複数の輝度値推移のパターンを予め用意し、何れかのパターンとの類似度が閾値を超える場合、二つの物体領域は、障害物により分断された同一の物体の部分と判定されてもよい。または、二つの異なる物体を示す１又は複数の輝度値推移のパターンをさらに用意し、最も類似度が大きいパターンが示す状態が、現在の対象の状態であると判定してもよい。

物体領域修正部１０７は、物体領域検出部１０２の出力する物体領域のうち２つの領域を選択した各組み合わせについて、同一物体判定部１０６の出力する判定結果に基づいて物体領域を修正する。架橋された２つの物体領域が同一物体判定部１０６により同一の物体に由来すると判定された場合には、両物体領域を削除し、両物体領域に外接する矩形を新たな物体領域として作成する。また新たな物体領域の尤度は、物体領域検出部１０２により算出された修正前の両物体領域のいずれかの尤度を採用しても良いし、両物体領域の尤度の平均値等の新たな尤度を算出し採用しても良い。

出力部１０８は、物体領域検出部１０２が出力した対象物体領域、あるいは物体領域修正部１０７が修正した対象物体領域の検出結果、また検出された物体領域の識別結果及び尤度を装置外部へ出力する。出力の形式は、対象物体領域を示す座標値、識別結果及びその尤度を数値データとして出力しても良いし、入力画像上に矩形や文字として描画し画像として出力しても良い。

図３は、実施例１に係る画像処理方法の処理手順の例を示したフローチャートである。以下では、画像処理装置１の各機能部を動作主体として記述するが、演算装置１１を動作主体とし、演算装置１１がプログラムとしての各機能部を実行するように読み替えても良い。

入力部１００は、対象物体を検出する画像を受け付け、特徴量抽出部１０１に入力する。（ステップ２００）

特徴量抽出部１０１は、メモリ１２に格納される特徴抽出器に係る情報を取得し、特徴抽出器を作成する。特徴抽出器に係る情報とは、例えばネットワークの構造式やネットワークにおける各レイヤーの重み係数等である。さらに当該特徴抽出器を用いて、入力された画像について特徴量を算出する。（ステップ２０１）

物体領域検出部１０２は、特徴量抽出部１０１で抽出された特徴量より、上記入力画像における対象物体の領域と、各領域の物体識別結果及び識別結果の確からしさを示す尤度を算出する。検出された上記物体領域は、物体端点推定部１０３及び物体領域修正部へ出力する。（ステップ２０２）

図４Ａは、ステップ２００において受け付ける入力画像上で生じ得る、障害物３０１によるオクルージョンが検出対象の物体３００を分断する様子の一例を示した図であり、図４Ｂは、ステップ２０２が出力し得る、上記分断により領域３０２と領域３０３に分かれて検出される物体３００の一例を示した図である。

物体端点推定部１０３は、物体領域検出部１０２で検出された各物体領域において、物体の持つ２つの端点の座標を算出する。（ステップ２０３）

図４Ｃは、図４Ｂにおける物体領域３０２及び物体領域３０３について、ステップ２０３が出力する各物体の端点座標推定結果の一例を示した図である。各物体領域からは２つの端点座標が推定されるため、物体領域３０２からは端点座標３０４及び端点座標３０５が、物体領域３０３からは端点座標３０６及び端点座標３０７が推定される。

物体架橋部１０４は、物体領域検出部１０２で検出された物体領域のうち、２つを選択した組み合わせについて、物体端点推定部１０３により算出された計４つの端点を繋ぐ一本の線を入力画像における座標値の集合として算出する。（ステップ２０４）

図４Ｄは、ステップ２０４の出力する、物体領域３０２中の物体端点３０４及び物体端点３０５と、物体領域３０３中の物体端点３０６及び物体端点３０７とを結ぶ線３０８の一例を示した図である。ここで、線３０８は、物体領域３０２と物体領域３０３が同一の物体に由来すると仮定した場合の、上記物体の中心を通る軌道とみなすことができ、この軌道上のオクルージョンの有無を判定することで、物体領域３０２と物体領域３０３について上記同一物体であることの判定が可能となる。

橋部輝度値抽出部１０５は、上記入力画像における、物体架橋部１０４の算出した線上の輝度値を抽出し、１次元のベクトルを作成する。（ステップ２０５）

図５は、ステップ２０５の抽出し得る、入力画像における線３０８上の輝度値推移３０９の一例を示した図である。輝度値推移３０９からは、例えば、輝度値推移中央の凸部から輝度値の高い障害物が存在していることや、上記凸部の両脇の凹部が中央から端部にかけて急激な輝度値低下と緩やかな輝度値上昇がみられることから上記障害物の影が存在していること、すなわち入力画像において物体３００の前面にあること等が推定できる。

仮に前面にある障害物の輝度値が低い場合にも、中央から端部に掛けて緩やかに輝度値の上昇する凹部が存在することから推定できる。また上記の凹凸形状が複数存在する場合、前面に存在する障害物もまた複数存在すると推定できる。また、凸部の両脇に凹部が存在する場合にも、凹部が急激な輝度値低下と急激な輝度値上昇により生じている場合には、ふたつの別物体がそれぞれ背景に影を落としていると推定でき、状態は、同一物体の分断ではないとみなすことができる。

同一物体判定部１０６は、橋部輝度値抽出部１０５により算出されたベクトルを入力とし、上記物体領域の組み合わせが、オクルージョンにより分断された、同一の物体に由来するものであるかを判定する。（ステップ２０６）

物体領域修正部１０７は、物体領域検出部１０２で検出された物体領域のうち、２つを選択した組み合わせについて、上記物体領域の組み合わせについて同一物体判定部１０６が同一の物体に由来すると判定をした場合に、物体領域検出部１０２の出力した両物体領域を統合する。（ステップ２０７）

上記ステップ２０４、ステップ２０５、ステップ２０６、ステップ２０７は、２つの物体領域を選択した全ての組み合わせについて繰り返し行われる。

出力部１０８は、物体領域検出部１０２が検出し、同一物体判定部１０６の出力する判定に応じて物体領域修正部１０７が修正を施した物体領域を出力する。（ステップ２０８）

以上により、画像より対象の物体を検出し、オクルージョンにより分断された物体が複数に分かれて検出されることを抑制する画像処理装置及び方法が提供可能となる。

実施例２は、実施例１におけるステップ２０４、ステップ２０５、ステップ２０６、ステップ２０７の処理の繰り返し回数を減らし、スループットを向上する画像処理装置及びその方法を提供する。

図６は、実施例２における画像処理装置の機能構成を示すブロック図である。実施例２における画像処理装置１は、実施例１における画像処理装置１（図１参照）と同様の構成を多く含むが、新たな構成として物体候補選択部１０９を含む。以下では、実施例１と重複する点は省力し、異なる構成について主に説明する。
＜各部の構成と動作＞

入力部１００、特徴量抽出部１０１、物体領域検出部１０２、物体端点推定部１０３、出力部１０８の動作は、実施例１と同様である。そのため以下では物体候補選択部１０９、物体架橋部１０４、橋部輝度値抽出部１０５、同一物体判定部１０６、物体領域修正部１０７について説明する。

物体候補選択部１０９は、物体領域検出部１０２で検出された物体領域のうち、オクルージョンにより分断されている可能性のある領域の組み合わせを１つ、あるいは複数選択する。具体的には、物体端点推定部１０３により出力される各領域中の物体端点座標を用い、それら位置関係により上記組み合わせを選択する。物体端点座標の位置関係としては、例えば、２つの領域の最も近接する端点間の距離を算出して使用しても良いし、両領域の近接する端点同士を直線で結び、隣り合う直線のなす角度を算出して使用しても良い。

物体架橋部１０４は、物体候補選択部１０９で選択された物体領域の組み合わせについて、物体端点推定部１０３の出力する両領域の物体端点を結ぶ線を、入力画像における座標値の集合として算出する。その他の動作は実施例１と同様である。

橋部輝度値抽出部１０５は、物体候補選択部１０９で選択された物体領域の組み合わせについて、入力部１００に入力された画像より、物体架橋部１０４の出力する線上の座標の輝度値を抽出する。その他の動作は実施例１と同様である。

同一物体判定部１０６は、物体候補選択部１０９で選択された物体領域の組み合わせについて、橋部輝度値抽出部１０５の出力する架橋された線上の輝度値を入力とし、障害物により分断された同一の物体であるか否かを判定する。その他の動作は実施例１と同様である。

物体領域修正部１０７は、物体候補選択部１０９で選択された物体領域の組み合わせについて、同一物体判定部１０６の出力する判定結果に基づいて物体領域検出部１０２の出力した物体領域を修正する。

図７は、実施例２に係る画像処理方法の処理手順の例を示したフローチャートである。以下では、画像処理装置１の各機能部を動作主体として記述するが、演算装置１１を動作主体とし、演算装置１１がプログラムとしての各機能部を実行するように読み替えても良い。また実施例２における画像処理方法は、実施例１における画像処理方法（図３参照）と同様のステップを多く含むが、新たなステップとしてステップ２０９を含む。以下では、図７に示す処理手順について、実施例１と重複する部分は省略し、異なるステップについて説明する。

実施例２におけるステップ２００、ステップ２０１、ステップ２０２、ステップ２０８の処理は、実施例１における画像処理方法と同様である。

物体端点推定部１０３は、物体領域検出部１０２で検出された各物体領域において、物体の持つ２つの端点の座標を算出し、物体候補選択部１０９へと出力する。（ステップ２０３）

物体候補選択部１０９は、物体領域検出部１０２で検出された物体領域のうち、２つの領域を選んだ各組について、物体端点推定部１０３で算出された各物体の端点座標の位置関係を算出する。上記物体端点座標の位置関係とは、上記２つの物体領域の間で最も近接する端点座標間の距離や、両領域の近接する端点同士を直線で結んだときの、隣り合う直線のなす角度等である。（ステップ２０９）

さらに物体候補選択部１０９は、上記端点座標の位置関係より、同一の物体に由来し得る２つ物体領域の組み合わせの候補を選択する。例えば、２物体領域間で最も近接する端点座標が一定距離よりも離れている場合に、距離的に離れているという理由で同一の物体に由来し得ないと判断しても良いし、上記直線同士が一定の角度以下で交わる場合に、対象とする物体は極端に曲がらないという理由で同一の物体に由来し得ないと判断しても良い。（ステップ２１０）

図８Ａから８Ｄは、ステップ２０９により算出された物体端点座標の位置関係の例を示した図である。また図８Ａは両物体の近接する端点座標の距離４０２が短い例を示し、図８Ｂは上記距離４０５が長い例を示す。ステップ２１０は例えば、ユーザが対象物体に応じて予め設定した物体端点間距離の閾値が距離４０２よりも長く、距離４０５よりも短い場合には、領域４００と領域４０１の組み合わせは同一物体に由来する可能性が高いとして選択し、領域４０３と領域４０４の組み合わせは同一物体に由来する可能性が低いとして選択せず、以降のステップへ出力する物体領域の組み合わせを絞り込む。

また図８Ｃは両物体の近接する端点同士を直線で結んだときの、隣り合う直線のなす角度４０８が大きい例を示し、図８Ｄは上記角度４１１が小さい例を示す。ステップ２１０は例えば、ユーザが対象物体に応じて予め設定した物体端点間を結んだ直線同士のなす角度の閾値が角度４０８より小さく、角度４１１よりも大きい場合には、領域４０６と領域４０７の組み合わせは同一物体に由来する可能性が高いとして選択し、領域４０９と領域４１０の組み合わせは同一物体に由来する可能性が低いとして選択せず、以降のステップへ出力する物体領域の組み合わせを絞り込む。

物体架橋部１０４、橋部輝度値抽出部１０５、同一物体判定部１０６、物体領域修正部１０７は、物体候補選択部１０９により同一物体に由来し得るとして選択された２つの物体領域の各組み合わせについて、実施例１における処理と同様に物体間の架橋（ステップ２０４）、架橋部分の輝度値の取得（ステップ２０５）、両物体領域が同一の物体に由来することの判定（ステップ２０６）、物体領域の修正（ステップ２０７）を行う。

上記ステップ２０４、ステップ２０５、ステップ２０６、ステップ２０７については、物体候補選択部の出力する全ての２物体領域の組み合わせについて、これを繰り返す。

以上により、実施例1における物体領域間の架橋（ステップ２０４）、架橋部分の輝度値の抽出（ステップ２０５）、両物体領域が同一の物体に由来することの判定（ステップ２０６）、物体領域の修正（ステップ２０７）の回数を削減し、スループットを向上する画像処理装置及び方法が提供可能となる。

実施例３は、実施例１における、同一物体に由来する物体領域の判定精度を向上する画像処理装置及びその方法を提供する。

図９は、本発明の実施例２における画像処理装置の機能構成の例を示すブロック図である。実施例３における画像処理装置１は、実施例１における画像処理装置１（図１参照）と同様の構成を多く含むが、新たな構成として物体形状抽出部１１０及び物体輝度値抽出部１１１のいずれか、または両方を含む。以下では、実施例１と重複する点は省力し、異なる構成について説明する。
＜各部の構成と動作＞

入力部１００、特徴量抽出部１０１、物体領域検出部１０２、物体端点推定部１０３、物体架橋部１０４、橋部輝度値抽出部１０５、物体領域修正部１０７、出力部１０８の動作は、実施例１と同様である。そのため以下では物体形状抽出部１１０、物体輝度値抽出部１１１、同一物体判定部１０６について説明する。

物体形状抽出部１１０は、物体領域検出部１０２で検出された各物体領域において、物体の形状に由来する特徴を抽出する。具体的に物体の形状に由来する特徴とは、物体幅の平均及び推移や、物体輪郭の凸凹の程度等である。凹凸の程度は、輪郭粗さを示し、例えば、輪郭線の長さと輪郭平均線との比で表してもよい。上記形状特徴は、画像処理によって物体の詳細な形状を抽出して算出しても良いし、また深層学習等により物体領域の画像を入力として、上記物体の形状に由来する特徴を推定して算出しても良い。

物体輝度値抽出部１１１は、物体領域検出部１０２で検出された各物体領域において、物体の輝度値に由来する特徴を抽出する。具体的に物体の輝度値に由来する特徴とは、各物体領域における平均輝度値や、物体端部間における輝度値の推移等である。上記物体の輝度値特徴は、上記物体領域及び上記物体端点から算出しても良いし、また画像処理や深層学習等により得られた詳細な物体形状を利用して算出しても良い。

同一物体判定部１０６は、物体候補選択部１０９で選択された物体領域の組み合わせについて、障害物により分断された同一の物体であるか否かを判定する。上記判定においては、橋部輝度値抽出部１０５の出力する架橋された線上の輝度値により物体領域間のオクルージョンの有無を判定する。

さらに、物体形状抽出部１１０の出力する物体の形状特徴及び物体輝度値抽出部１１１の出力する物体の輝度値特徴のいずれか、あるいは両方から、両物体における特徴の類似及び連続性を加味し、両物体領域が同一の物体に由来することを判定する。特徴の類似が閾値より高い場合や、特徴の連続性が閾値より高い場合、二つの物体領域が同一物体の部分を示すと判定される。類似は、例えば、差やコサイン類似度で計算できる。連続性は、例えば、隣接端点での特徴の差異から計算されてもよい。上記により同一物体判定部１０６は、障害物によるオクルージョンが別個の物体の間を覆うように存在する場合にも、両物体の諸特徴の類似及び連続性より、両物体が別個の物体であることを判定する。

図１０は、実施例３に係る画像処理方法の処理手順の例を示したフローチャートである。以下では、画像処理装置１の各機能部を動作主体として記述するが、演算装置１１を動作主体とし、演算装置１１がプログラムとしての各機能部を実行するように読み替えても良い。また実施例３における画像処理方法は、実施例１における画像処理方法（図３参照）と同様のステップを多く含むが、新たなステップとしてステップ２１０、ステップ２１１のいずれか、またはその両方を含む。以下では、図７に示す処理手順について、実施例１と重複する部分は省略し、異なるステップについて説明する。

実施例３におけるステップ２００、ステップ２０１、ステップ２０２、ステップ２０３、ステップ２０４、ステップ２０５、ステップ２０７、ステップ２０８の処理は、実施例１における画像処理方法と同様である。

物体形状抽出部１１０は、物体領域検出部１０２の出力した各物体領域について、上記物体の形状に由来する特徴量を抽出する。（ステップ２１１）

物体輝度値抽出部１１１は、物体領域検出部１０２の出力した各物体領域について、上記物体の輝度値に由来する特徴量を抽出する。（ステップ２１２）

同一物体判定部１０６は、橋部輝度値抽出部１０５により算出されたベクトル、物体形状抽出部１１０により出力された物体形状に由来する特徴量、及び物体輝度値抽出部１１１により出力された物体の輝度値に由来する特徴量を入力とし、上記物体領域の組み合わせが、オクルージョンにより分断された、同一の物体に由来するものであるかを判定する。（ステップ２０６）

以上により、実施例１におけるオクルージョンにより分断された同一の物体に由来する物体領域の判定精度を向上する、画像処理装置及び方法が提供可能となる。

実施例４は、実施例１に記載の画像処理装置を用いて対象物体の検出及びオクルージョンにより分断され検出された物体領域の修正を行う画像処理システムである。

図１１は、本発明の実施例４における画像処理システムのハードウェア構成を示す図である。

画像処理システム１０００は、撮像装置１００１と、画像処理装置１と、記憶装置１００２と、表示装置１００３と、を備える。

撮像装置１００１は、対象物体を検出する画像を撮像するための装置であり、例えばカメラや顕微鏡等である。

画像処理装置１は、実施例１に記載の画像処理装置であり、撮像装置１００１により撮像された画像中から対象物体の領域、検出された各領域についての識別結果及びその尤度のいずれか、あるいは複数を算出する。

記憶装置１００２は、ユーザにより予め設定された物体検出に係る情報を保持している。具体的に物体検出に係る情報は、物体名称等の検出対象物体についての情報や、画像処理装置１の出力する尤度に設定する閾値等を含む。

以上により、画像内の対象物体について、オクルージョンにより分断された物体であっても、単一のものとして検出することのできる画像処理システムが提供可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１：画像処理装置、１０：インターフェース部、１２：メモリ、１３：バス、１００：入力部、１０１：特徴量抽出部、１０２：物体領域検出部、１０３：物体端点推定部、１０４：物体架橋部、１０５：橋部輝度値抽出部、１０６：同一物体判定部、１０７：物体領域修正部、１０８：出力部、１０９：物体候補選択部、１１０：物体形状抽出部、１１１：物体輝度値抽出部、１０００：画像処理システム、１００１：撮像装置、１００２：記憶装置、１００３：表示装置

Claims (14)

1. 画像中の特定の物体を検出する画像処理装置であって、
   入力画像を受け付ける入力部と、
   前記入力画像から特徴量を抽出する特徴量抽出部と、
   前記特徴量を用いて画像内の物体領域を検出する物体領域検出部と、
   前記物体領域における物体の端点の座標を推定する物体端点推定部と、
   前記入力画像上で２つの物体領域における前記端点の間を補完する軌道を算出する物体架橋部と、
   前記軌道上の輝度値推移より、前記２つの物体領域が同一の物体に含まれるか判定する同一物体判定部と、
   前記物体領域検出部の出力した物体領域を前記同一物体判定部の出力した判定結果に基づき修正する物体領域修正部と、
   修正された前記物体領域を出力する出力部と、を含む画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記物体架橋部は、前記２つの物体領域における端点間をスプライン補間により補完し、前記２つの物体領域を架橋する曲線軌道を算出する、画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記物体領域検出部の出力する物体領域から、前記物体架橋部へ出力する２つの物体領域の組み合わせを、前記端点の座標の位置関係に基づき選択する物体候補選択部を含む、画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記物体領域検出部の出力する各物体領域について、物体の形状の特徴量を抽出する物体形状抽出部を含み、抽出した前記物体の形状の特徴量を前記同一物体判定部の入力として使用する、画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記物体領域検出部の出力する各物体領域について、物体の輝度値の特徴量を抽出する物体輝度値抽出部を含み、抽出した前記物体の輝度値の特徴量を前記同一物体判定部の入力として使用する、画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記同一物体判定部は、モデルを使用して前記２つの物体領域が同一の物体に含まれるか判定し、
   前記モデルの入力は、前記軌道上の輝度値推移を含み、
   前記モデルは、前記２つの物体領域が同一の物体に含まれることの確からしさを示す尤度を算出し、
   前記モデルは、軌道上の輝度値推移と尤度の組み合わせを含む学習データセットにより学習済みである、画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記物体端点推定部は、モデルを使用して前記物体領域における物体の端点の座標を推定し、
   前記モデルの入力は、検出された前記物体領域の画像を含み、
   前記モデルは、入力された前記物体領域の端点の座標を出力し、
   前記モデルは、物体領域の画像と前記物体領域の端点の座標の組み合わせを含む学習データセットにより学習済みである、画像処理装置。
8. 装置が画像中の特定の物体を検出する画像処理方法であって、
   前記装置が、入力画像より物体領域を検出し、
   前記装置が、検出された２つの物体領域間の輝度値推移を抽出し、
   前記装置が、前記輝度値推移より前記２つの物体領域が同一の物体の含まれるかを判定し、
   前記装置が、前記判定の結果に応じて前記物体領域を修正する、ことを含む画像処理方法。
9. 請求項８に記載の画像処理方法であって、
   前記輝度値推移の抽出は、
   検出された前記物体領域それぞれについて、物体の端点の座標を求め、
   ２つの前記物体領域の各組み合わせについて、前記端点間を補間して、軌道を算出し、
   入力画像より前記軌道上の前記輝度値推移を抽出する、ことを含む、画像処理方法。
10. 請求項９に記載の画像処理方法であって、
    前記輝度値推移の抽出は、前記軌道が算出される２つの物体領域の組み合わせを、前記物体領域の前記端点の位置関係により絞り込む、画像処理方法。
11. 請求項８に記載の画像処理方法であって、
    さらに、検出された前記物体領域それぞれについて、物体の形状の特徴量及び／又は輝度値の特徴量を抽出することを含み、
    前記２つの物体領域が同一の物体に含まれるかの判定は、前記輝度値推移に加え、前記形状の特徴量及び／又は輝度値の特徴量を用いる、画像処理方法。
12. 画像中の特定の物体を検出する画像処理システムであって、
    試料を撮像する撮像装置と、
    請求項１に記載の画像処理装置と、
    前記画像処理装置において使用する情報を保持する記憶装置と、
    前記画像処理装置の出力する画像処理結果を表示する表示装置と、を含む画像処理システム。
13. 請求項１２に記載の画像処理システムであって、
    前記画像処理装置は、前記記憶装置の保持する情報を取得し、処理に用いるモデルの作成を行う、画像処理システム。
14. 請求項１２に記載の画像処理システムであって、
    前記画像処理装置は、前記撮像装置より画像が入力された場合、入力された前記画像における対象物体の検出結果を表示装置に送信し、
    前記表示装置は、前記対象物体の検出結果を出力する、画像処理システム。

Images