JP5808371B2 - 画像認識装置、画像認識方法及び画像認識プログラム - Google Patents

Description

本発明は、画像認識装置、画像認識方法及び画像認識プログラムに関する。

対象物体が描出されている対象物体画像の特徴を抽出し、対象物体を認識する画像認識が知られている。例えば、対象物体とは、認識対象の商品などであり、一例としてカバンなどである。このような画像認識に関する技術として、辞書データを追加する技術が知られている。具体的には、この技術では、対象物体画像から局所領域を切り出し、局所領域から対象物体を認識するための特徴量を画像ごとに算出し、画像ごとに算出された特徴量同士の類似度を局所領域ごとに算出し、類似度が閾値以上となる特徴量同士がある場合に、一方の特徴量を対象物体に対する辞書データとして局所領域ごとに登録する。

特開２０１２−２３８１２１号公報

しかしながら、上記の従来技術では、高精度な画像認識を高速に行うことができるとは限らなかった。具体的には、上記の技術では、対象物体画像の局所領域の特徴量と辞書データに登録されている局所領域の特徴量との間の類似度を局所領域ごとに算出するので、演算量が多く対象物体画像の認識に時間がかかる。また、上記の技術では、画像認識を高速に行うために認識精度を低くすると撮影条件の異なるような粗い画像を認識できなくなり、実用面で耐えられない。このようなことから、上記の従来技術では、高精度な画像認識を高速に行うことができるとは限らなかった。

本願は、上記に鑑みてなされたものであって、高精度な画像認識を高速に行うことができる画像認識装置、画像認識方法及び画像認識プログラムを提供することを目的とする。

本願に係る配信装置は、学習画像を記憶する記憶部と、前記記憶部に記憶されている学習画像を用いて認識対象画像の認識を行う第１の認識部と、第１の認識部によって前記認識対象画像の認識に失敗した場合に、第１の認識部より精細な精度で前記認識対象画像の認識を行う第２の認識部と、第２の認識部によって前記認識対象画像の認識に成功した場合に、認識に成功した前記認識対象画像に関する情報を前記記憶部に登録する登録部とを備えたことを特徴とする。

実施形態の一態様によれば、高精度な画像認識を高速に行うことができるという効果を奏する。

図１は、実施形態に係る配信装置による登録処理の一例を示す説明図である。 図２は、実施形態に係る配信システムの構成例を示す図である。 図３は、実施形態に係る配信装置の構成例を示す図である。 図４は、実施形態に係る学習画像記憶部の一例を示す図である。 図５は、実施形態に係る配信装置による配信処理の一例を示す説明図である。 図６は、実施形態に係る配信装置による認識処理の一例を示す説明図である。 図７は、実施形態に係る配信装置による配信処理を示すフローチャートである。 図８は、実施形態に係る配信装置による第１の認識処理を示すフローチャートである。 図９は、実施形態に係る配信装置による第２の認識処理を示すフローチャートである。 図１０は、配信装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る画像認識装置、画像認識方法及び画像認識プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る画像認識装置、画像認識方法及び画像認識プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．登録処理〕
まず、図１を用いて、第１の実施形態に係る登録処理の一例について説明する。図１は、実施形態に係る配信システムによる登録処理の一例を示す説明図である。図１の例では、配信装置１００によって端末装置１０から送信された認識対象画像に関する情報を学習画像記憶部１２０に登録する登録処理が行われる。

図１の例では、端末装置１０は、端末装置１０を操作するユーザによってカバンＣ１１が描出される認識対象画像Ｐ１２を配信装置１００に送信する。なお、認識対象画像Ｐ１２は、例えば、端末装置１０に内蔵されたカメラによって撮影される。

配信装置１００は、学習画像Ｐ１１を学習画像記憶部１２０に記憶する。なお、学習画像Ｐ１１は、配信装置１００を管理する管理者によって予め登録される。また、配信装置１００は、学習画像Ｐ１１からＢｏＦ（Bag of Features）１１を生成する。例えば、配信装置１００は、Ｖｉｓｕａｌ Ｗｏｒｄｓを用いて学習画像Ｐ１１のＢｏＦ１１を生成する。そして、配信装置１００は、学習画像Ｐ１１とＢｏＦ１１とを対応付けて記憶する。

また、配信装置１００は、端末装置１０から認識対象画像Ｐ１２を受信した場合に、認識対象画像Ｐ１２を認識する第１の認識を行う。例えば、配信装置１００は、受信した認識対象画像Ｐ１２からＢｏＦ１２を生成する。そして、配信装置１００は、学習画像記憶部１２０に記憶されている学習画像のＢｏＦから、ＢｏＦ１２と類似するＢｏＦを検索する。続いて、配信装置１００は、検索されたＢｏＦ毎に、ＢｏＦ１２との間で照合することで第１の確信度を算出する。そして、配信装置１００は、算出された第１の確信度のうち、最も大きい値である最大確信度が判定閾値より高いか否かを判定する。

ここで、最大確信度のＢｏＦがＢｏＦ１１であるものとする。また、ＢｏＦ１１の最大確信度が判定閾値より高いものとする。この場合、配信装置１００は、最大確信度のＢｏＦ１１に対応する学習画像Ｐ１１を認識対象画像Ｐ１２の認識結果とする。すなわち、配信装置１００は、認識対象画像Ｐ１２に描出されるカバンＣ１１を、ＢｏＦ１１に対応する学習画像Ｐ１１に描出されるカバンＣ１１であると認識する。

一方、配信装置１００は、ＢｏＦ１１の最大確信度が判定閾値より低い場合に、認識対象画像Ｐ１２の認識に失敗したと判定する。例えば、配信装置１００は、撮影場所が暗く撮影条件の悪い状態で撮影された不鮮明な認識対象画像である場合などに認識に失敗する。

そして、配信装置１００は、認識対象画像Ｐ１２の認識に失敗した場合に、第１の認識より精細に照合する第２の認識を行う。例えば、配信装置１００は、再判定閾値より高い第１の確信度に対応する全ての学習画像から局所特徴量を抽出する。そして、配信装置１００は、抽出した局所特徴量と類似する特徴量を、学習画像と認識対象画像Ｐ１２との間で対応付けて座標を照合することで第２の確信度を算出する。そして、配信装置１００は、算出された第２の確信度のうち、最も大きい値である最大確信度が学習判定閾値より高いか否かを判定する。

ここで、最大確信度のＢｏＦがＢｏＦ１１であるものとする。また、ＢｏＦ１１の最大確信度が学習判定閾値より高いものとする。この場合、配信装置１００は、最大確信度のＢｏＦ１１に対応する学習画像Ｐ１１を認識対象画像Ｐ１２の認識結果とする。すなわち、配信装置１００は、認識対象画像Ｐ１２に描出されるカバンＣ１１を、ＢｏＦ１１に対応する学習画像Ｐ１１に描出されるカバンＣ１１であると認識する。そして、配信装置１００は、認識に成功した認識対象画像Ｐ１２及びＢｏＦ１２を認識に成功した学習画像Ｐ１１に付されているメタ情報の一形態であるカバンＣ１１のタグと対応付けて学習画像記憶部１２０に登録する。

このように、実施形態に係る配信装置１００は、ＢｏＦを用いて第１の認識を行うので、局所特徴量を用いた認識と比較して演算量が少なく認識対象画像を高速に認識することができる。また、配信装置１００は、第１の認識による認識対象画像の認識に失敗しても、第１の認識より精細な第２の認識を行うので、学習画像と撮影条件が異なる認識対象画像の場合でも高い精度で認識することができる。これにより、配信装置１００は、学習画像と撮影条件が異なる認識対象画像も学習画像として登録することが可能となる。また、配信装置１００は、認識された認識対象画像を学習画像として登録するので、今後、認識対象画像と類似する画像を受信した場合に、かかる画像を高速に認識することができる。これにより、配信装置１００は、高精度な画像認識を高速に行うことができる。

〔２．配信システムの構成〕
次に、図２を用いて、第１の実施形態に係る配信システム１について説明する。図２は、第１の実施形態に係る配信システムの構成例を示す図である。図２に示すように、配信システム１には、端末装置１０と、配信装置１００とが含まれる。端末装置１０、配信装置１００は、それぞれネットワークＮと無線により通信可能に接続される。なお、図２では、配信システム１に、１台の端末装置１０と、１台の配信装置１００とが含まれる例を示したが、配信システム１には、複数台の端末装置１０や、複数台の配信装置１００が含まれてもよい。

端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、携帯電話機、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。例えば、端末装置１０は、内蔵されたカメラによってユーザが認識したい認識対象を撮影することで認識対象が描出される認識対象画像を生成する。そして、端末装置１０は、生成された認識対象画像を配信装置１００に送信する。なお、端末装置１０は、インターネットを介して取得された画像を認識対象画像として配信装置１００に送信してもよい。また、端末装置１０は、配信装置１００から配信されるオンラインショッピングに関するウェブページである商品ページを表示部（例えば、液晶ディスプレイ）に表示する。

配信装置１００は、商品ページを端末装置１０に配信するサーバ装置である。具体的には、配信装置１００は、端末装置１０から認識対象画像が送信された場合に、認識対象画像に描出される商品の認識を行い、認識された商品に関する商品ページを端末装置１０に配信する。

〔３．配信装置の構成〕
次に、図３を用いて、実施形態に係る配信装置１００の構成について説明する。図３は、実施形態に係る配信装置１００の構成例を示す図である。図３に示すように、配信装置１００は、通信部１１０と、学習画像記憶部１２０と、制御部１３０とを有する。なお、配信装置１００は、配信装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。かかる通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０との間で情報の送受信を行う。

（学習画像記憶部１２０について）
学習画像記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。かかる学習画像記憶部１２０は、認識対象画像の比較対象として用いる学習画像を記憶する。例えば、学習画像は、オンラインショッピングサイトで販売される商品の画像である。なお、学習画像は、例えば、配信装置１００を管理する管理者やオンラインショッピングを運営する運営者から入稿される。

ここで、図４に、実施形態に係る学習画像記憶部１２０の一例を示す。図４に示した例では、学習画像記憶部１２０は、「学習画像」、「ＢｏＦ」、「タグ」といった項目を有する。

「学習画像」は、管理者や運営者から入稿された学習画像を示す。図４に示した例では、「学習画像」に、「Ｐ０１」や「Ｐ１０」といった概念的な情報が格納される例を示したが、実際には、静止画像や画像の格納場所を示すファイルパス名などが記憶される。

「ＢｏＦ」は、学習画像から生成されるＢｏＦを示す。例えば、ＢｏＦは、学習画像が入稿された際に、学習画像から局所特徴量を抽出することで生成され、学習画像記憶部１２０に予め記憶される。図４に示した例では、「ＢｏＦ」に、「Ｂ０１」や「Ｂ１０」といった概念的な情報が格納される例を示したが、実際には、学習画像から抽出される特徴ベクトル群を示す。「タグ」は、学習画像に付されているメタ情報を示す。例えば、「タグ」には、メタ情報の一形態として、学習画像に描出される商品を識別するための商品のＪＡＮコードが設定される。

すなわち、図４では、タグ「Ｊ１１」によって識別される商品の学習画像Ｐ１１及びＢｏＦ１１が、記憶されている例を示している。

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、配信装置１００内部の記憶装置に記憶されている各種プログラム（広告抽出プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

かかる制御部１３０は、図３に示すように、受信部１３１と、第１の認識部１３２と、第２の認識部１３３と、登録部１３４と、配信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

（受信部１３１について）
受信部１３１は、端末装置１０から認識対象画像を受信する。例えば、受信部１３１は端末装置１０から認識対象画像が添付されたメールを受信することで認識対象画像を受信する。また、受信部１３１は、例えば、端末装置１９からＨＴＴＰなどのプロトコルにより画像をアップロードされることで認識対象画像を受信してもよい。

（第１の認識部１３２について）
第１の認識部１３２は、受信部１３１によって認識対象画像が受信された場合に、受信した認識対象画像に描出される商品の認識を行う。具体的には、第１の認識部１３２は、認識対象画像と、学習画像記憶部１２０に記憶されている学習画像とを照合することで認識対象画像に描出される商品の認識を行う。

一例を挙げて説明すると、第１の認識部１３２は、受信した認識対象画像からＢｏＦを生成する。具体的には、第１の認識部１３２は、認識対象画像から特徴点を抽出する。続いて、第１の認識部１３２は、ＳＩＦＴ記述子により特徴点周辺パターンをＳＩＦＴ特徴ベクトル（局所特徴量）として抽出する。そして、第１の認識部１３２は、予め算出されたＶｉｓｕａｌ Ｗｏｒｄｓに基づいてＳＩＦＴ特徴ベクトルを量子化する。続いて、第１の認識部１３２は、認識対象画像におけるＶｉｓｕａｌ Ｗｏｒｄｓの出現頻度を示すヒストグラムを生成することでＢｏＦを生成する。

なお、Ｖｉｓｕａｌ Ｗｏｒｄｓは、例えば、学習画像記憶部１２０に記憶されている全ての学習画像から、局所特徴量であるＳＩＦＴ特徴ベクトルを抽出し、抽出されたＳＩＦＴ特徴ベクトルを特徴量空間にマッピングしクラスタリングすることで生成されるクラスタである。このクラスタにＩＤを割り振り、ＢｏＦの生成対象となる画像から局所特徴量を抽出して、その局所特徴量が最も類似するクラスタ（Ｖｉｓｕａｌ Ｗｏｒｄｓ）を検索して、その検索されたクラスタのＩＤ毎での局所特徴量の出現頻度をベクトル表現することでＢｏＦを生成する。このＶｉｓｕａｌ Ｗｏｒｄｓを用いて生成したＢｏＦを用いることにより、画像から抽出した局所特徴量を画像間で個々に照合して確信度を算出するという複雑な計算よりも、ベクトル表現されたＢｏＦを用いて容易に確信度を算出することができる。ここで、学習画像記憶部１２０に記憶されている学習画像の数が多い場合は、ランダムにサンプリングした学習画像からＳＩＦＴ特徴ベクトルを抽出してもよい。

そして、第１の認識部１３２は、学習画像記憶部１２０に記憶されている学習画像のＢｏＦから、第１の認識部１３２によって生成されたＢｏＦと類似するＢｏＦを検索する。

続いて、第１の認識部１３２は、検索されたＢｏＦ毎に、ＢｏＦ１２との間で照合することで第１の確信度を算出する。そして、第１の認識部１３２は、算出された第１の確信度のうち、最も大きい値である最大確信度が判定閾値より高いか否かを判定する。なお、判定閾値は、例えば、実験などによって得られた用途に応じた認識精度や認識時間が考慮された値が設定される。

ここで、第１の認識部１３２は、最大確信度が判定閾値より高い場合に、最大確信度のＢｏＦに対応する学習画像を認識対象画像の認識結果とする。すなわち、第１の認識部１３２は、認識対象画像に描出される商品を、最大確信度のＢｏＦに対応する学習画像に描出される商品であると認識する。このように、第１の認識部１３２は、ＢｏＦを用いて認識対象画像の認識を行うので、局所特徴量を用いた認識と比較して高速に認識対象画像を認識することができる。

一方、第１の認識部１３２は、ＢｏＦの最大確信度が判定閾値より低い場合に、後述する第２の認識部１３３によって第２の認識を行う。

なお、第１の認識部１３２は、上述したＢｏＦに基づいて算出する第１の確信度に限らず、認識対象画像の特徴点と、学習画像記憶部１２０に記憶されている学習画像の特徴点との間で座標を照合することで第１の確信度を算出してもよい。

また、第１の認識部１３２は、ＢｏＦに基づいて確信度を算出し、また、特徴点の座標に基づいて第１の確信度を算出し、ＢｏＦに基づいて算出された確信度と、特徴点の座標に基づいて算出された確信度との間で平均値を算出することで第１の確信度を算出してもよい。

（第２の認識部１３３について）
第２の認識部１３３は、第１の認識部１３２によって認識対象画像の認識に失敗した場合に、第１の認識部１３２より精細な精度で認識対象画像に描出される商品の認識を行う。具体的には、第２の認識部１３３は、認識対象画像と、学習画像記憶部１２０に記憶されている学習画像とを照合することで認識対象画像に描出される商品の認識を行う。

一例を挙げて説明すると、第２の認識部１３３は、第１の認識部１３２によって算出された第１の確信度の中で、再判定閾値より高い第１の確信度があるか否かを判定する。なお、再判定閾値は、第１の認識部１３２による認識で用いた判定閾値より低い値に設定される。ここで、第２の認識部１３３は、再判定閾値より高い第１の確信度がある場合に、再判定閾値より高い確信度に対応する全ての学習画像から局所特徴量を抽出する。

そして、第２の認識部１３３は、抽出した局所特徴量と類似する特徴量を、学習画像と認識対象画像との間で対応付ける。その後、第２の認識部１３３は、対応付けられた学習画像の特徴量と認識対象画像の特徴量との間で座標を照合することで第２の確信度を算出する。そして、第２の認識部１３３は、算出された第２の確信度のうち、最も大きい値である最大確信度が学習判定閾値より高いか否かを判定する。

ここで、第２の認識部１３３は、最大確信度が学習判定閾値より高い場合に、最大確信度に対応する学習画像を認識対象画像の認識結果とする。すなわち、第１の認識部１３２は、認識対象画像に描出される商品を、最大確信度に対応する学習画像に描出される商品であると認識する。

一方、第２の認識部１３３は、最大確信度が学習判定閾値より低い場合に、第２の認識処理を終了する。

（登録部１３４について）
登録部１３４は、認識対象画像の認識結果がある場合に、かかる認識対象画像に関する情報を学習画像記憶部１２０に記憶する。例えば、登録部１３４は、認識対象画像の認識結果がある場合に、かかる認識対象画像および認識対象画像のＢｏＦを学習画像記憶部１２０に商品のタグと対応付けて登録する。

また、登録部１３４は、認識対象画像の認識結果がある場合に、認識結果とされた学習画像の領域に対応する部分を認識対象画像から抽出して登録してもよい。これにより、登録部１３４は、例えば、認識対象画像に含まれる背景などを除外して認識対象の部分が切り出された画像を学習画像として登録するので、認識精度を高めることができる。

（配信部１３５について）
配信部１３５は、第１の認識部１３２又は第２の認識部１３３によって認識対象画像に描出される商品が認識された場合に、認識対象画像の送信元である端末装置１０に対して、かかる商品の商品ページを配信する。

図５は、実施形態に係る配信装置１００による配信処理の一例を示す説明図である。図５が示すように、配信部１３５は、認識対象画像Ｐ１２に描出される商品Ｃ１１が認識された場合に、端末装置１０に対して、商品Ｃ１１の商品ページＷ１１を配信する。

〔４．認識処理の一例〕
上述した第１の認識部１３２及び第２の認識部１３３による認識処理の一例を図４及び図６を用いて説明する。図６は、実施形態に係る配信装置による認識処理の一例を示す説明図である。図６に示すように、配信装置１００は、端末装置１０から認識対象画像Ｐ１２を受信したものとする。この場合、第１の認識部１３２は、受信した認識対象画像Ｐ１２からＢｏＦ１２を生成する。そして、第１の認識部１３２は、学習画像記憶部１２０に記憶されている学習画像のＢｏＦから、ＢｏＦ１２と類似するＢｏＦを検索する。

ここで、第１の認識部１３２によって学習画像Ｐ１１のＢｏＦ１１、学習画像Ｐ１３のＢｏＦ１３、学習画像Ｐ１４のＢｏＦ１４が検索されたものとする。この場合、第１の認識部１３２は、検索されたＢｏＦ１１、ＢｏＦ１３及びＢｏＦ１４をＢｏＦ１２との間で照合することで第１の確信度を算出する。

そして、第１の認識部１３２は、算出された第１の確信度のうち、最も大きい値である最大確信度が所定の判定閾値より高いか否かを判定する。ここで、ここで、最大確信度のＢｏＦがＢｏＦ１１であるものとする。また、ＢｏＦ１１の最大確信度が判定閾値より低いものとする。

この場合、第１の認識部１３２は、認識対象画像Ｐ１２の認識に失敗したと判定する。そして、第２の認識部１３３は、認識対象画像Ｐ１２の認識に失敗した場合に、第１の認識より精細に照合する第２の認識を行う。具体的には、第２の認識部１３３は、再判定閾値より高い第１の確信度のＢｏＦがあるか否かを判定する。ここで、ＢｏＦ１１及びＢｏＦ１３の第１の確信度が再判定閾値より高いものとする。

この場合、第２の認識部１３３は、ＢｏＦ１１及びＢｏＦ１３に対応する学習画像Ｐ１１及び学習画像Ｐ１３から局所特徴量を抽出する。なお、第２の認識部１３３は、再判定閾値より低いＢｏＦ１４に対応する学習画像Ｐ１４の局所特徴量を抽出しない。

そして、第２の認識部１３３は、抽出したＢｏＦ１１及びＢｏＦ１３の局所特徴量と類似する特徴量を、認識対象画像Ｐ１２の特徴量との間で対応付けて座標を照合することで第２の確信度を算出する。そして、第２の認識部１３３は、算出された第２の確信度のうち、最も大きい値である最大確信度が所定の学習判定閾値より高いか否かを判定する。

ここで、最大確信度のＢｏＦがＢｏＦ１１であるものとする。また、ＢｏＦ１１の最大確信度が所定の学習判定閾値より高いものとする。この場合、第２の認識部１３３は、最大確信度のＢｏＦ１１に対応する学習画像Ｐ１１を認識対象画像Ｐ１２の認識結果とする。そして、登録部１３４は、認識対象画像Ｐ１２及びＢｏＦ１２を学習画像記憶部１２０にカバンＣ１１のタグ「Ｊ１１」と対応付けて登録する。

〔５．配信処理手順〕
次に、図７を用いて、実施形態に係る配信装置１００による処理の手順について説明する。図７は、実施形態に係る配信装置１００による配信処理手順を示すフローチャートである。

図７に示すように、配信装置１００は、第１の認識処理を実行する（ステップＳ１０１）。続いて、配信装置１００は、認識対象画像の認識結果があるか否かを判定する（ステップＳ１０２）。ここで、配信装置１００は、認識対象画像の認識結果がある場合（ステップＳ１０２；Ｙｅｓ）に、認識された商品の商品ページを端末装置に配信する（ステップＳ１０７）。

一方、配信装置１００は、認識対象画像の認識結果がない場合（ステップＳ１０２；Ｎｏ）に、再判定閾値より高い第１の確信度があるか否かを判定する（ステップＳ１０３）。ここで、配信装置１００は、再判定閾値より高い第１の確信度がない場合に、配信処理を終了する（ステップＳ１０２；Ｎｏ）。

一方、配信装置１００は、再判定閾値より高い第１の確信度がある場合に、第２の認識処理を実行する（ステップＳ１０４）。続いて、配信装置１００は、認識対象画像の認識結果があるか否かを判定する（ステップＳ１０５）。ここで、配信装置１００は、認識対象画像の認識結果がない場合に、配信処理を終了する（ステップＳ１０５；Ｎｏ）。

一方、配信装置１００は、認識対象画像の認識結果がある場合に、認識対象画像および認識対象画像のＢｏＦを学習画像記憶部１２０に登録する（ステップＳ１０６）。また、配信装置１００は、ステップＳ１０１またはステップＳ１０４において認識された商品の商品ページを端末装置１０に配信する。これにより、端末装置１０は、ステップＳ１０７において配信された商品ページを表示部に表示する。

〔６．第１の認識処理手順〕
次に、図８を用いて、実施形態に係る配信装置１００による処理の手順について説明する。図８は、実施形態に係る配信装置１００による第１の認識処理手順を示すフローチャートである。

図８に示すように、配信装置１００は、認識対象画像の局所特徴量を抽出する（ステップＳ２０１）。そして、配信装置１００は、認識対象画像のＢｏＦを生成する（ステップＳ２０２）。

続いて、配信装置１００は、生成されたＢｏＦと類似するＢｏＦを学習画像記憶部１２０に記憶されているＢｏＦから検索する（ステップＳ２０３）。この検索は、例えば、ＢｏＦをインデックスとした転置インデックスを用いる。そして、配信装置１００は、検索されたＢｏＦごとに、第１の確信度を算出する（ステップＳ２０４）。

続いて、配信装置１００は、算出された第１の確信度の最大確信度が判定閾値より高いか否かを判定する（ステップＳ２０５）。ここで、配信装置１００は、最大確信度が判定閾値より低い場合に、第１の認識処理を終了する（ステップＳ２０５；Ｎｏ）。

一方、配信装置１００は、最大確信度が判定閾値より高い場合に、最大確信度に該当する学習画像を認識結果とする（ステップＳ２０６）。

〔７．第２の認識処理手順〕
次に、図９を用いて、実施形態に係る配信装置１００による処理の手順について説明する。図９は、実施形態に係る配信装置１００による第２の認識処理手順を示すフローチャートである。

図９に示すように、配信装置１００は、再判定閾値より高い第１の学習画像から局所特徴量を抽出する（ステップＳ３０１）。そして、配信装置１００は、局所特徴量と類似する特徴量を学習画像と認識対象画像との間で対応付ける（ステップＳ３０２）。

続いて、配信装置１００は、学習画像と認識対象画像との間で対応付けられた特徴量の座標を照合することで第２の確信度を算出する。（ステップＳ３０３）。そして、配信装置１００は、算出された第２の確信度の最大確信度が学習判定閾値より高いか否かを判定する（ステップＳ３０４）。

ここで、配信装置１００は、最大確信度が学習判定閾値より低い場合に、第２の認識処理を終了する（ステップＳ３０４；Ｎｏ）。

一方、配信装置１００は、最大確信度が学習判定閾値より高い場合に、最大確信度に該当する学習画像を認識結果とする（ステップＳ３０５）。

〔８．効果〕
上述してきたように、実施形態に係る配信装置１００は、学習画像記憶部１２０（記憶部の一例に相当）と、第１の認識部１３２と、第２の認識部１３３と、登録部１３４とを有する。学習画像記憶部１２０は、学習画像を記憶する。第１の認識部１３２は、学習画像記憶部１２０に記憶されている学習画像を用いて認識対象画像の認識を行う。第２の認識部１３３は、第１の認識部によって認識対象画像の認識に失敗した場合に、第１の認識部より精細な精度で認識対象画像の認識を行う。登録部１３４は、第２の認識部によって認識対象画像の認識に成功した場合に、認識に成功した認識対象画像に関する情報を記憶部に登録する。

これにより、実施形態に係る配信装置１００は、第１の認識による認識対象画像の認識に失敗しても第１の認識より精細な第２の認識を行うので、学習画像と撮影条件が異なる認識対象画像の場合でも高い精度で認識することができる。これにより、配信装置１００は、学習画像と撮影条件が異なる認識対象画像も学習画像として登録することが可能となる。また、配信装置１００は、認識された認識対象画像を学習画像として登録するので、今後、認識対象画像と類似する画像を受信した場合に、かかる画像を高速に認識することができる。これにより、配信装置１００は、高精度な画像認識を高速に行うことができる。また、端末装置１０のユーザは、認識対象画像に描出される商品を知ることができる。さらに、オンラインショッピングの管理者は、かかるユーザの商品を購入する意欲を向上させることができる。

また、実施形態に係る配信装置１００において、第１の認識部１３２は、学習画像及び認識対象画像に基づいて第１の確信度を算出する。第２の認識部１３３は、第１の認識部１３２によって算出された第１の確信度が、所定の判定閾値より低い値である所定の再判定閾値より高い場合に、第１の認識部より精細な精度で認識対象画像の認識を行う。

これにより、実施形態に係る配信装置１００は、第２の認識より精度が粗い第１の認識を行うので、局所特徴量を用いた画像認識と比較して演算量が少なく認識対象画像を高速に認識することができる。また、実施形態に係る配信装置１００は、第１の認識による認識対象画像の認識に失敗しても、第１の認識より精度が細かい第２の認識を行うので、学習画像と撮影条件が異なる認識対象画像の場合でも高い精度で認識することができる。これにより、実施形態に係る配信装置１００は、学習画像と撮影条件が異なる認識対象画像も学習画像として登録することが可能となる。さらに、実施形態に係る配信装置１００は、認識に成功した認識対象画像を学習画像記憶部１２０に登録するので、今後、画質が粗い認識対象画像と類似する画像を受信した場合でも、かかる画像を高速に認識することが可能となる。

また、実施形態に係る配信装置１００において、学習画像記憶部１２０は、学習画像のＢｏＦをさらに記憶する。第１の認識部１３２は、認識対象画像のＢｏＦを生成し、生成された認識対象画像のＢｏＦと学習画像記憶部１２０に記憶されている学習画像のＢｏＦとに基づいて第１の確信度を算出する。第２の認識部１３３は、学習画像の特徴量及び認識対象画像の特徴量に基づいて第２の確信度を算出する。

これにより、実施形態に係る配信装置１００は、ＢｏＦを用いて第１の認識を行うので、局所特徴量を用いた画像認識と比較して演算量が少なく認識対象画像を高速に認識することができる。また、配信装置１００は、特徴量を用いて第２の認識を行うので、認識対象画像を高い精度で認識することができる。

また、実施形態に係る配信装置１００において、第１の認識部１３２は、認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを学習画像記憶部１２０に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦ毎に、認識対象画像のＢｏＦとの間で第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が所定の判定閾値より高い場合に、認識対象画像を当該最大確信度のＢｏＦに対応する学習画像と認識する。

これにより、実施形態に係る配信装置１００は、ＢｏＦを用いて第１の認識を行うので、演算量が少なく認識対象画像を高速に認識することができる。

また、実施形態に係る配信装置１００において、第１の認識部１３２は、認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを学習画像記憶部１２０に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦに対応する学習画像毎に、認識対象画像との間で特徴点の座標を照合することで第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が判定閾値より高い場合に、認識対象画像を最大確信度に対応する学習画像と認識する。

これにより、実施形態に係る配信装置１００は、特徴点の座標を用いて第１の認識を行うので、高い精度で認識対象画像を認識することができる。

また、実施形態に係る配信装置１００において、第１の認識部１３２は、認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを学習画像記憶部１２０に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦ毎に、認識対象画像のＢｏＦとの間でＢｏＦ確信度を算出し、また、検索されたＢｏＦに対応する学習画像毎に、認識対象画像との間で特徴点の座標を照合することで特徴量確信度を算出し、ＢｏＦ確信度と特徴量確信度との間で平均を算出することで第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が判定閾値より高い場合に、認識対象画像を最大確信度に対応する学習画像と認識する。

これにより、実施形態に係る配信装置１００は、ＢｏＦ及び特徴点の座標を用いて第１の認識を行うので、高い精度で認識対象画像を認識することができる。

また、実施形態に係る配信装置１００において、第２の認識部１３３は、判定閾値より低い値である再判定閾値より高い第１の確信度に対応する学習画像から局所特徴量を抽出し、抽出された局所特徴量と類似する特徴量を学習画像と認識対象画像との間で対応付けて座標を照合することで第２の確信度を算出し、算出された第２の確信度のうち最も大きい値である最大確信度が学習判定閾値より高い場合に、認識対象画像を最大確信度に対応する学習画像と認識する。

これにより、実施形態に係る配信装置１００は、特徴量を用いて第２の認識を行うので、高い精度で認識対象画像を認識することができる。

また、実施形態に係る配信装置１００において、登録部１３４は、第２の認識部１３３によって認識対象画像の認識に成功した場合に、認識に成功した認識対象画像および認識対象画像に対応するＢｏＦを学習画像記憶部１２０に登録する。

これにより、実施形態に係る配信装置１００は、認識に成功した認識対象画像を登録するので、今後、画質が粗い認識対象画像と類似する画像を受信した場合でも、かかる画像を高速に認識することが可能となる。

また、実施形態に係る配信装置１００において、登録部１３４は、第２の認識部１３３によって認識対象画像の認識に成功した場合に、認識に成功した認識対象画像に認識に成功した学習画像に付されているメタ情報を対応付けて学習画像記憶部１２０に登録する。

これにより、実施形態に係る配信装置１００は、認識対象画像に描出される認識対象をメタ情報に基づいて識別することができる。

〔９．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、図４に示した学習画像記憶部１２０は、配信装置１００が保持せずに、ストレージサーバ等に保持されてもよい。この場合、配信装置１００は、ストレージサーバにアクセスすることで、学習画像に関する情報を取得する。

また、配信装置１００は、商品ページの配信処理は行わず、第１の認識部１３２及び第２の認識部１３３による認識処理のみを行う認識装置であってもよい。この場合、認識装置は、少なくとも登録部１３４及び配信部１３５を有しない。そして、登録部１３４を有する登録装置が、認識装置によって認識に成功した認識対象画像を学習画像記憶部１２０に記憶する。また、配信部１３５を有する配信装置が、認識装置によってされた商品の商品ページを端末装置１０等に配信する。

なお、上記実施形態における配信装置１００は、例えば図１０に示すような構成のコンピュータ７０によって実現される。図１０は、配信装置１００の機能を実現するコンピュータ７０の一例を示すハードウェア構成図である。コンピュータ７０は、ＣＰＵ７１、ＲＡＭ７２、ＲＯＭ（Read Only Memory）７３、ＨＤＤ（Hard Disk Drive）７４、通信インターフェイス（Ｉ／Ｆ）７５、入出力インターフェイス（Ｉ／Ｆ）７６、およびメディアインターフェイス（Ｉ／Ｆ）７７を備える。

ＣＰＵ７１は、ＲＯＭ７３またはＨＤＤ７４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ７３は、コンピュータ７０の起動時にＣＰＵ７１によって実行されるブートプログラムや、コンピュータ７０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ７４は、ＣＰＵ７１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェイス７５は、通信回線Ｎを介して他の機器からデータを受信してＣＰＵ７１へ送り、ＣＰＵ７１が生成したデータを、通信回線Ｎを介して他の機器へ送信する。

ＣＰＵ７１は、入出力インターフェイス７６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ７１は、入出力インターフェイス７６を介して、入力装置からデータを取得する。また、ＣＰＵ７１は、生成したデータを、入出力インターフェイス７６を介して出力装置へ出力する。

メディアインターフェイス７７は、記録媒体７８に格納されたプログラムまたはデータを読み取り、ＲＡＭ７２を介してＣＰＵ７１に提供する。ＣＰＵ７１は、当該プログラムを、メディアインターフェイス７７を介して記録媒体７８からＲＡＭ７２上にロードし、ロードしたプログラムを実行する。記録媒体７８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ７０が実施形態における配信装置１００として機能する場合、コンピュータ７０のＣＰＵ７１は、ＲＡＭ７２上にロードされたプログラムを実行することにより、受信部１３１、第１の認識部１３２、第２の認識部１３３、登録部１３４および配信部１３５の各機能を実現する。また、ＨＤＤ７４には、学習画像記憶部１２０内のデータが格納される。

コンピュータ７０のＣＰＵ７１は、これらのプログラムを、記録媒体７８から読み取って実行するが、他の例として、他の装置から、通信回線Ｎを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した配信装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、受信部は、受信手段や受信回路に読み替えることができる。

１ 配信システム
１０ 端末装置
１００ 配信装置
１２０ 学習画像記憶部
１３１ 受信部
１３２ 第１の認識部
１３３ 第２の認識部
１３４ 登録部
１３５ 配信部

Claims (11)

1. 学習画像に関する情報を記憶する記憶部と、
   前記記憶部に記憶されている学習画像を用いて認識対象画像の認識を行う第１の認識部と、
   前記第１の認識部によって前記認識対象画像の認識に失敗した場合に、前記第１の認識部より精細な精度で前記認識対象画像の認識を行う第２の認識部と、
   前記第１の認識部ではなく前記第２の認識部によって前記認識対象画像の認識に成功した場合のみ、認識に成功した前記認識対象画像に関する情報を前記記憶部に登録する登録部と
   を備えることを特徴とする画像認識装置。
2. 前記第１の認識部は、
   前記学習画像及び前記認識対象画像に基づいて第１の確信度を算出し、
   前記第２の認識部は、
   前記第１の認識部によって算出された第１の確信度が、所定の判定閾値より低い値である所定の再判定閾値より高い場合に、第１の認識部より精細な精度で前記認識対象画像の認識を行う
   ことを特徴とする請求項１に記載の画像認識装置。
3. 前記記憶部は、
   前記学習画像のＢｏＦ（Bag of features）をさらに記憶し、
   前記第１の認識部は、
   前記認識対象画像のＢｏＦを生成し、生成された前記認識対象画像のＢｏＦと前記記憶部に記憶されている学習画像のＢｏＦとに基づいて第１の確信度を算出し、
   前記第２の認識部は、
   前記学習画像の特徴量及び前記認識対象画像の特徴量に基づいて第２の確信度を算出する
   ことを特徴とする請求項１または２に記載の画像認識装置。
4. 前記記憶部は、
   前記学習画像のＢｏＦをさらに記憶し、
   前記第１の認識部は、
   前記認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを前記記憶部に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦ毎に、認識対象画像のＢｏＦとの間で第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が所定の判定閾値より高い場合に、認識対象画像を当該最大確信度のＢｏＦに対応する学習画像と認識する
   ことを特徴とする請求項１〜３のいずれか１つに記載の画像認識装置。
5. 前記記憶部は、
   前記学習画像のＢｏＦをさらに記憶し、
   前記第１の認識部は、
   前記認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを前記記憶部に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦに対応する学習画像毎に、前記認識対象画像との間で特徴点の座標を照合することで第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が判定閾値より高い場合に、前記認識対象画像を当該最大確信度に対応する学習画像と認識する
   ことを特徴とする請求項１〜３のいずれか１つに記載の画像認識装置。
6. 前記記憶部は、
   前記学習画像のＢｏＦをさらに記憶し、
   前記第１の認識部は、
   前記認識対象画像の局所特徴量を抽出し、抽出された局所特徴量からＢｏＦを生成し、生成されたＢｏＦを前記記憶部に記憶されている学習画像のＢｏＦから検索し、検索されたＢｏＦ毎に、前記認識対象画像のＢｏＦとの間でＢｏＦ確信度を算出し、また、検索されたＢｏＦに対応する学習画像毎に、前記認識対象画像との間で特徴点の座標を照合することで特徴量確信度を算出し、ＢｏＦ確信度と特徴量確信度との間で平均を算出することで第１の確信度を算出し、算出された第１の確信度のうち最も大きい値である最大確信度が判定閾値より高い場合に、前記認識対象画像を当該最大確信度に対応する学習画像と認識する
   ことを特徴とする請求項１〜３のいずれか１つに記載の画像認識装置。
7. 前記第２の認識部は、
   判定閾値より低い値である再判定閾値より高い第１の確信度に対応する学習画像から局所特徴量を抽出し、抽出された局所特徴量と類似する局所特徴量を学習画像と前記認識対象画像との間で対応付けて座標を照合することで第２の確信度を算出し、算出された第２の確信度のうち最も大きい値である最大確信度が所定の学習判定閾値より高い場合に、前記認識対象画像を当該最大確信度に対応する学習画像と認識する
   ことを特徴とする請求項１〜６のいずれか１つに記載の画像認識装置。
8. 前記登録部は、
   第２の認識部によって前記認識対象画像の認識に成功した場合に、認識に成功した前記認識対象画像および前記認識対象画像に対応するＢｏＦを記憶部に登録する
   ことを特徴とする請求項１〜７のいずれか１つに記載の画像認識装置。
9. 前記登録部は、
   第２の認識部によって前記認識対象画像の認識に成功した場合に、認識に成功した前記認識対象画像に前記認識に成功した学習画像に付されているメタ情報を対応付けて記憶部に登録する
   ことを特徴とする請求項１〜８のいずれか１つに記載の画像認識装置。
10. 画像認識装置が実行する画像認識方法であって、
    記憶部に記憶されている学習画像を用いて認識対象画像の認識を行う第１の認識工程と、
    前記第１の認識工程によって前記認識対象画像の認識に失敗した場合に、前記第１の認識工程より精細な精度で前記認識対象画像の認識を行う第２の認識工程と、
    前記第１の認識工程ではなく前記第２の認識工程によって前記認識対象画像の認識に成功した場合のみ、認識に成功した前記認識対象画像に関する情報を前記記憶部に登録する登録工程と
    を含んだことを特徴とする画像認識方法。
11. 記憶部に記憶されている学習画像を用いて認識対象画像の認識を行う第１の認識手順と、
    前記第１の認識手順によって前記認識対象画像の認識に失敗した場合に、前記第１の認識手順より精細な精度で前記認識対象画像の認識を行う第２の認識手順と、
    前記第１の認識手順ではなく前記第２の認識手順によって前記認識対象画像の認識に成功した場合のみ、認識に成功した前記認識対象画像に関する情報を前記記憶部に登録する登録手順と
    をコンピュータに実行させることを特徴とする画像認識プログラム。

Images