JP7225416B2 - 画像処理装置、携帯端末、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、携帯端末、画像処理方法及びプログラムに係り、特に認識対象物に付加された刻印又は印字を認識する技術に関する。

従来、刻印が付加された薬剤の種類を正確に認識することができる薬剤認識装置が提案されている（特許文献１）。

特許文献１に記載の薬剤認識装置は、刻印が付加された薬剤に対して薬剤の周囲を囲む複数の照明方向から照明可能な照明部が、薬剤を照明する照明方向を順番に切り替える。撮影部により、照明部の照明方向が切り替わる毎に薬剤の撮影を繰り返し行う。特徴画像抽出部が、撮影部により取得された照明方向毎の撮影画像（薬剤画像）を解析して、薬剤画像毎に刻印の影に対応する特徴画像を抽出する。特徴画像統合部が、特徴画像抽出部により抽出された照明方向毎の特徴画像を統合して統合画像を生成する。認識部が、特徴画像統合部により生成された統合画像に含まれる刻印を認識して、刻印の認識結果に基づき薬剤の種類を認識する。

特開２０１５－６８７６５号公報

特許文献１に記載の薬剤認識装置は、刻印が強調された統合画像を取得することができるが、薬剤に対する照明方向がそれぞれ異なる複数の照明部を必要とするため、装置が大型化する。

また、特許文献１に記載の薬剤認識装置は、複数の照明部を順次点灯し、照明方向毎の薬剤画像を、時間をずらして複数回撮影するため、撮影時間が長くなる。更に複数回の撮影中に薬剤が移動するおそれがあり、この場合には良好な統合画像が生成できなくなるという問題がある。

本発明はこのような事情に鑑みてなされたもので、認識対象物に付加された刻印又は印字が強調された画像を簡単に取得することができる画像処理装置、携帯端末、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、認識対象物の刻印又は印字が強調されていない第１画像と刻印又は印字が強調された第２画像とをセットとする学習用の学習データセットにより機械学習が行われた認識器と、刻印又は印字が付加された任意の認識対象物の画像であって、刻印又は印字が強調されていない第３画像を認識器に入力させる画像入力部と、第３画像が認識器に入力された場合に認識器から得られる認識結果を出力する画像出力部と、を備える。

本発明の一の態様によれば、上記の学習データセットにより機械学習が行われた認識器を構築することで、刻印又は印字が付加された任意の認識対象物の画像を認識器に入力すると、その刻印又は印字を示す認識結果を出力することができる。

本発明の他の態様に係る画像処理装置において、認識結果は、任意の認識対象物に付加された刻印又は印字が強調された第４画像である。

本発明の更に他の態様に係る画像処理装置において、第３画像と第４画像とを合成し、刻印又は印字が強調された第５画像を生成する画像生成部を備えることが好ましい。

本発明の更に他の態様に係る画像処理装置において、画像出力部は、認識結果を表示部に出力し、認識結果を表示部に表示させることが好ましい。

本発明の更に他の態様に係る画像処理装置において、認識対象物は薬剤である。

本発明の更に他の態様に係る画像処理装置において、画像出力部は、認識結果を薬剤認識装置に出力することが好ましい。

本発明の更に他の態様に係る画像処理装置において、認識器は、学習データセットの第１画像を入力画像とし、第２画像を出力画像として機械学習を行った畳み込みニューラルネットワークで構成されることが好ましい。

本発明の更に他の態様に係る画像処理装置において、学習データセットに含まれる第２画像は、認識対象物への光の照明方向がそれぞれ異なる認識対象物の複数の画像に基づいて、認識対象物に付加された刻印又は印字を強調する強調処理が施された画像を含むことが好ましい。

本発明の更に他の態様に係る画像処理装置において、画像入力部は、任意の認識対象物を含む画像を撮影するカメラ部と、カメラ部により撮影された撮影画像から認識対象物に対応する領域を抽出する画像抽出部とを含み、画像抽出部により抽出した画像を第３画像として認識器に入力させることが好ましい。

更に他の態様に係る発明は、上記の画像処理装置を備えた携帯端末である。

本発明の更に他の態様に係る画像処理方法は、刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、認識対象物の刻印又は印字が強調されていない第１画像と刻印又は印字が強調された第２画像とをセットとする学習用の学習データセットを準備するステップと、学習データセットにより認識器に機械学習を行わせるステップと、刻印又は印字が付加された任意の認識対象物の画像であって、刻印又は印字が強調されていない第３画像を、機械学習が行われた認識器に入力させるステップと、画像出力部が、第３画像が認識器に入力された場合に認識器から得られる認識結果を出力するステップと、を含む。

本発明の更に他の態様に係る画像処理方法において、認識結果は、任意の認識対象物に付加された刻印又は印字が強調された第４画像であることが好ましい。

本発明の更に他の態様に係る画像処理方法において、画像生成部が、第３画像と第４画像とを合成し、刻印又は印字が強調された第５画像を生成するステップを含むことが好ましい。

本発明の更に他の態様に係る画像処理方法において、認識結果を出力するステップは、認識結果を表示部に出力し、認識結果を表示部に表示させることが好ましい。

本発明の更に他の態様に係る画像処理方法において、認識対象物は薬剤である。

本発明の更に他の態様に係る画像処理方法において、認識結果を出力するステップは、認識結果を薬剤認識装置に出力することが好ましい。

本発明の更に他の態様に係る画像処理方法において、学習データセットに含まれる第２画像は、認識対象物への光の照明方向がそれぞれ異なる認識対象物の複数の画像に基づいて、認識対象物に付加された刻印又は印字を強調する強調処理が施された画像を含むことが好ましい。

本発明の更に他の態様に係るプログラムは、コンピュータにインストールされることにより、そのコンピュータを上記の画像処理装置として機能させる。

本発明によれば、認識対象物に付加された刻印又は印字が強調された画像を簡単に取得することができる。

図１は、本発明に係る携帯端末を含む薬剤識別システムの実施形態を示すシステム構成図である。 図２は、図１に示した薬剤識別システムを構成するスマートフォンの外観図である。 図３は、図２に示したスマートフォンの内部構成を示すブロック図である。 図４は、図１に示した薬剤識別システムの電気的な構成を示すブロック図である。 図５は、機械学習装置を含む画像処理装置のハードウエア構成を示すブロック図である。 図６は、図５に示したデータベースに保存される学習データセットの一例を示す図である。 図７は、図５に示した画像処理装置の主要な構成部分である機械学習装置の機能を示す機能ブロック図である。 図８は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、特に機械学習装置での学習フェーズの処理を示す図である。 図９は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、特にスマートフォンによる薬剤の認識フェーズの処理を示す図である。

以下、添付図面に従って本発明に係る画像処理装置、携帯端末、画像処理方法及びプログラムの好ましい実施形態について説明する。

［薬剤識別システムの構成］
図１は、本発明に係る携帯端末を含む薬剤識別システムの実施形態を示すシステム構成図である。

図１に示すように、薬剤識別システムは、カメラ付き携帯端末であるスマートフォン１００と、薬剤識別装置として機能するサーバ２００とから構成され、スマートフォン１００とサーバ２００とはインターネット、ＬＡＮ（Local Area Network）等のネットワーク２を介してデータ通信可能に接続されている。

スマートフォン１００は、カメラ部を有し、カメラ部により認識対象物である薬剤１０を撮影する。スマートフォン１００は、撮影した薬剤１０の画像（第３画像）を処理する、本発明に係る画像処理装置を備え、その画像処理装置による画像処理後の画像（第４画像）を表示部に表示し、又はネットワーク２を介してサーバ２００に送信する。尚、画像処理装置の詳細については後述する。

サーバ２００は、スマートフォン１００からアップロードされた薬剤１０の第４画像に基づいて薬剤１０の識別を行い、その識別結果（例えば、薬剤名、商品名、略称又はこれらの組合せからなる薬剤識別情報）を、薬剤１０の第４画像を送信したスマートフォン１００に送信する。

ところで、薬剤（錠剤）の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字（印刷）によって付される。

サーバ２００は、薬剤に付された識別コード情報を利用することで、薬剤の識別力を向上させることができる。

尚、薬剤に付された刻印とは、薬剤の表面に陥没領域である溝を形成することによって識別コード情報が形成されたものをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものでもよい。また、刻印は、割線等の識別機能を伴わないものを含んでもよい。

また、薬剤に付された印字とは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別コード情報が形成されたものをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。

＜スマートフォンの構成＞
図２に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示部１２０が設けられる。表示パネル１２１は液晶パネルから構成されており、本例の表示部１２０は液晶ディスプレイである。

また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。カメラ部１４１は、表示部１２０と同じ面側に設けられたカメラ（インカメラ）と、表示部１２０と反対の面側に設けられたカメラ（図示しないアウトカメラ）のうちの少なくとも一方を含む。

図３は、図２に示したスマートフォン１００の内部構成を示すブロック図である。

図３に示すようにスマートフォン１００は、主たる構成要素として、無線通信部１１０と、表示部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（画像出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。

表示部１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネル付きディスプレイであり、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)を表示デバイスとして用いる。尚、表示パネル１２１は、ＬＣＤに限らず、例えば、ＯＬＥＤ（organic light emitting diode）でもよい。

操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。

操作部１４０は、キースイッチなどを用いたハードウエアキーであって、ユーザからの指示を受け付ける。例えば、図２に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。

また、記憶部１５０は、内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）により他の外部機器に直接的又は間接的に接続する。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、ソフトウエア処理機能とを備える。

ソフトウエア処理機能は、記憶部１５０が記憶するソフトウエア（プログラム）に従って主制御部１０１が動作することにより実現される。ソフトウエア処理機能は、例えば、外部入出力部１６０を制御することで電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、スマートフォン１００を本発明に係る画像処理装置として機能させる。スマートフォン１００を本発明に係る画像処理装置として機能させるソフトウエア（本発明に係るプログラム）は、薬剤識別装置として機能するサーバ２００又はサーバ２００を運営する事業者のサイト等から対応するソフトウエアをダウンロードすることによりスマートフォン１００にインストールすることができる。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示部１２０に表示する等の画像処理機能を備える。

更に、主制御部１０１は、表示部１２０に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。

また、カメラ部１４１は、スマートフォン１００の各種機能に利用することができる。本例では、薬剤を識別する場合、薬剤の撮影に利用される。カメラ部１４１からの画像をソフトウエア内で利用することもできる。

＜薬剤識別システムの電気的な構成＞
図４は、図１に示した薬剤識別システムの電気的な構成を示すブロック図である。

スマートフォン１００には、本発明に係るプログラム（アプリケーション）がインストールされており、スマートフォン１００の主制御部１０１は、このアプリケーションを実行することにより、画像抽出部１０１Ａ、認識器１０１Ｂ、画像生成部１０１Ｃ、及び通信制御部１０１Ｄとして機能する。

カメラ部１４１及び画像抽出部１０１Ａは、薬剤の画像（第３画像）を認識器１０１Ｂに入力させる画像入力部として機能する。カメラ部１４１により撮影された薬剤の撮影画像は、主制御部１０１に入力される。主制御部１０１の画像抽出部は、入力した撮影画像から認識対象物である薬剤に対応する領域を抽出し、抽出した領域の画像（薬剤画像）を認識器１０１Ｂに入力させる。薬剤画像の抽出（切り出し）は、薬剤の外形を検出し、薬剤の外形にしたがって切り出すことが好ましく、例えば、薬剤の外形が内接する矩形領域を切り出すことができる。

認識器１０１Ｂは、深層学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を適用することができる。認識器１０１Ｂは、刻印又は印字が付加された複数の異なる薬剤の学習データセットであって、薬剤の刻印又は印字が強調されていない画像（第１画像）と、薬剤の刻印又は印字が強調された画像（第２画像）とをセットとする学習用の学習データセットにより機械学習が行われたものである。尚、認識器１０１Ｂは、認識器１０１Ｂ自体が学習機能を有する必要はなく、外部の機械学習装置により機械学習が行われたモデル（ＣＮＮ）のパラメータを取得することで、学習済みモデルとして構成されたものでもよい。

図５は、機械学習装置を含む画像処理装置３００のハードウエア構成を示すブロック図である。

図５に示す画像処理装置３００としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の画像処理装置３００は、主として画像入力部３１２と、データベース３１４と、記憶部３１６と、操作部３１８と、ＣＰＵ（Central Processing Unit）３２０と、ＲＡＭ(Random Access Memory)３２２と、ＲＯＭ(Read Only Memory)３２４と、表示部３２６とから構成されている。

画像入力部３１２は、刻印又は印字が付加された認識対象物（本例では「薬剤」）を撮影した画像を入力し、また、データベース３１４に保存する学習データセット等を入力する部分である。

データベース３１４は、学習データセットを記憶する記憶部である。

図６は、図５に示したデータベース３１４に保存される学習データセットの一例を示す図である。

学習データセットは、種類の異なる複数の薬剤の画像（第１画像２５）と、第１画像２５に対応する各薬剤の刻印又は印字が強調された画像（第２画像２７）とがセットになっている。第１画像２５と第２画像２７は、それぞれ学習モデルの機械学習時に使用される入力画像と正解データである。第１画像２５は、薬剤を撮影することで収集することができる。一般に第１画像２５における刻印は鮮明に写っていない。

第２画像２７は、薬剤の刻印又は印字を示す画像である。第２画像２７は、第１画像２５を表示部３２６に表示させ、ユーザが操作部３１８を使用して、表示部３２６の画面上で刻印部分又は印字部分を塗りつぶすことで取得することができる。

また、第２画像は、手動で作成されるものに限らず、特許文献１等に記載の薬剤認識装置により生成される統合画像（刻印又は印字を強調する強調処理が施された画像）を使用することができる。即ち、第２画像２７は、薬剤への光の照明方向がそれぞれ異なる薬剤の複数の画像に基づいて、薬剤に付加された刻印又は印字を強調する強調処理が施された画像を使用することができる。

図７は、図５に示した画像処理装置３００の主要な構成部分である機械学習装置３５０の機能を示す機能ブロック図であり、図５に示したＣＰＵ３２０、記憶部３１６、ＲＡＭ３２２、ＲＯＭ３２４等のハードウエアにより構成される。

図７において、機械学習装置３５０は、主として認識器３５２と、認識器３５２に機械学習させる学習部として機能する損失値算出部３５４及びパラメータ制御部３５６とを備えている。

本例の認識器３５２は、ＣＮＮのモデルが適用される。認識器３５２は、複数のレイヤー構造を有し、複数のパラメータを保持している。認識器３５２は、パラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。認識器３５２のパラメータの初期値は、任意の値でもよいし、例えば、画像の分類等を行う画像系の学習済みモデルのパラメータを適用してもよい。後者の場合、図６に示した学習データセットによる転移学習を行うことで、比較的少ない学習データセットで良好な機械学習を行うことが可能である。

この認識器３５２は、入力層３５２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層３５２Ｂと、出力層３５２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

学習フェーズでは、入力層３５２Ａには、学習データセット（図６）の第１画像２５が入力画像として入力される。

中間層３５２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層３５２Ａから入力した第１画像２５から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層３５２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。また、最終段の畳み込み層は、入力画像と同じサイズの特徴マップ（画像）であって、薬剤の特徴（刻印等）を示す特徴マップを出力する部分である。

出力層３５２Ｃは、認識器３５２の認識結果（本例では、刻印等が強調された画像）を出力する部分である。

損失値算出部３５４は、認識器３５２の出力層３５２Ｃから出力される認識結果（出力画像）と、第１画像２５とペアの第２画像２７（正解データ）とを取得し、両者間の損失値を算出する。損失値の算出方法は、例えば、ジャッカード係数やダイス係数を用いることが考えられる。

パラメータ制御部３５６は、損失値算出部３５４により算出された損失値を元に、誤差逆伝播法により、正解データと認識器３５２の出力との特徴量空間での距離を最小化させ、又は類似度を最大化させるべく、認識器３５２のパラメータ（各畳み込み層のフィルタの係数等）を調整する。

このパラメータの調整処理を繰り返し行い、損失値算出部３５４により算出される損失値が収束するまで繰り返し学習を行う。

このようにしてデータベース３１４に格納された学習データセットを使用し、パラメータが最適化された学習済みの認識器３５２を作成する。

認識フェーズでは、学習済みの認識器３５２は、画像入力部３１２により取得された任意の薬剤の画像（第３画像）を入力画像とし、入力画像から薬剤の刻印等を認識し、認識結果（第４画像）を画像出力部３６０に出力する。

図４に戻って、スマートフォン１００の認識器１０１Ｂは、図７に示した機械学習装置３５０から、学習済みの認識器３５２のパラメータと同じパラメータを取得し、取得したパラメータが設定されることで学習済みの認識器３５２と同じ認識機能を有すものとなる。

画像生成部１０１Ｃは、カメラ部１４１により撮影され、画像抽出部１０１Ａにより抽出された薬剤の第３画像（刻印又は印字が強調されていない認識対象の薬剤の画像）と、認識器１０１Ｂにより認識された認識結果（第４画像）とを合成し、薬剤の刻印又は印字が強調された合成画像（第５画像）を生成する。

ここで、第４画像は、図６に示した第２画像２７と同様に、薬剤の刻印又は印字のみを示す画像であり、刻印部分又は印字部分の輝度が高い画像である。したがって、画像生成部１０１Ｃは、第３画像から第４画像を減算することで、薬剤の刻印又は印字部分が黒く強調された第５画像を生成することができる。尚、輝度の低い第３画像（例えば、黒い薬剤を撮影した画像）の場合、画像生成部１０１Ｃは、第３画像に第４画像を加算することで、薬剤の刻印又は印字部分が白く強調された第５画像を生成することができる。

画像出力部として機能する表示制御部（図示せず）は、認識器１０１Ｂによる認識結果（第４画像）、又は第４画像を含む第５画像を表示部１２０に出力し、表示部１２０に表示させる。

これにより、ユーザは、スマートフォン１００で薬剤を撮影することで、スマートフォン１００の表示部１２０に第４画像又は第５画像を表示させることができ、第４画像又は第５画像により薬剤に付加された刻印又は印字を容易に視認することができる。尚、薬剤を動画撮影する場合には、動画の第４画像又は第５画像を表示部１２０に表示させることも可能である。

また、認識器１０１Ｂによる認識結果（第４画像）、又は第４画像を含む第５画像は、薬剤に付加された刻印又は印字が強調されているため、薬剤の鑑別又は監査を行うのに好適である。

本例では、画像出力部として機能する通信制御部１０１Ｄ及び無線通信部１１０は、認識器１０１Ｂによる認識結果（第４画像）、又は第４画像を含む第５画像を、ネットワーク２を介してサーバ２００に送信し、第４画像又は第５画像に基づいてサーバ２００により識別された、識別対象の薬剤の識別結果をネットワーク２を介して取得する。

＜サーバ２００＞
図４に示すサーバ２００は、薬剤識別装置として機能するものであり、主として通信部２１０、ＣＰＵ（Central Processing Unit）２２０、薬剤ＤＢ（database）２３０、メモリ２４０、及び薬剤識別部２５０から構成されている。

ＣＰＵ２２０は、サーバ２００の各部を統括制御する部分であり、スマートフォン１００から送信された薬剤の第４画像又は第５画像を受け付ける画像受付部として通信部２１０を機能させ、受け付けた第４画像又は第５画像に基づいて薬剤識別部２５０により薬剤の識別処理を実行させる。

薬剤ＤＢ２３０は、薬剤の名前等の薬剤識別情報と関連付けて薬剤の画像（薬剤の表側及び裏側の薬剤画像）を登録及び管理する部分である。薬剤ＤＢ２３０に登録された薬剤（登録薬剤）の薬剤画像は、識別対象の薬剤が、登録薬剤のうちのいずれの登録薬剤に対応するかを識別するためのテンプレート画像として使用される。

メモリ２４０は、薬剤識別サービスを提供するプログラムが格納される記憶部、及びＣＰＵ２２０の作業領域となる部分を含む。

薬剤識別部２５０は、通信部２１０を介して受け付けた識別対象の薬剤の画像（第４画像又は第５画像）と、薬剤ＤＢ２３０に登録された登録薬剤のテンプレート画像とのテンプレートマッチングを行い、マッチング度合が最大となる登録薬剤、又はマッチング度合が高い上位の複数の登録薬剤の薬剤識別情報（登録薬剤の画像を含む）等の識別結果を取得する。

ＣＰＵ２２０は、薬剤識別部２５０による薬剤の識別結果を、第４画像又は第５画像を送信したスマートフォン１００に通信部２１０を介して送信する。

尚、第４画像又は第５画像を生成するスマートフォン１００の機能をサーバ２００に持たせ、サーバ２００により生成された第４画像又は第５画像をスマートフォン１００に送信したり、薬剤の識別結果をスマートフォン１００に送信するようにしてもよい。この場合、スマートフォン１００は、識別対象の薬剤の画像を撮影し、撮影した薬剤の画像をそのままサーバ２００に送信することで、刻印又は印字が強調された画像をサーバ２００から取得し、あるいは撮影した薬剤の認識結果をサーバ２００から取得することができる。

＜画像処理方法＞
図８及び図９は、それぞれ本発明に係る画像処理方法の実施形態を示すフローチャートである。

図８は、図７に示した機械学習装置３５０での学習フェーズの処理を示している。

図８において、刻印又は印字が付加された複数の異なる薬剤の学習データセットを準備する（ステップＳ１０）。学習データセットは、図６に示したように刻印又は印字が強調されていない第１画像２５と、刻印又は印字が強調された第２画像２７とをセットとする機械学習用の学習データセットであり、データベース３１４（図５）に保存される。

図７を使用して説明したように機械学習装置３５０は、データベース３１４に保存された学習データセットにより認識器３５２に機械学習を行わせる（ステップＳ１２）。

これにより、パラメータが最適化された学習済みの認識器２５２が作成される。

図９は、図４等に示したスマートフォン１００による薬剤の認識フェーズの処理を示している。

本例のスマートフォン１００は、学習済みの認識器２５２のパラメータと同じパラメータが設定された認識器１０１Ｂを備えている。この認識器１０１Ｂは、学習済みの認識器２５２と同じ認識機能を有している。

図９において、画像入力部から刻印又は印字が付加された任意の認識対象である薬剤の画像（第３画像）を、入力画像として認識器１０１Ｂに入力させる（ステップＳ２０）。即ち、画像入力部として機能するカメラ部１４１により認識対象の薬剤を撮影し、撮影画像から薬剤に対応する領域の画像（薬剤画像）を抽出し、抽出した薬剤画像（第３画像）を認識器１０１Ｂに入力させる。

認識器１０１Ｂは、入力する第３画像に対する認識結果として、認識対象の薬剤に付加された刻印又は印字を示す画像（第４画像）を出力する（ステップＳ２２）。

画像生成部１０１Ｃは、第３画像（薬剤画像）と認識器１０１Ｂから出力される第４画像とを合成し、薬剤の刻印又は印字が強調された合成画像（第５画像）を生成する（ステップＳ２４）。

画像出力部として機能する表示制御部は、ステップＳ２４で生成された第５画像を表示部１２０に出力し、認識対象の薬剤の刻印又は印字が強調された第５画像を表示部１２０に表示させる（ステップＳ２６）。

これにより、ユーザは、スマートフォン１００で薬剤を撮影することで、スマートフォン１００の表示部１２０に第５画像を表示させることができ、第５画像により薬剤に付加された刻印又は印字を容易に視認することができる。

また、画像出力部として機能する通信制御部１０１Ｄ及び無線通信部１１０は、ステップＳ２４で生成された第５画像を、ネットワーク２を介してサーバ２００に送信する（ステップＳ２８）。

サーバ２００は、第５画像に基づいて認識対象の薬剤の名前等の薬剤識別情報等の識別結果を取得し、取得した識別結果をスマートフォン１００に送信し、スマートフォン１００は、サーバ２００から薬剤の識別結果を受信する（ステップＳ３０）。

スマートフォン１００の表示制御部は、サーバ２００から受信した薬剤の識別結果を表示部１２０に出力し、薬剤の識別結果を表示部１２０に表示させる（ステップＳ３２）。

これにより、ユーザは、スマートフォン１００で薬剤を撮影することで、スマートフォン１００の表示部１２０に薬剤の薬剤名等の識別結果を表示させることができる。

［その他］
本実施形態の画像処理装置は、薬剤認識装置に組み込むことが可能であり、これにより薬剤認識装置を小型化及び安価にすることが可能である。

また、本発明に係る携帯端末は、スマートフォンに限らず、カメラ機能を有するタブレット端末、携帯電話機、ＰＤＡ（Personal Digital Assistants）等でもよい。

更に本実施形態では、薬剤を認識対象物としたが、これに限らず、本発明は、刻印が付加された金属部品、貴金属等の他の認識対象物の認識にも適用できる。

また、本発明に係る画像処理装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像処理装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

更に本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る画像処理装置として機能させるプログラム及びこのプログラムが記録された記憶媒体を含む。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２ ネットワーク
１０ 薬剤
２５ 第１画像
２７ 第２画像
１００ スマートフォン
１０１ 主制御部
１０１Ａ 画像抽出部
１０１Ｂ 認識器
１０１Ｃ 画像生成部
１０１Ｄ 通信制御部
１０２ 筐体
１１０ 無線通信部
１２０ 表示部
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
２００ サーバ
２１０ 通信部
２２０ ＣＰＵ
２３０ 薬剤ＤＢ
２４０ メモリ
２５０ 薬剤識別部
２５２ 認識器
３００ 画像処理装置
３１２ 画像入力部
３１４ データベース
３１６ 記憶部
３１８ 操作部
３１６ 記憶部
３２０ ＣＰＵ
３２２ ＲＡＭ
３２４ ＲＯＭ
３２６ 表示部
３５０ 機械学習装置
３５２ 認識器
３５２Ａ 入力層
３５２Ｂ 中間層
３５２Ｃ 出力層
３５４ 損失値算出部
３５６ パラメータ制御部
３６０ 画像出力部
Ｓ１０～Ｓ３２ ステップ

Claims (17)

1. 刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、前記認識対象物の前記刻印又は印字が強調されていない第１画像と前記刻印又は印字が強調された第２画像とをセットとする学習用の前記学習データセットにより機械学習が行われた認識器と、
   刻印又は印字が付加された任意の認識対象物の画像であって、前記刻印又は印字が強調されていない第３画像を前記認識器に入力させる画像入力部と、
   前記第３画像が前記認識器に入力された場合に前記認識器から得られる認識結果を出力する画像出力部と、を備え、
   前記学習データセットに含まれる前記第２画像は、前記認識対象物への光の照明方向がそれぞれ異なる前記認識対象物の複数の画像に基づいて、前記認識対象物に付加された刻印又は印字を強調する強調処理が施された画像を含み、
   前記認識結果は、前記任意の認識対象物に付加された前記刻印又は印字が強調された第４画像である、
   画像処理装置。
2. 刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、前記認識対象物の前記刻印又は印字が強調されていない第１画像と前記刻印又は印字が強調された第２画像とをセットとする学習用の前記学習データセットにより機械学習が行われた認識器と、
   刻印又は印字が付加された任意の認識対象物の画像であって、前記刻印又は印字が強調されていない第３画像を前記認識器に入力させる画像入力部と、
   前記第３画像が前記認識器に入力された場合に前記認識器から得られる認識結果を出力する画像出力部と、を備え、
   前記学習データセットに含まれる前記第２画像は、前記第１画像の刻印部分又は印字部分をユーザ操作により塗りつぶした画像であり、
   前記認識結果は、前記任意の認識対象物に付加された前記刻印又は印字が強調された第４画像である、
   画像処理装置。
3. 前記第３画像と前記第４画像とを合成し、前記刻印又は印字が強調された第５画像を生成する画像生成部を備えた請求項１又は２に記載の画像処理装置。
4. 前記画像出力部は、前記認識結果を表示部に出力し、前記認識結果を前記表示部に表示させる請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記認識対象物は薬剤である請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像出力部は、前記認識結果を薬剤認識装置に出力する請求項５に記載の画像処理装置。
7. 前記認識器は、前記学習データセットの前記第１画像を入力画像とし、前記第２画像を出力画像として機械学習を行った畳み込みニューラルネットワークで構成される請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記画像入力部は、任意の認識対象物を含む画像を撮影するカメラ部と、前記カメラ部により撮影された撮影画像から前記認識対象物に対応する領域を抽出する画像抽出部とを含み、前記画像抽出部により抽出した画像を前記第３画像として前記認識器に入力させる請求項１から７のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置を備えた携帯端末。
10. 刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、前記認識対象物の前記刻印又は印字が強調されていない第１画像と前記刻印又は印字が強調された第２画像とをセットとする学習用の前記学習データセットを準備するステップと、
    前記学習データセットにより認識器に機械学習を行わせるステップと、
    刻印又は印字が付加された任意の認識対象物の画像であって、前記刻印又は印字が強調されていない第３画像を、前記機械学習が行われた前記認識器に入力させるステップと、
    画像出力部が、前記第３画像が前記認識器に入力された場合に前記認識器から得られる認識結果を出力するステップと、を含み、
    前記学習データセットに含まれる前記第２画像は、前記認識対象物への光の照明方向がそれぞれ異なる前記認識対象物の複数の画像に基づいて、前記認識対象物に付加された刻印又は印字を強調する強調処理が施された画像を含み、
    前記認識結果は、前記任意の認識対象物に付加された前記刻印又は印字が強調された第４画像である、
    画像処理方法。
11. 刻印又は印字が付加された複数の異なる認識対象物の学習データセットであって、前記認識対象物の前記刻印又は印字が強調されていない第１画像と前記刻印又は印字が強調された第２画像とをセットとする学習用の前記学習データセットを準備するステップと、
    前記学習データセットにより認識器に機械学習を行わせるステップと、
    刻印又は印字が付加された任意の認識対象物の画像であって、前記刻印又は印字が強調されていない第３画像を、前記機械学習が行われた前記認識器に入力させるステップと、
    画像出力部が、前記第３画像が前記認識器に入力された場合に前記認識器から得られる認識結果を出力するステップと、を含み、
    前記学習データセットに含まれる前記第２画像は、前記第１画像の刻印部分又は印字部分をユーザ操作により塗りつぶした画像であり、
    前記認識結果は、前記任意の認識対象物に付加された前記刻印又は印字が強調された第４画像である、
    画像処理方法。
12. 画像生成部が、前記第３画像と前記第４画像とを合成し、前記刻印又は印字が強調された第５画像を生成するステップを含む請求項１０又は１１に記載の画像処理方法。
13. 前記認識結果を出力するステップは、前記認識結果を表示部に出力し、前記認識結果を前記表示部に表示させる請求項１０から１２のいずれか１項に記載の画像処理方法。
14. 前記認識対象物は薬剤である請求項１０から１２のいずれか１項に記載の画像処理方法。
15. 前記認識結果を出力するステップは、前記認識結果を薬剤認識装置に出力する請求項１４に記載の画像処理方法。
16. コンピュータにインストールされることにより、該コンピュータを請求項１から８のいずれか１項に記載の画像処理装置として機能させるプログラム。
17. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に該コンピュータを請求項１から８のいずれか１項に記載の画像処理装置として機能させる記録媒体。

Images