JP6666253B2 - 光学式文字認識（ｏｃｒ）を用いて使用者が設定した用量値を記録および表示するために注射デバイスに取り付けるための補助デバイス - Google Patents

Description

本発明は、注射デバイスに取り付けるための補助デバイスに関し、この補助デバイスは、注射デバイス上に存在する連続する数字を隔てる１つまたはそれ以上のスペースを検出するように構成された撮像配置およびプロセッサ配置を含む。

薬剤の注射による規則的な治療を必要とする様々な疾患が存在する。このような注射は、医療従事者または患者自身によって利用される注射デバイスを使用して行うことができる。一例として、１型および２型の糖尿病は、たとえば１日に１回または数回、患者自身がインスリン用量を注射することによって治療することができる。たとえば、事前充填使い捨てインスリンペンを注射デバイスとして使用することができる。あるいは、再使用可能ペンを使用することもできる。再使用可能ペンでは、空の薬剤カートリッジを新しいものに交換することが可能になる。どちらのペンにも、使用前にそれぞれ交換される１組の１回限りの針が付属する。次に、注射されるべきインスリン用量は、たとえば、インスリンペンにおいて投与量つまみを回し、インスリンペンの用量窓またはディスプレイにより実際の用量を確認することによって、手動で選択することができる。次に、その用量が、適切な皮膚部分に針を挿入し、インスリンペンの注射ボタンを押すことによって注射される。たとえば、インスリンペンの誤った取扱いを防止するために、または既に施された用量の経過を追うためにインスリン注射を監視できるように、たとえば注射されたインスリンのタイプおよび用量の情報などの、注射デバイスの状態および／または使用に関連する情報を評価することが望ましい。

本発明の第１の態様は、注射デバイスに取り付けるための補助デバイスを提供し、この補助デバイスは：
注射デバイスの可動部材上に存在する１つまたはそれ以上の数字の画像を取り込むように構成された撮像配置と；
画像を表すデータを受ける；
それぞれの可視数字の境界を決定することによって画像中の少なくとも１つの数字の位置を決定する；
識別予定の可視数字の１つを選択する；
パターンマッチング処理を実行して選択された数字の値を識別する；かつ
画像中の少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定する
ための第１のアルゴリズムを実行するように構成されたプロセッサ配置と
を含む。

少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定することは、選択された数字の画像の中心からの位置オフセットを計算すること、およびこの位置オフセットに基づく重み付け関数を、選択された数字の値に適用することを含む。プロセッサ配置はまた、受けた画像データに対し２値化処理を実行する。

画像中の数字の１つまたはそれ以上は、部分的にしか見えない。

それぞれの可視数字の境界を決定することは、画像の各画素行中の黒画素の合計を記録すること、およびその合計が閾値未満である１つまたはそれ以上の行を識別することを含む。それぞれの可視数字の境界を決定することはさらに、画像の各画素列中の黒画素の合計を記録すること、およびその合計が閾値未満である１つまたはそれ以上の列を識別することを含む。この閾値は１にすることができる。

パターンマッチング処理を実行することは：
選択された数値が２つ以上の数字を含む場合、これらの数字を分離すること；および
記憶された数字テンプレートと数字を比較して最良一致を決定すること
を含む。

識別予定の可視数字の１つを選択することは、最大高を有する数字を選択すること、または２つの数字が同じ高さである場合には最も上の数字を選択することを含む。

プロセッサは、画像中に見える数字の予想される高さおよび幅の値が事前プログラムされる。

プロセッサ配置はさらに、選択された数字の値に重み付け関数を適用した結果に対応する値がデバイスのディスプレイに表示されるように構成される。

プロセッサ配置はさらに、画像を表す受けたデータに対して第２のアルゴリズムを実行するように構成され、第２のアルゴリズムは、少なくとも１つの工程が第１のアルゴリズムとは異なる。プロセッサ配置はさらに、注射デバイスにダイヤル設定された用量を決定するために第１のアルゴリズムの結果と第２のアルゴリズムの結果とを比較するように構成される。

本発明の第２の態様は、本発明の第１の態様の補助デバイスと、数字がその上に存在する可動部材を有する注射デバイスとを含むシステムを提供する。

本発明の第３の態様は、注射デバイスにダイヤル設定された用量を、注射デバイスに取り付けるための補助デバイスを使用して決定する方法を提供し、この方法は：
補助デバイスの撮像配置が、注射デバイスの可動部材上に存在する１つまたはそれ以上の数字の画像を取り込む行程と；
補助デバイスのプロセッサ配置が：
画像を表すデータを受ける行程と；
それぞれの可視数字の境界を決定することによって画像中の少なくとも１つの数字の位置を決定する行程と；
識別予定の可視数字の１つを選択する行程と；
パターンマッチング処理を実行して選択された数字の値を識別する行程と；
画像中の少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定する行程と
を含む。

少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定することは、選択された数字の画像の中心からの位置オフセットを計算すること、およびこの位置オフセットに基づく重み付け関数を、選択された数字の値に適用することを含む。

薬物送達デバイスの分解組立図である。 図１ａの薬物送達デバイスの一部の細部を示す斜視図である。 本発明の一態様による図１ａおよび図１ｂの薬物送達デバイスに解放可能に取り付け予定のセンサデバイスの概略図である。 本発明の様々な態様による図１ａおよび図１ｂの薬物送達デバイスに解放可能に取り付け予定のセンサデバイスの斜視図である。 本発明の別の態様による図１ａおよび図１ｂの薬物送達デバイスに解放可能に取り付け予定のセンサデバイスの斜視図である。 薬物送達デバイスに取り付けられたセンサデバイスの、センサデバイスの構成要素を示す概略図である。 用量窓に対する光学センサの視野の例を示す図である。 用量窓に対する光学センサの視野の例を示す図である。 用量窓の２値化画像の一例を示す図である。 光学センサの視野の別の例およびセグメント化処理の予想結果を示す図である。 光学センサの視野の別の例およびセグメント化処理の予想結果を示す図である。 主数字行（primary digit row）が２つの数字を含む場合の光学センサの視野の別の例を示す図である。

以下では、本発明の諸実施形態についてインスリン注射デバイスに関して説明する。しかし、本発明はこのような用途に限定されず、他の薬剤を排出する注射デバイス、または他のタイプの医療デバイスにも同様に適切に配置することができる。

図１ａは、たとえばＳａｎｏｆｉのＳｏｌｏｓｔａｒ（登録商標）インスリン注射ペンである、注射デバイス１の分解組立図である。

図１ａの注射デバイス１は事前充填使い捨て注射ペンであり、ハウジング１０を含み、針１５を付けることができるインスリン容器１４を含む。針は、内側針キャップ１６および外側針キャップ１７によって保護され、外側針キャップはキャップ１８によって覆うことができる。注射デバイス１から排出予定のインスリン用量は、投与量つまみ１２を回すことによって選択することができ、その場合、選択用量は、たとえば、いわゆる国際単位（ＩＵ）の倍数として投与量窓１３を介して表示される。ここで１ＩＵは、約４５．５マイクログラムの純粋結晶のインスリン（１／２２ｍｇ）の生物学的等量物である。投与量窓１３に表示される選択用量の一例は、図１ａに示されるように、たとえば３０ＩＵである。選択用量は、別の仕方でも同様に適切に表示されることに留意されたい。ラベル（図示せず）がハウジング１０上に設けられる。このラベルは、注射デバイス内に含まれる薬剤についての情報を、その薬剤を識別する情報を含めて含む。薬剤を識別する情報は文字の形でよい。薬剤を識別する情報はまた、色の形でもよい。薬剤を識別する情報はまた、バーコード、ＱＲコード（登録商標）などに符号化される。薬剤を識別する情報はまた、白黒パターン、カラーパターンまたはシェーディングの形でもよい。

投与量つまみ１２を回すことにより、使用者に音響フィードバックを提供するための機械的なクリック音が生じる。投与量窓１３に表示された数字は印刷によってスリーブ上に存在し、このスリーブは、ハウジング１０内に含まれ、インスリン容器１４内のピストンと機械的に相互作用する。針１５が患者の皮膚部分に突き刺されると、次に注射ボタン１１が押され、表示窓１３に表示されたインスリン用量が注射デバイス１から排出される。注射ボタン１１が押された後に注射デバイス１の針１５が皮膚部分に一定の時間とどまっているときに、用量の大部分が患者の体の中に実際に注射される。インスリン用量の排出によってもまた機械的なクリック音が生じるが、この音は、投与量つまみ１２を使用するときに生成される音とは異なる。

注射デバイス１は、インスリン容器１４が空になるか、または注射デバイス１の有効期限（たとえば、最初の使用から２８日後）に達するまで、数回の注射処置に使用される。さらに、注射デバイス１を初めて使用する前に、インスリン容器１４および針１５から空気を除去するためのいわゆる「プライムショット」を、たとえば２単位のインスリンを選択し、針１５が上向きの状態で注射デバイス１を保持しながら注射ボタン１１を押すことによって実施する必要がある。

説明を簡単にするために、以下では、たとえば次に注射予定の用量の計画をするとき、この用量が、注射デバイスによって排出されなければならない用量と等しくなるように、排出される用量は注射される用量と実質的に一致するものと例示的に仮定する。しかしながら、排出用量と注射用量の差異（たとえば、損失）は、もちろん考慮に入れられる。

図１ｂは、注射デバイス１の端部の詳細図である。この図は、視認窓１３と投与量つまみ１２の間に置かれた位置特定リブ７０を示す。

図２ａは、図１ａおよび図１ｂの注射デバイス１に解放可能に取り付け予定の補助デバイス２の実施形態の概略図である。補助デバイス２は、図１ａおよび図１ｂの注射デバイス１のハウジング１０を取り巻くように構成された嵌合ユニット付きのハウジング２０を含み、そのため、補助デバイス２が注射デバイス１のハウジング１０に密着してはいるが、たとえば注射デバイス１が空であり交換されなければならないときには、注射デバイス１から取外し可能になる。図２ａは非常に概略的であり、物理的な配置の詳細については、以下で図２ｂを参照して説明する。

補助デバイス２は、注射デバイス１から情報を集めるための光学センサおよび音響センサを含む。この情報の少なくとも一部、たとえば選択用量（および場合により、この用量の単位）は、補助デバイス２の表示ユニット２１を介して表示される。注射デバイス１の投与量窓１３は、補助デバイス２が注射デバイス１に取り付けられると、補助デバイス２によって遮られる。

補助デバイス２はさらに、ボタン２２として概略的に図示された、少なくとも１つの使用者入力トランスデューサを含む。これらの入力トランスデューサ２２により、使用者が補助デバイス２をオン／オフすること、動作を起動すること（たとえば、別のデバイスとの連結またはペアリングを確立させるために、および／または補助デバイス２から別のデバイスへの情報の伝達を起動するために）、または何かを確認することが可能になる。

図２ｂは、図１ａおよび図１ｂの注射デバイス１に解放可能に取り付け予定の補助デバイス２の第２の実施形態の概略図である。補助デバイス２は、図１ａおよび図１ｂの注射デバイス１のハウジング１０を取り巻くように構成された嵌合ユニット付きのハウジング２０を含み、そのため、補助デバイス２が注射デバイス１のハウジング１０に密着してはいるが、注射デバイス１から取外し可能になる。

情報が補助デバイス２の表示ユニット２１を介して表示される。注射デバイス１の投与量窓１３は、補助デバイス２が注射デバイス１に取り付けられると、補助デバイス２によって遮られる。

補助デバイス２はさらに、３つの使用者入力ボタンまたはスイッチを含む。第１のボタン２２は、電源オン／オフボタンであり、これによって、補助デバイス２をたとえばオンおよびオフすることができる。第２のボタン３３は通信ボタンである。第３のボタン３４は確認またはＯＫボタンである。ボタン２２、３３、３４は、適切な任意の形の機械的スイッチとすることができる。これらの入力ボタン２２、３３、３４により、使用者が補助デバイス２をオン／オフすること、動作を起動すること（たとえば、別のデバイスとの連結またはペアリングを確立させるために、および／または補助デバイス２から別のデバイスへの情報の伝達を起動するために）、または何かを確認することが可能になる。

図２ｃは、図１ａおよび図１ｂの注射デバイス１に解放可能に取り付け予定の補助デバイス２の第３の実施形態の概略図である。補助デバイス２は、図１ａおよび図１ｂの注射デバイス１のハウジング１０を取り巻くように構成された嵌合ユニット付きのハウジング２０を含み、そのため、補助デバイス２が注射デバイス１のハウジング１０に密着してはいるが、注射デバイス１から取外し可能になる。

情報が補助デバイス２の表示ユニット２１を介して表示される。注射デバイス１の投与量窓１３は、補助デバイス２が注射デバイス１に取り付けられると、補助デバイス２によって遮られる。

補助デバイス２はさらに、タッチセンサ式入力トランスデューサ３５を含む。補助デバイスはまた、単一の使用者入力ボタンまたはスイッチ２２を含む。ボタン２２は電源オン／オフボタンであり、これによって、補助デバイス２をたとえばオンおよびオフすることができる。タッチセンサ式入力トランスデューサ３５を使用して、動作を起動すること（たとえば、別のデバイスとの連結またはペアリングを確立させるために、および／または補助デバイス２から別のデバイスへの情報の伝達を起動するために）、または何かを確認することができる。

図３は、図２ａの補助デバイス２が図１ａおよび図１ｂの注射デバイス１に取り付けられた状態の補助デバイス２の概略図を示す。

補助デバイス２のハウジング２０と共に、複数の構成要素が含まれる。これらはプロセッサ２４によって制御され、このプロセッサは、たとえば、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。プロセッサ２４は、プログラムメモリ２４０に記憶されたプログラムコード（たとえば、ソフトウェアまたはファームウェア）を実行すると共に、たとえば中間結果を記憶するために、主メモリ２４１を使用する。主メモリ２４１はまた、実行された排出／注射のログブックを記憶するために使用される。プログラムメモリ２４０は、たとえば読取り専用メモリ（ＲＯＭ）であり、主メモリは、たとえばランダムアクセスメモリ（ＲＡＭ）である。

図２ｂに示されたものなどの実施形態では、プロセッサ２４は第１のボタン２２と対話し、それによって補助デバイス２は、たとえば電源をオンおよびオフすることができる。第２のボタン３３は通信ボタンである。この第２のボタンは、他のデバイスとの接続の確立を起動するために、または他のデバイスへの情報の伝達を起動するために使用される。第３のボタン３４は確認またはＯＫボタンである。第３のボタン３４は、補助デバイス２の使用者に提供された情報に対して確認応答するために使用することができる。図２ｃに示されたものなどの実施形態では、２つのボタン３３、３４を省略することができる。代わりに、１つまたはそれ以上の容量性センサまたは他のタッチセンサが設けられる。

プロセッサ２４は、液晶ディスプレイ（ＬＣＤ）として現在具現化されている表示ユニット２１を制御する。表示ユニット２１は、補助デバイス２の使用者に対し、たとえば注射デバイス１の現在の設定、または付与予定の次の注射についての情報を表示するために使用される。表示ユニット２１はまた、たとえば使用者の入力を受けるために、タッチスクリーンディスプレイとして具現化することもできる。

プロセッサ２４はまた、投与量窓１３の画像を取り込むことができる光学式文字認識（ＯＣＲ）リーダとして具現化された光学センサ２５を制御し、この投与量窓には、現在選択されている用量が表示される（注射デバイス１に含まれるスリーブ１９上にある、投与量窓１３を通して見える数字、文字、記号またはグリフによって）。ＯＣＲリーダ２５はさらに、取込み画像からの文字（たとえば数字）を認識し、この情報をプロセッサ２４に提供することもできる。あるいは、補助デバイス２のユニット２５は、画像を取り込むと共に取込み画像の情報をプロセッサ２４に提供する光学センサ（たとえばカメラ）だけでもよい。その場合、プロセッサ２４は、取込み画像に対しＯＣＲを実施することに関与する。

プロセッサ２４はまた、現在選択されている用量が表示される投与量窓１３を照明するための発光ダイオード（ＬＥＤ）２９などの光源を制御する。たとえば一枚のアクリルガラスから作られた拡散器が光源の前方に使用される。さらに光学センサは、たとえば２つの非球面レンズを含むレンズ系を含む。拡大率（画像サイズと対象物サイズの比）は１未満である。拡大率は、０．０５から０．５の範囲内である。１つの実施形態では、拡大率は０．１５である。

プロセッサ２４はさらに、注射デバイス１のハウジング１０の光学特性（たとえば、色または濃淡）を決定するように構成された測光器２６を制御する。この光学特性は、ハウジング１０の特定の部分、たとえば、注射デバイス１の中に含まれるスリーブ１９またはインスリン容器の色または色コーディングとしてだけ存在することができ、この色または色コーディングは、たとえばハウジング１０（および／またはスリーブ１９）の別の窓を通して見える。その場合、この色の情報はプロセッサ２４に提供され、プロセッサ２４は次に、注射デバイス１の種類、または注射デバイス１に収容されたインスリンの種類を決定することができる（たとえば、紫色のＳｏｌｏＳｔａｒ Ｌａｎｔｕｓ、および青色のＳｏｌｏＳｔａｒ Ａｐｉｄｒａ）。あるいは、測光器２６の代わりにカメラユニットが使用され、その場合、画像処理によってハウジング、スリーブまたはインスリン容器の色を決定するために、ハウジング、スリーブまたはインスリン容器の画像がプロセッサ２４に提供される。さらに、測光器２６の読取値を改善するために、１つまたはそれ以上の光源が設けられる。光源は、測光器２６による色検出を改善するために、ある特定の波長またはスペクトルの光を提供する。光源は、たとえば投与量窓１３による不要な反射が回避または低減されるように配置される。例示的な一実施形態では、注射デバイスおよび／またはその中に収容されている薬剤に関連するコード（たとえばバーコードであり、たとえば一次元または二次元バーコードである）を検出するために、測光器２６の代わりに、またはそれに加えてカメラユニットが配置される。このコードは、いくつか例を挙げると、たとえばハウジング１０の上、または注射デバイス１に含まれる薬剤容器の上に置かれる。このコードは、たとえば、注射デバイスおよび／または薬剤の種類、および／または別の特性（たとえば有効期限）を示すことができる。

プロセッサ２４はさらに、注射デバイス１によって生成された音を検知するように構成されている音響センサ２７を制御する（かつ／または音響センサからの信号を受ける）。このような音は、たとえば、投与量つまみ１２を回すことによって用量がダイヤル設定されたとき、および／または注射ボタン１１を押すことによって用量が排出／注射されたとき、および／またはプライムショットが行われたときに発生する。これらの動作は機械的に類似してはいるが、異なる音が出る（これらの動作を示すのが電子音の場合でも）。音響センサ２７および／またはプロセッサ２４は、たとえば、（プライムショットだけではなく）注射が行われたことを安全に認識できるようにするために、これらの異なる音を区別するように構成される。

プロセッサ２４はさらに、たとえば注射デバイス１の動作状態と関連付けることができる音響信号をたとえば使用者へのフィードバックとして生成するように構成されている音響信号発生器２３を制御する。たとえば、音響信号は、注射予定の次の用量を思い出させるものとして、または、たとえば誤用の場合の警告信号として、音響信号発生器２３から送出される。音響信号発生器は、たとえば、ブザーまたはスピーカとして具現化することができる。音響信号発生器２３に加えて、またはその代替として、たとえば振動によって触覚フィードバックを与えるための触覚信号発生器（図示せず）もまた使用される。

プロセッサ２４は、無線によって他のデバイスとの間で情報を送信および／または受信するように構成されている無線ユニット２８を制御する。このような伝送は、たとえば、無線伝送または光伝送に基づく。いくつかの実施形態では、無線ユニット２８はブルートゥース（登録商標）トランシーバである。別法として、無線ユニット２８は、たとえばケーブルまたはファイバ接続を介した有線結合によって他のデバイスとの間で情報を送信および／または受信するように構成された有線ユニットによって置き換えられ、または補完される。データが送信されるとき、転送されるデータ（値）の単位は、明示的または暗黙的に定義される。たとえば、インスリン用量の場合、常に国際（ＩＵ）単位が使用され、または別に、使用される単位が明示的に、たとえばコード化された形で転送される。

プロセッサ２４は、ペン１が存在するかどうか、すなわち補助デバイス２が注射デバイス１に連結されているかどうかを検出するように動作可能であるペン検出スイッチ３０から入力を受ける。電池３２が、プロセッサ２４および他の構成要素に電源３１から電力を供給する。

したがって図３の補助デバイス２は、注射デバイス１の状態および／または使用に関連する情報を決定することができる。この情報は、デバイスの使用者が使用するための表示ユニット２１に表示される。この情報は、補助デバイス２自体で処理されるか、または他のデバイス（たとえば血糖監視システム）に少なくとも部分的に提供される。

図４および図５は、補助デバイス２が注射デバイス１に取り付けられたときの光学センサ２５の視野４００の例を概略的に示す。センサの視野は長方形または正方形である。光学センサの視野４００は、用量窓１３よりも広いが窓ほど高くはなく、したがって、用量窓１３の全部を取り込まない。しかし、他のいくつかの実施形態では、視野が用量窓１３よりも両方向に大きい。図４および図５の実線の水平線４０２は、視野４００の中心線である（すなわち、光学センサの２５画素アレイの中心画素行）

いくつかの実施形態では、スペース制約、および数字が特定のサイズである必要性により、偶数だけが数字スリーブ１９上に印刷される。他のいくつかの実施形態では、奇数だけが数字スリーブ上に印刷される。しかし、任意の単位数の薬剤を注射デバイス１にダイヤル設定することができる。いくつかの代替実施形態では、すべての数字、すなわち昇順の整数がスリーブ上に印刷される。これらの実施形態では、半単位用量を注射デバイスにダイヤル設定することが可能である。この注射デバイスは、８０単位の最大ダイヤル設定用量に制限される。別の代替実施形態では、３つごと、４つごと、または５つごとの数字だけが印刷される。印刷された数字間の用量位置は、目盛によって示される。「印刷される」という用語は、本明細書では、数字が数字スリーブの表面に印付けられることを示すが、当業者には、数字が印刷される、エッチングされる、印付けられる、取り付けられる、またはそれとは別に、いくつかの知られている方法で補助デバイス２の光学センサ２５に見えるようにされることが理解されよう。

注射デバイス１および補助デバイス２は、光学センサ２５の視野４００が用量窓１３を覆ってほぼ中心に位置するように構成される。製造許容誤差は、視野が水平と垂直の両方向でわずかに中心を外れることを意味する。図４では、数字６が用量窓１３の中心に表示されるようにして６単位が注射デバイス１にダイヤル設定されている。図５では、数字６と８の両方が用量窓１３に表示され、これらの数字間のスペースが用量窓１３の中心領域を占めるようにして７単位が注射デバイス１にダイヤル設定されている。

プロセッサ２４は、図４および図５で表された両方の状態が正確に復号されることを可能にするアルゴリズムを実行するように構成される。このアルゴリズムでは、注射デバイス１に現在ダイヤル設定されている用量を正確に決定するために、可視数字に対して光学式文字認識（ＯＣＲ）処理を実行し、このＯＣＲ処理の結果を使用する。このアルゴリズムは、ソフトウェアまたはファームウェア内で具現化され、補助デバイス２のプログラムメモリ２４０に記憶される。プロセッサ２４と、アルゴリズムを記憶するメモリ２４０とは一緒に、本明細書では「プロセッサ配置」と呼ばれる。

全アルゴリズムは、前処理部、ＯＣＲ部、および後処理部に分けることができ、各部は一般にいくつかの工程を含む。

前処理部では、画像データ品質が評価され、以下の工程を実行することによって改善される：
・欠陥不良画素の補正
・明るさ補正
・歪みおよび傾斜補正

たとえば、露光制御アルゴリズムは、明るすぎる、または暗すぎるピクチャを拒否し、露光パラメータが調整されている新しいピクチャが取り込まれる。数字は、人が認識および位置決めしやすいように傾斜して印刷されるが、この傾斜が除去されるならば復号しやすくなる。本明細書で説明され特許請求される本発明の目的に対して、前処理は任意選択の特徴である。アルゴリズムのＯＣＲ部は、画像の前処理なしで要求標準規格に合わせて実行するように設計され、かつ／または光学センサ２５は、画像に直接実施予定のＯＣＲのために十分な品質の画像を生成するように構成される。

ＯＣＲ部では、画像データが次にさらに処理され、最後に認識文字が得られる。ＯＣＲ処理は次の工程を含む：
・２値化
・セグメント化
・パターンマッチング
・位置計算

これらの工程については以下でより詳細に説明する。

後処理は様々な検査、および表示予定の結果の生成を含む。後処理は以下の工程を含む：
・健全さ（ｓａｎｉｔｙ）検査を実行する
・ヒステリシス計算
・最終結果をディスプレイに示す

本明細書で説明され特許請求される本発明の目的に対して、後処理は任意選択の特徴である。たとえばＯＣＲ処理の結果は、後処理なしで表示デバイスへ直接出力される。

センサデバイス２の高い信頼性要件により、いくつかの実施形態には並列で動作する２つのＯＣＲアルゴリズムがある。これら２つのＯＣＲアルゴリズムは同じ入力（画像）を有し、同じ出力を提供するようになっている。これらは両方とも同様の工程を実行するが、各工程で使用される個々の方法は様々である。これら２つのＯＣＲアルゴリズムは、２値化、セグメント化、パターンマッチング、および位置計算の各工程のうちの１つが異なるか、またはこれらの工程のうちの２つ以上が異なる。同じ結果を提供するために異なる方法を使用する２つのＯＣＲ部があると、データが２つの独立した方法で処理されているので、アルゴリズム全体の信頼性が向上する。

重要な課題は、ディスプレイによる数字、文字、および／またはグリフを認識して用量値を決定することが確実にできる小さなシステムの中に、画像取込み、およびその後のセグメント化を含むＯＣＲ処理を実施することである。システムは電池駆動され、小型であり、撮像能力ならびに処理能力が小型設計および寿命の要件により限定されている。この種のデバイスのプロセッサは一般に、約１００ＭＨｚ以下のクロック速度、最大３２ｋバイトＲＡＭおよび５１２ｋｂフラッシュのメモリを有する（これらの仕様は例示であり、限定するものではない）。しかし、ＯＣＲ処理の結果は、用量をダイヤル設定している使用者がその用量を補助デバイスからダイヤル設定しながら読み取ることができるという、リアルタイムで得られるべきである。典型的な計算時間は約７０ｍｓであろう。

次に、アルゴリズムのＯＣＲ部についてより詳細に説明する。図６は、２値化後の用量窓１３の画像６００の一例を示す。実線の水平線６０２は、光学センサ２５の視野の中心線である。用量窓１３の画像がまず、光学センサ２５によって取り込まれる。上述の前処理工程を適用した後に、２値化処理によってグレースケール画像が全くの白黒画像に変換される。明るいスリーブ上に暗い数字がある注射ペンの設計によれば、白黒画像は黒画素で数字の存在を示し、白画素で数字の不在を示す。

いくつかの実施形態では、黒と白の画素を分けるために固定閾値が使用される。２値化ピクチャ中で、閾値以上の値を有する画素は白色に、閾値未満の画素は黒色になる。高い閾値がアーチファクト（白色領域内の黒色部分）を招くのに対し、低い閾値には、場合によって数字の一部が欠けるというリスクがある。いくつかの実施形態では、アルゴリズムが一般にアーチファクトに対して堅牢であるので（すなわち、いくつかのアーチファクトの存在下で正確なＯＣＲ処理を実行することができる）、閾値は数字の一部が決して欠けないように選択される。試験では、２５６個のグレー値を検出できるセンサが使用され、１２７という閾値で良好な結果が示された。

前処理における明るさ補正により、固定閾値の使用が可能である。明るさ補正と固定閾値の組合せは、窓平均２値化（windowed mean binarization）と類似している。窓平均２値化では、画素値をそれが位置する領域の画素の平均値と比較する。歪みおよび傾斜補正工程の前に明るさ補正工程を実行するということは、ＯＣＲ処理に使用されるさらに多くの情報が得られることであり、これがピクチャの縁部および隅部に対しより良好な結果をもたらすことが示された。

あるいは、画像６００に類似している２値画像を生成するために、大津の閾値方法（Otsu threshold method）が取込みグレースケール画像に適用される。いくつかの代替実施形態では２値化が省略され、アルゴリズムのＯＣＲ部が取込みグレースケール画像に対して実行される。

２値化後、セグメント化工程が実行される。アルゴリズムのこの部分の目標は、画像中のそれぞれの可視数字または部分的に見える数字の正確な位置を決定することである。これを達成するためにアルゴリズムは、数字の縁部を見つけることによって可視数字の境界を画成する。これは一般に、どの順序でも実行できる２つの工程で実現される。図４および図５を再び参照すると、プロセッサ２４はまず、２値化画像を構成する画素列が分析される「垂直投影」を実行する。それぞれの画素列が個々に分析され、それぞれの列内の黒画素の数の合計が算出される。いくつかの実施形態では、ゼロ黒画素を有する画素列だけが数字の縁部を画成する。あるいは、黒画素の数に対する低閾値が、汚れ、スクラッチ、および他の外乱を明らかにするように設定される。隣接列に対して異なる値が算出され、最大の差がある境界が数字の縁部を表す。加えて、列の重なり合う群（たとえば、３つの隣接列）の画素内容が、数字の水平縁部を決定する助けになるように算出される。図４および図５に見える破線は、「垂直投影」の予想結果を示す。

プロセッサ２４は次に、２値化画像を構成する画素行が分析される「水平投影」を実行する。これは、垂直投影について上述したのと同じように進行する。次に、図７および図８を参照すると、光学センサ２５の視野７００が再び示されている。実線の水平線７０２は、光学センサ２５の視野の中心線である。水平投影の予想結果は、可視数字の縁部が識別されるように垂直投影の予想結果に加えられる。破線は、この処理の予想結果を示す。図８で、数字「６」も「８」も完全に可視であり、したがってセグメント化処理では、これら両方の数の４つすべての縁部（左、右、上部および下部）を検出する。これは、７単位をダイヤル設定した使用者に対応する。図７では、数字「６」が視野７００中心にあり、数字「４」および「８」が上下に部分的に見える。これは、６単位をダイヤル設定した使用者に対応する。すなわち、部分的に見える数字の縁部のすべてが検出されるわけではない。プロセッサ２４は、完全な数字の（画素行の）予想高さが事前プログラムされ、したがって、部分的に見える数字が存在することを認識することができる。

それぞれの行および列の白画素の予想数が既知であるならば、「水平投影」および「垂直投影」も同じく、白画素の合計が代わりに計算される分析に完全に基づくことができるというのが素直な見方である。

正確な位置が分かると、可視数字を表す画像の一部だけをＯＣＲ処理の次の工程のために使用することが可能になる。これにより、数字以外の他のもの、たとえば汚れ、スクラッチおよび他の外乱のいかなる影響も減らすことができる。さらに、後に続く工程で、たとえばパターンマッチング工程で処理予定の画素の総数もまた低減される。これは、リソース要件を減らす助けになる。これはまた、性能を向上させる助けにもなる。加えて、正確な位置が分かることがまた、画像の中心に対して垂直位置を決定する支援となる（下記参照）。

ＯＣＲ処理の次の工程は、復号予定および識別予定の可視数字の１つを選択することである。これは、数字のうちの１つを「主数字行」として指定することによって行われる。主数字行は、どの可視数字が最大高を有するかに基づいて選択される。その理由は、スリーブ上に印刷された数字のすべてがほぼ同じ高さを有し、かつ最大高を有する数字が完全に可視であると仮定することができ、したがって高い確実度で復号しやすいからである。図７では、数字「６」が、上下の部分的に見える数字よりも高さがあり、主数字行として選択される。図８では、数字の「６」も「８」も完全に可視であり、高さが同じである。この場合、最も上の数字が主数字行として選択される。主数字行は、注射デバイス１にダイヤル設定された用量を決定するために後で使用される数字である。

インスリンの自己投与のための標準的な注射デバイス１は、１から８０単位の任意の単位数の薬剤を注射することができる。したがって、主数字行として識別された数字を適正に復号するために、その数字が１つの数字からなるか、それとも２つの数字からなるかを決定しなければならない。したがってプロセッサ２４は、それぞれの数字が１つの数字からなるか、それとも２つの数字からなるかを決定するために一連の工程を実行し、後者の場合には、その数字を互いに分離する。プロセッサ２４は、事前に計算された列画素情報をこの目的のために使用することができる。次に図９を参照すると、別の例示的な視野９００が示されており、９単位の薬剤が注射デバイス１にダイヤル設定されている。水平投影および垂直投影の予想結果が示されている。数字「１０」は数字「８」よりも高く、主数字行として選択される。

この後プロセッサ２４は、選択された主数字行が所定の「最大数字幅」値よりも幅が広いかどうかを決定する。プロセッサ２４は、取込み画像中の数字の予想サイズに関する情報が事前プログラムされているので、単一数字の最大予想幅が画成される。信頼性を向上させるために、最大幅は、最大幅の数字よりも多い少数の画素列として設定される。主数字行の幅が最大数字幅以下である場合、この行は単一の数字を含むと仮定される。主数字行が単一数字であるにしては幅が広すぎる場合には、第２の垂直投影が主数字行に対して実行される（画像全体に対してではなく）。加えて、個々の数字それぞれの予想幅が、分離が行われるべき点を予想するために使用される。

図９に示された例示的な視野９００は、数字が十分に間隔をあけて配置されている図である。実際には、数字スリーブが使用できるスペースの制限、および補助デバイス２が使用されていないときに数字が使用者に読取り可能である必要性により、各数字は一緒に非常に接近して印刷される。すなわち、２値化後には、数値を構成する２つの数字はきれいには分離されていなく、すなわち、黒画素のない列が２つの数字間にはない。これは、図６に示された例示的な２値化画像の場合であり、上の数字「７４」の「７」と「４」には、これらの間に黒画素を含まない画素列がない。この場合、個々の数字それぞれの予想幅は再び、分離が行われるべき点を予想するために使用される。予想列が黒画素を含む場合、この列の隣接列からの偏差が計算されて最良の分離点が決定される。この場合、選択された分離列中の黒画素が左側数字に属するのか右側数字に属するのかは明確ではないので、黒画素は無視される。こうすることが数字を正しく識別するためのＯＣＲ処理の信頼性に及ぼす影響は、最小限であることが示されている。

次に、パターンマッチング処理が実行されて、主数字行中の数字が識別される。各数字のテンプレートを補助デバイス２のメモリに記憶することができ、その場合、識別された数字をこれらのテンプレートと比較することができる。簡単な手法では、パターンマッチングは画素ごとに実行することもできる。しかし、これは高い計算能力を必要とする。さらに、この方式には、画像とテンプレートの間に位置変動の傾向がある。他のいくつかの実施形態では、特徴認識処理が実行される。特徴は、水平線、垂直線もしくは対角線、曲線、円、または閉ループなどである。これらの特徴は、選択された数字の画像内で認識し、テンプレートと比較することができる。

さらに別の実施形態では、パターンマッチングアルゴリズムは、ベクトル比較処理に基づくことができる。たとえばテンプレートは、黒画素の各線（連続する一続き）の位置および長さを記述するベクトルの形である。１つの例では、これらの位置および長さは、それぞれの線における絶対位置と関係がある。別の例では、位置および長さは、テンプレートの中心を通って延びる垂直線と関係がある。各数字の取込み２値画像は、同様にベクトルに変換され、それぞれの記憶されたテンプレートと比較されて最良一致が見出される。

取込み画像のベクトルを特定の数字テンプレートと比較するときには、いかなる偏差も、画像とそのテンプレートの間の一致の可能性に適用されるペナルティになる。ペナルティの大きさは、テンプレートと比較される画像内の欠損または余分な黒画素の数に依存する。数字画像が各テンプレートと比較され、すべてのペナルティが適用された後で、どの数字が存在するかについての判定が行われる。良好な光学条件では、適正なテンプレートはペナルティが非常に低いのに対し、他のすべてのテンプレートは高いペナルティを有する。主数字行が２つの数字から成る場合には、この処理は両方の数字に対して実行され、プロセッサ２４は次に出力を一緒にして、その数字に対する最終結果を生成する。

特定の数字に対しては特別な方策が存在する。たとえば、「１」は他のすべての数字から幅が大きく逸脱し、結果として共通の誤検出が生じる。これに対処するために、数字の２値画像が「１」の予想幅よりも幅が広い場合、この２値画像は、「１」の記憶されたベクトルテンプレートと比較されるときに追加の検出ペナルティを受ける。

いくつかの例外的な場合では、主数字行のパターンマッチングの結果における信頼水準が特定の閾値（たとえば９９％）未満であるならば、プロセッサは、他の可視数字または部分的可視数字の１つまたはそれ以上に対して第２のパターンマッチング処理を実行することができる。数字の順序が分かっているので、この第２のパターンマッチングは、第１のパターンマッチングが正しい結果を返したことを検査するものとして機能することができる。

結果の信頼水準が依然として十分に高くない場合には、光学センサ２５によって第２の画像が取り込まれ、処理が繰り返される。あるいは、エラーメッセージが表示される。

主数字行の数字がうまく識別された後、注射デバイス１にダイヤル設定された用量を決定するために重み付け関数が適用される。重み付け関数を公式化するために、画像の中心に対する主数字行の垂直位置が決定される。これは、主数字行を含む中間画素行の、画像の中心線を表す光学センサ２５の画素行に対するオフセットを計算することによって行われる。

たとえば、いくつかの実施形態で光学センサは、感光要素からなる長方形の６４×４８アレイを含む。結果として得られる２値画像は、これらと同じ寸法を有する画素アレイになる。２４番目および／または２５番目の画素行が、画像の中心行として指定される。主数字行を含む中間画素行の位置が決定される。主数字行を含む中間画素行と画像の中心行との間の、画素行のオフセットが次に計算される。このオフセットは、オフセットの方向に応じて正または負になる。オフセットは、それに応じて決定数字に適用される前に、連続する数字間の（画素行における）距離でオフセットを割った端数に変換される。したがってオフセットにより、センサに対して数字の回転位置を決定することが可能になる。主数字行の中心画素行が画像の中心画素行と同じである場合、オフセットはゼロになり、その位置は主数字行番号（primary digit row number）と同じになる。しかし、補助デバイス２の、およびまたは注射デバイス１の製造許容誤差により、ならびに使用者が数字スリーブに加える圧力により、ほとんどの状況においていくらかのオフセットが存在する可能性がある。

数字スリーブ上に印刷された連続する数字間の距離は、これらの数字が注射デバイス機構の離散形の機械的動きに関連付けられている用量を表しているので、一定である。したがって、取込み画像内の連続する数字間の（画素行における）距離もまた一定になるはずである。数字の予想高さ、および数字間のスペースは、アルゴリズムに事前プログラムされる。

一例として、各数字の予想高さは２２画素であり、数字間のスペースの予想高さは６画素である。したがって、連続する数字の中心画素行間の距離は２８画素になる。

この例を続けると、画素行に番号が、画像の最上部から最下部まで順に付けられている場合、重み付け関数の適用は数学的に次式の通りに定義される：
位置＝主数字行の数字＋［２×オフセット／（数字の予想高さ＋スペースの予想高さ）］

ここで、オフセット＝中心画像行番号−主数字行中心行番号

すなわち、主数字行が画像の上半分にある場合、オフセットは正になり、主数字行が画像の下半分にある場合、オフセットは負になる。たとえば、主数字行に示される数字が図４のように「６」であり、オフセットがゼロである場合、計算位置は次式となる：
位置＝６＋［２×０／（２８）］＝６

したがって、「６」の結果が予想通りに返されることになる。

７５単位が注射デバイス１にダイヤル設定されている図６を例にとると、上の数字「７４」が主数字行として選択され、上記の式によって１１画素行の正のオフセットがあり、また２８画素の組合せ数字／スペース高さを再び仮定する場合では、計算位置は次式となる：
位置＝７４＋［２×１１／（２８）］＝７４．７９

次に、この結果が最も近い整数に丸められて、予想通りに「７５」の位置決定が与えられる。

最後の後処理部を適用した後、プロセッサ２４によりこの結果が補助デバイス２の表示ユニット２１に表示される。前に論じたように、スペース制約により、すべての数字が数字スリーブ上に印刷されるわけではない。いくつかの実施形態では、偶数だけが数字スリーブ上に印刷される。上述の位置決定工程により、補助デバイス２が用量値を表示することが、これらの値が数字スリーブ上に現われないことがあるにしても、可能になる。したがって、ダイヤル設定された用量のより明確な標示が補助デバイス２の使用者に提供される。

使用者が用量をゆっくりとダイヤル設定する（すなわち、投与量つまみ１２をゆっくりと回す）場合、上述の位置丸めにより２つの数字間での表示ちらつきが生じることがある。これを防止するために後処理工程は、表示される数字が前の表示数字にいくらか依存するように、ヒステリシス規則を含む。このヒステリシス計算は、結果が表示される前にアルゴリズムで実行される最後の工程である。

当業者には、上述の重み付け関数および位置決定が単に１つの例であること、ならびに多数の他の計算方法が、同じ結果に到達するために使用されてよいことが理解されよう。当業者にはまた、上述の計算は、計算時間を減らすために修正および改善できることが理解されよう。すなわち、重み付け関数の厳密な形は、本発明の定義に必須ではない。

いくつかの実施形態では、３つごと、４つごと、または５つごとの数字だけがスリーブ上に印刷され、たとえば数字の並びは、０、５、１０、１５などとなる。中間の用量値は、スリーブ上の目盛によってのみ示される。この場合、光学センサ２５の解像度は、アルゴリズムが数字スリーブ１９の正確な位置を決定すること、ならびに、センサの中心線に対する可視数字の位置を決定することによって、刻まれていない用量単位値を導出することを可能にするのに十分である。たとえば、７単位を注射デバイスに、用量スリーブが印刷数字５と１０の間の位置に回って入るようにダイヤル設定することができる。この場合、アルゴリズムの位置決定態様は、重み付け関数の修正形を使用して「７」の用量値を算出するのに十分に正確である（数字の高さおよび数字間のスペースのサイズもまた修正されるので）。

アルゴリズムはまた、たとえば１つまたはそれ以上の数字のサイズを変更することによって、画成された画素領域にまで数字を切り詰めることによって、またイタリックフォントで印刷された数字を直立位置にせん断変形させることによって、数字の画像に対して他の種類の操作を行うように構成することもできる。これらの操作は、記憶されたテンプレートとのパターンマッチング比較の前に行うことができる。あるいは、これらの操作は、２値化処理の前の取込み画像に対する画像前処理工程で行うこともできる。追加のシェーディング、歪みおよび露光補正もまた行うことができる。

Claims (23)

1. 注射デバイスに取り付けるための補助デバイスであって：
   該注射デバイスの可動部材上に存在する１つまたはそれ以上の数字の画像を取り込むように構成された撮像配置と；
   画像を表すデータを受ける；
   それぞれの可視数字の境界を決定することによって画像中の少なくとも１つの数字の位置を決定する；
   該位置が決定された少なくとも１つの数字の中から識別予定の可視数字の１つを選択する；
   パターンマッチング処理を実行して選択された数字の値を識別する；かつ
   画像中の少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、該注射デバイスにダイヤル設定された用量を決定する
   ための第１のアルゴリズムを実行するように構成されたプロセッサ配置と
   を含み、少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定することは、選択された数字の画像の中心からの位置オフセットを計算すること、および該位置オフセットに基づく重み付け関数を、選択された数字の値に適用することを含む、前記補助デバイス。
2. 位置オフセットは画素行の数として表現される、請求項１に記載の補助デバイス。
3. 画像中の数字の１つまたはそれ以上が部分的にしか見えない、請求項１または２に記載の補助デバイス。
4. プロセッサ配置はさらに、受けた画像データに対し２値化処理を実行するように構成される、請求項１〜３のいずれか１項に記載の補助デバイス。
5. それぞれの可視数字の境界を決定することは、画像の各画素行中の黒画素の合計を記録すること、および該合計が閾値未満である１つまたはそれ以上の行を識別することを含む、請求項１〜４のいずれか１項に記載の補助デバイス。
6. それぞれの可視数字の境界を決定することはさらに、画像の各画素列中の黒画素の合計を記録すること、および該合計が閾値未満である１つまたはそれ以上の列を識別することを含む、請求項１〜５のいずれか１項に記載の補助デバイス。
7. 閾値は１である、請求項５または６に記載の補助デバイス。
8. パターンマッチング処理を実行することは：
   選択された数値が２つ以上の数字を含む場合、該数字を分離すること；および
   記憶された数字テンプレートと数字を比較して最良一致を決定すること
   を含む、請求項１〜７のいずれか１項に記載の補助デバイス。
9. プロセッサ配置はさらに、選択された数字が既定の最大数字幅値よりも幅が広いかどうかを決定することによって、選択された数字が２つ以上の数字を含むかどうかを決定するように構成される、請求項８に記載の補助デバイス。
10. 識別予定の可視数字の１つを選択することは、最大高を有する数字を選択すること、または２つの数字が同じ高さである場合には最も上の数字を選択することを含む、請求項１〜９のいずれか１項に記載の補助デバイス。
11. プロセッサは、画像中に見える数字の予想される高さおよび幅の値が事前プログラムされる、請求項１〜１０のいずれか１項に記載の補助デバイス。
12. プロセッサ配置はさらに、２つ以上の数字の分離が行われるべき点を予想するために数字の予想される幅を使用するように構成される、請求項７に従属する場合の請求項１１に記載の補助デバイス。
13. プロセッサ配置はさらに、選択された数字の値に重み付け関数を適用した結果に対応する値がデバイスのディスプレイに表示されるように構成される、請求項１〜１２のいずれか１項に記載の補助デバイス。
14. プロセッサ配置はさらに、画像を表す受けたデータに対して第２のアルゴリズムを実行するように構成され、第２のアルゴリズムは、少なくとも１つの工程が第１のアルゴリズムとは異なる、請求項１〜１３のいずれか１項に記載の補助デバイス。
15. 第１および第２のアルゴリズムは並列で動作する、請求項１４に記載の補助デバイス。
16. プロセッサ配置はさらに、注射デバイスにダイヤル設定された用量を決定するために第１のアルゴリズムの結果と第２のアルゴリズムの結果とを比較するように構成される、請求項１５または請求項１５に記載の補助デバイス。
17. 第１のアルゴリズムは、画像データ品質を評価および改善するための前処理部を含む、請求項１〜１６のいずれか１項に記載の補助デバイス。
18. 前処理部は、欠陥不良画素の補正工程、明るさ補正工程、ならびに歪みおよび傾斜の補正工程を含む、請求項１７に記載の補助デバイス。
19. プロセッサ配置はさらに、パターンマッチング処理の結果における信頼水準が閾値レベル未満である場合に、画像中の可視数字の別のものに対して第２のパターンマッチング処理を実行するように構成される、請求項１〜１８のいずれか１項に記載の補助デバイス。
20. プロセッサ配置は、注射デバイスの可動部材上に存在する１つまたはそれ以上の数字のいずれとも一致しない決定用量値を表示するように構成される、請求項１〜１９のいずれか１項に記載の補助デバイス。
21. 請求項１〜２０のいずれか１項に記載の補助デバイスと、数字がその上に存在する可動部材を有する注射デバイスとを含むシステム。
22. 偶数だけが可動部材上に存在する、請求項２１に記載のシステム。
23. 注射デバイスにダイヤル設定された用量を、注射デバイスに取り付けるための補助デバイスを使用して決定する方法であって：
    補助デバイスの撮像配置が、該注射デバイスの可動部材上に存在する１つまたはそれ以上の数字の画像を取り込む行程と；
    補助デバイスのプロセッサ配置が：
    画像を表すデータを受ける行程と；
    それぞれの可視数字の境界を決定することによって画像中の少なくとも１つの数字の位置を決定する行程と；
    該位置が決定された少なくとも１つの数字の中から識別予定の可視数字の１つを選択する行程と；
    パターンマッチング処理を実行して選択された数字の値を識別する行程と；
    画像中の少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、該注射デバイスにダイヤル設定された用量を決定する行程と
    を含み、少なくとも１つの可視数字のうちで選択されたものの決定された位置を使用して、注射デバイスにダイヤル設定された用量を決定することは、選択された数字の画像の中心からの位置オフセットを計算すること、および該位置オフセットに基づく重み付け関数を、選択された数字の値に適用することを含む、前記方法。

Images