特許 7069259 光学文字認識を使用する薬物注射デバイスからの用量データの記録

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】光学文字認識を使用する薬物注射デバイスからの用量データの記録

(51)【国際特許分類】

   A61M 5/31 20060101AFI20220510BHJP

   A61M 5/315 20060101ALI20220510BHJP

【ＦＩ】

A61M5/31 520

A61M5/315 550X

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2020138322

(22)【出願日】2020-08-19

(62)【分割の表示】P 2017521495の分割

【原出願日】2015-10-15

(65)【公開番号】P2020199277

(43)【公開日】2020-12-17

【審査請求日】2020-08-19

(31)【優先権主張番号】14189706.6

(32)【優先日】2014-10-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】397056695

【氏名又は名称】サノフィ－アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100127926

【弁理士】

【氏名又は名称】結田 純次

(74)【代理人】

【識別番号】100140132

【弁理士】

【氏名又は名称】竹林 則幸

(72)【発明者】

【氏名】シュテファン・リーデル

(72)【発明者】

【氏名】ティル・ゲルケン

【審査官】川島 徹

(56)【参考文献】

【文献】特表２０１３－５２１９６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／００７１９５０（ＵＳ，Ａ１）

【文献】特表２０１４－５１６５９９（ＪＰ，Ａ）

【文献】国際公開第２０１３／０４５５０６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｍ ５／３１

Ａ６１Ｍ ５／３１５

(57)【特許請求の範囲】

【請求項1】

ビデオカメラを含むウェアラブルデータ収集デバイスと；
処理構成と
を含むシステムによって実行される薬剤用量を記録する方法であって：
方法は、
ビデオカメラによって、薬剤送達デバイスの薬剤用量インジケータを示すビデオを捕捉する工程と；
捕捉されたビデオを処理構成に送信する工程と；
薬物送達デバイスとビデオカメラとの間の距離に応じて、前記ビデオでの画像のスケールをシステムの処理構成によって調節する工程と；
前記ビデオでの薬剤送達デバイスの構成要素に表示される１つまたはそれ以上の文字の歪みに関して前記画像を、処理構成によって調節する工程と；
画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を、処理構成によって決定する工程と；
光学文字認識を使用して少なくとも１文字を、処理構成によって識別する工程と；
前記光学文字認識の結果に基づいて、薬剤用量インジケータによって示される薬剤用量を、処理構成によって決定する工程と
を含む、前記方法。

【請求項2】

薬剤の複数回の送達が前記ビデオに記録されているかどうかを決定する工程を含む、請求項１に記載の方法。

【請求項3】

薬剤の複数回の送達が前記ビデオに記録されているという決定に応答して、前記ビデオでの前記薬剤用量インジケータの少なくとも第２の画像に対する光学文字認識を使用して識別された少なくとも１つの文字に基づいて、少なくとも第２の薬剤用量を決定する工程と、
前記決定された薬剤用量および前記決定された第２の薬剤用量に基づいて、ユーザによって受け取られる全体の薬剤用量を決定する工程と
を含む、請求項２に記載の方法。

【請求項4】

薬剤の複数回の送達が前記ビデオに記録されているという決定に応答して、前記薬剤の複数回の送達が１回またはそれ以上のプライムショットを含むかどうかを決定する工程を含む、請求項２または３に記載の方法。

【請求項5】

前記画像から色情報を取得する工程と、
前記色情報に基づいて投薬予定の薬剤のタイプを識別する工程と
を含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記薬剤送達デバイスは、投薬予定の前記薬剤の量を選択するための可動構成要素を含む注射器ペンである、請求項１～５のいずれか１項に記載の方法。

【請求項7】

処理構成によって実行されたとき、請求項１～６のいずれか１項に記載の方法が行われるようにするコンピュータ可読命令を含む処理構成を含むシステム上で実行されるように構成された、コンピュータプログラム。

【請求項8】

請求項７に記載のコンピュータプログラムを含む、ウェアラブル電子デバイス用のアプリケーション。

【請求項9】

薬剤用量を記録するためのデータ収集装置と処理構成とを含むシステムであって、データ収集装置は：
ビデオカメラを含むウェアラブル電子デバイスを含み、ここで、ウェアラブル電子デバイスは：
前記ビデオカメラを使用して、薬剤送達デバイスの薬剤用量インジケータの少なくとも１つの画像を含むビデオを捕捉し；
捕捉されたビデオを処理構成に送信するように構成され；そして
処理構成は：
薬物送達デバイスとビデオカメラとの間の距離に応じて、前記画像のスケールを調節し；
薬剤送達デバイスの構成要素に表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節し；
画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定し；
光学文字認識を使用して少なくとも１文字を識別し；
前記光学文字認識の結果に基づいて前記薬剤用量インジケータによって示される投薬量を決定するように構成される、前記システム。

【請求項10】

前記ウェアラブル電子デバイスは、ユーザの頭部に装着されるように構成される、請求項９に記載のシステム。

【請求項11】

前記処理構成は、薬剤の複数回の送達が前記ビデオに記録されているかどうかを決定するように構成される、請求項９または１０に記載のシステム。

【請求項12】

処理構成は、前記ビデオでの前記薬剤用量インジケータの少なくとも第２の画像に対する光学文字認識を使用して識別された少なくとも１つの文字に基づいて、少なくとも第２の薬剤用量を決定し、前記決定された薬剤用量および前記決定された第２の薬剤用量に基づいて、ユーザによって受け取られる全体の薬剤用量を決定することによって、薬剤の複数回の送達が前記ビデオに記録されているという決定に応答するように構成される、請求項１１に記載のシステム。

【請求項13】

前記処理構成は、前記薬剤の複数回の送達が１回またはそれ以上のプライムショットを
含むかどうかを決定することによって、薬剤の複数回の送達が前記ビデオに記録されているという決定に応答するように構成される、請求項１１または１２に記載のシステム。

【請求項14】

薬剤送達デバイスと、
請求項９～１３のいずれか１項に記載のシステムと
を含む、薬剤送達システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、薬剤送達デバイスからのデータ収集に関する。特に、本発明は、薬剤用量を記録するための方法およびデータ収集システムに関する。

【背景技術】

【0002】

薬剤の注射による定期的な治療を必要とする様々な疾患がある。そのような注射は、医療従事者または患者自身によって適用される注射デバイスを使用することによって行うことができる。一例として、１型および２型糖尿病は、例えば１日に１回または数回のインスリン用量の注射によって患者自身が治療することができる。例えば、事前充填型の使い捨てインスリンペンを注射デバイスとして使用することができる。代替として、再使用可能なペンが使用される。再使用可能なペンは、空の薬剤カートリッジを新しいものに交換することを可能にする。いずれのペンも、各使用の前に交換される１組の一方向針を含むことがある。次いで、注射予定のインスリン用量を、例えば投薬量ノブを回し、実際の用量をインスリンペンの投薬量窓またはディスプレイから観察することによって、インスリンペンで手動で選択することができる。次いで、適切な皮膚部分に針を挿入し、インスリンペンの注射ボタンを押すことによって用量が注射される。

【0003】

インスリン注射を監視して、例えばインスリンペンの誤った取扱いを防止する、または既に適用された用量を追跡することを可能にするために、注射デバイスの状態および／または使用に関係する情報、例えば、注射されるインスリンのタイプ、注射の用量、およびタイミングのうちの１つまたはそれ以上を高い信頼性で正確に測定することが望ましい。

【0004】

データ収集技法は、インスリン注射の監視以外の目的でも使用することができる。例えば、他の薬剤の注射、他の医学的活動、例えば患者による錠剤薬剤の摂取もしくは輸液の監視、または医療以外の目的、例えば安全上の理由による家庭もしくは産業環境での機器および／またはその操作の監視のためにデータが収集される。

【発明の概要】

【課題を解決するための手段】

【0005】

一態様によれば、データ収集デバイスを使用して薬剤用量を記録する方法であって、データ収集デバイスのビデオカメラによって、薬剤送達デバイスの薬剤用量インジケータを示すビデオを捕捉する工程と、前記ビデオでの画像のスケールを調節する工程と、前記ビデオでの薬剤送達デバイスの構成要素に表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節する工程と、画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定する工程と、光学文字認識を使用して少なくとも１文字を識別する工程と、前記光学文字認識の結果に基づいて、薬剤用量インジケータによって示される薬剤用量を決定する工程とを含む方法が提供される。

【0006】

ビデオ記録からの薬剤送達情報の取得は、患者への薬剤の投与の高信頼性の記録および／または監視を提供することがある。なぜなら、これは、患者からの特定の入力に依拠せず、したがって、注射の詳細を再収集するためのユーザの誤りおよび／またはユーザの不備を回避することができるからである。

【0007】

データ収集デバイスはポータブル電子デバイスでよい。特に、データ収集装置はウェアラブル電子デバイスでよい。データ収集デバイスが一般に利用可能なデバイスである場合、特化されたまたは専用のデータ収集デバイスを必要とせずに薬剤送達が確実に記録されて監視される。また、ユーザは、データ収集に関して自分が慣れたデバイスを利用するこ
とができるので、新たなデバイスに慣れて使用法を学習する必要なく、投薬量の記録を開始することができる。

【0008】

データ収集デバイスがユーザの頭部に装着されるウェアラブルデバイスである場合、捕捉されるビデオは、ユーザの視点にほぼ対応することがあり、捕捉されるビデオに薬剤用量インジケータが示される尤度（ｌｉｋｅｌｉｈｏｏｄ）を高める。

【0009】

この方法は、薬剤の複数回の送達が前記ビデオに記録されているかどうかを決定する工程を含むことがある。薬剤の複数回の送達が前記ビデオに記録されているという決定に応答して、前記ビデオでの前記薬剤用量インジケータの少なくとも第２の画像に対する光学文字認識を使用して識別された少なくとも１つの文字に基づく少なくとも第２の薬剤用量が決定され、前記決定された薬剤用量および前記決定された第２の薬剤用量に基づいて、ユーザによって受け取られる全体の薬剤用量が決定される。代替として、または追加として、この方法は、前記薬剤の複数回の送達が１回またはそれ以上のプライムショットを含むかどうかを決定することがあり、それにより、プライムショットに関連すると決定された薬剤用量を無視することができる。

【0010】

この方法は、前記画像から色情報を取得する工程と、前記色情報に基づいて投薬予定の薬剤のタイプを識別する工程とを含むことがある。色情報を取得する工程は、薬剤送達デバイスに提供される基準色情報に基づいて色バランス測定量を得る工程を含むことがある。

【0011】

薬剤送達デバイスは、投薬予定の薬剤の前記量を選択するための可動構成要素を含む注射器ペンでもよい。

【0012】

また、この態様は、プロセッサによって実行されたとき、上記の方法の１つまたはそれ以上が行われるようにするコンピュータ可読命令を含むコンピュータプログラムを提供する。そのようなコンピュータプログラムは、ウェアラブル電子デバイスまたは他のポータブル電子デバイス用の「アプリ」の形態で提供することができる。

【0013】

この態様は、さらに、薬剤用量を記録するためのデータ収集装置であって、ビデオカメラと、処理構成とを含み、処理構成が、前記ビデオカメラを使用して、薬剤送達デバイスの薬剤投薬量インジケータの少なくとも１つの画像を含むビデオを捕捉し、前記画像のスケールを調節し、薬剤送達デバイスの構成要素に表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節し、画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定し、光学文字認識を使用して少なくとも１文字を識別し、前記光学文字認識の結果に基づいて前記薬剤用量インジケータによって示される投薬量を決定するように構成されるデータ収集装置を提供する。

【0014】

また、この態様は、そのようなデータ収集装置および薬剤送達デバイスを含む薬剤送達システムを提供する。

【0015】

データ収集装置は、前記ビデオカメラを含むウェアラブル電子デバイスを含むことがある。そのようなウェアラブル電子デバイスは、ユーザの頭部に装着されるように構成されることがあり、それにより、捕捉されるビデオは、ユーザの視点に対応する。例えば、ウェアラブル電子デバイスは、眼鏡またはサングラスと同様にユーザが装着することができる形態で提供される。

【0016】

この装置は、ビデオカメラと処理構成が、上で論じたウェアラブルデバイスなど同じデバイスに含まれるように構成される。しかし、いくつかの実施形態では、ビデオカメラは
、ワイヤレスローカルエリアネットワーク、パーソナルエリアネットワーク、セルラ通信ネットワーク、またはインターネットなどのネットワークを介して、捕捉されたビデオをコンピュータに送信するように構成されたデバイスに提供することができ、ここで、コンピュータは、前記処理構成を含む。

【0017】

処理構成は、薬剤の複数回の送達が前記ビデオに記録されているかどうかを決定するように構成される。処理構成は、前記ビデオでの前記薬剤用量インジケータの少なくとも第２の画像に対する光学文字認識を使用して識別された少なくとも１つの文字に基づいて、少なくとも第２の薬剤用量を決定する工程と、前記決定された薬剤用量および前記決定された第２の薬剤用量に基づいて、ユーザによって受け取られる全体の薬剤用量を決定する工程とによって、薬剤の複数回の送達が前記ビデオに記録されているという決定に応答するように構成される。代替として、または追加として、処理構成は、前記薬剤の複数回の送達が１回またはそれ以上のプライムショットを含むかどうかを決定することによってそのような決定に応答するように構成され、それにより、前記１回またはそれ以上のプライムショットに関連すると決定された薬剤用量を無視することができる。

【0018】

処理構成は、薬剤送達デバイスの少なくとも１つの構成要素の色を識別し、前記色に基づいて前記薬剤のタイプを決定するように構成される。いくつかの実施形態では、処理構成は、薬剤送達デバイスに提供される基準色情報を示す画像に基づいて色バランス測定量を取得するように構成される。

【0019】

次に、添付図面を参照して、本発明の例示的実施形態を説明する。

【図面の簡単な説明】

【0020】

【図1a】薬剤送達デバイスの分解図である。

【図1b】図１ａの薬剤送達デバイスの一部の斜視図である。

【図2】本発明の一実施形態によるデータ収集デバイスのブロック図である。

【図3】本発明の一実施形態によるデータ収集方法の流れ図である。

【図4】それぞれ、表示される数表示（ｄｉｇｉｔ）の例と共に、図１ａの薬物送達デバイスの投薬量窓の一部分を示す図である。

【図5】それぞれ、表示される数表示（ｄｉｇｉｔ）の例と共に、図１ａの薬物送達デバイスの投薬量窓の一部分を示す図である。

【図6】投薬量窓に表示される数表示に対応する２値化された数表示の例を示す図である。

【図7】投薬量窓に表示される数表示のさらなる例を図式的に示す図である。

【図8】投薬量窓に表示される数表示のさらなる例を図式的に示す図である。

【図9】投薬量窓に表示される数表示のさらなる例を示す図であり、ここで、主数表示行が２桁を含む図である。

【図10】本発明の別の実施形態によるデータ収集方法の流れ図である。

【発明を実施するための形態】

【0021】

以下、インスリン注射デバイスに関して本発明の実施形態を説明する。しかし、本発明はそのような用途に限定されず、本明細書で上述したように、他の薬剤を吐出する注射デバイスまたは他のタイプの薬剤送達デバイスと共に等しく十分に展開される。

【0022】

図１ａは、注射デバイス１の分解図であり、注射デバイス１は、この特定の例では、ＳａｎｏｆｉのＳｏｌｏｓｔａｒ（登録商標）インスリン注射ペンを表す。

【0023】

図１ａの注射デバイス１は、ハウジング１０を含み、インスリン容器１４を含む事前充填型の使い捨て注射ペンであり、インスリン容器１４に針１５を取り付けることができる
。針は、内側ニードルキャップ１６および外側ニードルキャップ１７によって保護され、外側ニードルキャップ１７は、キャップ１８によってカバーすることができる。注射デバイス１から吐出予定のインスリン用量は、投薬量ノブ１２を回すことによって選択することができ、次いで、選択された用量は、例えばいわゆる国際単位（ＩＵ）の倍数で投薬量窓１３を通して表示され、ここで、１ＩＵは、約４５．５マイクログラム（１／２２ｍｇ）の純粋な結晶性インスリンの生物学的等量である。投薬量窓１３に表示される選択された用量の一例は、図１ａに示されるように、例えば３０ＩＵでよい。選択された用量を別の形で同様に表示することもできることに留意すべきである。

【0024】

投薬量窓１３は、ハウジング１０のアパーチャの形態でよく、投薬量ノブ１２が回転されるときに動くように構成された数字スリーブ７０の限られた部分をユーザが閲覧することを可能にする。投薬量窓１３に表示された数字の画像の撮影を容易にするために、数字スリーブ７０は艶消し面を有することがある。

【0025】

ハウジング１０にはラベル１９が設けられている。ラベル１９は、薬剤を識別する情報を含めて、注射デバイスに含まれる薬剤に関する情報を含む。薬剤を識別する情報は、テキストの形でよい。薬剤を識別する情報は、色の形でもよい。例えば、ラベル１９は、背景を有してもよく、または注射デバイスに提供された薬剤の特定のタイプに対応する色を有するボーダー線など陰付き要素を含むことができる。代替として、または追加として、ラベルは、そのような情報を記憶するＲＦＩＤタグまたは同様のデバイスを含むことができる。

【0026】

注射ボタン１１または投薬量ノブ１２など注射デバイスの１つまたはそれ以上の部品を、薬剤に対応する色を有する材料から形成することもできる。場合により、注射デバイス１のインスリン容器（図示せず）の一部は、薬剤タイプを示すカラーコード化された部分を含んでいてよく、投薬量窓１３を通して閲覧可能でよい。追加として、または代替として、薬剤を識別する情報は、バーコードまたはＱＲコード（登録商標）などに符号化される。薬剤を識別する情報は、白黒パターン、カラーパターン、または陰影の形でもよい。

【0027】

投薬量ノブ１２を回すと、機械的なクリック音が、ユーザに音響フィードバックを提供する。数字付きスリーブ７０は、インスリン容器１４にあるピストンと機械的に相互作用する。針１５が患者の皮膚部分に刺され、次いで注射ボタン１１が押されるとき、投薬量窓１３に表示されたインスリン用量が注射デバイス１から吐出される。注射ボタン１１が押された後、特定の時間にわたって注射デバイス１の針１５が皮膚部分に留まるとき、用量の高いパーセンテージが患者の体内に実際に注射される。インスリン用量の吐出も機械的なクリック音を引き起こし、しかしこの音は、投薬量ノブ１２を使用するときに発生される音とは異なる。

【0028】

注射デバイス１は、インスリン容器１４が空になるか、注射デバイス１の有効期限（例えば最初の使用から２８日）に達するまで、数回の注射プロセスにわたって使用される。

【0029】

さらに、最初に注射デバイス１を使用する前に、針１５を上向きにして注射デバイス１を保持しながら、例えば２ＩＵのインスリンを選択して注射ボタン１１を押すことによって、インスリン容器１４および針１５から空気を除去するためにいわゆる「プライムショット」を行うことが必要なことがある。提示を簡単にするために、以下では、吐出される用量が注射される用量に実質的に対応すると例示的に仮定し、したがって、例えば、次に注射予定の用量に関する提案を行うとき、この用量は、注射デバイスによって吐出しなければならない用量に等しい。それにも関わらず、当然、特に「プライムショット」に関して、吐出される用量と注射される用量との差（例えば損失）が考慮に入れられる。

【0030】

図１ｂは、注射デバイス１の端部の拡大図である。図１に示される特定の例では、位置特定リブ７１が、閲覧窓１３と投薬量ノブ１２との間に位置されている。

【0031】

図２は、本発明の一実施形態によるデータ収集デバイス２０のブロック図であり、このデータ収集デバイス２０は、図１の注射デバイス１から、インスリンのタイプ、投薬量、注射のタイミングなどのデータを収集するために使用される。

【0032】

データ収集デバイス２０は、内蔵ビデオカメラ２１と処理構成２２とを含む電子デバイスであり、処理構成２２は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたはそれ以上のプロセッサを含む。この特定の例では、データ収集デバイス２０は、ユーザの視点からの画像を記録するためにユーザによって装着されるビデオカメラデバイス、または眼鏡に取り付けられる、もしくは他の形でユーザの頭部または身体に装着される計算デバイスなど、ウェアラブル電子デバイスである。

【0033】

また、データ収集デバイス２０は、読み出し専用メモリ２３およびランダムアクセスメモリ２４を含むメモリユニット２３、２４を含み、これらのメモリユニット２３、２４は、処理構成２２によって実行するためのソフトウェアを記憶することができる。また、データ収集デバイス２０は、携帯電話ネットワーク、パーソナルエリアネットワーク、ローカルワイヤレスネットワークまたはＷＬＡＮ、およびインターネットのうちの１つまたはそれ以上との双方向通信を可能にするために、アンテナ２５および送受信機２６などの通信機器２５、２６を含む。さらに、データ収集デバイス２０は、キーパッド２７および／またはマイクロホン２８などの入力構成２７、２８と、スピーカ２９および／またはディスプレイ３０などの出力構成２９、３０とを含む。いくつかの実施形態では、入力構成は、タッチ要素または「タッチパッド」の形態で、またはディスプレイ３１の一部または全体を利用するタッチスクリーンの一部として、キーパッド２７を含むことがある。入力構成は、代替として、または追加として、データ収集デバイス２０の動きを検出するための１つまたはそれ以上の加速度計などの運動センサ構成３１を含むことがある。また、データ収集デバイス２０は、ビデオカメラ２１、処理構成２２、メモリユニット２３、２４、通信機器２５、２６、入力構成２７、２８、３１、および出力構成２９、３０との間の通信を可能にする通信バス３２も含む。

【0034】

データ収集デバイス２０のメモリユニット２３、２４に記憶されているソフトウェアは、コンピュータ可読命令を含み、これらのコンピュータ可読命令は、処理構成２２によって実行されるとき、データ収集デバイス２０にビデオを記録させ、ビデオを処理させて、注射デバイス１内の薬剤のタイプ、注射デバイス１によって送達される用量、および場合により薬剤の送達時間に関するデータを得られるようにする。ソフトウェアは、インターネットを介してライブラリまたはストアからダウンロードされるソフトウェアアプリケーションまたは「アプリ」の形態で提供することができる。

【0035】

次に、図３～９を参照して、本発明の一実施形態による例示的な方法を述べる。

【0036】

図３の工程ｓ３．０から始めて、ビデオカメラ２１は、投薬量窓１３を含む注射デバイス１の少なくとも一部の画像の記録（工程ｓ３．１）を開始するように制御される。いくつかの実施形態では、アプリは、処理構成２２が、カメラ２１の視野の「ライブビュー」に基づいてカメラ２１に対する注射デバイス１の位置決めに関する命令を提供することによって、ビデオが記録されている間にユーザにガイダンスの提供するように構成される。例えば、アプリは、投薬量窓１３への良好な合焦を得ることができる距離にカメラ２１を位置決めするようにユーザをガイドするように構成される。特定の実施形態では、カメラと注射デバイス１との距離が約３０ｃｍであるときに、そのような合焦が実現される。

【0037】

さらに、薬剤情報がラベル１９など注射デバイス１の別の部分にのみ含まれている場合、アプリによって、処理構成２２は、ディスプレイ２９にメッセージを提供することおよび／またはスピーカ３０を介して告知を提供することによって、注射デバイス１のその部分を含むようにデータ収集デバイス２０、３３のユーザに命令することがある。

【0038】

次いで、この実施形態では、処理構成２２は、前処理（工程ｓ３．２）を行って、以下の工程を実行することによってビデオデータ品質を査定し、必要であれば改善する：
・欠陥および不良画素の補正
・光補正
・歪曲
・ジッタ

【0039】

例えば、露出制御アルゴリズムは、ビデオカメラ２１に関する露出パラメータを制御することによって、および／または、例えばデータ収集デバイス２０がフラッシュユニット（図示せず）を含む実施形態において提供される場合には追加の照明を制御することによって、明るすぎるまたは暗すぎる画像を補正するようにビデオカメラ２１の動作を調節することができる。前処理は、場合によって採用される機能であることに留意されたい。アプリは、画像の前処理なしで所要の規格に合うように動作するように設計することもできる。

【0040】

注射デバイス１とビデオカメラ２１との距離は固定されず、カメラ２１に対する投薬量窓１３および（提供される場合には）ラベル１９の向きも変化し得る。これに鑑みて、処理構成２２は、投薬量窓１３に表示される文字のサイズが所定の範囲内になるように、ビデオ記録での画像のスケールを調節する（工程ｓ３．３）。

【0041】

さらに、処理構成２２は、カメラに対する注射デバイス１の向きに基づく投薬量窓１３に表示される文字の歪み、および／または投薬量窓１３に表示される文字の任意の傾きを補正することによって、ビデオ記録での画像を調節することができる（工程ｓ３．４）。例えば、投薬量窓１３での数字は、ユーザによる認識および位置決めを容易にするために傾けられるが、その傾きがなくされる場合、データ収集デバイス２０によって復号するのがより容易になることがある。

【0042】

スケールおよび歪みの調節は、所定の形状および／またはサイズの注射デバイス１の特徴の分析に基づくことがある。例えば、処理構成２２は、投薬量窓１３、ラベル１９、注射デバイス１でのロゴ（図示せず）、および／または画像内の注射デバイス１の他の特徴を識別し、それらの特徴の予想される形状および／またはサイズに関する情報に基づいて、ビデオカメラ２１によって撮影された画像のスケールおよび位置合わせを調節し、画像に含まれるテキストおよび数字の歪みを補正する。

【0043】

いくつかの実施形態では、アプリは、投薬量窓１３と、薬剤情報を含むラベル１９など注射デバイス１の特定の部分とがビデオ画像に含まれているかどうかを決定するように処理構成２２を制御することもある（工程ｓ３．５）。この決定は、画像での注射デバイス１のスケールと、画像での注射デバイス１の１つまたはそれ以上の部分の位置とに基づくことがある。アプリは、場合により、注射デバイス１の関連する部分がビデオカメラ２１の視野内にあるように、ビデオカメラ２１に対する注射デバイス１の位置決めを調節するようにユーザにガイダンスを提供することがある。

【0044】

次いで、処理構成２２は、アプリに含まれる光学文字認識（ＯＣＲ）ソフトウェアを使用して、ビデオ記録からの投薬量窓の少なくとも１つの画像から文字を認識することを試
み（工程ｓ３．６）、投薬量窓１３に表示された数字または他の投薬量標示を決定する（工程ｓ３．７）。

【0045】

図４および５は、投薬量窓１３の一部分を示し、表示される数字の例を示す。図４では、数表示３４（この場合は６ＩＵを示す数字６）が投薬量窓１３の中央に表示されるように用量が注射デバイス１にダイヤル設定されている。図５では、７ＩＵの投薬量が注射デバイス１にダイヤル設定され、数字６および８をそれぞれ表す数表示３５、３６が共に用量窓１３に表示され、これらの数字の間のスペースが用量窓１３の中央領域を占める。この特定の実施形態では、処理構成２２は、図４および５に示した状況の両方が正確に復号されるようにするアルゴリズムを実行するように構成される。

【0046】

ＯＣＲプロセスは、以下の工程を含む：
・２値化
・セグメント化
・パターンマッチング
・位置計算

【0047】

センサデバイス２の高信頼性要件により、いくつかの実施形態では、並列に動作される２つのＯＣＲアルゴリズムが存在し得る。２つのＯＣＲアルゴリズムは同じ入力（画像）を有し、同じ出力を提供することを意図される。どちらも同様の工程を行うが、各工程で使用される個々の方法は異なることがある。これら２つのＯＣＲアルゴリズムは、２値化、セグメント化、パターンマッチング、および位置計算工程の１つ、またはこれらの工程の複数で異なることがある。同じ結果を提供するために異なる方法を使用する２つのＯＣＲ部分を有することにより、２つの独立した方法でデータが処理されるので、アルゴリズム全体の信頼性が向上する。

【0048】

ＯＣＲプロセスでは、ビデオカメラ２１によって取得され、上述したように調節されたカラーまたはグレースケール画像が、２値化プロセスによって、図６に示されるような純粋に白黒の画像３７に変換される。投薬量窓での明るい背景に暗色の数字が提示される例では、白黒画像は、図６の例に示されるように、黒い画素で数表示３８、３９の存在を示し、白い画素で数表示の不在を示す。いくつかの実施形態では、黒い画素と白い画素を分けるために固定閾値が使用される。２値化されたピクチャにおいて、閾値以上の値を有する画素は白になり、閾値未満の画素は黒になる。高い閾値はアーチファクト（白い領域内の黒い部分）をもたらし、低い閾値は、いくつかの場合には数字の一部が欠落するリスクを有する。いくつかの実施形態では、アルゴリズムは一般にアーチファクトに対してロバストである（すなわち、いくらかのアーチファクトがあっても正確なＯＣＲプロセスを実施することができる）ので、閾値は、数字の一部が欠落しないように選択される。２５６のグレー値を用いて画像が分析された試験では、１２７の閾値が良好な結果を示した。

【0049】

例えば前処理で光補正が行われた場合、固定閾値の使用が可能である。光補正と固定閾値との組合せは、窓平均２値化と同様である。窓平均２値化は、画素値と、それが位置される領域の画素の平均値とを比較する。歪曲および傾き補正工程の前に光補正工程を実施することは、ＯＣＲプロセスに関する使用のためにより多くの情報が入手可能であることを意味し、これは、ピクチャの縁部および隅部でより良い結果をもたらすことが示されている。

【0050】

代替として、図６に示される２値化画像３７と同様の２値画像を生成するために、捕捉されたグレースケール画像に大津の閾値法が適用される。いくつかの代替実施形態では、２値化が省略され、アルゴリズムのＯＣＲ部分は、捕捉されたカラーまたはグレースケール画像に対して行われる。

【0051】

次いで、セグメント化が行われる。アルゴリズムのこの部分の目的は、画像でのそれぞれの見えているまたは一部見えている数字の正確な位置を決定することである。これを実現するために、アルゴリズムは、数表示の縁部を見出すことによって、見えている数字の境界を定義する。これは、一般に２工程で達成され、これらの工程は任意の順序で実施される。再び図４および５を参照すると、処理構成２２は、２値化画像３７を構成する画素列が分析される「垂直投影」を行うことがある。各画素列が個別に分析され、各列の黒い画素の数の合計が計算される。いくつかの実施形態では、黒い画素を１つも有さない画素列のみが数字の縁部を定義する。代替として、汚れ、引掻き傷、および他の外乱を見込んで、黒い画素の数に関する低い閾値が設定される。隣接する列に関する差分値が計算され、最大の差を有する境界が数字の縁部を表す。さらに、数字の水平縁部を決定する助けとなるように、重なり合う列グループ（例えば隣接する３列）の画素内容が計算される。

【0052】

次いで、処理構成は、２値化画像３７を構成する画素行が解析される「水平投影」を行う。これは、垂直投影に関して上述したのと同様に進行する。

【0053】

水平投影の予想される結果が垂直投影の結果に追加され、それにより、見えている数字の縁部が識別されるようにする。処理構成２２は、数字全体の（画素行での）予想される高さを予めプログラムされ、それにより、一部見えている数字の存在を認識することが可能である。

【0054】

別の実施形態では、「水平投影」および「垂直投影」は、各行および列における白い画素の予想される数が既知であると仮定して白い画素の合計が計算される分析に基づくことがある。

【0055】

正確な位置を知ることは、ＯＣＲプロセスでの次の工程に関して、見えている数字を表す画像の部分のみを使用することを可能にする。これにより、数字以外の他の物、例えば汚れ、引掻き傷、および他の外乱の影響を低減することができる。さらに、後続の工程（例えばパターンマッチング工程）で処理される画素の総数も減少される。これは、資源要件を低減させる助けとなる。これは、性能を向上させる助けにもなる。さらに、正確な位置を知ることは、画像の中心に対する垂直位置の決定も支援する。

【0056】

ＯＣＲプロセスでの次の工程は、復号および識別されるように見えている数字の１つを選択することである。これは、数字の１つを「主数表示行」として指定することによって行われる。主数表示行は、見えている数字のどれが最大高さを有するかに基づいて選択される。これは、スリーブ７０に印刷されている数字の全てがほぼ同じ高さを有し、最大高さを有する数字が完全に見え、したがって高い確実性で復号することが容易であると仮定することができるからである。図７に示される例では、数字「６」は、上下に一部見えている数字よりも大きい高さを有し、したがって主数表示行として選択される。図８に示される例では、数字「６」と「８」の両方が完全に見えており、同じ高さを有する。この場合、最上部の数字が主数表示行として選択される。主数表示行は、注射デバイス１にダイヤル設定された用量を決定するために後で使用される数字である。

【0057】

インスリンの自己投与用の標準的な注射デバイス１は、１～８０ＩＵの任意の単位数の薬剤を注射することができる。したがって、主数表示行として識別された数字を適切に復号するために、その数字が１桁からなるか２桁からなるかを決定しなければならない。したがって、処理構成２２は、一連の工程を行って、各数字が１桁からなるか２桁からなるかを決定し、２桁の場合には、数表示を互いに分離する。処理構成２２は、この目的のために、前に計算された列画素情報を使用することがある。図９に示される例では、９ＩＵの薬剤が注射デバイス１にダイヤル設定されている。水平投影および垂直投影の予想され
る結果が示される。数字「１０」は、数字「８」よりも大きい高さであり、したがって主数表示行として選択される。

【0058】

この後、処理構成２２は、選択された主数表示行が予め定義された「最大数表示幅」値よりも広いかどうかを決定する。処理構成２２は、捕捉された画像内の数字の予想されるサイズに関係する情報を予めプログラムされ、それにより、１桁に関する最大予想幅を定義することができる。信頼性を高めるために、最大幅は、最も広い数字よりも大きい少数の画素列分だけ広い幅として設定される。主数表示行の幅が最大数表示幅以下である場合、その行は１桁のみを含むと仮定される。主数表示行が１桁であるには広すぎる場合、（画像全体ではなく）主数表示行に対して第２の垂直投影が行われる。さらに、分離が生じるはずの点を予測するために、個々の桁それぞれの予想される幅が使用される。

【0059】

図９に示される例示的な視野９００は、数字が十分に離隔されている図式表現である。他の構成では、利用可能なスペースが限られているため、および数字がユーザに可読である必要があるため、投薬量窓内で数字がかなり近接し合って表示される。したがって、２値化後、数字を構成する２つの桁を明確に分離することができないことがあり、すなわち、２つの桁の間に黒い画素を有さない列が存在しないことがある。これは、図６に示される例示的な２値化画像の場合であり、上側の数表示３８の「７」と「４」は、黒い画素を含まない画素列を間に有さない。この場合、やはり、個々の桁それぞれの予想される幅が、分離が生じるはずの点を予測するために使用される。予測された列が黒い画素を含む場合、最良の分離点を決定するために、この列と隣接する列との偏差が計算される。この状況では、選択された分離する列での黒い画素が左の桁に属するか右の桁に属するかは明らかでないので、それらの画素は無視される。これは、桁を正しく識別するためのＯＣＲプロセスの信頼性に最小限の影響しか与えないことが示されている。

【0060】

次いで、主数表示行での数表示を識別するために、パターンマッチングプロセスが行われる。各数字に関するテンプレートがアプリによって予めプログラムされており、次いで、識別された数表示が、これらのテンプレートと比較される。単純な手法では、パターンマッチングを画素毎に行うことができる。しかし、これは高い計算力を必要とすることがあり、画像とテンプレートとの位置のばらつきが生じやすいことがある。テンプレートが使用される場合、アプリは、例えば、１つまたはそれ以上の数表示のサイズを変え、定義された画素領域に合わせて数字をトリミングし、イタリック体で印刷された数字を変形して直立させることによって、画像の数字に対する他のタイプの操作を処理構成２２に行わせるように構成される。これらの操作は、記憶されているテンプレートとのパターンマッチング比較の前に行われる。代替として、これらの操作は、２値化プロセス前の前処理で行われる。追加の陰影、歪曲、および露出補正を行うこともできる。

【0061】

いくつかの他の実施形態では、特徴認識プロセスが行われる。特徴は、水平、垂直、または対角線、曲線、円、または閉ループなどでよい。そのような特徴は、選択された数字の画像で認識され、テンプレートと比較される。

【0062】

さらなる実施形態では、パターンマッチングアルゴリズムは、ベクトル比較プロセスに基づくことがある。例えば、テンプレートは、黒い画素の各ライン（連続線）の位置および長さを記述するベクトルの形でよい。一例では、位置および長さは、それぞれの線での絶対位置に関係する。別の例では、位置および長さは、テンプレートの中心を通って延びる垂直線に関係する。各桁の捕捉された２値画像は、同様にベクトルに変換され、記憶されているテンプレートそれぞれと順に比較されて最良の一致を見出す。捕捉された画像のベクトルを特定の数表示テンプレートと比較するとき、偏差があると、画像とそのテンプレートとの一致の尤度に関してペナルティ（ｐｅｎａｌｔｙ）が適用される。ペナルティの大きさは、テンプレートと比較した、画像での欠落したまたは余剰の黒い画素の数に依
存することがある。数表示画像が各テンプレートと比較され、全てのペナルティが適用された後、どの数表示が存在するか判断される。良好な光学条件では、適正なテンプレートは非常に低いペナルティを有し、他の全てのテンプレートは高いペナルティを有する。主数表示行が２桁からなる場合、このプロセスが両方の桁に対して行われ、次いで、処理構成２２は、それらの結果を組み合わせて、その数字に関する最終結果を生成することができる。

【0063】

特定の数表示に対して特別な手段が存在することがある。例えば、「１」の幅は、全ての他の数表示から実質的に逸脱しており、誤検出がよくある。これに対処するために、数表示の２値画像は、「１」の予想される幅よりも広い場合、記憶されている「１」のベクトルテンプレートと比較されるときに追加の検出ペナルティを受ける。

【0064】

いくつかの例外的な場合には、主数表示行のパターンマッチングの結果の信頼度が特定の閾値（例えば９９％）を下回る場合、プロセッサは、他の見えているまたは一部見えている数字の１つまたはそれ以上に対して第２のパターンマッチングプロセスを行うことがある。数字の順序が分かっているので、この第２のパターンマッチングは、第１のパターンマッチングが正しい結果を返したことのチェックとなり得る。

【0065】

結果の信頼度がまだ十分に高くない場合には、ビデオカメラ２１によって記録されたビデオからの第２の画像に関して工程ｓ３．１～ｓ３．６が繰り返される。代替として、エラーメッセージが表示され、場合により、出力構成２９、３０を介して、投薬量窓１３のビデオ画像の捕捉を続けるように、または入力構成２７、２８を介して投薬量情報を手入力するようにユーザに命令が発出される。

【0066】

主数表示行の数表示の識別に成功した場合、投薬量窓１３に表示される用量を決定するために重み関数が適用される（工程ｓ３．７）。重み関数を公式化するために、投薬量窓１３の中心に対する主数表示行の垂直位置が決定される。これは、画像内の投薬量窓１３の中心線を表す画素行に対する、主数表示行を構成する中央画素行のオフセットを計算することによって行われる。

【0067】

例えば、いくつかの実施形態では、光センサは、感光性素子の長方形の６４×４８アレイを含む。得られる２値画像は、これらの同じ寸法を有する画素アレイである。第２４および／または第２５の画素行が、画像の中心行として指定される。主数表示行を構成する中央画素行の位置が決定される。次いで、画素行における、主数表示行を構成する中央画素行と画像の中心行とのオフセットが計算される。このオフセットは、オフセットの方向に応じて正のことも負のこともある。オフセットは、連続する数字間の（画素行での）距離で除算することによって小数に変換され、その後、それに従って、決定された数字に適用される。したがって、オフセットは、センサに対する数字の回転位置を決定することを可能にする。主数表示行の中心画素行が画像の中心画素行と同じである場合、オフセットはゼロであり、位置は主数表示行の数字と等しい。しかし、ほとんどの状況で、いくらかのオフセットがある可能性が高い。

【0068】

数字は注射デバイスメカニズムの離散的な機械的運動に関係する用量を表すので、数字スリーブ７０に印刷された連続する数字間の距離は一定である。したがって、捕捉された画像での連続する数字間の（画素行での）距離も一定にすべきである。数字の予想される高さと、数字間のスペースとは、アプリに予めプログラムされる。一例として、各数字の予想される高さは２２画素でよく、数字間のスペースの予想される高さは６画素でよい。したがって、連続する数字の中心画素行間の距離は２８画素になる。

【0069】

この例を続けると、画素行が画像の上から下へ順次に番号付けされている場合、重み関
数の適用は数学的に以下のように定義される：
位置＝主数表示行の数字＋［２×オフセット／（数字の予想される高さ＋スペースの予想される高さ）］
ここで、オフセット＝投薬量窓の中心に対応する画像行の数字－主数表示行の中心行の数字である。

【0070】

したがって、主数表示行が画像の上半分にある場合、オフセットは正であり、主数表示行が画像の下半分にある場合、オフセットは負である。例えば、主数表示行に示される数字が「６」で、オフセットがゼロである場合、計算される位置は以下のようになる：
位置＝６＋［２×０／（２８）］＝６

【0071】

したがって、予想通り、「６」という結果が返される。

【0072】

別の例では、７５ＩＵが注射デバイス１にダイヤル設定される場合、上の数字「７４」が主数表示行として選択され、上式に従って１１画素行の正のオフセットがある場合、この場合も数字／スペース高さの合計が２８画素であると仮定すると、計算される位置は以下のようである：
位置＝７４＋［２×１１／（２８）］＝７４．７９

【0073】

次いで、この結果は、最も近い整数に切り上げられ、予想通り、「７５」という位置決定を与える。

【0074】

上述した重み関数および位置決定は一例を表すにすぎず、同じ結果に至るために多くの他の計算法を使用することができることを当業者は理解されよう。また、計算時間を短縮するために、上述した数学的計算が修正されて改良されることもあることを当業者は理解されよう。したがって、重み関数の厳密な形式は、本発明の定義には重要でない。

【0075】

いくつかの注射デバイスでは、スペースの制約と、数字が特定のサイズである必要性とにより、偶数のみが投薬量窓１３に提示される。いくつかの他の注射デバイスでは、奇数のみが表示される。しかし、薬剤の任意の単位数を注射デバイス１にダイヤル設定することができる。他の注射デバイスでは、偶数と奇数の両方が提示され、半単位用量（ｈａｌｆ－ｕｎｉｔ ｄｏｓｅ）を注射デバイスにダイヤル設定することが可能であり得る。注射デバイスは、８０ＩＵの最大ダイヤル用量に制限される。代替として、２つおき、３つおき、または４つおきの数字のみが表示され、数字の間の用量は目盛によって示される。これに鑑みて、アプリは、注射デバイス１で使用されているナンバリングシーケンス（ｎｕｍｂｅｒｉｎｇ ｓｅｑｕｅｎｃｅ）を識別するように処理構成２２を制御するための命令を含むことがある。例えば、ユーザは、キーパッド２７もしくはタッチスクリーン３３を介して注射デバイス１に関する情報を入力するように促され、または、画像から、例えばラベル１９のテキストもしくはバーコードから得られた情報が使用される。アプリは、ルックアップテーブル、または様々な注射デバイス１に使用されるナンバリングシーケンスを示す他の情報を含むことがある。次いで、処理構成２２は、ＯＣＲデータと、注射デバイス１に適したナンバリングシーケンスとの両方に基づいて、選択された用量を決定することがある。代替として、または追加として、数字の高さおよび数字間のスペースのサイズも修正されるとき、重み関数の修正された形式を使用することができる。

【0076】

この方法は、場合により、サニティチェック（ｓａｎｉｔｙ ｃｈｅｃｋ）およびヒステリシス計算の実施などの後処理を含むことがある。代替として、ＯＣＲプロセスの結果は、後処理なしで完了される。

【0077】

次いで、ダイヤル設定された投薬量が変わったかどうかを決定するために、工程ｓ３．
６～ｓ３．７で上述したようなＯＣＲプロセスが、ビデオからの少なくとも１つの後続の画像に対して反復される（工程ｓ３．８）。この工程は、工程ｓ３．７で識別された投薬量が注射デバイス１によって送達予定の投薬量を表すかどうか、またはユーザがノブ１２を使用してダイヤル投薬量を調節し続けているかどうかを決定するように意図される。いくつかの実施形態では、処理構成２２は、ビデオにおける最後に決定された投薬量を、ユーザに送達される実際の投薬量であると識別するように構成される。他の例示的な実施形態では、処理構成２２は、工程ｓ３．６～ｓ３．７での所定数の連続するビデオフレーム、または実質的に連続するビデオフレームのシーケンスでの同じダイヤル投薬量の検出に基づいて、注射デバイス１によって送達される実際の投薬量を識別することがある。

【0078】

薬剤のタイプに関する情報は、ラベル１９を含む画像の一部からＯＣＲを使用すること、ラベル１９を含む画像の一部からバーコードを抽出して解釈すること、または画像から薬剤タイプを示す注射デバイス１の一部の色を識別することの１つまたはそれ以上によって取得される（工程ｓ３．９）。

【0079】

色検出が使用される実施形態では、注射デバイス１の数字付きスリーブ７０は、画像内の１つまたはそれ以上の色を正しく識別することができるように基準色情報を提供するように構成される。例えば、印刷された数字の背景は、画像に示される注射デバイス１の構成要素の色を較正するためのホワイトバランスレベルを提供するために使用される。

【0080】

注射デバイス１によって薬剤が送達された時間に関する情報は、ビデオ記録に関連するタイムスタンプデータから得られる（工程ｓ３．１０）。

【0081】

次いで、ビデオから得られた情報は、データ収集デバイス２０のランダムアクセスメモリ２４に記憶され（工程ｓ３．１１）、および／または通信機器２５、２６を使用して、携帯電話ネットワーク、パーソナルエリアネットワーク、ＷＬＡＮまたはインターネットなどのネットワークを介して別のデバイスに送信される（工程３．１２）。このようにして、患者への薬剤の投与が記録および／または監視される。プロセスは、工程ｓ３．１３で終了する。

【0082】

データ収集デバイスを使用して注射デバイス１から収集するために使用される方法の別の実施形態が図１０に示されている。

【0083】

工程ｓ１０．０から始まって、工程ｓ１０．１～ｓ１０．１０は、それぞれ工程ｓ３．１～ｓ３．１０に対応する。

【0084】

図１０に示される方法は、薬剤の複数の投薬量を送達するために注射デバイス１が起動されるかどうかを決定するためにビデオ記録を分析する追加の工程を含む。上述したように、注射デバイス１は、８０ＩＵなど、１回の注射で送達される薬剤の量に対する上限を有することがある。実際には、所要の用量の薬剤をユーザが受け取るために、複数回の実際の注射が必要とされる。注射デバイス１の最大投薬量を上回る用量、例えば上記の例では８０ＩＵを超える用量をユーザが必要とする場合、２回の注射が迅速に連続して投与される。

【0085】

代替として、または追加として、ビデオは、ユーザに送達される投薬量を決定する際に無視されるべき注射器ペンからの空気をなくすために、１回またはそれ以上の「プライムショット」をユーザが実施している画像を含むことがある。

【0086】

工程ｓ１０．１１で、処理構成２２は、工程ｓ１０．６およびｓ１０．７に関係して述べたＯＣＲプロセスをビデオからの１つまたはそれ以上の後続の画像に対して繰り返すこ
とによって、ビデオカメラ２１によって捕捉されたビデオが、さらなる投薬量が注射器ペン１にダイヤル設定されている画像を含むかどうかを決定する。例えば、注射を投与するために上述したＳｏｌｏＳＴＡＲ（登録商標）ペンが使用されるとき、薬剤が送達されるにつれて、投薬量窓１３に表示される数字はゼロへと減少する。したがって、工程ｓ１０．７でダイヤル投薬量が識別された後、変化する数字を投薬量窓１３に示すビデオでの画像のシーケンス、または投薬量窓１３でのゼロでない文字のその後の検出は、薬剤のさらなる送達がユーザによって行われているという標示とみなされる。

【0087】

薬剤のさらなる送達が示される場合、処理構成２２は、薬剤の前の送達が「プライムショット」に対応していたか、それとも薬剤の実際の注射に対応していたかを決定する（工程ｓ１０．１２）。決定された投薬量に基づいて、「プライムショット」が検出される。例えば、工程ｓ１０．８またはｓ１０．９での２ＩＵ以下のダイヤル投薬量の検出は、ユーザによって受け取られる注射ではなく、「プライムショット」に対応すると考えられる。代替として、または追加として、工程ｓ１０．１０で得られるタイムスタンプと、工程ｓ１０．１１での、注射デバイス１にダイヤル設定された新規の投薬量の検出の基になっている画像に関連するタイムスタンプ、または工程ｓ１０．１１でのさらなる投薬量の検出間の時間は、「プライムショット」が行われたかどうかを示すために使用される。ユーザへの注射の投与は、特定のインスリン注射時に数秒間、例えば１０秒間、針がユーザの体内に留まることを必要とすることがある。さらに、第２の注射が行われる場合、ユーザは、第１の注射後に針１５を交換すると予想され、工程ｓ１０．６～ｓ１０．７と工程ｓ１０．１１でのＯＣＲプロセスによるダイヤル投薬量の検出間の時間インターバルを増加する。その時間インターバルが所定の限度、例えば１０秒を超える場合、第２の注射が示される。時間インターバルが所定の限度未満である場合、処理構成２２は、注射デバイス１の前の活動が「プライムショット」であったと決定することがある。

【0088】

ビデオカメラ２１によってビデオが捕捉されている間にＯＣＲプロセスが行われる実施形態では、データ収集デバイス２０は、ディスプレイ２９および／またはスピーカ３０を介して、第２の注射が行われているかどうか、および／または「プライムショット」が行われたかどうかを示すようにユーザに要求を出力することがある。ユーザは、入力構成２７、２８、３１を介して要求に応答することができる。

【0089】

工程ｓ１０．１１で注射が１回のみ送達されたと決定された場合、ユーザによって受け取られた全体の投薬量が、工程Ｓ１０．７で検出された投薬量に対応するものと決定される。

【0090】

第２の注射が送達され（工程ｓ１０．１１）、いずれの注射も「プライムショット」でなかったと決定された場合、工程ｓ１０．７およびｓ１０．１１で決定された投薬量が足し合わされて、ユーザによって受け取られた合計投薬量を決定する（工程ｓ１０．１３）。しかし、工程ｓ１０．７およびｓ１０．１１で検出された１つまたはそれ以上の投薬量が「プライムショット」に関係していたと決定された場合（工程ｓ１０．１２）、そのように決定されたそれぞれの投薬量は、全体の決定された投薬量に含まれず（工程ｓ１０．１４）、さらなる注射に関するチェックが行われる（工程ｓ１０．１１）。

【0091】

代替実施形態では、工程ｓ１０．１２～工程ｓ１０．１４が省かれ、さらなる投薬量が検出された場合（工程ｓ１０．１１）、検出された投薬量に関係するデータは、後の分析のために記憶および／または送信される。

【0092】

薬剤のタイプおよびタイムスタンプ情報に関する情報は、図３の工程ｓ３．１１～ｓ３．１２に関連して上述したのと同様に記憶および／または送信される（工程ｓ１０．１５、ｓ１０．１６）。次いで、プロセスは終了する（工程ｓ１０．１７）。

【0093】

上で論じた実施形態によって示されるように、注射、他の医学的処置、または他の機器の操作に関する情報を得るためのアプリまたは同様のソフトウェア製品の提供は、一般に入手可能でありユーザによく知られているウェアラブル電子デバイスなどのデバイスを使用して、そのような情報のより正確なおよび／または高信頼性の記録を可能にすることがある。上述した実施形態は、特化されたデータ収集デバイスの製造および配布を必要としないので、処置または操作の記録および／または監視を提供するコストおよび複雑さを低減することができる可能性がある。

【0094】

上述した実施形態では、ビデオは、１つのデータ収集デバイス２０によって捕捉され、処理され、分析される。しかし、他の実施形態では、データ収集デバイス２０は、そのカメラ２１を使用してビデオを捕捉し、次いで、ワイヤレスローカルエリアネットワーク、パーソナルエリアネットワーク、セルラ通信ネットワーク、またはインターネットなどのネットワークを介して、捕捉されたビデオをコンピュータに送信するように構成され、ここで、コンピュータは、ビデオを処理して分析して、投薬量窓１３に表示される投薬量を決定するように構成された処理構成を含む。

【0095】

上記の実施形態は、インスリン注射器ペンからのデータの収集に関して述べてきたが、本発明の実施形態は、他の薬剤の注射または他の医学的プロセスの監視など他の目的のために使用することもできることに留意されたい。実施形態は、医療以外の目的で、例えば安全上の理由により他のタイプの機器の動作を監視する際に使用することもできる。

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】