特開 2023-101571 薬物収納容器に関する情報を判断する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023101571

(43)【公開日】2023-07-21

(54)【発明の名称】薬物収納容器に関する情報を判断する方法および装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230713BHJP

   G06T 3/00 20060101ALI20230713BHJP

   A61M 5/31 20060101ALI20230713BHJP

【ＦＩ】

G06T7/00 300D

G06T3/00 730

A61M5/31

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023081805

(22)【出願日】2023-05-17

(62)【分割の表示】P 2019560211の分割

【原出願日】2018-05-03

(31)【優先権主張番号】17169781.6

(32)【優先日】2017-05-05

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】504104899

【氏名又は名称】アレス トレーディング ソシエテ アノニム

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100141977

【弁理士】

【氏名又は名称】中島 勝

(74)【代理人】

【識別番号】100150810

【弁理士】

【氏名又は名称】武居 良太郎

(74)【代理人】

【識別番号】100196977

【弁理士】

【氏名又は名称】上原 路子

(72)【発明者】

【氏名】ロバート ジョーンズ

(72)【発明者】

【氏名】ロバート フランク マーチントン

(72)【発明者】

【氏名】デイビッド リマー

(72)【発明者】

【氏名】ボグダン－アレキサンドル コシウ

(72)【発明者】

【氏名】ウィリアム デリング アディソン

(72)【発明者】

【氏名】マシュー ジェイムズ ヘイズ

(72)【発明者】

【氏名】ルアイリ ダフィー

(72)【発明者】

【氏名】カンタン ル マスヌ

(57)【要約】

【課題】本開示は、薬物収納容器に関する情報の判断に関する。
【解決手段】薬物収納容器に関する情報は、薬物収納容器の円筒状部分の曲面の画像データを取得して判断される。その画像データは、曲面の周りから展開されて２値化され、テンプレートマッチングのアルゴリズムを使用して、ラベル情報が容器および／または薬物に関する候補情報を含むことを判断する。
【選択図】なし

【特許請求の範囲】

【請求項1】

医療機器内に配置され、かつ薬物収納容器および／または薬物に関するラベル情報を保持する円筒状部分を有する前記薬物収納容器および／または前記薬物自体に関する情報を判断するコンピュータ実装方法であって、
前記医療機器内に含まれる１台以上の撮像装置を用いて、前記円筒状部分の曲面の画像データを取得すること、
展開画像が前記曲面の周りに巻き付いている場合に、前記展開画像内の複数の点が前記曲面上に写像する位置を識別して前記画像データから２次元の展開画像を作成すること、
前記展開画像を２値化すること、
テンプレートマッチングのアルゴリズムを前記２値化画像に適用して、前記容器および／または前記薬物に関する候補情報に対応する１つ以上のテンプレートの前記２値化画像内での存在を判断すること、および
前記１つ以上のテンプレートが前記２値化画像内に存在するという前記判断に基づいて、前記ラベル情報が前記候補情報を含むと判断することを含む、方法。

【請求項2】

前記展開画像を作成した後でかつ前記展開画像を２値化する前に、前記展開画像に対して継合せ操作を実施して、前記撮像装置のうちの異なる装置によって取得された前記画像データの複数の部分を一つに継ぎ合わすことをさらに含む、請求項１に記載の方法。

【請求項3】

前記２次元の展開画像の作成は、各撮像装置によって取得された前記画像データが、取得時に各撮像装置により直接に観察可能である前記円筒状部分の前記曲面部分に関してのみ展開されるように実施される、請求項１または２に記載の方法。

【請求項4】

前記２値化は、
前記展開画像をグレースケール画像に変換すること、および
前記グレースケール画像データの各画素のグレースケール値が部分平均強度の閾値未満の場合に各画素は第１の値を有し、それ以外の場合は第２の値を有するように、前記２値化画像を作成することを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記２値化は、
前記展開画像を色相－彩度－明度（ＨＳＶ）画像に変換すること、および
各画素の色相、彩度、および明度のそれぞれの値が色相、彩度、および明度のそれぞれの上限閾値と下限閾値の間にある場合に各画素は第１の値を有し、それ以外の場合は第２の値を有するように、前記２値化画像を作成することを含む、請求項１～３のいずれか１項に記載の方法。

【請求項6】

テンプレートマッチングのアルゴリズムを前記展開画像に適用して、前記容器および／または前記薬物に関する色付き候補情報に対応する１つ以上の色付きテンプレートの前記２値化画像内での存在を判断すること、および
前記１つ以上の色付きテンプレートが前記展開画像内に存在するという前記判断に基づいて、前記ラベル情報が前記色付き候補情報を含むと判断することをさらに含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記テンプレートマッチングのアルゴリズムは、それぞれの前記テンプレートの複数の小区域部分を前記２値化画像に対して評価することにより、前記２値化画像に対してそれぞれの前記テンプレートを評価するようになっている、請求項１～６のいずれか１項に記載の方法。

【請求項8】

各テンプレートに対して前記２値化画像と同一の寸法を有する投票画像が作成され、それぞれの前記小区域部分の評価が各画素での所定の閾値を上回るかどうか、またはそれを下回るかどうかに関する各テンプレートのそれぞれの前記複数の小区域部分からの投票に基づいて前記画素は集合化され、各投票画像の最大画素値を使用して各テンプレートの前記２値化画像内での存在を判断する、請求項７に記載の方法。

【請求項9】

前記最大画素値を判断する前に、各投票画像の境界を曖昧にすることをさらに含む、請求項８に記載の方法。

【請求項10】

前記投票画像の境界を曖昧にすることは、前記投票画像を角窓により畳み込み積分して達成される、請求項９に記載の方法。

【請求項11】

前記容器は注射器またはカートリッジである、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

前記医療機器内の光源を用いて前記円筒状部分の前記曲面を照明することをさらに含む、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

医療機器内に配置され、かつ薬物収納容器および／または薬物に関するラベル情報を保持する円筒状部分を有する前記薬物収納容器および／または薬物自体に関する情報を判断するコンピュータ実装方法であって、
前記医療機器内に含まれる１台以上の撮像装置を用いて、前記円筒状部分の曲面の画像データを取得すること、
展開画像が前記曲面の周りに巻き付いている場合に、前記展開画像内の複数の点が前記曲面上に写像する位置を識別して、前記画像データから２次元の展開画像を作成すること、および
前記展開画像から前記ラベル情報を読み取ることを含む、方法。

【請求項14】

請求項１～１３のいずれか１項に記載の方法を実施する医療機器であって、任意に前記１台以上の撮像装置はカメラである、医療機器。

【請求項15】

１台以上の処理装置によって実行される際に、１台以上の処理装置に請求項１～１３のいずれか１項に記載の方法を実行させる機械可読命令を含む非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、薬物収納容器に関する情報の判断に関する。特に、限定はされないが、本開示は、自動注入装置などの医療機器内に含まれる注射器またはカートリッジなどの薬物収納容器（一次パック）に関する情報を判断する方法および装置に関する。

【背景技術】

【0002】

多発性硬化症、関節炎、成長ホルモン欠乏症、ターナー症候群、および慢性腎不全などの様々な病状のうちの１種以上を患う患者は、１種以上の医薬品の定期的な経皮投与を必要とする場合がある。その投与は医療専門家によって実施されるが、場合によっては、患者自身またはその介護者が実施することもある。自動注入装置などのいくつかの医療機器は、注射器やカートリッジなどの薬物収納容器を受け入れて、作動時に患者に薬物を経皮的に投与するように操作できる。

【発明の概要】

【0003】

本開示の複数の側面および特徴は、添付の特許請求の範囲に記載されている。
本開示の実施例を、以下の添付図面を参照して説明する。

【図面の簡単な説明】

【0004】

【図1】図１は、医療機器を示す。

【図2】図２は、薬物収納容器の一例を示す。

【図3】図３は、別の薬物収納容器を示す。

【図4】図４は、薬物収納容器を搭載した医療機器を示す。

【図5】図５は、１台の撮像装置が一対の鏡と組み合わせて使用できる一構成例を示す。

【図6】図６は、「鏡の間」の原理を使用する別の配置を示す。

【図7】図７は、「鏡の間」の原理を使用する別の配置を示す。

【図8】図８は、薬物収納容器および鏡の構成の端面図を示す。

【図9】図９は、図８の構成の透視図を示す。

【図10】図１０は、複数の撮像装置が、薬物収納容器を直接的に撮像し、かつそれぞれの鏡も撮像するように配置される混成型の手法を示す。

【図11】図１１は、薬物収納容器のラベルの一例を示す。

【図12】図１２は、薬物収納容器の円筒状部分の曲面の周りに巻付けられた長方形ラベルの一対の透視図の例を示す。

【図13】図１３は、長方形ラベルでのｘ画素座標およびｙ画素座標の撮像装置座標への変換方法を示す。

【図14】図１４は、複数の継ぎ合わされたラベル区域を示す。

【図15】図１５は、４個所の継ぎ合わされた画像区域を示す。

【図16】図１６は、図１５の継ぎ合わされた区域をそれぞれ生成した写像に対応する４個所のマスク例を示す。

【図17】図１７は、図１０の装置を使用した撮像後の３個所での展開画像を示す。

【図18】図１８は、左側に展開画像を、右側にその展開画像の２値変換版を示す。

【図19】図１９は、テンプレートの全体とその３個の小区域を示す。

【図20】図２０は、標準的なテンプレートマッチングのアルゴリズムに対する応答とともに、展開画像の一例を示す。

【図21】図２１は、標準的なテンプレートマッチングのアルゴリズムに対する応答とともに、展開画像の別の例を示す。

【図22】図２２は、判別手法を示す。

【発明を実施するための形態】

【0005】

薬物収納容器が自動注入装置などの医療機器内に装填されると、ユーザーは、薬物を投与するように機器を稼働させようとすることが予想される。ただし、誤った薬物収納容器が医療機器内に装填されると、患者は必要な薬物を投与されずに、誤った用量の薬物の投薬を受けるか、あるいは患者に不適切な薬物を投与される場合があり、これら全ては患者に深刻な悪影響を及ぼす可能性がある。薬物収納容器が患者に合致しているかどうかの確認は、通常、薬物収納容器の円筒状部分の曲面に貼付けられたラベルを目視で検査して実施されている。薬物収納容器は、形状から認識できるように、例えばキーイングなどの方法によって機械的に構成できるか、あるいはＲＦＩＤタグなどの他の識別手段を装備できるが、異なるメーカーが薬物を製造し異なる形状の容器で提供するというのが実態であり、現状では、容器のラベルを目視で検査することが、薬物収納容器の内容物を確認するには最良の手段である。

【0006】

別の態様において、患者は使用後に薬物収納容器を廃棄する。この薬物収納容器の廃棄は、その廃棄される空の薬物容器を受入れる容器を使用して実施されることになる。規則順守への監視を改善するには、廃棄される容器が、空の薬物収納容器であることを確認する必要がある場合がある。従って別の態様においては、本発明は、廃棄される薬物収納容器およびその素性を記録できるように、薬物収納容器を認識および識別する装置および方法を対象としている。

【0007】

本明細書では、薬物収納容器の円筒状部分の曲面に貼付けられる薬物収納容器に関する情報を判断する手法が開示され、その手法により、自動注入装置などの薬物で区別されていない医療機器が、その内部にどの薬物が装填されたのかを判断でき、かつそれによりその薬物を投与できるかどうかを判断できる。

【0008】

図１は、注射器またはカートリッジなどの収納容器を保持する容器ホルダー１１２を備えた医療機器１１０を示す。薬物送達機構１１４は、医療機器が患者（図示せず）に隣接する際に、その容器に含まれる薬物を投与するように、容器ホルダー１１２により保持される薬物収納容器とともに作用するように動作可能であり、かつ薬物送達機構１１４は処理装置１１６によって動作を指示される。この薬物送達機構は、薬物収納容器、およびその容器に結合し医療機器１１０の内部から医療機器１１０の外部に向けての経路に沿う針とともに、容器ホルダー１１２の少なくとも一部分を動かすように動作可能であり、この針は患者の真皮を穿刺する。この薬物送達機構１１４はさらに、薬物収納容器のピストン棒を押し下げ、それにより収容された薬物を薬物収納容器から皮下注射針を経て患者の組織内に放出するように動作可能である。この医療機器１１０はさらに、薬物収納容器の円筒状部分の曲面に貼付けられたラベルを撮像し、その撮像からの画像データを処理装置１１６に提供するように動作可能なラベル撮像装置１１８を備える。この処理装置１１６は、ラベル撮像装置１１８から画像を受け取り、かつ薬物送達機構１１４を制御するように、記憶装置１２０内に格納された命令に従って動作するようになっている。処理装置１１６はさらに、処理装置１１６が例えば医療機器に関連して薬物および投与量に関するモデル情報などの命令を受け取り、および／または、例えば予期しない薬物収納容器が医療機器１１０内に挿入されたことを示すなどのアラームを出力できる入出力部品１２２に結合されていてもよい。図２は、皮下注射針２１２、円筒状部分２１４、ピストン棒２１６、指ガード２１８、および作動端部２２０を有する注射器である薬物収納容器２１０を一例として示す。注射器２１０の円筒状部分２１４は、長方形ではあるが、円筒の曲面の周りに巻付けられたラベルを保持する。ラベル２２２は、注射器２１０に含有される薬物に関する情報を含み、さらにこの場合には「５ｍｇ」であるが、注射器に含まれる薬物の量に関する情報を含む。図３は、この場合にはピストン棒３１２を持つカートリッジ３１４であるが、別の薬物収納容器３１０を示し、このカートリッジは、その円筒状部分内で滑るように動作可能であり、針が貫通可能な膜３１６を貫通しかつピストン棒が方向Ａに移動する場合に、薬物を針を介して放出する。

【0009】

容器の曲面、すなわち薬物収納容器の円筒状部分に貼付されたラベルを撮像するために、多くの種々の手法が考案されており、以下にそれらを説明する。
走査型撮像装置

【0010】

図４は、薬物収納容器（この場合は注射器）４１２を備える医療機器４１０を示す。医療機器４１０は、一対の撮像装置４１４、４１６を有し、これら撮像装置は、動作部４２２、４２４それぞれがＢ→ＣまたはＣ→Ｂの方向に作動すると、それぞれの軌道４１８、４２０に沿って移動して、薬物収納容器４１２の対向する側からの円筒状部分の曲面の複数の画像を取得できるように動作可能である。これら撮像装置４１４、４１６は、ラベル撮像装置１１８の一部分を構成しており、結果として、取得した画像を画像データとして処理装置１１６に伝える。

【0011】

処理装置１１６が画像を受け取ると、この撮像装置がその軌道に沿って移動した際の異なる時点で取得した各撮像装置からの画像は、その後の処理のために各撮像装置画像から１枚の画像を生成するように融合または混合されてもよい。

【0012】

図４の例は軌道上に装着された一対の撮像装置を使用しているが、撮像装置の数が２台よりも多い、例えば３～１０台またはそれ以上のうちの任意の台数での手法も考案されている。さらに、撮像装置を軌道上に装着する必要はなく、それら装置が薬物収納容器４１２の円筒状部分を走査できるように、別の機構を採用することもできる。
鏡の間

【0013】

図５は、「鏡の間」の手法を使用して薬物収納容器５１６を撮像するために、一対の鏡５１２、５１４と組み合わせて１台の撮像装置５１０を使用できる構成の一例を示す。有益なことに、この手法では、撮像装置が針の端部の近傍にある必要性を回避し、患者の皮膚に向かう針の移動や薬物収納容器のピストン棒の作動を妨害しない。ただし、いくつかの薬物収納容器（注射器にフランジを備えた容器など）の場合には、薬物収納容器から突出する部分によって、ラベルの一部が不明瞭になることがある。図６および図７は、「鏡の間」の原理を使用する別の配置を示していて、撮像装置６１０は、その平面に互いに角度が付いている一対の鏡６１４、６１６に隣接して配置される薬物収納容器６１２の針の先端部近傍に位置している。図６では、薬物収容容器６１２の反射は、位置６１８および６２０で明瞭に見ることができる。

【0014】

図８は、薬物収納容器８１０（この場合はカートリッジ）の端面図を示していて、この容器は、薬物収納容器８１０全体で図９の方向Ｄ→ＥおよびＥ→Ｄに移動するように配置されたブロック８１４の穴８１２の中に位置している。ブロック８１４はさらに、薬物収納容器８１０の長軸から離間して角度を付けた複数の鏡８１６を備え、それにより、ブロック８１４が方向Ｄ→ＥまたはＥ→Ｄに移動しかつ撮像装置（図８、９のいずれにも示さず）が方向Ｄ→Ｅに対して角度（この場合は４５°）を付けて配置された鏡を撮像する際に、薬物収納容器８１０の円筒状部分の曲面は、走査されて撮像される。この鏡８１８は、薬物収納容器８１０に接続した針が医療機器を出て行くために横断する経路に沿って位置しているので、楕円形の穴８２０が鏡８１８内に設けられる。
混成型の手法

【0015】

図１０は、複数の撮像装置１０１０、１０１２が、薬物収納容器１０１４を直接撮像するとともに、それぞれの撮像装置から薬物収納容器１０１４の曲面の反射部分が見えるように位置するそれぞれの鏡１０１６、１０１８を撮像するように配置される混成型の手法を示す。この例では、撮像装置１０１０、１０１２は、薬物収納容器１０１４の長軸に対して正反対に互いに対向して配置され、鏡１０１６、１０１８は、薬物収納容器１０１４の長軸に対して正反対に互いに対向して、かつそれぞれの撮像装置が２つの異なる視点から薬物収納容器の画像を取得できるような角度（この場合は４５°）で配置される。
画像の展開

【0016】

薬物収納容器に貼付されるラベルは、薬物収納容器の円筒状部分の曲面周りに巻付けられる前に印刷される粘着ラベルか、または薬物収納容器の円筒状部分の曲面に印刷またはその他の方法で配置するかのいずれかである。図１１は、薬物１１１２に関する情報を含む薬物収納容器のラベル１１１０の一例を示し、このケースでは、薬物は「saizen 5.83 mg/ml」であり、このラベル１１１０はさらに、薬物収納容器に関する情報１１１４、特にこの容器は「6 mg cartridge」であることを示している。図１１はさらに、薬物収容容器１１１６の円筒状部分の曲面に相当する曲面の周りに巻付けられた際のラベル１１１０を示す。画像にすると、その巻付けられたラベルは、遠近的に縮小した情報を含むラベル情報部分を有し、例えば、「somatropin 118」という単語は、図１１の巻付けられたラベル１１１６では、それらが見分け難い点まで縮小している。従って、縮小しているラベル情報の影響を回避または低減して、薬物収納容器の画像からラベル情報を抽出するためには、元の長方形ラベル（薬物収納容器に直接に印刷される場合には、仮想の元の長方形ラベルであってもよいが）と、薬物収納容器を撮像する撮像装置から受け取るデータとの間の関係を明確にしておく必要がある。この問題では、ラベルが円筒の周りに巻付けられることにより、薬物含有容器の円筒状部分の曲面からの撮像装置の取得点での画像が、ラベル面の２点、すなわち1つは撮像装置に近い側の点、もう1つは撮像装置に遠い側の点で、しばしば一致してしまうという事実もあり、やや混乱している。

【0017】

図１２は、薬物収納容器の円筒状部分の曲面の周りに巻付けられた長方形ラベルの一対の透視図の例を示す。図１２の左側で、２つの透視図１２１０、１２１２では、ラベルのそれぞれの部分は、ラベルのその他の部分がそれぞれの部分の手前に位置するために見えないことを示している。従って、この透視画像を取得する撮像装置からの情報が展開されて長方形ラベル１２１４、１２１６として並べる場合には、ラベルの全ての部分を継ぎ合わすことはできない。従って、薬物収容容器の円筒状部分の曲面からラベルを展開するための１つの任意の手法では、それらの手前にあるラベルのその他の部分によって撮像装置から曖昧になると思われる写像は排除することを含む。ただし、薬物収納容器とその中に含まれる薬物がいくらか透明である際には、代わりに別の方法でその情報を保持し、かつそれを使用してラベルの読み取りに役立てることができる。

【0018】

図１３は、長方形ラベルのｘおよびｙ画素座標を写真（または撮像装置）座標に変換する方法を示している。特に工程Ｓ１３１０で、長方形ラベルの１組のｘ、ｙ画素ラベルを取得し、工程Ｓ１３１２から薬物収納容器の円筒状部分の予想円筒半径および円筒長を考慮に入れて、工程Ｓ１３１４で、画素ラベルを円柱の周りに巻付けて、それらを３次元世界座標に表現できる。撮像装置および撮像装置と容器ホルダーの両方がその内部に配置されている装置を較正する較正工程Ｓ１３１６に続いて、工程Ｓ１３１８で、３次元世界座標を次工程前に２次元の撮像装置平面に表現でき、工程Ｓ１３２０で、撮像装置の視野から不明瞭になる円筒曲面の部分への写像を排除して、工程Ｓ１３２２での結果としてラベル画像内のｘ、ｙ画素位置に対応する写真内の位置を形成することができる。長方形のラベル内の任意の画素が円筒の画像内のどこに写像されるかが分かると、長方形ラベル中の各画素を撮像装置画像内で採取して、撮像装置画像を展開できる。採取される撮像装置画像内の位置は必ずしも整数の画素の位置と一致しないので、最近接型、双線型、および／またはｂ－スプライン型内挿などの高次手法のような内挿法を使用して、撮像装置画像を内挿できる。

【0019】

一例として、ラベルの寸法は、円筒の長さと半径のパラメーター、すなわち（高さ）＝２×π×（半径）、（幅）＝（長さ）から求められる。画素単位の画像寸法は、ＤＰＩ（インチ当たりのドット数）により再生されるラベルの望ましい解像度を考慮して、これの縮尺を変えて取得する。次にそのラベルを３次元で巻付ける。この世界座標系の原点は、この原点が円柱の底面での円の中心に一致するように選択される。次にｘ軸およびｙ軸はこの円を含む平面内とし、ｚ軸は円柱の長手方向とした。ｘ軸は、ラベルが「接着」されている場所に対して、ラベル１１１６の最底辺に対応する。この底辺から上の方に向かって、ラベルの各行は反時計回りに角度が増大しながら円上に配置される。画素でのラベルの（ｘ，ｙ）からミリメートル単位で円柱の（ｘ，ｙ，ｚ）への巻付けまたは写像は、次式に従って実行される。

【数1】

【0020】

この操作は、所定のラベル寸法の各（ｘ，ｙ）画素に対して実行されて、各画素の世界座標での物理的な位置（ｍｍ）を提供する。

【0021】

世界座標に円筒が存在する場合に、既知のパラメーターの撮像装置を使用して、既知の位置から円筒の写真が撮られる際に、その（ｘ，ｙ，ｚ）ボクセルのそれぞれが出現する場所を推定することが望ましい。図１１はまた、画像の左上の隅に画像座標系およびその原点を示している。世界座標から写真画素への写像は、次式に表すことができる。

【数2】

ここで、Ｐは４×４の同種の撮像装置の変換行列である。

【数3】

【0022】

内因性の撮像装置パラメーター（Ｋ行列）。Ｋは、内因性の撮像装置パラメーターを含む行列であり、撮像装置の焦点距離、センサーの寸法、および光学中心の位置に依存する。この行列Ｋは，本質的に、画素座標にミリメートル座標を持ち込み、かつ（左上隅部にある）写真の原点に対応しない光学中心（画像の中心）により説明されるスケーリング行列および平行移動行列である。このパラメーターは使用中の撮像装置に依存し、当業者は、焦点距離ｆｘおよびｆｙを決定しかつＫを決定するための（チェッカー盤などの）較正対象物の使用に精通している。この場合には、Ｋは以下のとおりである。

【数4】

【0023】

ここで、ＳｘおよびＳｙは、ミリメートル単位の画素サイズであり、ＯｘとＯｙは、（画像の実際の中心の周辺にあるはずであるが、その中心とは一致しない）画像の光学中心の画素座標である。

【0024】

レンズ歪みパラメーターはまた、撮像装置較正プロセスから得られ、それに従ってＫを調節するように使用してもよい。

【0025】

外因性の撮像装置パラメーター（Ｒ行列およびＩ行列）。世界座標系は（光学中心にあり、図１１に示すように複数の軸を持つ）撮像装置の座標系とは一致しないので、世界座標での点が撮像装置の軸に対して表現されるように、回転行列Ｒおよび平行移動ベクトルＴによって表現される変換が必要となる。画像座標系に合わせて調整され、かつ撮像装置の位置を特定するより直観的な方法を使用してもよい。Ｒ行列およびＴ行列を得るために特定されるパラメーターは以下のとおりである。
・世界座標系での撮像装置の物理的な位置（視線ベクトル）。
・撮像装置が視覚する点座標（中心ベクトル）。
・画像平面に投影された際に、上向きの世界座標系での方向、例えば世界座標系のｙ軸（上向きベクトル）。行ベクトルとして視線、中心、上向きを考慮すると、Ｒ行列は次の手順を経て取得される。

【数5】

また、新規に回転した座標系に対する撮像装置の変換は次の通りである。

【数6】

この式はまた、まず

による変換を行い、続いてＲで記載された回転を行うことと理解できる。

【0026】

円筒の隠れた部分への写像の排除。１枚の画像においてラベルが不透明であると仮定すると、撮像装置に対して近い方にあるラベルの部分のみが撮像装置に見えることになり、円筒の遠い方にあるラベル部分は近い方の部分によって不明瞭になる。従って、画像化するラベル空間では、見えないラベル空間からこれらの画素を識別して排除することが望ましい。これを実施するには、円筒形の容器を見る際に、画像に現れるその長縁部が円筒を二等分する平面を規定し、その円筒を可視区域と不明瞭区域とに分割することが当然考えられる。従って、これにより、ラベル空間は図１２に示すように見えるラベル部分と不明瞭なラベル部分に分割される。円筒の長縁部は、単純な縁部の検出法を使用して、画像化したラベル空間内の写像点の中から識別でき、また撮像装置と画像化するラベルの間の距離は、画像化するラベル空間の各点について既知となるので、容器の半分を超える部分に対して写像するラベル画素は破棄できる。撮像装置が受け取る画像で、薬物収納容器の画像を直接撮像するだけでなく、薬物収納容器の反射画像を含むように鏡を使用する構成では、その写像位置は個別に決定する。例えば、図１０の構成では、各撮像装置１０１０、１０１２は、薬物収納容器１０１４を直接に表示する画像、および各々の鏡１０１６、１０１８から反射された薬物収納容器１０１４の反射画像を取得する。従って、撮像装置により取得された各画像は薬物収納容器１０１４の２つの表示を含むので、薬物収納容器１０１４のそれぞれの外観に関連する情報を抽出するように、２つの異なる写像を各画像に適用できる。異なる外観からの情報が抽出され展開されると、種々の展開画像を一つに継ぎ合わすことができる。

【0027】

図１０の構成例に続いて、図１４の左側には、薬物収納容器１０１４を直接的に見る撮像装置１０１０および１０１２を示す。図１４の右側では、反射鏡１０１６および１０１８の角度が誇張して示され、撮像装置１０１０および１０１２のそれぞれが、薬物収納容器１０１４を直接撮像することに加えて、薬物収納容器１０１４の反射画像１４１０、１４１２も撮像することを強調している。この特定の構成を説明するのに使用されるパラメーターは次のとおりである。
・Ｃ１視線、Ｃ２視線：カメラ１およびカメラ２の（ｘ，ｙ，ｚ）座標（世界座標系で表示されている）。
・Ｃ１中心、Ｃ２中心：カメラが見ている点（光学中心）の（ｘ，ｙ，ｚ）座標。これらは唯一でなく、破線に沿う任意の点でも適合する。
・Ｃ１上向き、Ｃ２上向き：各カメラの「上向き」方向を計算するのに使用するベクトルで、カメラが上向きなら（０，１，０）、カメラが逆さまなら（０，－１，０）。
・鏡の垂直位置：ｈ_M1およびｈ_M2（ｈ_M2は負と考えられる）。
・水平面に対する鏡の角度：α_M1およびα_M2。

【0028】

これらのパラメーターは、装置で測定され、世界座標系で表示される。ｚ軸での測定値は、正確なラベルの読取りにあまり影響を与えないので、円筒の所定長さは例えば４０ｍｍと想定されてもよく、さらに撮像装置はその中央部に向いていると想定されてもよい。

【0029】

図１０の構成は、種々の角度からの４つの異なる注射器の写真を提供する。従って、以下の４つの写像が必要となる。
１．ラベルから画像１まで：撮像装置１０１０により観察される世界座標系での円筒。
２．ラベルから画像１まで：撮像装置１０１０により観察される鏡１の座標系での円筒。
３．ラベルから画像２まで：撮像装置１０１２により観察される世界座標系での円筒。
４．ラベルから画像２まで：撮像装置１０１２により観察される鏡２の座標系での円筒。

【0030】

写像１および３は、薬物収納容器１０１４を見る撮像装置毎に異なる射影行列を使用して、前述のモデルによって説明できる。鏡画像の写像は、元の円柱と同一の座標系（「世界」座標系を考慮して、この座標系は撮像装置の座標系とは区別する）で鏡に映った画像の座標を表示することにより実施される。これは、上述の方法と同じ方法ではあるが、鏡座標系を世界座標系に揃える変換行列により円筒座標のベクトルに乗算する追加の工程とともに実行できる。この変換行列は、Ｍで示され、２つの鏡のパラメーター、すなわち鏡の角度および鏡の垂直位置の関数として表すことができ、均一な回転行列および平行移動行列に類似しているが、鏡座標系はもはや右手の法則に従わないので適切な回転行列とは見なされない。写像モデルを鏡画像に適応する変更は、以下の式に従う。

【数7】

【0031】

撮像装置画像からラベルへの写像は、オフラインで生成でき、発生する画像の歪みを含む。写像は、ラベルの各画素（ｘ，ｙ）に対する一対の座標であり、それらは、写真内の対応する画素のｘ座標を示す写像_x（ｘ，ｙ）、およびｙ座標を示す写像_y（ｘ，ｙ）である。すなわち、再写像では以下の代入を行う。

【数8】

【0032】

図１０の例では、４つの写像のうち２つは２つの撮像装置画像のうちの一方に適用され、他の２つの写像は２つの画像のうちのもう一方に適用される。これにより、画像の３×２の配列を持つ図１５に示すようなラベルの４つの継合せ区域となり、この配列では、１列目は第１および第２の撮像装置画像を示し、２列目の１行目は第１の撮像装置画像からの薬物収容容器の鏡反射の継合せ区域を示し、３列目の１行目は第１の撮像装置画像からの直視の薬物収容容器の継合せ区域を示し、２列目の２行目は第２の撮像装置画像からの薬物収容容器の鏡反射の継合せ区域を示し、かつ３列目の２行目は第２の撮像装置画像からの直視の薬物収容容器の継合せ区分を示す。異なる数の撮像装置および／または鏡が使用される例では、写像の数はそれに応じて変更され、継合せ区域画像の数も変更される。図４の装置の場合には、薬物収納容器は２台の撮像装置によって直接観察され、それにより２つの継合せ区域画像が作成できる。図６の装置の場合には、薬物収納容器が１回直接観察され、２つの鏡像が（全ての像が同じ撮像装置で）観察され、それにより３つの継合せ区域画像が作成できる。図９の装置の場合には、１台の撮像装置が４つの反射画像を取得し、それにより４つの継合せ区域画像が作成できる。

【0033】

複数の継合せ区域画像が作成される場合に、それらを組み合わせて１枚のラベル展開画像を形成してもよい。各区域はラベルに対してその正しい位置に存在するので、継合せでの課題は様々な区域を共に融合することにある。ラベルの同一部分が複数の画像内に表示されることがあり、これにより継合せ区域画像が重複することがあるので、融合するのが好ましい。１つの可能性として、ラベルの展開画像にその区域を追加する前に、各区域をマスクにより増幅させる。図１５の継合せ区域をそれぞれ生成した写像に対応する４つのマスク例が図１６に示され、ここで白色部は１に対応し、黒色部は０に対応する。当業者であれば、種々の融合手法を使用してもよいことが分かっており、かつ適切な別の融合手法にも精通しているであろう。図１７は、図１０の装置を使用した取得および上述の処理の後の３種の展開画像を示す。

【0034】

薬物収納容器の直径は分かっていないが複数の個別の特定の見込み値（すなわち注射器の直径として８ｍｍまたは１１ｍｍが予想される）とできる状況では、各見込み値での写像を使用して、後続の処理を実施できる複数の展開画像を形成する。そのような手法は、薬物収納容器の寸法を識別するための専用処理の必要性を回避でき、その代わりに、ラベルの内容物を示すものとして最良の個々のラベルの判断結果を得る前に、各展開画像に対して本明細書で後述する処理を実施する。
ラベルの判別

【0035】

ラベル判別工程の目的は、各展開画像を取得して、ラベルが予め指定した薬物および／または用量のものであるかどうかに関し判定を下すことにある。

【0036】

１つの手法は、展開画像内で１つ以上の所定のテンプレートを検索するテンプレートマッチングのアルゴリズムを使用することである。一例として、これらのテンプレートのうちの一部分は薬物の名前であってもよく、また他の部分は、投与量やその他の重要な特徴事項または識別すべき特徴事項に対応させるように用いてもよい。

【0037】

テンプレートマッチングを実施する前に、関連情報を保存しつつ関連性のない情報を排除して判別性を改善するように、展開画像に対し前処理手法を適用する。これらの前処理工程により、テンプレートマッチングがより安定になり、計算コストを低減できる。

【0038】

多くのラベルにおいて、判別のための最も重要な要件は、対応するテンプレートの形状をそのラベルに一致させることであり、理想的には他の因子は無視されてもよい。一例として、照明は、展開画像でかなりの変動を引き起こす可能性がある。従って、展開画像の画素値は閾値処理され、この変動を排除しさらに判別し易いはるかに単純な２水準画像に戻せる２値化画像を生成する。この２値化画像の一例を図１８に示し、この図は、左側に展開画像を示し、右側に展開画像の２値化版を示している。

【0039】

ここで、２値化を実施する２種の手法について説明する。特定の型のテンプレートには、これら手法のうちのどちらかがより適切となる。複数のテンプレートの検索を通して薬物または投与量を特定する際には、各テンプレートの検索において適切な版を利用できるように、展開画像の複数の（異なる）２値化版を計算することが必要な場合がある。

【0040】

以下の数式では、次の表記が使用される。Ｒ、ＧおよびＢを使用して、画素の赤、緑および青の値を表示する。（ｘ，ｙ）を使用して、当該の画素の特定位置を特定する。例えば、Ｒ（ｘ，ｙ）は、左端部から内側にｘ画素、頂部から下側にｙ画素の画素の赤の値を示す。Ｆは、２値化画像での画素の値を表示し、かつＦの値が常に０または１になるように調整される。

【0041】

第１の２値化手法は、文字情報を含む画素を強度に基づいて他の画素から容易に分離できるテンプレートに適していて、まず色付きの展開画像をグレースケールに変換することを含む。このグレースケール値は、ＲＧＢ値の加重合計として計算される。

【数9】

【0042】

このグレースケール画像は、適応的閾値処理アルゴリズムを適用して２値化されるが、当業者には、限定はされないがグローバル閾値の使用を含み、その他の閾値処理手法を同様に使用できることは分かっている。このグレースケール展開画像中の各画素に対して、長方形の近傍部での平均画素値が計算され、当該の画素から減算される。次に、得られた画像に所定の閾値を適用する。これにより、閾値処理が画像全体での照明の変動に対して堅牢性を持つようにできる。画像内の各画素の部分平均強度は、次式に従って計算される。

【数10】

次に、各画素の２値は次式のように設定される

【数11】

【0043】

第２の２値化手法を、どの画素が文字情報に属しどの画素が背景に属するかを区別するために、色情報の使用が重要となるテンプレートに対し適用できる。この場合には、展開画像は、必要に応じてＲＢＧからＨＳＶ（色相－彩度－明度）に変換される。この表現の利点は、殆どの色情報はＨ値のみに含まれることになり、これが照明の変動度に対して比較的安定であることにある。次に展開画像のＨＳＶ表現は、そのＨ値、Ｓ値およびＶ値が文字情報の色を中心とした特定の範囲内にある画素を選択して２値化される。

【数12】

【0044】

展開画像が２値化されると、テンプレートマッチング手法が使用され、この手法では、２値化展開画像の周辺にテンプレートを滑り込ませ、テンプレートと２値化展開画像中の複数の候補点との間の類似性指標を評価して、テンプレートが２値化展開画像に最もよく合致する1つ以上の点を見出すことになる。この手法は、類似度スコアを測定するために展開画像内の潜在的なテンプレートの位置が評価されて、類似度スコアが最適（類似度スコアに依っては最大または最小）であるテンプレートの位置が探索される最適プロセスと見做すことができる。使用しうる最適手法の例としては、可能性のある全てのテンプレートの位置を評価するか、勾配降下法を使用することであり、またその他の最適化手法も使用できる。

【0045】

色付け展開画像の色や強度に変動の問題がある場合には、展開画像の２値化が適切となることがある。別の可能性として、色画像のテンプレートマッチングを、適切な色を使用する類似性指標とともに使用できる。

【0046】

テンプレートマッチングはノイズに対して非常に堅牢であり、また（鋭利な端部を必要とする端部探知器または隅部探知器とは異なり）画像の焦点の僅かなずれにも許容性がある。従って、テンプレートマッチング手法を選択することは、展開画像の本質に適している。但し標準的なテンプレートマッチングは、回転、縮尺係数、透視の歪み、および画像の閉塞／欠落部分に対してそれ程許容性がない。

【0047】

テンプレートに基づかない形状マッチング法、例えばキーポイント抽出法および一般化ハフ変換法には、形状に対し特定の一致点を見出し、かつ対象物の可能な各位置および各方向に対し「投票」を行う「投票」手法を使用する傾向がある。この方法にはいくつかの利点があり、すなわち画像の閉塞／欠落部分に対して（特定の数の投票の欠落を許容することで）堅牢であり、小さな回転や透視の歪みに対して堅牢であり、またより大きな回転や透視の歪みにも許容性がある。テンプレートに対応する対象物が投票手法の適用される画像内に存在しないのなら、対象物に関係しない画像部分での一致による複数の背景での「投票数」があり得るので、最小数の投票数の閾値を使用して、対象物が画像内に存在するかを探知する。但し展開画像には、標準的なキーポイント抽出機能を使用するのは信頼性が無かった。

【0048】

テンプレートをより小区域に分割して、投票法とテンプレートマッチング法とを組合せる１つの手法がある。図１９は、この場合にはラベルはRoActemra（登録商標）であるが、テンプレート１９１０の全体を３個の小区域１９１２、１９１４、１９１６とともに示している。図１９には３個の小区域のみが示されるが、選択されたテンプレートの全てまたは実質的に全てが小区域で覆われることが好ましく、それによりそのテンプレート内に含まれる全ての情報または実質的に全ての情報もまた、その小区域の組の中に含まれる。次にテンプレートマッチングを小区域に対して順番に実施する。小区域はそれぞれ小さいので、全ての小区域を処理する計算コストは、完全なテンプレートマッチングのコストと同等である。任意の所定の小区域に、テンプレートによって表示される対象物上にはない展開画像内の場所で最もよい一致が見出されることはあるが、正しい空間配置に近接して複数の一致が偶然に発生する見込みは薄い。

【0049】

各小区域に対するテンプレートマッチングに続いて、各小区域は、２値化画像と同一の寸法を持つ投票画像Ｖｔを作成する以下の手法を使用して、どこに（元のテンプレートの中心に写像される）「最もよい」位置があると考えるかについて投票する。

【0050】

投票のアルゴリズムは、その入力として試験する画像Ｉ、および２値化テンプレートの組を受け取る。前処理工程として、各テンプレートＴに対して、そのテンプレートはＮ個の小区域に分割される。以下の説明では、下付き文字ｔを使用して、特にｔ番目の小区域に関連する値を表す。各小区域について、テンプレート全体の左上隅部に対するその位置が保存される。ｆは、テンプレート全体の左端部と小区域の左端部との間の画素数である。同様に、ｇはテンプレート全体の上端部と小区域の上端部との間の画素数である。
実行時には、
１．各テンプレートに対して、ａ．現在のテンプレートの各小区域ｉで、次の式により計算する。

【数13】

ここで、テンプレートの寸法全体にわたって合計し、ｗｈは重み係数であり、応答画像Ｍｔは、テンプレート内の小区域の相対位置が解るように、（ｆ、ｇ）量だけずらされる。

【0051】

個々のテンプレートからのスコアは、以下の方法で組み合わされる。まずサブテンプレートマッチングのスコアが投票数に変換される。

【数14】

次に個々の投票数が合計される。

【数15】

【0052】

最後に、この場合にはＶを角窓(square window)で畳み込み積分し、これを緩和するか境界を曖昧にする。この処理は、異なるサブテンプレートを互いに対して効率的に僅かに移動できるようにして、ある程度の縮尺と歪みに対する堅牢性を提供する最後の工程となる。

【数16】

【0053】

テンプレートの最終スコアは、画像内の最大値Ｓ（ｘ，ｙ）として得られ、テンプレートはその点に位置すると見做される。

【0054】

一例として、テンプレートと注射器のラベルとの間の一致性の取得に関し、その判別法は、２５×１５０テンプレートを５×２５の３０個の小区域に分割すること、次に各小区域毎に、ラベル内の可能性のある各点で平方差の合計を計算してスコアを出すこと、ラベル内の最大スコアを決定し、決定された最大スコアの９０％に閾値を設定すること、スコアが閾値を超えるラベル内の位置を１（それ以外の位置は０）でマークし、それらの位置を数えること（Ｎで表示する）、１とマークされた各位置に１／Ｎの計算値を与えること、各小区域毎にラベル内の各位置の計算値を合計すること、および合計値が最も高い位置を特定することを含む。

【0055】

図２０は、「COPAXONE」のテンプレートおよび同一のテンプレートでのＳ（ｘ，ｙ）２０１４を使用する標準的なテンプレートマッチングのアルゴリズム２０１２に対する応答と共に、展開画像の一例２０１０を示す。Ｓ（ｘ，ｙ）２０１４は、COPAXONEテンプレートの正確な位置で強い応答を示していることが確認できる。

【0056】

図２１は、「COPAXONE」のテンプレートおよび同一のテンプレートでのＳ（ｘ，ｙ）２１１４を使用する標準的なテンプレートマッチングのアルゴリズム２１１２に対する応答と共に、展開画像の別の例２１１０を示す。標準的なテンプレートマッチングのアルゴリズム２１１２への応答ではこのテンプレートとの一致性が低いが、Ｓ（ｘ，ｙ）２１１４はCOPAXONEテンプレートの正確な位置で強い応答を示していることが確認できる。図２１の例では、展開画像２１１０にいくらかの透視歪みが残っているが、標準的なテンプレートマッチングとは対照的に、投票アルゴリズムはその歪みに許容性がある。そのピークはそれ相応に鋭くはないが、依然存在している。

【0057】

上述のテンプレートマッチング手法は文字情報のマッチングにはうまく機能するが、テンプレートが色付きブロックである場合にはあまり効果的ではない。一例として、Saizen薬の場合に、２０ｍｇカートリッジではラベルは黄色で黄色の長方形を持ち、１２ｍｇカートリッジではラベルは赤色で赤色の長方形を持つように、色付きブロックが薬物収納容器に関する貴重な情報を提供している。その場合には、ラベルへの書込みを表示するように選択されるテンプレートに代えて、所定の色と寸法のブロックを選択してもよく、テンプレートマッチングは、平方差の総和を用いて行われ、テンプレートとの一致性の特質を算定する。色付きブロックのテンプレートには、色相ベースの２値化が使用された。色２値化プロセスは、予想される色ブロックの色相周辺で広い範囲の色相を受入れるようになっている。これは、一定の範囲の照明条件に対する識別に堅牢性があって、プロセスが印刷の変動に対しても堅牢性があることを意味している。均一な色付きブロックは、上述の投票ベースのテンプレートマッチング方法が必要となる透視の歪みに対して極めて有効であるので、この色２値化プロセスはうまく機能する。なお、このテンプレートマッチングのアルゴリズムは、２値化版に対してではなく、色画像に対し適用される。色付きブロックのテンプレートの場合に、色相ベースの２値化が適切であり、この２値化プロセスは、予想される色ブロックの色相周辺で広い範囲の色相を受入れるようになっている。これにより、一定の照明条件に対する識別に堅牢性を提供し、かつ印刷の変動に対する堅牢性も提供する。

【0058】

判別される各ラベルには、そのラベルに複数のテンプレートが関連付けられる場合がある。１枚のラベルが有するテンプレートの種類の例としては、薬物の名前を含むテンプレート、用量を指定する文字情報を含むテンプレート、薬物の種類または用量を識別するのに役立つ色ブロックのテンプレート、存在しないと予想される特徴事項を含むテンプレートなどが挙げられる。この存在しないと予想される特徴事項を含むテンプレートは、類似のラベルには存在しないはずの特徴事項を探すことにより、判別者がそのラベルを誤って受け入れるのを防止できるような類似のラベルであると分かっている場合に、判別者がより堅牢に判別するのに役立てることができる。

【0059】

判別される展開画像は、その画像に対して評価される各テンプレートでのテンプレートマッチングのスコアを生成する。これらのスコアを判別結果に変換する。これにより、各特徴事項に閾値を適用して、テンプレートマッチングのスコアが必要な各テンプレートでの閾値を超える場合にはラベルを受け入れ、テンプレートマッチングのスコアがテンプレートでの閾値を下回る場合には、図２２に示すように存在すべきでないラベルとして拒絶する。

【0060】

１つの可能性として、計算の複雑さを軽減するために、テンプレートマッチングを行う際に、展開画像の部分領域のみを検索してもよい。特に、薬物名の垂直位置はどこでもいいが水平位置を僅かの量だけ変化させて、この検索を、特定の水平範囲内、例えば薬物名により表示される対象物の予想される水平位置周辺の画像幅の１０％内などで実施するように制限してもよい。

【0061】

１つの可能性として、計算の複雑さを軽減するために、展開画像で（または撮像装置画像でも）解像度を低減してもよい。図２０および図２１に示す結果は、最大の解像度の画像で得られたものであるが、本明細書で説明する手法は、撮像装置画像および展開画像のうちの１つ以上の解像度を低くする追加の工程に続いて実施してもよい。

【0062】

１つの可能性として、計算の複雑さを軽減するために、カスケード法を使用してもよい。このカスケード法では、小区域の部分組（例えば３個）のみを、その部分組以外の小区域に対し限定されたテンプレートマッチングを行う前に展開画像内でテンプレートの位置を迅速に初期推定できるように、テンプレートマッチングの第１段階に用いるが、その際、この限定されたテンプレートマッチングを行うことで、その部分組以外の小区域に対して最適となるその初期推定値からの距離が制限される。

【0063】

テンプレートマッチング手法の計算コストの大部分は、薬物名を含む部分を見出すために画像の大部分を検索する必要があるという事実から生じている。これは、薬物収納容器で回転方向が異なる場合があるという事実からも生じている。１つの可能性として、各行での明画素対比の暗画素の数はその画像部分に何が存在するによって異なるので、各行での明画素対比の暗画素の長さを算定して、その長さに最もよく一致するラベルの回転方向を記録できる。次に、上記のパターンマッチングを実施するが、薬物名の存在可能な場所がはるかに高確度で認識されるので、この記録に基づいて限定したテンプレートマッチングが実施され、それによりこの手法を展開画像のはるかに狭い部分を検索しながら実行できるようになる。

【0064】

本明細書に記載の手法はラベルが指定の型であるかどうかを判定するのに１０ミリ秒～１５秒を要し、２００ミリ秒の場合もあり、またこの手法はラベル判定毎の処理装置・取得エネルギーとして、０．０５ｍＡｈ～０．５ｍＡｈが必要であると見積もられ、また０．０６ｍＡｈの場合もある。本明細書に記載したテンプレートマッチング手法を実施する装置で新規のラベルを認識可能とする必要がある場合に、新規のテンプレートが容易に装置に供給され、それによりこの装置の処理コードを根本的に変更することを必要とせずに、新規のラベルを認識するようにこの装置を適合させることが可能である。

【0065】

１つの可能性として、自動注入装置が特定の薬物収納容器を保持していると認識すると、この装置はその薬物収納容器からの注入ができるようにする。自動注入装置が保持していると予想される薬物収納容器以外を保持していると認識した場合には、その装置は視覚アラームまたは音声アラームを出し、それに加えてあるいはその代わりにその注入能力を無効にできる。

【0066】

１つの可能性として、光源を、自動注入装置内に備えて円筒状部分の曲面の照明に使用し、不安定な照明によって引き起こされる画像処理の問題の軽減に役立てる。

【0067】

１つの可能性として、上述のテンプレートマッチング手法を用いる代わり、あるいは用いるとともに、ニューラルネットワークに基づく判別手法を用いて、ラベル画像から薬物および／または薬物収容容器に関する詳細を識別してもよい。ｎ×ｍ画素のＲＧＢ画像の基本寸法は３ｎｍなので、２５００×１９００の画像の場合には、約１４００万規模の入力ベクトルとなる。従って基本的な手法は、展開画像をより小さなｏ×ｐ画像の小区域組（例えば１５）にまで切り分け、これら各小区域で代表的な「特徴事項」の尺度を算定し、次にこの特徴事項のベクトルをニューラルネットワークへの入力として使用することである。好ましくは、その尺度により、可能な限り小さな数でそれ自身がある程度の分離に役立つ小区域での顕著な特徴事項を捕獲する。各小区域での尺度に対して、導入する検出法は高周波特性と低周波特性の両方を何らかの方法で捕獲するものを使用することである。選択された尺度は、データエネルギーと３原色それぞれの平均値の連結であり、尺度寸法は４になる。この尺度では、入力ベクトルのサイズは４ｒｓになり、５×３の小区域寸法の使用により６０の入力ベクトル寸法となる。これは、入力ベクトルサイズで６桁の低減に近い。使用されたネットワークは、６０個の入力、１個の隠れ層、および１個の出力が完全に接続されたネットワークであった。隠れ層のサイズは２０である。このネットワークの特徴の１つは、隠れ層中のパーセプトロンに対するガウス活性化関数の使用であった。その後、このネットワークを、薬物情報が既知の一組の演習用画像で訓練した。

【0068】

本明細書でテンプレートマッチングについて述べる際に、１つの可能性として、医療機器はいずれの外部データベースからもデータを得る必要なしに、テンプレートマッチングを行うことができると考えられる。その状況では、医療機器は、容器および／または薬物に関する候補情報に対応する１つ以上のテンプレートをその記憶装置に保存していてもよい。さらに、テンプレートマッチングのアルゴリズムが一致および／または不一致から学習することは有益かもしれないが、テンプレートマッチング手法はいずれのそのような学習機能も必要としない。

【0069】

本明細書に記載の手法により使用される１台以上の撮像装置は１個以上のカメラであってもよく、従って「撮像装置」という用語のいずれの本明細書での使用でも、「カメラ」という用語に置き換えてよいと考えられる。

【0070】

１つの可能性として、いかなる画像も無効であるとして拒絶できないことを意味する１個のみの出力を有する上述のネットワーク構築物に代えて、マルチ出力型のネットワークを使用できる。そのような１つのトポロジーは、特定のラベルについてそのラベルの出力は高値となり他の全ての出力は低値であるとの予想により、８個（またはそれ以上）の（各ラベル区分に対して１個の）出力を有してもよい。このパターンから逸脱するいずれの出力パターンも、拒絶として解釈される。

【0071】

本明細書で説明する手法は、任意の医療機器で使用し実行してもよいが、１つの可能性として、それら手法は自動注入装置などの携帯型医療機器で実行してもよい。別の可能性として、それら手法は尖った先端の容器などの携帯型ではない機器で実行されてもよい。

【0072】

本明細書に説明する手法では、薬物収容容器に関する情報は、薬物収容容器の円筒状部分の曲面の画像データを得て判断される。この画像データは、曲面の周りから展開され、２値化され、ラベル情報が容器および／または薬物に関する候補情報を含むことを判断するためにテンプレートマッチングのアルゴリズムを使用する。

【0073】

１つの可能性として、本明細書で説明する手法のうちの任意の手法を別の手法中に使用してもよく、この別の手法では、テンプレートマッチングを使用せずに、例えば文字情報、バーコード、ＱＲＳ、および/または認識の手法を使用せずに、展開画像からラベル情報を読み取る。

【0074】

本明細書で説明する方法は、命令を実行する処理装置の動作により開始するようにコンピュータで実行できる。本明細書で説明する手法は、ハードウェア、ファームウェア、および／またはソフトウェアを含む任意の適切な形態で、例えば、非一時的コンピュータ可読媒体であってもよいコンピュータ可読媒体に具体化されてもよい。コンピュータ可読命令を保有するコンピュータ可読媒体は、処理装置で実行するように手配されて、本明細書に記載のいずれかの方法または全ての方法を処理装置に実施させ、それによりそれら方法をコンピュータで実行させる。

【0075】

本明細書で使用されるコンピュータ可読媒体という用語は、処理装置を特定の方法で動作させるデータおよび／または命令を保存する任意の媒体を指す。その記憶媒体として、不揮発性媒体および／または揮発性媒体が挙げられる。不揮発性媒体には、例えば、光ディスクまたは磁気ディスクを含んでもよい。揮発性媒体には、ダイナミックメモリを含んでもよい。記憶媒体の形態の例として、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、１つ以上の穴または突起パターンを備える任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、および任意の他のメモリチップまたはカートリッジが挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【手続補正書】

【提出日】2023-05-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

医療機器内に配置され、かつ薬物収納容器および／または薬物に関するラベル情報を保持する円筒状部分を有する前記薬物収納容器および／または前記薬物自体に関する情報を判断するコンピュータ実装方法であって、
前記方法は、
前記医療機器内に含まれる１台以上の撮像装置を用いて、前記円筒状部分の曲面の画像データを取得すること、
展開画像が前記曲面の周りに巻き付いている場合に、前記展開画像内の複数の点が前記曲面上に写像する位置を識別して前記画像データから２次元の展開画像を作成すること、
前記展開画像を２値化すること、
テンプレートマッチングのアルゴリズムを前記２値化画像に適用して、前記容器および／または前記薬物に関する候補情報に対応する１つ以上のテンプレートの前記２値化画像内での存在を判断すること、および
前記１つ以上のテンプレートが前記２値化画像内に存在するという前記判断に基づいて、前記ラベル情報が前記候補情報を含むと判断することを含み、
前記テンプレートマッチングのアルゴリズムは、それぞれの前記テンプレートの複数の小区域部分を前記２値化画像に対して評価することにより、前記２値化画像に対してそれぞれの前記テンプレートを評価するようになっており、
各テンプレートに対して前記２値化画像と同一の寸法を有する投票画像が作成され、それぞれの前記小区域部分の評価が各画素での所定の閾値を上回るかどうか、またはそれを下回るかどうかに関する各テンプレートのそれぞれの前記複数の小区域部分からの投票に基づいて前記画素は集合化され、各投票画像の最大画素値を使用して各テンプレートの前記２値化画像内での存在が判断され、
前記最大画素値を判断する前に、各投票画像の境界が曖昧にされる、方法。

【請求項2】

前記展開画像を作成した後でかつ前記展開画像を２値化する前に、前記展開画像に対して継合せ操作を実施して、前記撮像装置のうちの異なる装置によって取得された前記画像データの複数の部分を一つに継ぎ合わすことをさらに含む、請求項１に記載の方法。

【請求項3】

前記２次元の展開画像の作成は、各撮像装置によって取得された前記画像データが、取得時に各撮像装置により直接に観察可能である前記円筒状部分の前記曲面部分に関してのみ展開されるように実施される、請求項１または２に記載の方法。

【請求項4】

前記２値化は、
前記展開画像をグレースケール画像に変換すること、および
前記グレースケール画像データの各画素のグレースケール値が部分平均強度の閾値未満の場合に各画素は第１の値を有し、それ以外の場合は第２の値を有するように、前記２値化画像を作成することを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記２値化は、
前記展開画像を色相－彩度－明度（ＨＳＶ）画像に変換すること、および
各画素の色相、彩度、および明度のそれぞれの値が色相、彩度、および明度のそれぞれの上限閾値と下限閾値の間にある場合に各画素は第１の値を有し、それ以外の場合は第２の値を有するように、前記２値化画像を作成することを含む、請求項１～３のいずれか１項に記載の方法。

【請求項6】

テンプレートマッチングのアルゴリズムを前記展開画像に適用して、前記容器および／または前記薬物に関する色付き候補情報に対応する１つ以上の色付きテンプレートの前記２値化画像内での存在を判断すること、および
前記１つ以上の色付きテンプレートが前記展開画像内に存在するという前記判断に基づいて、前記ラベル情報が前記色付き候補情報を含むと判断することをさらに含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記投票画像の境界を曖昧にすることは、前記投票画像を角窓により畳み込み積分して達成される、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記容器は注射器またはカートリッジである、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記医療機器内の光源を用いて前記円筒状部分の前記曲面を照明することをさらに含む、請求項１～８のいずれか１項に記載の方法。

【請求項10】

請求項１～９のいずれか１項に記載の方法を実施する医療機器であって、任意に前記１台以上の撮像装置はカメラである、医療機器。

【請求項11】

１台以上の処理装置によって実行される際に、１台以上の処理装置に請求項１～９のいずれか１項に記載の方法を実行させる機械可読命令を含む非一時的コンピュータ可読媒体。

【外国語明細書】