特開 2024-92621 薬剤識別装置、薬剤識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092621

(43)【公開日】2024-07-08

(54)【発明の名称】薬剤識別装置、薬剤識別方法及びプログラム

(51)【国際特許分類】

   A61J 3/00 20060101AFI20240701BHJP

【ＦＩ】

A61J3/00 310K

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022208697

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】000149837

【氏名又は名称】富士フイルム富山化学株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】羽田 真司

【テーマコード（参考）】

4C047

【Ｆターム（参考）】

4C047CC15

4C047CC16

4C047KK03

4C047KK12

4C047KK30

4C047KK32

(57)【要約】      （修正有）

【課題】一包化パックの第一面の撮影画像から薬剤種類を特定済みの薬剤が、第一面の裏側の第二面の撮影画像上でどれに該当するかを提示することができる薬剤識別装置、薬剤識別方法及びプログラムを提供する。
【解決手段】記憶装置は、刻印又は印字による識別印が付されている薬剤の表と裏のそれぞれの面における識別印の画像を含む識別印マスタを記憶し、プロセッサは、複数の薬剤が分包袋に収納された一包化パックの第一面撮影画像から各薬剤を検出し、薬剤種類と表裏を特定した特定済み薬剤の情報を用いて識別印マスタから、第二面に現れる特定済み薬剤の識別印画像を含む第二面正解識別印画像リストを作成し、第二面撮影画像から抽出した各薬剤の識別印抽出画像を含む識別印抽出画像リストと、第二面正解識別印画像リストとのパターンマッチングにより第二面撮影画像上で特定済み薬剤を特定し、未特定の薬剤と特定済み薬剤とを差別化する情報を提示する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
１つ以上の記憶装置と、を備え、
前記１つ以上の記憶装置は、刻印又は印字による識別印が付されている薬剤の表と裏のそれぞれの面における前記識別印の画像を含む識別印マスタを記憶し、
前記１つ以上のプロセッサは、
複数の薬剤が分包袋に収納された一包化パックの第一面が撮影された第一面撮影画像から各薬剤を検出し、
前記第一面撮影画像から薬剤ごとに抽出した薬剤画像を基に前記複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を特定した特定済み薬剤の情報を用いて前記識別印マスタから、前記一包化パックの前記第一面の裏側である第二面に現れる前記特定済み薬剤の前記識別印を示す識別印画像を含む第二面正解識別印画像リストを作成し、
前記一包化パックの前記第二面が撮影された第二面撮影画像から各薬剤を検出し、
前記第二面撮影画像から前記各薬剤の前記識別印を抽出した前記薬剤ごとの識別印抽出画像を含む識別印抽出画像リストを作成し、
前記第二面正解識別印画像リストと前記識別印抽出画像リストとを用いてパターンマッチングを行うことにより、前記第二面撮影画像上で前記特定済み薬剤を特定し、
前記第二面撮影画像において薬剤種類が未特定の薬剤と前記特定済み薬剤とを差別化する情報を提示する、
薬剤識別装置。

【請求項2】

前記１つ以上の前記プロセッサは、
前記薬剤画像から薬剤種類と表裏を識別するように機械学習によって訓練された薬剤識別モデルを用いて、前記複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を識別する、
請求項１に記載の薬剤識別装置。

【請求項3】

前記１つ以上の前記プロセッサは、
前記薬剤画像から薬剤種類を識別するように機械学習によって訓練された薬剤識別モデルを用いて、前記複数の薬剤の少なくとも一部の薬剤について薬剤種類を識別し、
前記識別印マスタを用いて前記複数の薬剤の少なくとも一部の薬剤について表裏の特定を行う、
請求項１に記載の薬剤識別装置。

【請求項4】

前記１つ以上の前記プロセッサは、
前記薬剤画像又は前記薬剤画像から抽出された識別印画像と、前記識別印マスタとのパターンマッチングにより前記表裏の特定を行う、
請求項３に記載の薬剤識別装置。

【請求項5】

前記１つ以上の前記プロセッサは、
前記第二面正解識別印画像リストの前記識別印画像と、前記識別印抽出画像リストの前記識別印抽出画像とを総当たりでパターンマッチングし、
マッチングスコアを基に、前記第二面撮影画像上で前記特定済み薬剤を特定する、
請求項１に記載の薬剤識別装置。

【請求項6】

前記パターンマッチングはテンプレートマッチングである、
請求項１に記載の薬剤識別装置。

【請求項7】

前記１つ以上の前記プロセッサは、
前記複数の薬剤の少なくとも一部の薬剤について識別した薬剤種類を確定させる指示の入力を受け付け、
前記指示の入力に基づき対象薬剤の薬剤種類を特定する、
請求項１に記載の薬剤識別装置。

【請求項8】

前記１つ以上の前記プロセッサは、
前記特定済み薬剤の情報としての特定済みリストを作成する、
請求項１に記載の薬剤識別装置。

【請求項9】

前記１つ以上の前記プロセッサは、
前記第二面撮影画像における前記特定済み薬剤に対して、前記差別化する情報としてのマークを付して薬剤種類が特定済みであることを提示する、
請求項１に記載の薬剤識別装置。

【請求項10】

前記１つ以上の前記プロセッサは、
前記第二面撮影画像における前記未特定の薬剤に対して、前記差別化する情報としてのマークを付して薬剤種類が未特定であることを提示する、
請求項１に記載の薬剤識別装置。

【請求項11】

前記差別化する情報を含む前記第二面撮影画像を表示するディスプレイを備える、
請求項１に記載の薬剤識別装置。

【請求項12】

前記一包化パックを撮影するカメラを備える、
請求項１に記載の薬剤識別装置。

【請求項13】

１つ以上のプロセッサが実行する薬剤識別方法であって、
刻印又は印字による識別印が付されている薬剤の表と裏のそれぞれの面における前記識別印の画像を含む識別印マスタを１つ以上の記憶装置に記憶しておくことと、
複数の薬剤が分包袋に収納された一包化パックの第一面が撮影された第一面撮影画像を取得することと、
前記第一面撮影画像から各薬剤を検出して薬剤ごとの薬剤画像を抽出することと、
前記第一面撮影画像から抽出した前記薬剤画像を基に前記複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を特定することと、
前記第一面撮影画像から薬剤種類が特定された特定済み薬剤の情報を用いて前記識別印マスタから、前記一包化パックの前記第一面の裏側である第二面に現れる前記特定済み薬剤の前記識別印を示す識別印画像を含む第二面正解識別印画像リストを作成することと、
前記一包化パックの前記第二面が撮影された第二面撮影画像を取得することと、
前記第二面撮影画像から各薬剤を検出して前記各薬剤の前記識別印を抽出し、薬剤ごとの識別印抽出画像を含む識別印抽出画像リストを作成することと、
前記第二面正解識別印画像リストと前記識別印抽出画像リストとを用いてパターンマッチングを行うことにより、前記第二面撮影画像上で前記特定済み薬剤を特定することと、
前記第二面撮影画像において薬剤種類が未特定の薬剤と前記特定済み薬剤とを差別化する情報を提示することと、
を含む薬剤識別方法。

【請求項14】

請求項１３に記載の薬剤識別方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、薬剤識別装置、薬剤識別方法及びプログラムに係り、特に薬剤が撮影された画像から薬剤の種類を識別する画像処理技術に関する。

【背景技術】

【0002】

持参薬の鑑別あるいは調剤監査などの業務を効率化する技術の１つとして、薬剤が撮影された画像から薬剤種類を識別する画像処理技術の開発が進められている。特許文献１には、携帯端末により、薬剤撮影装置の載置部に載置された薬剤を撮影し、携帯端末が、撮影した薬剤の画像データをサーバに送信し、サーバが、薬剤の画像データと薬剤情報とを対応付けた対応データに基づいて、携帯端末から送信された画像データ中の薬剤の鑑別処理を行う薬剤鑑別方法が記載されている。特許文献１によれば、薬剤撮影装置の載置部の上方向及び下方から、携帯端末を用いて、載置部に載置された薬剤の表面及び裏面を撮影することができる。

【0003】

また、特許文献１では、薬剤の表面及び裏面の画像データ取得の別の手段として、携帯端末を上部又は下部で固定し、薬剤の表面を撮影した後、載置部を薬剤撮影装置から抜き取り、シャーレ部内で薬剤の表裏を入れ替えてから、載置部を再び薬剤撮影装置に差し込み、携帯端末にて薬剤の裏面を撮影する方法が記載されている（段落［００２５］）。この場合、薬剤の表と裏を入れ替える際に、薬剤の位置が変わると薬剤の表面の画像と裏面の画像の対応が取れなくなるため、同じ位置で薬剤を裏返す必要があり、特許文献１では、薬剤の位置ずれを防ぐために凹凸シートを用いている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１８２５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

薬剤に付されている刻印又は印字は、薬剤を識別する際に重要な情報である。刻印又は印字を有する薬剤には表裏があり、表裏のどちらか一方又は両方が薬剤の識別に十分な情報量を有していない場合があり得る。例えば、薬剤の一方の面に刻印又は印字によって数字だけが記載されている場合などは、その情報のみから薬剤の識別が困難なことがある。また、薬剤の片面が無地（刻印又は印字による情報が無いもの）である場合も、その薬剤面の撮影画像から薬剤種類を特定することは困難である。

【0006】

一包化された薬剤の識別を行う装置のサイズは、携帯性や省スペース性を考慮し、なるべく小さい方が好ましい。薬剤の表裏を同時に撮影すれば薬剤の表裏の対応関係を把握するのは容易であるが、この場合には薬剤の両面を同時に撮影する機構が必要となる。すると装置のサイズは必然的に大きくなり、この要請を満たすことが難しい。一方、装置構成がスマートフォン１台のみ、もしくはスマートフォンと携帯可能な小さな撮影台の組み合わせとすれば、携帯性と省スペース性の要請を満たすことができる。しかしこの場合、一包化パックの表裏をそれぞれ別々に撮影する必要性が生じる。

【0007】

一包化調剤により複数の薬剤が分包袋に収納された一包化パックについて片面ずつ撮影を行う場合、一包化パックのカメラ側に向いている面では、分包袋内の薬剤はそれぞれランダムに表裏を向くことになる。よって、１回の片面撮影だけで分包袋内のすべての薬剤の識別を完了させるためには、各薬剤について撮影の前に手技により袋越しに識別可能な情報量を持つ面（薬剤識別可能面）を上に向けておいてから撮影する必要がある。

【0008】

しかし、分包袋内の薬剤の数が多い場合には、すべての薬剤の薬剤識別可能面を上に向けておくのは面倒であると同時にその手技も難しい。そのため、別の手法として一包化パックの表と裏のそれぞれで片面撮影を行い、各面で撮影された２枚の撮影画像を用いて、各撮影画像において薬剤識別可能面が写っている薬剤をそれぞれ識別する方式が考えられる。

【0009】

しかし、この方式は、一包化パックを裏返したときに分包袋の中で薬剤が動いてしまうことがあるため、一包化パックの第一面を撮影して得られた第一面撮影画像と、裏返した第二面を撮影して得られた第二面撮影画像との２枚の画像間において各薬剤の対応関係が曖昧になる。そのため、既に第一面撮影画像によって薬剤種類を特定できた特定済み（識別済み）の薬剤が、裏返した第二面撮影画像上でどの薬剤に対応するのかが、わからなくなりがちである。

【0010】

特に、薬剤の数が多い場合に、第一面撮影画像を用いて既に識別できた特定済みの薬剤をユーザが覚えておくのは難しく、第二面撮影画像において識別対象とすべき残りの薬剤と、既に特定済みの薬剤とをユーザ自身に判別させる仕組みではユーザの負荷が大きい。

【0011】

本開示はこのような事情に鑑みてなされたもので、第一面撮影画像によって薬剤種類を特定済みの薬剤が第二面撮影画像上でどれに該当するかを提示することができる薬剤識別装置、薬剤識別方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本開示の第１態様に係る薬剤識別装置は、１つ以上のプロセッサと、１つ以上の記憶装置と、を備え、１つ以上の記憶装置は、刻印又は印字による識別印が付されている薬剤の表と裏のそれぞれの面における識別印の画像を含む識別印マスタを記憶し、１つ以上のプロセッサは、複数の薬剤が分包袋に収納された一包化パックの第一面が撮影された第一面撮影画像から各薬剤を検出し、第一面撮影画像から薬剤ごとに抽出した薬剤画像を基に複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を特定した特定済み薬剤の情報を用いて識別印マスタから、一包化パックの第一面の裏側である第二面に現れる特定済み薬剤の識別印を示す識別印画像を含む第二面正解識別印画像リストを作成し、一包化パックの第二面が撮影された第二面撮影画像から各薬剤を検出し、第二面撮影画像から各薬剤の識別印を抽出した薬剤ごとの識別印抽出画像を含む識別印抽出画像リストを作成し、第二面正解識別印画像リストと識別印抽出画像リストとを用いてパターンマッチングを行うことにより、第二面撮影画像上で特定済み薬剤を特定し、第二面撮影画像において薬剤種類が未特定の薬剤と特定済み薬剤とを差別化する情報を提示する。

【0013】

第１態様によれば、第一面撮影画像において薬剤種類を特定済みの薬剤が第二面撮影画像上でどの薬剤に該当するかを１つ以上のプロセッサが自動的に特定し、第二面撮影画像に写っている複数の薬剤について、既に第一面撮影画像から薬剤種類が特定できている特定済み薬剤と、未だ薬剤種類が特定されていない未特定の薬剤とを明示的に区別してユーザに提示することができる。これにより、ユーザは、第二面撮影画像においてどの薬剤の識別を行えばよいか、識別対象の薬剤を容易に把握することができ、一包化された薬剤についての識別の作業を効率化できる。

【0014】

識別印は、例えば、会社コードと製品コードとを組み合わせた識別コードであってもよいし、会社コードと製品コードのどちらか一方であってもよい。

【0015】

薬剤の薬剤種類を特定することは、薬剤の個別の銘柄を特定することであってよい。特定される薬剤種類は、例えば、ＹＪコードに代表される薬剤の個別識別コードであってもよい。薬剤の薬剤種類が特定済みであることは、その薬剤について識別済みであることと同義である。薬剤の表（おもて）と裏の定義は、例えば、刻印又は印字による識別印から薬剤の識別が可能な薬剤識別可能面を表、その反対側を裏と定めてもよい。また、通常は公的文書である添付文書上で両面の刻印又は印字のデザインが左右又は上下に並べて記載されているが、左又は上に記載されている方の刻印又は印字を表、右又は下に記載されている方の刻印又は印字を裏と定義してもよい。薬剤の両面がそれぞれ薬剤識別可能面である場合は、どちらを表と定めてもよい。

【0016】

第２態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、１つ以上のプロセッサは、薬剤画像から薬剤種類と表裏を識別するように機械学習によって訓練された薬剤識別モデルを用いて、複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を識別する構成であってもよい。

【0017】

第３態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、１つ以上のプロセッサは、薬剤画像から薬剤種類を識別するように機械学習によって訓練された薬剤識別モデルを用いて、複数の薬剤の少なくとも一部の薬剤について薬剤種類を識別し、識別印マスタを用いて複数の薬剤の少なくとも一部の薬剤について表裏の特定を行う構成であってもよい。

【0018】

第４態様に係る薬剤識別装置は、第３態様に係る薬剤識別装置において、１つ以上のプロセッサは、薬剤画像又は薬剤画像から抽出された識別印画像と、識別印マスタとのパターンマッチングにより表裏の特定を行う構成であってもよい。

【0019】

第５態様に係る薬剤識別装置は、第１態様から第４態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、第二面正解識別印画像リストの識別印画像と、識別印抽出画像リストの識別印抽出画像とを総当たりでパターンマッチングし、マッチングスコアを基に、第二面撮影画像上で特定済み薬剤を特定する構成であってもよい。

【0020】

第６態様に係る薬剤識別装置は、第１態様から第５態様のいずれか一態様に係る薬剤識別装置において、パターンマッチングはテンプレートマッチングであってもよい。

【0021】

第７態様に係る薬剤識別装置は、第１態様から第６態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、複数の薬剤の少なくとも一部の薬剤について識別した薬剤種類を確定させる指示の入力を受け付け、指示の入力に基づき対象薬剤の薬剤種類を特定する構成であってもよい。

【0022】

第８態様に係る薬剤識別装置は、第１態様から第７態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、特定済み薬剤の情報としての特定済みリストを作成する構成であってもよい。

【0023】

第９態様に係る薬剤識別装置は、第１態様から第８態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、第二面撮影画像における特定済み薬剤に対して、差別化する情報としてのマークを付して薬剤種類が特定済みであることを提示する構成であってもよい。

【0024】

第１０態様に係る薬剤識別装置は、第１態様から第９態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、第二面撮影画像における未特定の薬剤に対して、差別化する情報としてのマークを付して薬剤種類が未特定であることを提示する構成であってもよい。

【0025】

第１１態様に係る薬剤識別装置は、第１態様から第１０態様のいずれか一態様に係る薬剤識別装置において、差別化する情報を含む第二面撮影画像を表示するディスプレイを備える構成であってもよい。

【0026】

第１２態様に係る薬剤識別装置は、第１態様から第１１態様のいずれか一態様に係る薬剤識別装置において、一包化パックを撮影するカメラを備える構成であってもよい。

【0027】

本開示の第１３態様に係る薬剤識別方法は、１つ以上のプロセッサが実行する薬剤識別方法であって、刻印又は印字による識別印が付されている薬剤の表と裏のそれぞれの面における識別印の画像を含む識別印マスタを１つ以上の記憶装置に記憶しておくことと、複数の薬剤が分包袋に収納された一包化パックの第一面が撮影された第一面撮影画像を取得することと、第一面撮影画像から各薬剤を検出して薬剤ごとの薬剤画像を抽出することと、第一面撮影画像から抽出した薬剤画像を基に複数の薬剤の少なくとも一部の薬剤について薬剤種類と表裏を特定することと、第一面撮影画像から薬剤種類が特定された特定済み薬剤の情報を用いて識別印マスタから、一包化パックの第一面の裏側である第二面に現れる特定済み薬剤の識別印を示す識別印画像を含む第二面正解識別印画像リストを作成することと、一包化パックの第二面が撮影された第二面撮影画像を取得することと、第二面撮影画像から各薬剤を検出して各薬剤の識別印を抽出し、薬剤ごとの識別印抽出画像を含む識別印抽出画像リストを作成することと、第二面正解識別印画像リストと識別印抽出画像リストとを用いてパターンマッチングを行うことにより、第二面撮影画像上で特定済み薬剤を特定することと、第二面撮影画像において薬剤種類が未特定の薬剤と特定済み薬剤とを差別化する情報を提示することと、を含む。

【0028】

第１３態様に係る薬剤識別方法において、第２態様から第１２態様のいずれか一態様に係る薬剤識別装置と同様の具体的態様を含む構成とすることができる。

【0029】

本開示の第１４態様に係るプログラムは、第１３態様に係る薬剤識別方法をコンピュータに実行させるプログラムである。第１４態様に係るプログラムを記録した有体物である非一時的かつコンピュータ読取可能な記録媒体（コンピュータ可読媒体）も本開示に含まれる。

【0030】

第１４態様に係るプログラムにおいて、第２態様から第１２態様のいずれか一態様に係る薬剤識別装置と同様の具体的態様を含む構成とすることができる。

【発明の効果】

【0031】

本開示によれば、一包化パックの第一面撮影画像から既に薬剤種類を特定できている特定済みの薬剤が、第二面撮影画像上でどの薬剤に対応するのかを特定する処理を１つ以上のプロセッサが実行し、第二面撮影画像において特定済み薬剤と未特定の薬剤とを差別化してユーザに提示することが可能である。これにより、ユーザは第二面撮影画像における複数の薬剤のうちどの薬剤の識別を行えばよいかを容易に把握することができる。

【図面の簡単な説明】

【0032】

【図1】図１は、スマートフォンの正面斜視図である。

【図2】図２は、スマートフォンの背面斜視図である。

【図3】図３は、スマートフォンの電気的構成を示すブロック図である。

【図4】図４は、実施形態に係る薬剤識別装置の機能構成を示すブロック図である。

【図5】図５は、一包化パックの第一面が撮影された第一面撮影画像の例である。

【図6】図６は、刻印マスタに含まれる刻印画像の例を示す説明図である。

【図7】図７は、刻印マスタから特定済み薬剤の第二面側の刻印画像を特定する例を示す説明図である。

【図8】図８は、第二面用正解刻印画像リストの例を示す説明図である。

【図9】図９は、一包化パックの第二面が撮影された第二面撮影画像の例である。

【図10】図１０は、第二面用正解刻印画像リストと第二面刻印抽出画像リストとを用いたテンプレートマッチングの処理例を示す説明図である。

【図11】図１１は、第二面撮影画像上で特定済み薬剤と未特定の薬剤とを差別化する情報の提示例を示す説明図である。

【図12】図１２は、本実施形態に係る薬剤識別装置を用いて実施される薬剤識別方法の例を示すフローチャートである。

【発明を実施するための形態】

【0033】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0034】

〔実施形態に係る薬剤識別装置の概要〕
本開示の実施形態に係る薬剤識別装置は、一包化調剤によって複数の薬剤が分包袋に収納されている一包化パックを袋のまま、片方側の面である第一面と、その裏側である第二面とのそれぞれを撮影して得られる第一面撮影画像と第二面撮影画像とを用いて、個々の薬剤の薬剤種類を識別する処理を行う情報処理装置である。

【0035】

本実施形態に係る薬剤識別装置では、先ず、第一面撮影画像に写っている複数の薬剤の少なくとも一部の薬剤の薬剤種類を特定し、その後、第二面撮影画像を用いて残りの薬剤を識別するという手順を踏む。本実施形態に係る薬剤識別装置は、１つ以上のプロセッサを含み、１つ以上のプロセッサが、第一面撮影画像から薬剤種類を特定できた特定済み薬剤が第二面撮影画像上でどの薬剤に該当するかを自動的に特定し、第二面撮影画像の表示画面上において、既に第一面撮影画像にて薬剤種類を特定済みの薬剤と、未だ薬剤種類が特定されていない未特定の薬剤（つまり、第二面撮影画像において識別すべき残りの薬剤）とを明確に区別できるように、両者を差別化してユーザに提示する処理を実行する。これにより、ユーザは第二面撮影画像において、どの薬剤についての薬剤種類の識別を行えばよいかを容易に把握することができ、一包化パックの薬剤識別の作業を効率化できる。

【0036】

薬剤についての「識別」という用語は、鑑別及び監査の概念を含む。識別する薬剤の種類は、例えば、ＹＪコード（個別医薬品コード）あるいは薬剤名称などの識別情報によって特定し得る薬剤種類である。本実施形態における薬剤識別は、識別対象薬剤がどのＹＪコードの医薬品であるかを決定する行為として定義し得る。これは薬剤識別の定義の一例であって、例えば識別符号はＹＪコード以外の種類を用いて定義してもよい。薬剤種類を特定できた特定済み薬剤は、「識別済み薬剤」と言い換えてもよい。

【0037】

薬剤識別装置は、一例として携帯端末装置に搭載される。携帯端末装置は、スマートフォン、携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ端末、ノート型パーソナルコンピュータ端末、ウエアブル端末、及び携帯型ゲーム機のうちの少なくとも１つを含む。以下では、スマートフォンのハードウェアとソフトウェアとによって実現される薬剤識別装置を例に挙げ、図面を参照しつつ、詳細に説明する。

【0038】

〔スマートフォンの外観〕
図１は、本開示の実施形態に係る薬剤識別装置として機能するスマートフォン１０の正面斜視図である。図１に示すように、スマートフォン１０は、平板状の筐体１２を有する。スマートフォン１０は、筐体１２の正面にタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、及びインカメラ２０を備えている。

【0039】

タッチパネルディスプレイ１４は、画像等を表示するディスプレイ部、及びディスプレイ部の前面に配置され、タッチ入力を受け付けるタッチパネル部を備える。ディスプレイ部は、例えばカラーＬＣＤ（Liquid Crystal Display）パネル又はカラー有機ＥＬ（organic electro-luminescence）パネルである。

【0040】

タッチパネル部は、例えば光透過性を有する基板本体の上に面状に設けられ、光透過性を有する位置検出用電極、及び位置検出用電極上に設けられた絶縁層を有する静電容量式タッチパネルである。タッチパネル部は、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。タッチ操作は、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ドラッグ操作、ピンチイン操作、及びピンチアウト操作を含む。

【0041】

スピーカ１６は、通話時及び動画再生時に音声を出力する音声出力部である。マイクロフォン１８は、通話時及び動画撮影時に音声が入力される音声入力部である。インカメラ２０は、動画及び静止画を撮影する撮像装置である。

【0042】

図２は、スマートフォン１０の背面斜視図である。図２に示すように、スマートフォン１０は、筐体１２の背面にアウトカメラ２２、及びライト２４を備えている。アウトカメラ２２は、動画及び静止画を撮影する撮像装置である。ライト２４は、アウトカメラ２２で撮影を行う際に照明光を照射する光源であり、例えばＬＥＤ（Light Emitting Diode）により構成される。

【0043】

さらに、図１及び図２に示すように、スマートフォン１０は、筐体１２の正面及び側面に、それぞれスイッチ２６を備えている。スイッチ２６は、ユーザからの指示を受け付ける入力部材である。スイッチ２６は、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0044】

なお、筐体１２の構成はこれに限定されず、折り畳み構造又はスライド機構を有する構成を採用してもよい。

【0045】

〔スマートフォンの電気的構成〕
スマートフォン１０の主たる機能として、基地局装置と移動体通信網とを介した移動無線通信を行う無線通信機能を備える。

【0046】

図３は、スマートフォン１０の電気的構成を示すブロック図である。図３に示すように、スマートフォン１０は、前述のタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、インカメラ２０、アウトカメラ２２、ライト２４、及びスイッチ２６の他、ＣＰＵ（Central Processing Unit）２８、無線通信部３０、通話部３２、メモリ３４、外部入出力部４０、ＧＰＳ（Global Positioning System）受信部４２、及び電源部４４を有する。

【0047】

ＣＰＵ２８は、メモリ３４に記憶された命令を実行するプロセッサの一例である。ＣＰＵ２８は、メモリ３４が記憶する制御プログラム及び制御データに従って動作し、スマートフォン１０の各部を統括して制御する。ＣＰＵ２８は、無線通信部３０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0048】

また、ＣＰＵ２８は、動画、静止画、及び文字等をタッチパネルディスプレイ１４に表示する画像処理機能を備える。この画像処理機能により、静止画、動画、及び文字等の情報が視覚的にユーザに伝達される。また、ＣＰＵ２８は、タッチパネルディスプレイ１４のタッチパネル部からユーザのタッチ操作に対応した２次元の位置座標情報を取得する。さらに、ＣＰＵ２８は、スイッチ２６からの入力信号を取得する。

【0049】

インカメラ２０及びアウトカメラ２２は、それぞれ不図示の撮影レンズ、絞り、撮像素子、ＡＦＥ（Analog Front End）、Ａ／Ｄ（Analog to Digital）変換器、及びレンズ駆動部等を有する。インカメラ２０及びアウトカメラ２２は、ＣＰＵ２８の指示に従って、動画及び静止画を撮影する。

【0050】

ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画を、ＭＰＥＧ（Moving Picture Experts Group）及びＪＰＥＧ（Joint Photographic Experts Group）等の圧縮した画像データに変換してもよい。

【0051】

ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をメモリ３４に記憶させる。また、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画を無線通信部３０又は外部入出力部４０を通じてスマートフォン１０の外部に出力してもよい。

【0052】

さらに、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をタッチパネルディスプレイ１４に表示する。ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をアプリケーションソフトウェア内で利用してもよい。

【0053】

なお、ＣＰＵ２８は、アウトカメラ２２による撮影の際に、ライト２４を点灯させることで被写体に撮影補助光を照射してもよい。ライト２４は、ユーザによるタッチパネルディスプレイ１４のタッチ操作、又はスイッチ２６の操作によって点灯及び消灯が制御されてもよい。

【0054】

無線通信部３０は、ＣＰＵ２８の指示に従って、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の規格の移動通信網に対応した基地局装置に対し無線通信を行う。スマートフォン１０は、この無線通信を使用して、音声データ及び画像データ等の各種ファイルデータ、電子メールデータ等の送受信、Ｗｅｂ（World Wide Webの略称）データ及びストリーミングデータ等の受信を行う。

【0055】

通話部３２は、スピーカ１６及びマイクロフォン１８が接続される。通話部３２は、無線通信部３０により受信された音声データを復号してスピーカ１６から出力する。通話部３２は、マイクロフォン１８を通じて入力されたユーザの音声をＣＰＵ２８が処理可能な音声データに変換してＣＰＵ２８に出力する。

【0056】

メモリ３４は、ＣＰＵ２８に実行させるための命令を記憶する。メモリ３４は、スマートフォン１０に内蔵される内部記憶部３６、及びスマートフォン１０に着脱自在な外部記憶部３８により構成される。内部記憶部３６及び外部記憶部３８は、公知の格納媒体を用いて実現される。

【0057】

メモリ３４は、ＣＰＵ２８の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号等が対応付けられたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶する。また、メモリ３４は、ストリーミングデータ等を一時的に記憶してもよい。

【0058】

外部入出力部４０は、スマートフォン１０に連結される外部機器とのインターフェースの役割を果たす。スマートフォン１０は、外部入出力部４０を介して通信等により直接的又は間接的に他の外部機器に接続される。外部入出力部４０は、外部機器から受信したデータをスマートフォン１０の内部の各構成要素に伝達し、かつスマートフォン１０の内部のデータを外部機器に送信する。

【0059】

通信等の手段は、例えばユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、インターネット、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、及び赤外線通信である。また、外部機器は、例えばヘッドセット、外部充電器、データポート、オーディオ機器、ビデオ機器、スマートフォン、ＰＤＡ、パーソナルコンピュータ、及びイヤホンである。

【0060】

ＧＰＳ受信部４２は、ＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて、スマートフォン１０の位置を検出する。

【0061】

電源部４４は、不図示の電源回路を介してスマートフォン１０の各部に電力を供給する電力供給源である。電源部４４は、リチウムイオン二次電池を含む。電源部４４は、外部のＡＣ電源からＤＣ電圧を生成するＡＣ／ＤＣ変換部を含んでもよい。

【0062】

このように構成されたスマートフォン１０は、タッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影モードに設定され、インカメラ２０及びアウトカメラ２２によって動画及び静止画を撮影することができる。

【0063】

スマートフォン１０が撮影モードに設定されると、撮影スタンバイ状態となり、インカメラ２０又はアウトカメラ２２によって動画が撮影され、撮影された動画がライブビュー画像としてタッチパネルディスプレイ１４に表示される。

【0064】

ユーザは、タッチパネルディスプレイ１４に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。

【0065】

スマートフォン１０は、撮影スタンバイ状態においてタッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影が指示されると、ＡＦ（Autofocus）及びＡＥ（Auto Exposure）制御を行い、動画及び静止画の撮影及び記憶を行う。

【0066】

メモリ３４は本開示における「記憶装置」の一例である。タッチパネルディスプレイ１４は、ユーザインターフェースの一例であり、本開示における「ディスプレイ」の一例である。インカメラ２０及びアウトカメラ２２のそれぞれは本開示における「カメラ」の一例である。

【0067】

〔薬剤識別装置の機能構成〕
図４は、スマートフォン１０によって実現される薬剤識別装置１００の機能構成を示すブロック図である。図４に示すように、薬剤識別装置１００は、画像取得部１０２、薬剤検出部１０４、薬剤画像抽出部１０６、薬剤識別部１０８、確定部１１０、特定済みリスト作成部１１２、第二面用正解刻印画像リスト作成部１１４、刻印抽出部１１６、第二面刻印抽出画像リスト作成部１１８、テンプレートマッチング部１２０、特定済み薬剤特定部１２２、特定済み薬剤情報提示部１２４、タッチパネルディスプレイ１４及び刻印マスタ１４０を備える。薬剤識別装置１００の各部の機能は、スマートフォン１０のハードウェア及びソフトウェアによって実現することができ、ＣＰＵ２８がメモリ３４に記憶されたプログラムの命令を実行することによって具現化され得る。

【0068】

画像取得部１０２は、一包化調剤によって複数の薬剤が分包袋に収容されている一包化パックが撮影された静止画の撮影画像を取得する。撮影画像は、例えばアウトカメラ２２によって撮影された画像であってよい。また、撮影画像は、無線通信部３０、外部記憶部３８、又は外部入出力部４０を介して他の装置から取得した画像であってもよい。分包袋は、全部又は一部が透明又は半透明であればよい。分包袋に収納されている複数の薬剤のそれぞれが識別対象薬剤となり得る。

【0069】

画像取得部１０２が取得する撮影画像は、一包化パックと共に１つ以上のマーカが撮影された画像であってもよい。マーカは、例えば、ＡｒＵｃｏマーカ、円形マーカ、又は四角形マーカなどであってもよい。撮影画像に対する画像領域の切り出し処理及び／又は変形処理などの画像処理を行う場合、撮影画像内に複数のマーカが含まれていることが好ましい。複数のマーカは、例えば、撮影の際に一包化パックが載置される面における薬剤載置範囲の矩形領域の四隅に配置される。薬剤載置範囲は、例えば、基準となるグレーの色又は黒色の背景となる構成であることが好ましい。

【0070】

また、撮影画像は、標準となる撮影距離及び撮影視点で撮影された画像であってもよい。撮影距離とは、識別対象薬剤及び撮影レンズの間の距離と撮影レンズの焦点距離とから表すことができる。また、撮影視点とは、薬剤載置面（マーカ印刷面）と撮影レンズの光軸とが成す角度から表すことができる。

【0071】

一包化パックを撮影する際には、撮影に使用するスマートフォン１０を標準の撮影距離及び撮影視点であるカメラ位置又はその近傍にセットさせる撮影補助具が用いられてもよい。この撮影補助具は、撮影対象の一包化パックを載置する載置台と、一包化パックを証明する照明装置とが組み合わされた構成であることが好ましい。

【0072】

画像取得部１０２は、不図示の画像補正部を含んでもよい。画像補正部は、撮影画像にマーカが含まれる場合に、マーカに基づいて撮影画像の撮影距離及び撮影視点の標準化を行って標準化画像を生成する。標準化画像は、撮影画像について標準化処理が施された後、四隅のマーカを頂点とする矩形の内側の領域が切り出された画像であってよい。例えば、画像補正部は、マーカによって座標を特定した四角形の４つの頂点が撮影距離及び撮影視点の標準化後に行く先の座標を指定する。画像補正部は、これら４つの頂点が、それぞれ指定した座標の位置に変換されるような透視変換行列を求める。このような透視変換行列は、４点あれば一意に定まる。例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）のgetPerspectiveTransform関数によって、４点の対応関係があれば変換行列を求めることができる。

【0073】

画像補正部は、求めた透視変換行列を用いて、元の撮影画像の全体を透視変換し、変換後の画像を取得する。このような透視変換は、ＯｐｅｎＣＶのwarpPerspective関数を用いることで実行することができる。この変換後の画像が、撮影距離及び撮影視点が標準化された標準化画像であってよい。

【0074】

また、画像補正部は、撮影画像に基準となるグレーの色の領域が含まれる場合に、基準となるグレーの色に基づいて撮影画像の色調補正を行ってもよい。

【0075】

本実施形態の薬剤識別装置１００では、先ず一包化パックの片側面である第一面が撮影された静止画の撮影画像である第一面撮影画像ＩＭ１を取得する。そして、この第一面撮影画像ＩＭ１に含まれている薬剤のうち薬剤識別可能面が写っている薬剤について薬剤種類を特定する処理を行う。薬剤識別可能面とは、刻印又は印字が付された薬剤の面であって、その面に付された刻印又は印字の情報から薬剤を識別できる面（薬剤種類を特定し得る面）をいう。これに対し、その面に付された刻印又は印字の情報から薬剤を識別困難な面、若しくは、刻印等が付されていない面（無地の面）を薬剤識別困難面という。第一面撮影画像ＩＭ１において薬剤識別可能面が写っている薬剤については、第一面撮影画像ＩＭ１から薬剤種類を特定できる。

【0076】

その後、薬剤識別装置１００は、この同じ一包化パックの第一面と反対側の第二面が撮影された静止画の撮影画像である第二面撮影画像ＩＭ２を取得し、第二面撮影画像ＩＭ２を用いて、残りの（未特定の）薬剤について薬剤種類の特定を行うことになる。

【0077】

画像取得部１０２を介して取得される第一面撮影画像ＩＭ１及び第二面撮影画像ＩＭ２のそれぞれは標準化画像であってもよい。

【0078】

薬剤検出部１０４は、画像取得部１０２を介して取得された撮影画像から個々の薬剤の領域を検出する。薬剤検出部１０４は、いわゆる物体検出のタスクを行うように機械学習いよって訓練された学習済みのＡＩ（Artificial Intelligence）モデルを用いて構成されてもよい。薬剤検出部１０４の検出結果はタッチパネルディスプレイ１４に表示される。例えば、第一面撮影画像ＩＭ１から検出された薬剤領域は、第一面撮影画像ＩＭ１を表示する画面上においてバウンディングボックスによって表示されてもよい。

【0079】

図５は、第一面撮影画像ＩＭ１の例である。図５に示す第一面撮影画像ＩＭ１には４つの薬剤Ｄ１～Ｄ４が写っている。図５中の破線で示す矩形によって囲まれた薬剤Ｄ２，Ｄ４は、刻印の情報量が多く、この第一面撮影画像ＩＭ１において薬剤種類を特定し得るものである。これに対し、薬剤Ｄ１，Ｄ３は、刻印又は印字の情報量が乏しく、この第一面撮影画像ＩＭ１において薬剤の識別が困難である。つまり、図５に例示する第一面撮影画像ＩＭ１は、薬剤識別可能面が撮影された薬剤Ｄ２，Ｄ４と、薬剤識別困難面が撮影された薬剤Ｄ１，Ｄ３とが混在している画像である。

【0080】

ユーザは、タッチパネルディスプレイ１４に表示される第一面撮影画像ＩＭ１の中から、薬剤識別可能面が撮影された薬剤Ｄ２，Ｄ４を指定して、それぞれの薬剤種類を特定する操作を行うことができる。なお、ユーザによる薬剤指定の操作を待たずに、薬剤検出部１０４が検出した各薬剤について、薬剤画像抽出部１０６及び薬剤識別部１０８による処理を自動的に実施してもよい。

【0081】

薬剤画像抽出部１０６は、薬剤検出部１０４による検出結果に基づき、撮影画像から各薬剤の画像領域を抽出し、薬剤ごとに薬剤の画像領域を切り出した薬剤画像を生成する。

【0082】

なお、薬剤画像抽出部１０６は、薬剤検出部１０４に組み込まれていてもよい。例えば、薬剤検出部１０４は、薬剤領域抽出モデルを含む。薬剤領域抽出モデルは、薬剤が撮影された撮影画像を入力として与えると、この画像内の薬剤の領域を抽出した薬剤画像を出力する学習済みモデルであってよい。薬剤領域抽出モデルは、複数の異なる撮影画像の学習データセットであって、薬剤の画像と、画像に含まれる薬剤の領域とをセットとする学習用の学習データセットにより機械学習が行われたセグメンテーションモデルであってもよい。薬剤領域抽出モデルとして、畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を適用することができる。

【0083】

薬剤識別部１０８は、薬剤画像抽出部１０６によって抽出された薬剤画像からその薬剤の薬剤種類を識別する処理部である。薬剤識別部１０８は、例えば、入力された薬剤画像から薬剤種類を識別する物体認識のタスクを行うように機械学習によって訓練された学習済みのＡＩモデル（薬剤識別モデル）を用いるＡＩ処理部であってもよい。薬剤識別部１０８が識別する薬剤の種類は、例えば、ＹＪコード（個別医薬品コード）あるいは薬剤名称などの識別情報によって特定し得る薬剤種類である。本実施形態における薬剤識別は、識別対象薬剤がどのＹＪコードの医薬品であるかを決定する行為として定義し得る。これは薬剤識別の定義の一例であって、例えば識別符号はＹＪコード以外の種類を用いて定義してもよい。

【0084】

薬剤識別モデルは、識別対象薬剤の薬剤画像の入力を受けて、薬剤の種類を識別し、学習済みのＮ種類の薬剤種類（クラス）に分類する多クラス分類器として機能する。薬剤識別モデルは、薬剤画像が入力されると、学習済みの全Ｎ種類の薬剤ｉに対して、識別対象薬剤がその薬剤ｉである確からしさ（確信度）を示すスコア値を算出する。「薬剤ｉ」という表記における「ｉ」は学習したＮ種類の薬剤を区別するインデックスである。薬剤識別モデルは、識別対象薬剤が薬剤ｉであるかどうかを判定する指標となるスコア値を薬剤ｉごとに算出する。

【0085】

薬剤識別モデルは、例えば、ニューラルネットワークを用いて構成される。画像認識に好適な機械学習モデルとして、ＣＮＮを用いることができる。薬剤識別モデルに入力される画像は、撮影画像から切り出された識別対象薬剤の領域画像（薬剤画像）であってよい。なお、薬剤識別モデルには、薬剤画像に加えて、薬剤画像から抽出された刻印又は印字の識別印情報などが入力されてもよい。識別印情報は、画像であってもよいし、テキスト情報であってもよい。

【0086】

薬剤識別部１０８による識別結果に基づき、スコア値が上位の１つ以上の薬剤種類の候補がタッチパネルディスプレイ１４に表示される。

【0087】

例えば、第一面撮影画像ＩＭ１上からユーザが識別対象薬剤（例えば、薬剤Ｄ２）を指定すると、その指定に係る識別対象薬剤の薬剤画像が第一面撮影画像ＩＭ１から抽出されて、薬剤識別部１０８に入力され、薬剤識別部１０８による識別結果としての薬剤種類の候補がタッチパネルディスプレイ１４に表示される。

【0088】

確定部１１０は、タッチパネルディスプレイ１４その他のユーザインターフェースからの対象薬剤の薬剤種類を確定させる指示を受け付け、受け付けた指示に従い、対象薬剤の薬剤種類を確定させる処理を行う。これにより、対象薬剤の薬剤種類が特定される。

【0089】

対象薬剤の薬剤種類が特定されることにより、結果的にその対象薬剤の表裏も特定され得る。例えば、薬剤種類が特定された薬剤は、第一面撮影画像ＩＭ１において薬剤識別可能面が写っていることになるため、薬剤識別可能面は「表」であると識別してもよい。また、例えば、特定された薬剤種類から刻印マスタ１４０を参照することによって薬剤の表裏を特定することができる。

【0090】

刻印マスタ１４０は、薬剤に付されている刻印又は印字の画像情報を含んだマスタデータベースであり、薬剤の表と裏のそれぞれの面における刻印又は印字による識別印の画像が薬剤種類と紐付けて格納されている（図６参照）。刻印マスタ１４０は、メモリ３４に記憶されており、必要に応じてデータのアップデートが行われる。第一面撮影画像ＩＭ１から抽出された薬剤画像、若しくは、その薬剤画像から抽出された刻印抽出画像と、刻印マスタ１４０とのテンプレートマッチングを行うことにより、薬剤の表裏を決定してもよい。

【0091】

また、薬剤識別モデルは、識別対象薬剤を片面側から（一方向から）撮影した片面の画像の入力を受けて、その識別対象薬剤の薬剤種類及びその識別対象薬剤の表裏（表側であるか、裏側であるか）まで識別できるように訓練されたモデルであってもよい。例えば、薬剤識別モデルは、薬剤画像の入力を受けて、ＹＪコードと表裏の情報とを組み合わせたクラスを出力するように機械学習によって訓練されたクラス分類器であってもよい。このようなモデルを用いることにより、薬剤種類を識別する時点で表裏を識別することができる。この場合、すべてのＹＪコードと表裏の組み合わせクラスとして定義するのではなく、薬剤識別困難面を含む場合の組み合わせのクラスは定義しないようなモデルであってもよい。

【0092】

薬剤識別モデルによる識別の確度を上げるために、さらに、刻印マスタ１４０とのテンプレートマッチングを使って薬剤の表裏を決定してもよい。

【0093】

第一面撮影画像ＩＭ１について薬剤検出後、ユーザは第一面撮影画像ＩＭ１について薬剤識別部１０８の識別結果を確認して、薬剤種類と表裏を特定する。図５の例の場合、ユーザは、薬剤Ｄ２，Ｄ４のそれぞれについて薬剤種類を特定する操作を行う。なお、ユーザは、薬剤識別部１０８の識別処理を利用せずに、第一面撮影画像ＩＭ１から視認できる薬剤の刻印又は印字の情報を基に、図示しない刻印データベースをテキスト検索するなどして、その検索結果を利用して薬剤の種類を特定してもよい。刻印データベースは、薬剤に付されている刻印又は印字の文字列と、その文字列の刻印又は印字が付されている薬剤種類とが対応付けされているデータの集合体である。刻印データベースは、刻印マスタ１４０と一体的に構成されてもよい。

【0094】

特定済みリスト作成部１１２は、確定部１１０による処理を経て、第一面撮影画像ＩＭ１から薬剤種類を特定することができた特定済み薬剤のリスト（以下、「特定済みリスト」という。）を作成する。図５の例の場合、薬剤Ｄ２及び薬剤Ｄ４が特定済みであることを示す情報を含む特定済みリストが作成される。特定済みリストには、第一面撮影画像ＩＭ１で特定済みの薬剤のＹＪコードと表裏の情報とが含まれる。

【0095】

第二面用正解刻印画像リスト作成部１１４は、特定済みリストと刻印マスタ１４０とから特定済み薬剤の第二面側における正解の刻印画像のリストである第二面用正解刻印画像リストを作成する。ここでの「正解の刻印画像」とは、第二面に現れることが期待される刻印画像という意味であり、第二面の期待値としての刻印画像である。第一面撮影画像ＩＭ１から特定した特定済み薬剤の表裏を反転させることにより、刻印マスタ１４０から第二面用正解刻印画像リストを作成することができる。

【0096】

なお、刻印マスタ１４０、刻印データベース、及び刻印画像という用語における「刻印」は、刻印及び印字の少なくとも一方による識別印の概念を代表しており、「刻印及び／又は印字」の意味を含む。本明細書において「刻印」という用語は、文脈から矛盾のない範囲で「印字」の概念を含むものとして理解してよい。

【0097】

図６に、刻印マスタ１４０の例を示す。図６では、薬剤Ｄ１～Ｄ４について刻印マスタ１４０に登録されている刻印画像が示されている。ここでは４つの薬剤Ｄ１～Ｄ４のみを示すが、刻印マスタ１４０には識別可能な全種類の薬剤についてのデータが含まれていてよい。

【0098】

図６において星印を付した画像は、その薬剤における薬剤識別可能面の画像であることを表している。なお、図６の最下に示す「ＤＤ ４４４」の刻印が付された薬剤は、表裏の両面に同じ刻印が付されており、表裏の両面がそれぞれ薬剤識別可能面となっている。図６に示す刻印マスタ１４０は本開示における「識別印マスタ」の一例であり、図６に示す刻印画像は本開示における「識別印の画像」の一例である。

【0099】

第二面用正解刻印画像リスト作成部１１４は、特定済みリストを基に刻印マスタ１４０を参照し、刻印マスタ１４０から特定済み薬剤についての第二面側の刻印画像を取り出して、第二面用正解刻印画像リストを作成する。

【0100】

図７は、刻印マスタ１４０から特定済み薬剤の第二面側の刻印画像を特定する例を示す説明図である。図５の例において、薬剤Ｄ２と薬剤Ｄ４とが特定済み薬剤となる場合、これらの薬剤の裏面における刻印画像は、図７において太線で示す矩形によって囲まれたものとなる。すなわち、表面の刻印が「ＢＢ ２２２」である特定済みの薬剤Ｄ２の第二面撮影画像ＩＭ２において現れることが期待される刻印は、「５０」の刻印である。また、表面の刻印が「ＤＤ ４４４」である特定済みの薬剤Ｄ４の第二面撮影画像ＩＭ２において現れることが期待される刻印は、「ＤＤ ４４４」の刻印である。

【0101】

こうして、刻印マスタ１４０から特定済み薬剤の第二面撮影画像ＩＭ２において期待される正解の刻印画像が取り出され、これらをまとめて第二面用正解刻印画像リストが作成される（図８参照）。

【0102】

図８は、第二面用正解刻印画像リストＬＳＣの例である。図８に示す第二面用正解刻印画像リストＬＳＣには、図７で説明した特定済みの薬剤Ｄ２，Ｄ４のそれぞれの第二面側に現れるはずの（期待値としての）正解の刻印画像ＣＥ２，ＣＥ４が含まれている。これら正解の刻印画像ＣＥ２，ＣＥ４は、特定済みリストを用いて刻印マスタ１４０から抽出される。刻印画像ＣＥ２，ＣＥ４のそれぞれは、本開示における「識別印画像」の一例であり、第二面用正解刻印画像リストＬＳＣは本開示における「第二面正解識別印画像リスト」の一例である。このような第二面用正解刻印画像リストＬＳＣは、第二面撮影画像ＩＭ２を用いて残りの（未特定の）薬剤の種類を特定する際のテンプレートマッチング部１２０に適用するマッチング用リストとして用いられる。

【0103】

次に、第二面撮影画像ＩＭ２の処理について説明する。

【0104】

第一面撮影画像ＩＭ１における薬剤の特定の操作が完了した後、ユーザは、同じ一包化パックを裏返して第二面を撮影する。

【0105】

図９は、第二面撮影画像ＩＭ２の例である。図９に示す第二面撮影画像ＩＭ２は、図５に示す第一面撮影画像ＩＭ１と同じ一包化パックを裏返して撮影された撮影画像の例である。図９に示す第二面撮影画像ＩＭ２においては、薬剤Ｄ１及び薬剤Ｄ３のそれぞれの薬剤識別可能面が撮影されたものとなっている。

【0106】

画像取得部１０２は、第二面撮影画像ＩＭ２を取得する。第一面撮影画像ＩＭ１と同様に、薬剤検出部１０４により第二面撮影画像ＩＭ２から薬剤領域が検出される。薬剤画像抽出部１０６は、薬剤検出処理によって検出された各薬剤の切り出し画像である薬剤画像を作成する。刻印抽出部１１６は、第二面撮影画像ＩＭ２から抽出された各薬剤の薬剤画像から刻印を抽出して刻印抽出画像を作成する。

【0107】

第二面刻印抽出画像リスト作成部１１８は、第二面撮影画像ＩＭ２から抽出された各薬剤の刻印抽出画像をまとめて第二面刻印抽出画像リストを作成する。

【0108】

図１０の左側に、第二面刻印抽出画像リストＬＳ２の例を示す。この第二面刻印抽出画像リストＬＳ２は、図９に示す第二面撮影画像ＩＭ２から作成されたものである。第二面刻印抽出画像リストＬＳ２には、第二面撮影画像ＩＭ２に含まれている薬剤Ｄ１，Ｄ２，Ｄ３，Ｄ４のそれぞれの薬剤画像から抽出された刻印抽出画像ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４が含まれている。刻印抽出画像ＥＧ１～ＥＧ４のそれぞれは本開示における「識別印抽出画像」の一例であり、第二面刻印抽出画像リストＬＳ２は本開示における「識別印抽出画像リスト」の一例である。

【0109】

テンプレートマッチング部１２０は、第二面刻印抽出画像リストＬＳ２に含まれている刻印抽出画像ＥＧ１～ＥＧ４と、第二面用正解刻印画像リストＬＳＣに含まれている正解の刻印画像ＣＥ２，ＣＥ４とを総当たりでテンプレートマッチングし、一致度を評価する。一致度の評価は、テンプレートマッチングによって算出されるマッチングスコアに基づいて行われる。テンプレートマッチングは、本開示における「パターンマッチング」の一例である。図１０は、第二面用正解刻印画像リストＬＳＣと第二面刻印抽出画像リストＬＳ２とのそれぞれの刻印画像同士でテンプレートマッチングの処理を行うことを示している。

【0110】

特定済み薬剤特定部１２２は、テンプレートマッチング部１２０の処理結果を基に、第二面刻印抽出画像リストＬＳ２の中から、第二面用正解刻印画像リストＬＳＣと一致度が高いものを特定済み薬剤として特定する。

【0111】

図１０の例の場合、刻印抽出画像ＥＧ２と、刻印抽出画像ＥＧ４とが第二面用正解刻印画像リストＬＳＣの正解の刻印画像ＣＥ２，ＣＥ４と一致度が高いものとして評価され、第二面撮影画像ＩＭ２において、これらの刻印抽出画像ＥＧ２，ＥＧ４に対応する薬剤Ｄ２，Ｄ４が特定済み薬剤として特定される。

【0112】

特定済み薬剤情報提示部１２４は、特定済み薬剤特定部１２２により特定した特定済み薬剤の情報を基に、第二面撮影画像ＩＭ２における複数の薬剤Ｄ１～Ｄ４のうち、薬剤種類が特定されている特定済み薬剤と、薬剤種類が特定されていない未特定の薬剤とを差別化する情報をユーザに提示する処理を行う。

【0113】

図１１は、第二面撮影画像ＩＭ２上で特定済み薬剤と未特定の薬剤とを差別化する情報の提示例を示す図である。図１１において、特定済み薬剤である薬剤Ｄ２と薬剤Ｄ４のそれぞれに対して特定済みであることを示すチェックマークＣＭが付されている。ユーザは、チェックマークＣＭの有無によって、薬剤種類が特定済みであるか否かを把握することができる。すなわち、ユーザは、チェックマークＣＭが付されている薬剤Ｄ２，Ｄ４について特定済みであることを容易に認識することができ、チェックマークＣＭが付されていない残りの薬剤Ｄ１，Ｄ３について、識別を行えばよいことが分かる。

【0114】

このような構成によれば、第一面撮影画像ＩＭ１によって薬剤種類が特定済みの薬剤を、第二面撮影画像ＩＭ２の画像上で特定できるため、ユーザが第二面撮影画像ＩＭ２において識別すべき残りの薬剤を容易に把握することができる。

【0115】

チェックマークＣＭは本開示における「差別化する情報」の一例である。図１１では特定済み薬剤に対して「特定済み」であることを示す情報を付する例を示しているが、これに代えて、又は、これと組み合わせて、未特定の薬剤に対して「未特定」であることを示す情報を付してもよい。また、差別化の態様は、チェックマークＣＭの有無に限らず、薬剤を囲むバウンディングボックスなどの囲み枠の有無、囲み枠の表示色の相違、囲み枠の形状の装置、マーク等の点滅表示と常時表示との相違、特定済み又は未特定であることを知らせる文字情報の表示、若しくは、特定済み薬剤についてのグレーアウト表示、又はこれらの適宜の組み合わせなどであってもよい。

【0116】

《薬剤識別方法の例》
図１２は、本実施形態に係る薬剤識別装置１００を用いて実施される薬剤識別方法の例を示すフローチャートである。

【0117】

ステップＳ１において、ユーザは一包化パックの片面である第一面をスマートフォン１０のカメラ（例えば、アウトカメラ２２）を用いて撮影する。ＣＰＵ２８は、一包化パックの第一面が撮影された第一面撮影画像ＩＭ１を取得する。

【0118】

ステップＳ２において、ＣＰＵ２８は、第一面撮影画像ＩＭ１から各薬剤を検出する。薬剤検出処理は、例えば、入力された撮影画像から薬剤の領域を抽出する学習済みモデルを用いた薬剤検出ＡＩ（Artificial Intelligence）によって実行されてもよい。

【0119】

その後、ＣＰＵ２８は、第１のループＬＰ１に移行する。第１のループＬＰ１はステップＳ３からステップＳ５を含む。ＣＰＵ２８は、ステップＳ２にて検出した薬剤ごとにステップＳ３からステップＳ５を実行する。

【0120】

ステップＳ３において、ＣＰＵ２８は、第一面撮影画像ＩＭ１から検出された薬剤のそれぞれの領域を切り出して、薬剤毎の領域画像である薬剤画像を抽出する。

【0121】

ステップＳ４において、ＣＰＵ２８は、抽出した薬剤画像が薬剤種類を識別可能な識別可能面の画像であるか否かを判定する。例えば、ユーザが第一面撮影画像ＩＭ１の表示画面上で刻印情報を確認し、情報量が多い薬剤Ｄ２，Ｄ４を指定する操作を行うことにより、その指定された薬剤Ｄ２，Ｄ４は「薬剤識別可能面」であると判定されてよい。

【0122】

ステップＳ４の判定結果がＹｅｓ判定である場合、ステップＳ５に移行する。

【0123】

ステップＳ５において、ＣＰＵ２８は、識別対象の薬剤について薬剤識別の処理を実行し、ユーザによる確定の操作を経て薬剤種類と表裏を特定する。

【0124】

その一方で、ステップＳ４の判定結果がＮｏ判定である場合、ステップＳ５をスキップする。

【0125】

第一面撮影画像ＩＭ１内から検出された各薬剤について第１のループＬＰ１が実行されることにより、第一面撮影画像ＩＭ１において薬剤識別可能面が写っている薬剤について薬剤種類と表裏が特定される。第一面撮影画像ＩＭ１に含まれる各薬剤について第１のループＬＰ１の処理を完了し、第１のループＬＰ１を抜けると、ステップＳ６に移行する。

【0126】

ステップＳ６において、ＣＰＵ２８は、第一面撮影画像ＩＭ１において薬剤種類を特定した薬剤のリストである特定済みリストを作成する。

【0127】

ステップＳ７において、ＣＰＵ２８は、特定済みリストと刻印マスタ１４０から第二面用正解刻印画像リストを作成する。

【0128】

ステップＳ８において、ユーザは一包化パックを裏返してスマートフォン１０のカメラによって一包化パックの第二面を撮影する。ＣＰＵ２８は、一包化パックの第二面が撮影された第二面撮影画像ＩＭ２を取得する。

【0129】

ステップＳ９において、ＣＰＵ２８は、取得した第二面撮影画像ＩＭ２について薬剤検出処理を行う。ステップＳ９はステップＳ２と同様の処理であってよい。

【0130】

その後、ＣＰＵ２８は、第２のループＬＰ２に移行する。第２のループＬＰ２はステップＳ１０及びステップＳ１１を含む。ＣＰＵ２８は、ステップＳ９にて検出した薬剤ごとにステップＳ１０及びステップＳ１１を実行する。

【0131】

ステップＳ１０において、ＣＰＵ２８は、第二面撮影画像ＩＭ２から検出された薬剤のそれぞれの領域を切り出して、薬剤毎の領域画像である薬剤画像を抽出する。

【0132】

ステップＳ１１において、ＣＰＵ２８は、ステップＳ１０で抽出した薬剤画像から刻印を抽出する。

【0133】

第二面撮影画像ＩＭ２に含まれる各薬剤について第２のループＬＰ２の処理を完了し、第２のループＬＰ２を抜けると、ステップＳ１２に移行する。

【0134】

ステップＳ１２において、ＣＰＵ２８は、第２のループＬＰ２によって抽出された刻印抽出画像のリストであるマッチング用の第二面刻印抽出画像リストを作成する。

【0135】

ステップＳ１３において、ＣＰＵ２８は、第二面用正解刻印画像リストと第二面刻印抽出画像リストを総当たりでテンプレートマッチングを行う。

【0136】

ステップＳ１４において、ＣＰＵ２８は、ステップＳ１３の処理結果を基に、第一面で特定した薬剤が第二面撮影画像ＩＭ２上のどの薬剤に該当するかを特定する。

【0137】

ステップＳ１５において、ＣＰＵ２８は、ステップＳ１４の特定結果に基づき、ユーザに第二面撮影画像ＩＭ２上でどの薬剤が特定済み薬剤であるかをわかりやすく提示する。例えば、ＣＰＵ２８は、図１１のように、特定済み薬剤にチェックマークＣＭを付して特定済み薬剤と未特定の薬剤とを差別化して提示する。

【0138】

ステップＳ１５の後は、第二面撮影画像ＩＭ２における未特定の薬剤に対して、第１のループＬＰ１と同様の処理を行い、未特定の薬剤の薬剤種類を特定する。

【0139】

〔各処理部のハードウェア構成について〕
図４で説明した画像取得部１０２、薬剤検出部１０４、薬剤画像抽出部１０６、薬剤識別部１０８、確定部１１０、特定済みリスト作成部１１２、第二面用正解刻印画像リスト作成部１１４、刻印抽出部１１６、第二面刻印抽出画像リスト作成部１１８、テンプレートマッチング部１２０、特定済み薬剤特定部１２２、及び特定済み薬剤情報提示部１２４などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

【0140】

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0141】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又は、ＣＰＵとＧＰＵの組み合わせなどによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0142】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0143】

〔薬剤識別装置１００の機能を実現させるプログラムについて〕
薬剤識別装置１００の処理機能はスマートフォン１０に限らず、タブレット型コンピュータ、パーソナルコンピュータ、ワークステーション、あるいはサーバなど、様々な形態の情報処理装置を用いて実現することができる。薬剤識別装置１００の処理機能は複数台のコンピュータを含むコンピュータシステムによって実現してもよい。薬剤識別装置１００の処理機能は、クラウドサーバを用いて実現してもよい。

【0144】

上記の実施形態で説明した薬剤識別装置１００の処理機能の一部又は全部をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0145】

また、薬剤識別装置１００の処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

【0146】

〔実施形態の効果〕
実施形態に係る薬剤識別装置１００によれば、次のような効果が得られる。

【0147】

［１］一包化パックの第一面撮影画像ＩＭ１から薬剤種類を特定済みの薬剤が第二面撮影画像上でどの薬剤に対応するのかを薬剤識別装置１００が自動的に特定することができる。

【0148】

［２］第一面撮影画像ＩＭ１から複数の薬剤のうちの一部の薬剤について薬剤種類を特定した後に、第二面撮影画像ＩＭ２において残りの未特定の薬剤を識別する際に、第二面撮影画像ＩＭ２上において特定済み薬剤と未特定の薬剤とを差別化してユーザにわかりやすく提示することが可能である。

【0149】

［３］ユーザは、第二面撮影画像ＩＭ２における複数の薬剤のうち、どの薬剤の識別を行えばよいかを容易に把握することができる。これにより、一包化薬剤の識別作業の負荷を軽減することができ、作業の効率化が可能である。

【0150】

〔変形例１〕
上記の実施形態では第一面撮影画像ＩＭ１において一部の薬剤の薬剤種類を特定した後に第二面撮影画像ＩＭ２を取得する例を説明したが、第一面撮影画像ＩＭ１と第二面撮影画像ＩＭ２とを取得するタイミングは、この例に限らない。例えば、第一面の撮影に続けて、第二面の撮影を行い、第一面撮影画像ＩＭ１と第二面撮影画像ＩＭ２とを取得してから、第一面撮影画像ＩＭ１についての薬剤の識別を実施してもよい。

【0151】

また、第一面と第二面との撮影の順番については、特に制限がなく、例えば、先に撮影された撮影画像を第二面撮影画像とし、後に撮影された撮影画像を第一面撮影画像としてもよい。

【0152】

〔変形例２〕
スマートフォン１０を用いて一包化パックを撮影し、その撮影画像をサーバに送り、サーバ上で図１２のステップＳ２～Ｓ７及びステップＳ９～Ｓ１５の処理を実行し、処理結果をスマートフォン１０に返すという形態もあり得る。

【0153】

〔変形例３〕
上記の実施形態では薬剤の鑑別を行う場合の例を説明したが、薬剤監査を行う場合についても本開示の技術を適用できる。

【0154】

〔その他〕
本発明の技術的範囲は、上記した実施形態及び変形例に記載の範囲には限定されない。実施形態及び変形例における構成等は、本発明の趣旨を逸脱しない範囲で変更可能であり、実施形態及び変形例間で適宜組み合わせることができる。

【符号の説明】

【0155】

１０ スマートフォン
１２ 筐体
１４ タッチパネルディスプレイ
１６ スピーカ
１８ マイクロフォン
２０ インカメラ
２２ アウトカメラ
２４ ライト
２６ スイッチ
２８ ＣＰＵ
３０ 無線通信部
３２ 通話部
３４ メモリ
３６ 内部記憶部
３８ 外部記憶部
４０ 外部入出力部
４２ ＧＰＳ受信部
４４ 電源部
１００ 薬剤識別装置
１０２ 画像取得部
１０４ 薬剤検出部
１０６ 薬剤画像抽出部
１０８ 薬剤識別部
１１０ 確定部
１１２ 特定済みリスト作成部
１１４ 第二面用正解刻印画像リスト作成部
１１６ 刻印抽出部
１１８ 第二面刻印抽出画像リスト作成部
１２０ テンプレートマッチング部
１２２ 薬剤特定部
１２４ 薬剤情報提示部
１４０ 刻印マスタ
ＣＥ２，ＣＥ４ 刻印画像
ＣＭ チェックマーク
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 薬剤
ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４ 刻印抽出画像
ＩＭ１ 第一面撮影画像
ＩＭ２ 第二面撮影画像
ＬＳ２ 第二面刻印抽出画像リスト
ＬＳＣ 第二面用正解刻印画像リスト
ＳＴ１，ＳＴ２，ＳＴｎ ＧＰＳ衛星
ＬＰ１ 薬剤識別方法における第１のループ
ＬＰ２ 薬剤識別方法における第２のループ
Ｓ１～Ｓ１５ 薬剤識別方法のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】