特開 2024-100083 薬剤識別装置、薬剤識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100083

(43)【公開日】2024-07-26

(54)【発明の名称】薬剤識別装置、薬剤識別方法及びプログラム

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240719BHJP

   G06T 7/00 20170101ALI20240719BHJP

【ＦＩ】

G06V10/70

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023003805

(22)【出願日】2023-01-13

(71)【出願人】

【識別番号】000149837

【氏名又は名称】富士フイルム富山化学株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】横内 康治

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA19

5L096HA11

5L096JA11

5L096JA16

5L096KA04

(57)【要約】

【課題】ＰＴＰシートに収容された薬剤を識別する薬剤識別装置、薬剤識別方法及びプログラムを提供する。
【解決手段】少なくとも１つのプロセッサが、刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像を取得し、撮影画像からＰＴＰシートの領域を除去し、ＰＴＰシートの領域を除去した画像から識別対象薬剤の領域を検出し、識別対象薬剤の領域に基づいて識別対象薬剤の薬種を推論し、識別対象薬剤の薬種の候補を取得する。
【選択図】図５

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
を備え、
前記少なくとも１つのプロセッサは、
刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像を取得し、
前記撮影画像からＰＴＰシートの領域を除去し、
前記ＰＴＰシートの領域を除去した画像から前記識別対象薬剤の領域を検出し、
前記識別対象薬剤の領域に基づいて前記識別対象薬剤の薬種を推論し、前記識別対象薬剤の薬種の候補を取得する、
薬剤識別装置。

【請求項2】

ＰＴＰシートに収容された薬剤の画像を入力すると前記ＰＴＰシートの領域を抽出した画像を出力する学習済みモデルであるＰＴＰシート検出モデルを含む、
請求項１に記載の薬剤識別装置。

【請求項3】

前記少なくとも１つのプロセッサは、前記撮影画像に対して模様が存在する領域をＰＴＰシートの領域として除去する、
請求項１に記載の薬剤識別装置。

【請求項4】

薬剤の第１画像を入力すると前記薬剤の領域を抽出した第２画像を出力する学習済みモデルである薬剤領域抽出モデルを含む、
請求項１に記載の薬剤識別装置。

【請求項5】

前記第１画像は、背景色が第１色の画像であり、
前記少なくとも１つのプロセッサは、前記ＰＴＰシートの領域を前記第１色に変換する、
請求項４に記載の薬剤識別装置。

【請求項6】

前記第１色は黒色である、
請求項５に記載の薬剤識別装置。

【請求項7】

一包化薬剤及び無包装の薬剤を識別する第１モードと、ＰＴＰシートに収容された薬剤を識別する第２モードを備え、
前記少なくとも１つのプロセッサは、前記第２モードにおいて前記撮影画像からＰＴＰシートの領域を除去する、
請求項１に記載の薬剤識別装置。

【請求項8】

前記ＰＴＰシートは、透明な部材と不透明な部材とからなり、
前記少なくとも１つのプロセッサは、前記撮影画像から前記ＰＴＰシートの前記不透明な部材の領域を除去する、
請求項１に記載の薬剤識別装置。

【請求項9】

前記少なくとも１つのプロセッサは、
前記撮影画像の少なくとも前記識別対象薬剤の領域を処理して前記識別対象薬剤の刻印及び／又は印字を抽出した刻印印字抽出画像を取得し、
前記刻印印字抽出画像を入力して前記識別対象薬剤の薬種を推論する、
請求項１から８のいずれか１項に記載の薬剤識別装置。

【請求項10】

刻印及び／又は印字が付加された薬剤の第３画像を入力して前記薬剤の刻印及び／又は印字を抽出した第４画像を出力する第１学習済みモデルと、
前記第４画像を入力して前記薬剤の刻印及び／又は印字に対応する薬剤の薬種を出力する第２学習済みモデルと、を含む、
請求項９に記載の薬剤識別装置。

【請求項11】

撮影画像の少なくとも薬剤の領域を入力して前記薬剤の薬種を出力する第３学習済みモデルを含む、
請求項１から８のいずれか１項に記載の薬剤識別装置。

【請求項12】

少なくとも１つのプロセッサが、
刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像を取得し、
前記撮影画像からＰＴＰシートの領域を除去し、
前記ＰＴＰシートの領域を除去した画像から前記識別対象薬剤の領域を検出し、
前記識別対象薬剤の領域に基づいて前記識別対象薬剤の薬種を推論し、前記識別対象薬剤の薬種の候補を取得する、
薬剤識別方法。

【請求項13】

請求項１２に記載の薬剤識別方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は薬剤識別装置、薬剤識別方法及びプログラムに係り、特にＰＴＰシートに収容された薬剤の撮影画像から薬剤を識別する技術に関する。

【背景技術】

【0002】

薬剤の撮影画像から薬剤を識別する薬剤識別装置が知られている（特許文献１～特許文献３参照）。

【0003】

また、特許文献４には、薬剤を撮影して得られる撮影画像から薬剤を認識して薬剤の種類を特定する際に、薬剤の認識が可能か否かを判定し、薬剤認識ができないと判定された場合に警報を発する薬剤監査装置が記載されている。特許文献４には、ＰＴＰ（Press Through Pack）シートの状態において薬剤をカメラによって撮影して得られる撮影画像から薬剤の種類を認識する点が言及されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０１５－５３５１０８号公報

【特許文献2】特表２０１６－５２３４０５号公報

【特許文献3】特表２０１５－５２３５６１号公報

【特許文献4】特開２０１７－１９４４１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献４には、ＰＴＰシートに収容された薬剤の認識について具体的な手法が記載されておらず、ＰＴＰシートの撮影画像から薬剤をどのように抽出すればよいかが明らかになっていなかった。

【0006】

本発明はこのような事情に鑑みてなされたもので、ＰＴＰシートに収容された薬剤を識別する薬剤識別装置、薬剤識別方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１態様に係る薬剤識別装置は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像を取得し、撮影画像からＰＴＰシートの領域を除去し、ＰＴＰシートの領域を除去した画像から識別対象薬剤の領域を検出し、識別対象薬剤の領域に基づいて識別対象薬剤の薬種を推論し、識別対象薬剤の薬種の候補を取得する薬剤識別装置である。本態様によれば、ＰＴＰシートに収容された薬剤を識別することができる。ＰＴＰシートは、１つの薬剤の収容部分だけ切り離されたバラの状態、又は２つ以上の薬剤の収容部分が繋がった状態であり、かつ工場出荷時の状態である１枚シートの状態ではない状態であることが好ましい。

【0008】

本開示の第２態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、ＰＴＰシートに収容された薬剤の画像を入力するとＰＴＰシートの領域を抽出した画像を出力する学習済みモデルであるＰＴＰシート検出モデルを含むことが好ましい。これにより、ＰＴＰシートの領域を適切に除去することができる。

【0009】

本開示の第３態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、少なくとも１つのプロセッサは、撮影画像に対して模様が存在する領域をＰＴＰシートの領域として除去することが好ましい。これにより、ＰＴＰシートの領域を適切に除去することができる。

【0010】

本開示の第４態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、薬剤の第１画像を入力すると薬剤の領域を抽出した第２画像を出力する学習済みモデルである薬剤領域抽出モデルを含むことが好ましい。これにより、識別対象薬剤の領域を適切に検出することができる。

【0011】

本開示の第５態様に係る薬剤識別装置は、第４態様に係る薬剤識別装置において、第１画像は、背景色が第１色の画像であり、少なくとも１つのプロセッサは、ＰＴＰシートの領域を第１色に変換することが好ましい。これにより、背景色が第１色の画像から薬剤の領域を抽出する薬剤領域抽出モデルを用いることができる。

【0012】

本開示の第６態様に係る薬剤識別装置は、第５態様に係る薬剤識別装置において、第１色は黒色であることが好ましい。これにより、背景色が黒色の画像から薬剤の領域を抽出する薬剤領域抽出モデルを用いることができる。

【0013】

本開示の第７態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、一包化薬剤及び無包装の薬剤を識別する第１モードと、ＰＴＰシートに収容された薬剤を識別する第２モードを備え、少なくとも１つのプロセッサは、第２モードにおいて撮影画像からＰＴＰシートの領域を除去することが好ましい。これにより、必要な場合にのみＰＴＰシートの領域を除去することができる。

【0014】

本開示の第８態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、ＰＴＰシートは、透明な部材と不透明な部材とからなり、少なくとも１つのプロセッサは、撮影画像からＰＴＰシートの不透明な部材の領域を除去することが好ましい。これにより、識別対象薬剤の領域を適切に検出することができる。

【0015】

本開示の第９態様に係る薬剤識別装置は、第１態様から第８態様のいずれかに係る薬剤識別装置において、少なくとも１つのプロセッサは、撮影画像の少なくとも識別対象薬剤の領域を処理して識別対象薬剤の刻印及び／又は印字を抽出した刻印印字抽出画像を取得し、刻印印字抽出画像を入力して識別対象薬剤の薬種を推論することが好ましい。これにより、識別対象薬剤の薬種の候補を適切に取得することができる。

【0016】

本開示の第１０態様に係る薬剤識別装置は、第９態様に係る薬剤識別装置において、刻印及び／又は印字が付加された薬剤の第３画像を入力して薬剤の刻印及び／又は印字を抽出した第４画像を出力する第１学習済みモデルと、第４画像を入力して薬剤の刻印及び／又は印字に対応する薬剤の薬種を出力する第２学習済みモデルと、を含むことが好ましい。これにより、刻印印字抽出画像を適切に取得し、識別対象薬剤の薬種の候補を適切に取得することができる。

【0017】

本開示の第１１態様に係る薬剤識別装置は、第１態様から第８態様のいずれかに係る薬剤識別装置において、撮影画像の少なくとも薬剤の領域を入力して薬剤の薬種を出力する第３学習済みモデルを含むことが好ましい。これにより、識別対象薬剤の薬種の候補を適切に取得することができる。

【0018】

上記目的を達成するために、本開示の第１２態様に係る薬剤識別方法は、少なくとも１つのプロセッサが、刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像を取得し、撮影画像からＰＴＰシートの領域を除去し、ＰＴＰシートの領域を除去した画像から識別対象薬剤の領域を検出し、識別対象薬剤の領域に基づいて識別対象薬剤の薬種を推論し、識別対象薬剤の薬種の候補を取得する薬剤識別方法である。本態様によれば、ＰＴＰシートに収容された薬剤を識別することができる。

【0019】

上記目的を達成するために、本開示の第１３態様に係るプログラムは、第１２態様の薬剤識別方法をコンピュータに実行させるプログラムである。本態様によれば、ＰＴＰシートに収容された薬剤を識別することができる。第１３態様に係るプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的かつコンピュータ読取可能な記録媒体も本開示に含まれる。

【発明の効果】

【0020】

本発明によれば、ＰＴＰシートに収容された薬剤を識別することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、スマートフォンの正面斜視図である。

【図2】図２は、スマートフォンの背面斜視図である。

【図3】図３は、スマートフォンの電気的構成を示すブロック図である。

【図4】図４は、インカメラの内部構成を示すブロック図である。

【図5】図５は、薬剤識別装置の機能構成を示すブロック図である。

【図6】図６は、薬剤識別装置を用いた薬剤識別方法の工程を示すフローチャートである。

【図7】図７は、裸錠の撮影画像から識別対象薬剤の領域を検出する処理を示す図である。

【図8】図８は、ＰＴＰシート内の薬剤の撮影画像から識別対象薬剤の領域を検出する処理を示す図である。

【発明を実施するための形態】

【0022】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0023】

＜薬剤識別装置＞
本実施形態に係る薬剤識別装置は、刻印及び／又は印字が付加された識別対象薬剤であって、ＰＴＰ（Press Through Pack）シートに収容された識別対象薬剤の薬種を識別し、正解薬剤を特定する装置である。なお、「刻印及び／又は印字」とは、「刻印と印字とのいずれか一方」、又は「刻印と印字との両方」を意味する。

【0024】

ここで、刻印が付加されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。

【0025】

また、印字が付加されたとは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。

【0026】

ＰＴＰシートとは、凹形状に形成されたプラスチック等の透明な部材とアルミ箔等の不透明な部材とを備え、プラスチックの凹形状の開口面側をアルミ箔で封止することで凹形状に薬剤を収容したものである。透明とは、例えば可視光の透過率が８０％以上であることをいい、９０％以上であることが好ましい。不透明とは、例えば可視光の透過率が１０％以下であることをいい、５％以下であることが好ましい。

【0027】

アルミ箔には、一般的に網目模様等の一定周期の細かい模様が施されている。細かい模様とは、例えば１ｍｍ以下の周期の模様をいう。ユーザは、プラスチック部分を強く押してアルミ箔を破くことで、収容された薬剤を取り出すことができる。

【0028】

薬剤識別装置は、一例として携帯端末装置に搭載される。携帯端末装置は、携帯電話機、ＰＨＳ（Personal Handyphone System）、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ端末、ノート型パーソナルコンピュータ端末、及び携帯型ゲーム機のうちの少なくとも１つを含む。以下では、スマートフォンで構成される薬剤識別装置を例に挙げ、図面を参照しつつ、詳細に説明する。

【0029】

〔スマートフォンの外観〕
図１は、薬剤識別装置を構成するカメラ付き携帯端末装置であるスマートフォン１０の正面斜視図である。図１に示すように、スマートフォン１０は、平板状の筐体１２を有する。スマートフォン１０は、筐体１２の正面にタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、及びインカメラ２０を備えている。

【0030】

タッチパネルディスプレイ１４は、画像等を表示するディスプレイ部、及びディスプレイ部の前面に配置され、タッチ入力を受け付けるタッチパネル部を備える。ディスプレイ部は、例えばカラーＬＣＤ（Liquid Crystal Display）パネルである。

【0031】

タッチパネル部は、例えば光透過性を有する基板本体の上に面状に設けられ、光透過性を有する位置検出用電極、及び位置検出用電極上に設けられた絶縁層を有する静電容量式タッチパネルである。タッチパネル部は、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。タッチ操作は、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ドラッグ操作、ピンチイン操作、及びピンチアウト操作を含む。

【0032】

スピーカ１６は、通話時及び動画再生時に音声を出力する音声出力部である。マイクロフォン１８は、通話時及び動画撮影時に音声が入力される音声入力部である。インカメラ２０は、動画及び静止画を撮影する撮像装置である。

【0033】

図２は、スマートフォン１０の背面斜視図である。図２に示すように、スマートフォン１０は、筐体１２の背面にアウトカメラ２２、及びライト２４を備えている。アウトカメラ２２は、動画及び静止画を撮影する撮像装置である。ライト２４は、アウトカメラ２２で撮影を行う際に照明光を照射する光源であり、例えばＬＥＤ（Light Emitting Diode）により構成される。

【0034】

さらに、図１及び図２に示すように、スマートフォン１０は、筐体１２の正面及び側面に、それぞれスイッチ２６を備えている。スイッチ２６は、ユーザからの指示を受け付ける入力部材である。スイッチ２６は、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0035】

なお、筐体１２の構成はこれに限定されず、折り畳み構造又はスライド機構を有する構成を採用してもよい。

【0036】

〔スマートフォンの電気的構成〕
スマートフォン１０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

【0037】

図３は、スマートフォン１０の電気的構成を示すブロック図である。図３に示すように、スマートフォン１０は、前述のタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、インカメラ２０、アウトカメラ２２、ライト２４、及びスイッチ２６の他、ＣＰＵ（Central Processing Unit）２８、無線通信部３０、通話部３２、メモリ３４、外部入出力部４０、ＧＰＳ受信部４２、及び電源部４４を有する。

【0038】

ＣＰＵ２８は、メモリ３４に記憶された命令を実行するプロセッサの一例である。ＣＰＵ２８は、メモリ３４が記憶する制御プログラム及び制御データに従って動作し、スマートフォン１０の各部を統括して制御する。ＣＰＵ２８は、無線通信部３０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0039】

また、ＣＰＵ２８は、動画、静止画、及び文字等をタッチパネルディスプレイ１４に表示する画像処理機能を備える。この画像処理機能により、静止画、動画、及び文字等の情報が視覚的にユーザに伝達される。また、ＣＰＵ２８は、タッチパネルディスプレイ１４のタッチパネル部からユーザのタッチ操作に対応した２次元の位置座標情報を取得する。さらに、ＣＰＵ２８は、スイッチ２６からの入力信号を取得する。

【0040】

ＣＰＵ２８のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0041】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0042】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0043】

インカメラ２０及びアウトカメラ２２は、ＣＰＵ２８の指示に従って、動画及び静止画を撮影する。図４は、インカメラ２０の内部構成を示すブロック図である。なお、アウトカメラ２２の内部構成は、インカメラ２０と共通している。図４に示すように、インカメラ２０は、撮影レンズ５０、絞り５２、撮像素子５４、ＡＦＥ（Analog Front End）５６、Ａ／Ｄ（Analog to Digital）変換器５８、及びレンズ駆動部６０を有する。

【0044】

撮影レンズ５０は、ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆから構成される。レンズ駆動部６０は、ＣＰＵ２８からの指令に応じて、ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆを進退駆動して光学ズーム調整及びフォーカス調整を行う。また、レンズ駆動部６０は、ＣＰＵ２８からの指令に応じて絞り５２を制御し、露出を調整する。レンズ駆動部６０は、後述するグレーの色に基づいてカメラの露光補正を行う露光補正部に相当する。ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆの位置、絞り５２の開放度等の情報は、ＣＰＵ２８に入力される。

【0045】

撮像素子５４は、多数の受光素子がマトリクス状に配列された受光面を備える。ズームレンズ５０Ｚ、フォーカスレンズ５０Ｆ、及び絞り５２を透過した被写体光は、撮像素子５４の受光面上に結像される。撮像素子５４の受光面上には、Ｒ（赤）、Ｇ（緑）、及びＢ（青）のカラーフィルタが設けられている。撮像素子５４の各受光素子は、受光面上に結像された被写体光をＲ、Ｇ、及びＢの各色の信号に基づいて電気信号に変換する。これにより、撮像素子５４は被写体のカラー画像を取得する。撮像素子５４としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、又はＣＣＤ（Charge-Coupled Device）等の光電変換素子を用いることができる。

【0046】

ＡＦＥ５６は、撮像素子５４から出力されるアナログ画像信号のノイズ除去、及び増幅等を行う。Ａ／Ｄ変換器５８は、ＡＦＥ５６から入力されるアナログ画像信号を階調幅があるデジタル画像信号に変換する。なお、撮像素子５４への入射光の露光時間を制御するシャッターは、電子シャッターが用いられる。電子シャッターの場合、ＣＰＵ２８によって撮像素子５４の電荷蓄積期間を制御することで、露光時間（シャッタースピード）を調節することができる。

【0047】

インカメラ２０は、撮影した動画及び静止画の画像データをＭＰＥＧ（Moving Picture Experts Group）又はＪＰＥＧ（Joint Photographic Experts Group）等の圧縮した画像データに変換してもよい。

【0048】

図３の説明に戻り、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をメモリ３４に記憶させる。また、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画を無線通信部３０又は外部入出力部４０を通じてスマートフォン１０の外部に出力してもよい。

【0049】

さらに、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をタッチパネルディスプレイ１４に表示する。ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をアプリケーションソフトウェア内で利用してもよい。

【0050】

なお、ＣＰＵ２８は、アウトカメラ２２による撮影の際に、ライト２４を点灯させることで被写体に撮影補助光を照射してもよい。ライト２４は、ユーザによるタッチパネルディスプレイ１４のタッチ操作、又はスイッチ２６の操作によって点灯及び消灯が制御されてもよい。

【0051】

無線通信部３０は、ＣＰＵ２８の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行う。スマートフォン１０は、この無線通信を使用して、音声データ及び画像データ等の各種ファイルデータ、電子メールデータ等の送受信、Ｗｅｂ（World Wide Webの略称）データ及びストリーミングデータ等の受信を行う。

【0052】

通話部３２は、スピーカ１６及びマイクロフォン１８が接続される。通話部３２は、無線通信部３０により受信された音声データを復号してスピーカ１６から出力する。通話部３２は、マイクロフォン１８を通じて入力されたユーザの音声をＣＰＵ２８が処理可能な音声データに変換してＣＰＵ２８に出力する。

【0053】

メモリ３４は、ＣＰＵ２８に実行させるための命令を記憶する。メモリ３４は、スマートフォン１０に内蔵される内部記憶部３６、及びスマートフォン１０に着脱自在な外部記憶部３８により構成される。内部記憶部３６及び外部記憶部３８は、公知の格納媒体を用いて実現される。

【0054】

メモリ３４は、ＣＰＵ２８の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号等が対応付けられたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶する。また、メモリ３４は、ストリーミングデータ等を一時的に記憶してもよい。

【0055】

外部入出力部４０は、スマートフォン１０に連結される外部機器とのインターフェースの役割を果たす。スマートフォン１０は、外部入出力部４０を介して通信等により直接的又は間接的に他の外部機器に接続される。外部入出力部４０は、外部機器から受信したデータをスマートフォン１０の内部の各構成要素に伝達し、かつスマートフォン１０の内部のデータを外部機器に送信する。

【0056】

通信等の手段は、例えばユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、インターネット、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、及び赤外線通信である。また、外部機器は、例えばヘッドセット、外部充電器、データポート、オーディオ機器、ビデオ機器、スマートフォン、ＰＤＡ、パーソナルコンピュータ、及びイヤホンである。

【0057】

ＧＰＳ受信部４２は、ＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて、スマートフォン１０の位置を検出する。

【0058】

電源部４４は、不図示の電源回路を介してスマートフォン１０の各部に電力を供給する電力供給源である。電源部４４は、リチウムイオン二次電池を含む。電源部４４は、外部のＡＣ電源からＤＣ電圧を生成するＡ／Ｄ変換器を含んでもよい。

【0059】

このように構成されたスマートフォン１０は、タッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影モードに設定され、インカメラ２０及びアウトカメラ２２によって動画及び静止画を撮影することができる。

【0060】

スマートフォン１０が撮影モードに設定されると、撮影スタンバイ状態となり、インカメラ２０又はアウトカメラ２２によって動画が撮影され、撮影された動画がライブビュー画像としてタッチパネルディスプレイ１４に表示される。

【0061】

ユーザは、タッチパネルディスプレイ１４に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。

【0062】

スマートフォン１０は、撮影スタンバイ状態においてタッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影が指示されると、ＡＦ（Autofocus）及びＡＥ（Auto Exposure）制御を行い、動画及び静止画の撮影及び記憶を行う。

【0063】

〔機能構成〕
図５は、スマートフォン１０によって実現される薬剤識別装置１００の機能構成を示すブロック図である。薬剤識別装置１００の各機能は、ＣＰＵ２８がメモリ３４に記憶された薬剤識別プログラムを実行することで具現化される。図５に示すように、薬剤識別装置１００は、画像取得部１０２、画像処理部１０５、薬剤検出部１０６、刻印印字抽出部１０８、薬種認識部１１０、候補出力部１１２、及び確定部１１４を有する。

【0064】

画像取得部１０２は、刻印及び／又は印字が付加された識別対象薬剤が撮影された撮影画像を取得する。撮影画像は、例えばインカメラ２０又はアウトカメラ２２によって撮影された画像である。撮影画像は、無線通信部３０、外部記憶部３８、又は外部入出力部４０を介して他の装置から取得した画像であってもよい。

【0065】

撮影画像は、識別対象薬剤及びマーカが撮影された画像であってもよい。マーカは複数であってもよいし、ＡｒＵｃｏマーカ、円形マーカ、又は四角形マーカであってもよい。円形マーカは同心状の円形を含み、四角形マーカは同心状の四角形を含むことが好ましい。これにより、マーカの中心点座標を決定しやすくなり、様々なノイズに対して頑健に標準化画像を取得することができる。撮影画像は、識別対象薬剤及び基準となるグレーの色が撮影された画像であってもよい。基準となるグレーの色とは、０（黒）～２５５（白）の２５６の階調値で表現すると、例えば１３０～２２０の範囲の階調値であり、より好ましくは１５０～１９０の範囲の階調値である。

【0066】

撮影画像は、黒色の背景に配置された識別対象薬剤が撮影された画像であってもよい。黒色とは、０（黒）～２５５（白）の２５６の階調値で表現すると、例えば５０以下の階調値であり、より好ましくは３０以下の階調値である。

【0067】

撮影画像は、標準となる撮影距離及び撮影視点で撮影された画像であってもよい。撮影距離とは、識別対象薬剤及び撮影レンズ５０の間の距離と撮影レンズ５０の焦点距離とから表すことができる。また、撮影視点とは、マーカ印刷面と撮影レンズ５０の光軸とが成す角度から表すことができる。

【0068】

撮影画像は、複数の識別対象薬剤が含まれていてもよい。複数の識別対象薬剤は、同じ薬種の識別対象薬剤に限定されず、それぞれ異なる薬種の識別対象薬剤であってもよい。撮影画像は、ＰＴＰシートに収容された識別対象薬剤が含まれていてもよい。ＰＴＰシートは、１つの薬剤の収容部分だけ切り離されたバラの状態であってもよいし、２つ以上の薬剤の収容部分が繋がった状態であってもよい。

【0069】

画像取得部１０２は、画像補正部１０４を有する。画像補正部１０４は、撮影画像にマーカが含まれる場合に、マーカに基づいて撮影画像の撮影距離及び撮影視点の標準化を行って標準化画像を取得する。また、画像補正部１０４は、撮影画像に基準となるグレーの色の領域が含まれる場合に、基準となるグレーの色に基づいて撮影画像の色調補正を行う。

【0070】

画像処理部１０５は、画像取得部１０２が取得した撮影画像に画像処理を施し、撮影画像からＰＴＰシートの領域が除去された画像を出力する。ＰＴＰシートの領域が除去された画像は、ＰＴＰシートの領域を背景色に変換した画像であってもよい。ＰＴＰシートの領域が除去された画像は、撮影画像からＰＴＰシートの不透明な部材の領域を除去した画像であってもよい。画像処理部１０５は、画像補正部１０４が補正した撮影画像に画像処理を施してもよい。画像処理部１０５は、撮影画像にＰＴＰシートに収容された薬剤が含まれない場合は、画像処理を行わなくてよい。

【0071】

画像処理部１０５は、ＰＴＰシート検出モデル１０５Ａを含む。ＰＴＰシート検出モデル１０５Ａは、ＰＴＰシートに収容された薬剤の画像を入力として与えると画像内のＰＴＰシートの領域を抽出した画像を出力する学習済みモデルである。ＰＴＰシート検出モデル１０５Ａは、ＰＴＰシートに収容された複数の異なる撮影画像の学習データセットであって、ＰＴＰシートの画像と、画像内に含まれるＰＴＰシートの領域とをセットとする学習用の学習データセットにより機械学習が行われたセグメンテーションモデルである。ＰＴＰシート検出モデル１０５Ａは、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を適用することができる。画像処理部１０５は、ＰＴＰシート検出モデル１０５Ａによって検出されたＰＴＰシートの領域を例えば黒色に塗りつぶして背景色に変換することで、ＰＴＰシートの領域が除去された画像を出力する。

【0072】

なお、ＰＴＰシートの領域を除去する手段は、ＰＴＰシート検出モデル１０５Ａによって検出された領域を塗りつぶすことに限定されない。例えば、画像処理部１０５は、撮影画像に含まれるＰＴＰシートの細かい模様が存在する領域を除去する画像処理を施してもよい。

【0073】

薬剤検出部１０６は、画像取得部１０２が取得した撮影画像から識別対象薬剤の領域を検出する。薬剤検出部１０６は、画像補正部１０４によって標準化画像が取得された場合は、標準化画像から識別対象薬剤の領域を検出する。薬剤検出部１０６は、撮影画像に複数の識別対象薬剤が含まれている場合は、複数の識別対象薬剤のそれぞれの領域を検出する。薬剤検出部１０６は、画像処理部１０５によってＰＴＰシートの領域が除去された画像が取得された場合は、ＰＴＰシートの領域が除去された画像に基づいて画像取得部１０２が取得した撮影画像から識別対象薬剤の領域を検出する。

【0074】

薬剤検出部１０６は、薬剤領域抽出モデル１０６Ａを含む。薬剤領域抽出モデル１０６Ａは、薬剤の第１画像を入力として与えると第１画像内の薬剤の領域を抽出した第２画像を出力する学習済みモデルである。第１画像は、背景色が第１色の画像であり、第１色は例えば黒色である。薬剤領域抽出モデル１０６Ａは、複数の異なる撮影画像の学習データセットであって、薬剤の画像と、画像に含まれる薬剤の領域とをセットとする学習用の学習データセットにより機械学習が行われたセグメンテーションモデルである。薬剤領域抽出モデル１０６Ａは、ＣＮＮを適用することができる。

【0075】

刻印印字抽出部１０８は、撮影画像の少なくとも識別対象薬剤の領域を処理して識別対象薬剤の外形エッジ情報を排し、刻印及び／又は印字を抽出した刻印印字抽出画像を取得する。ここでは、刻印印字抽出画像は、刻印部分又は印字部分の輝度が刻印部分又は印字部分以外の部分の輝度よりも相対的に高く表現されることで、刻印及び／又は印字が強調された画像である。

【0076】

薬剤検出部１０６によって複数の識別対象薬剤のそれぞれの領域が検出された場合は、刻印印字抽出部１０８は、複数の識別対象薬剤にそれぞれ対応する複数の刻印印字抽出画像を取得する。

【0077】

刻印印字抽出部１０８は、第１学習済みモデル１０８Ａを含む。第１学習済みモデル１０８Ａは、刻印及び／又は印字が付加された薬剤の第３画像を入力として与えると薬剤の刻印及び／又は印字が抽出された第４画像を出力する学習済みモデルである。第１学習済みモデル１０８Ａは、刻印及び／又は印字が付加された複数の異なる薬剤の学習データセットであって、刻印及び／又は印字が付加された薬剤の画像と、薬剤の刻印及び／又は印字が抽出された画像とをセットとする学習用の学習データセットにより機械学習が行われたものである。第１学習済みモデル１０８Ａは、ＣＮＮを適用することができる。

【0078】

ここでは、画像補正部１０４によって撮影画像の撮影距離及び撮影視点の標準化と色調補正とが行われているため、第１学習済みモデル１０８Ａの安定動作を期待することができる。

【0079】

薬種認識部１１０は、刻印印字抽出画像を入力して識別対象薬剤の薬種を推論し、識別対象薬剤の薬種の候補を取得する。薬種の候補は、薬剤名、商品名、略称、又はこれらの組合せからなる薬剤識別情報を含む。薬種認識部１１０は、複数の識別対象薬剤にそれぞれ対応する複数の刻印印字抽出画像が入力された場合は、複数の識別対象薬剤にそれぞれ対応する薬種の候補を取得する。

【0080】

薬種認識部１１０は、第２学習済みモデル１１０Ａを含む。第２学習済みモデル１１０Ａは、薬剤の刻印及び／又は印字が抽出された第４画像を入力として与えると薬剤の刻印及び／又は印字に対応する薬剤の薬種を出力する学習済みモデルである。第２学習済みモデル１１０Ａは、刻印及び／又は印字が付加された複数の異なる薬剤の学習データセットであって、刻印及び／又は印字が抽出された薬剤の画像と、薬剤の刻印及び／又は印字に対応する薬剤の薬種とをセットとする学習用の学習データセットにより機械学習が行われたものである。第２学習済みモデル１１０Ａは、第１学習済みモデル１０８Ａと同様に、ＣＮＮを適用することができる。

【0081】

このように、薬種認識部１１０は、色情報を用いずに刻印及び／又は印字情報をベースに認識を行うため、撮影環境の影響に対してロバストとなる。

【0082】

候補出力部１１２は、薬種認識部１１０が取得した識別対象薬剤の薬種の候補を出力する。候補出力部１１２は、例えば識別対象薬剤の薬種の複数の候補を選択可能にタッチパネルディスプレイ１４に表示させる。

【0083】

確定部１１４は、識別対象薬剤の薬種の候補から識別対象薬剤の正解薬剤を確定させる。確定部１１４は、例えばタッチパネルディスプレイ１４に表示させた識別対象薬剤の薬種の複数の候補からユーザに選択された薬種の候補を正解薬剤として確定させる。確定部１１４は、候補出力部１１２によって出力された識別対象薬剤の薬種の候補が１つのみの場合は、その薬種の候補を正解薬剤として確定させてもよい。

【0084】

＜薬剤識別方法＞
図６は、薬剤識別装置１００を用いた薬剤識別方法の工程を示すフローチャートである。薬剤識別方法は、ＣＰＵ２８がメモリ３４から薬剤識別プログラムを読み出して実行することにより実現される。薬剤識別プログラムは、無線通信部３０又は外部入出力部４０を介して提供されてもよい。

【0085】

ステップＳ１では、ユーザは、撮影対象となる識別対象薬剤の包装状態を選択する。ここでは、裸錠、一包化薬剤、及びＰＴＰシート内の薬剤のうちのいずれかを選択する。裸錠とは、無包装の状態の薬剤（錠剤）である。一包化薬剤とは、種類の異なる複数の薬剤が１つの分包袋に包装された状態の薬剤である。ＰＴＰシート内の薬剤とは、ＰＴＰシートに収容された状態の薬剤である。いずれの識別対象薬剤にも、刻印及び／又は印字が付加されている。

【0086】

ステップＳ２では、ユーザは、識別対象薬剤を撮影する。例えば、ユーザは、黒色の背景に識別対象薬剤を配置し、アウトカメラ２２によって撮影する。ユーザは、ライト２４によって識別対象薬剤に照明光を照射した状態で撮影してもよい。画像取得部１０２は、識別対象薬剤が撮影された撮影画像を取得する。画像補正部１０４は、取得した撮影画像に補正処理を施してもよい。

【0087】

ステップＳ３では、薬剤識別装置１００は、ステップＳ１で選択された撮影対象の識別対象薬剤が、ＰＴＰシート内の薬剤であるか否かを判定する。薬剤識別装置１００は、一包化薬剤及び無包装の薬剤を識別する第１モードと、ＰＴＰシートに収容された薬剤を識別する第２モードを備える。

【0088】

ステップＳ３において、ＰＴＰシート内の薬剤ではないと判定した場合は、第１モードとなり、ステップＳ５に移行する。ステップＳ５では、薬剤検出部１０６は、ステップＳ２で取得した撮影画像から識別対象薬剤の領域を検出する。

【0089】

図７は、裸錠の撮影画像から識別対象薬剤の領域を検出する処理を示す図である。裸錠の撮影画像Ｉ１には、裸錠である４つの錠剤Ｔ１、Ｔ２、Ｔ３、及びＴ４と、４つの錠剤の背景として黒色の背景ＢＧ１が写っている。また、撮影画像Ｉ１には、４つのマーカＭ１、Ｍ２、Ｍ３、及びＭ４が写っている。マーカＭ１～Ｍ４は、それぞれ互いに直交する２本の直線からなるクロス型（十字型）のマーカである。撮影画像Ｉ１には、４つの錠剤Ｔ１～Ｔ４がそれぞれマーカＭ１～Ｍ４に囲まれた位置に写っており、マーカＭ１～Ｍ４はそれぞれ一部だけが写っている。画像補正部１０４は、マーカＭ１～Ｍ４に基づいて撮影画像Ｉ１の撮影距離及び撮影視点の標準化処理を行い、標準化画像を取得してもよい。

【0090】

図７に示す例では、薬剤領域抽出モデル１０６Ａに撮影画像Ｉ１を入力することで、４つの錠剤Ｔ１、Ｔ２、Ｔ３、及びＴ４の領域がそれぞれ検出された検出画像Ｉ２を取得している。検出画像Ｉ２では、検出された錠剤Ｔ１、Ｔ２、Ｔ３、及びＴ４の領域がそれぞれ枠Ｆ１、Ｆ２、Ｆ３、及びＦ４で囲まれている。

【0091】

図７では、裸錠の撮影画像から識別対象薬剤の領域を検出する処理について説明したが、一包化薬剤の撮影画像から識別対象薬剤の領域を検出する処理についても同様である。

【0092】

一方、ステップＳ３において、ＰＴＰシート内の薬剤であると判定した場合は、第２モードとなり、ステップＳ４に移行する。ステップＳ４では、画像処理部１０５は、ステップＳ２で取得した撮影画像に画像処理を施し、撮影画像からＰＴＰシートの領域が除去された画像を出力する。そして、ステップＳ５では、薬剤検出部１０６は、ステップＳ４で取得したＰＴＰシートの領域が除去された画像から識別対象薬剤の領域を検出する。このように、画像処理部１０５は、第２モードにおいて撮影画像からＰＴＰシートの領域を除去する。

【0093】

図８は、ＰＴＰシート内の薬剤の撮影画像から識別対象薬剤の領域を検出する処理を示す図である。ＰＴＰシート内の薬剤の撮影画像Ｉ１１には、それぞれバラの状態のＰＴＰシートＰＳ１、ＰＳ２、ＰＳ３、及びＰＳ４に収容された４つの錠剤Ｔ１１、Ｔ１２、Ｔ１３、及びＴ１４と、４つの錠剤の背景として黒色の背景ＢＧ２が写っている。また、撮影画像Ｉ１１には、４つのマーカＭ１１、Ｍ１２、Ｍ１３、及びＭ１４が写っている。マーカＭ１１～Ｍ１４は、それぞれ同心状の円形マーカである。４つの錠剤Ｔ１１～Ｔ１４は、それぞれマーカＭ１１～Ｍ１４に囲まれた位置に写っている。画像補正部１０４は、マーカＭ１１～Ｍ１４に基づいて撮影画像Ｉ１１の撮影距離及び撮影視点の標準化処理を行い、標準化画像を取得してもよい。

【0094】

図８に示す例では、画像処理部１０５は、撮影画像Ｉ１１に含まれる細かい模様が存在する領域を黒色に塗りつぶして除去することで、ＰＴＰシートＰＳ１～ＰＳ４の領域が除去された画像Ｉ１２を取得している。画像処理部１０５は、撮影画像Ｉ１１をＰＴＰシート検出モデル１０５Ａに入力することで、撮影画像Ｉ１１のＰＴＰシートＰＳ１～ＰＳ４の領域を検出し、検出した領域を黒色に塗りつぶすことで、ＰＴＰシートＰＳ１～ＰＳ４の領域が除去された画像Ｉ１２を取得してもよい。

【0095】

また、図８に示す例では、薬剤領域抽出モデル１０６Ａに撮影画像Ｉ１１を入力することで、４つの錠剤Ｔ１１、Ｔ１２、Ｔ１３、及びＴ１４の領域がそれぞれ検出された検出画像Ｉ１３を取得している。薬剤領域抽出モデル１０６Ａは、背景色が黒色の画像から薬剤の領域を抽出するモデルであるため、ＰＴＰシートＰＳ１～ＰＳ４の領域を黒色に塗りつぶして除去した画像から、４つの錠剤Ｔ１１～Ｔ１４の領域を適切に抽出することができる。検出画像Ｉ１３では、画像Ｉ１２から検出された錠剤Ｔ１１、Ｔ１２、Ｔ１３、及びＴ１４の領域がそれぞれ枠Ｆ１１、Ｆ１２、Ｆ１３、及びＦ１４で囲まれている。

【0096】

第１モード及び第２モードともに、ステップＳ５において識別対象薬剤の領域が検出されると、ステップＳ６へ移行する。ステップＳ６では、刻印印字抽出部１０８は、ステップＳ５で検出された識別対象薬剤の領域を処理して、識別対象薬剤のそれぞれの刻印及び／又は印字を抽出した刻印印字抽出画像を取得する。刻印印字抽出部１０８は、第１学習済みモデル１０８Ａによって刻印印字抽出画像を取得してもよい。刻印印字抽出画像は、例えば刻印部分又は印字部分の輝度が刻印部分又は印字部分とは異なる部分の輝度よりも相対的に高い画像である。

【0097】

ステップＳ７では、薬種認識部１１０は、ステップＳ６で取得した識別対象薬剤のそれぞれの刻印印字抽出画像から識別対象薬剤のそれぞれの薬種を推論し、識別対象薬剤の薬種の候補を取得する。薬種認識部１１０は、第２学習済みモデル１１０Ａによって識別対象薬剤の薬種の候補を取得してもよい。

【0098】

ステップＳ８では、候補出力部１１２は、ステップＳ７で取得された識別対象薬剤の薬種の候補を出力する。例えば、候補出力部１１２は、１つの識別対象薬剤について複数の薬種の候補を出力する。

【0099】

ステップＳ９では、確定部１１４は、ステップＳ８で表示された識別対象薬剤の複数の薬種の候補の中から正解薬剤を確定する。例えば、確定部１１４は、１つの識別対象薬剤の複数の薬種の候補のうち、ユーザに選択された薬種の候補をその識別対象薬剤の
正解薬剤として確定する。

【0100】

薬剤識別装置１００によれば、ＰＴＰシートに収容された識別対象薬剤が撮影された撮影画像からＰＴＰシートの領域を除去し、ＰＴＰシートの領域を除去した画像から識別対象薬剤の領域を検出するようにしたので、識別対象薬剤の刻印及び／又は印字を抽出した刻印印字抽出画像を取得し、刻印印字抽出画像から識別対象薬剤の薬種を推論することができる。したがって、ＰＴＰシートに収容された薬剤であっても、刻印及び／又は印字により付加された識別情報のみで精度の高い薬剤の認識が可能になる。

【0101】

ここでは、バラの状態のＰＴＰシートに収容された薬剤の識別について説明したが、ＰＴＰシートは２つ以上の薬剤の収容部分が繋がった状態であってもよい。２つ以上の薬剤の収容部分が繋がった状態は、工場出荷時の状態である１枚シートの状態であってもよいし、１枚シートから分離された状態であってもよい。１枚シートから分離された状態は、例えば、１枚シートに形成された切り取り線に沿って切り離された状態である。

【0102】

本実施形態は、ＰＴＰが１枚シートの状態であっても効果があるが、１枚シートの状態のＰＴＰシートは、薬剤を特定できるバーコード等の情報があるため、１枚シートの状態ではない２つ以上の薬剤の収容部分が繋がった状態の場合に特に効果を発揮する。すなわち、本実施形態は、バラの状態、又は２つ以上の薬剤の収容部分が繋がった状態であり、かつ１枚シートの状態ではない場合に適用可能である。

【0103】

＜変形例＞
ここまでは、薬剤識別装置１００は、識別対象薬剤の領域を処理して刻印印字抽出画像を取得し、刻印印字抽出画像から識別対象薬剤の薬種を推論したが、刻印印字抽出画像を取得せずに識別対象薬剤の薬種を推論してもよい。例えば、薬種認識部１１０は、薬剤検出部１０６が検出した識別対象薬剤の領域に基づいて直接に薬種を推論してもよい。

【0104】

この場合、薬種認識部１１０は、薬剤の撮影画像の少なくとも薬剤の領域を含む第５画像を入力として与えると薬剤の薬種を出力する第３学習済みモデルを含んでもよい。第３学習済みモデルは、複数の異なる薬剤の学習データセットであって、薬剤の領域の画像と、薬剤の薬種とをセットとする学習用の学習データセットにより機械学習が行われたものである。第３学習済みモデルは、第１学習済みモデル１０８Ａと同様に、ＣＮＮを適用することができる。

【0105】

また、薬剤識別装置１００は、以下のように刻印印字抽出画像を取得してもよい。まず、画像取得部１０２は、識別対象薬剤の表面への光の照明方向がそれぞれ異なる複数の撮影画像を取得する。次に、刻印印字抽出部１０８は、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて識別対象薬剤の刻印部分を強調する処理を行って第１強調画像を生成する。また、刻印印字抽出部１０８は、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて識別対象薬剤の印字部分を強調する処理を行って第２強調画像を生成する。そして、刻印印字抽出部１０８は、第１強調画像と第２強調画像とを統合した刻印印字抽出画像を生成する。刻印印字抽出部１０８は、薬剤検出部１０６によって検出された識別対象薬剤の領域について上記の処理を行ってもよい。

【0106】

刻印印字抽出部１０８は、識別対象薬剤の刻印部分の輝度値を大きくする処理及び識別対象薬剤の印字部分の輝度値を大きくする処理を行い、第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が大きい方の輝度値を採用してもよい。

【0107】

刻印印字抽出部１０８は、識別対象薬剤の刻印部分の輝度値を小さくする処理及び識別対象薬剤の印字部分の輝度値を小さくする処理を行い、第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が小さい方の輝度値を採用してもよい。

【0108】

刻印印字抽出部１０８は、照度差ステレオ法により識別対象薬剤の表面の三次元情報を取得して第１強調画像を生成してもよい。刻印印字抽出部１０８は、平滑化処理、鮮鋭化処理、及びエッジ検出処理の少なくとも１つを施して第２強調画像を生成してもよい。

【0109】

＜その他＞
ここまでは、スマートフォン１０が単独で刻印及び／又は印字が付加された識別対象薬剤の正解薬剤を特定する薬剤識別装置１００を構成する例を説明したが、薬剤識別装置１００は、スマートフォン１０と、スマートフォン１０と通信可能なサーバとで構成されてもよいし、サーバ単独で構成されてもよい。

【0110】

薬剤識別プログラムは、ＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体に記憶されて提供されることも可能である。

【0111】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0112】

１０…スマートフォン
１２…筐体
１４…タッチパネルディスプレイ
１６…スピーカ
１８…マイクロフォン
２０…インカメラ
２２…アウトカメラ
２４…ライト
２６…スイッチ
３０…無線通信部
３２…通話部
３４…メモリ
３６…内部記憶部
３８…外部記憶部
４０…外部入出力部
４２…ＧＰＳ受信部
４４…電源部
５０…撮影レンズ
５０Ｆ…フォーカスレンズ
５０Ｚ…ズームレンズ
５４…撮像素子
５８…Ａ／Ｄ変換器
６０…レンズ駆動部
１００…薬剤識別装置
１０２…画像取得部
１０４…画像補正部
１０５…画像処理部
１０５Ａ…ＰＴＰシート検出モデル
１０６…薬剤検出部
１０６Ａ…薬剤領域抽出モデル
１０８…刻印印字抽出部
１０８Ａ…第１学習済みモデル
１１０…薬種認識部
１１０Ａ…第２学習済みモデル
１１２…候補出力部
１１４…確定部
Ｆ１…枠
Ｆ２…枠
Ｆ３…枠
Ｆ４…枠
Ｆ１１…枠
Ｆ１２…枠
Ｆ１３…枠
Ｆ１４…枠
Ｉ１…撮影画像
Ｉ１１…撮影画像
ＰＳ１…ＰＴＰシート
ＰＳ２…ＰＴＰシート
ＰＳ３…ＰＴＰシート
ＰＳ４…ＰＴＰシート
Ｓ１～Ｓ９…薬剤識別方法の工程
Ｔ１…錠剤
Ｔ２…錠剤
Ｔ３…錠剤
Ｔ４…錠剤
Ｔ１１…錠剤
Ｔ１２…錠剤
Ｔ１３…錠剤
Ｔ１４…錠剤

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】