特開 2024-47385 薬剤識別装置、薬剤識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047385

(43)【公開日】2024-04-05

(54)【発明の名称】薬剤識別装置、薬剤識別方法及びプログラム

(51)【国際特許分類】

   G06V 10/764 20220101AFI20240329BHJP

   G06T 7/00 20170101ALI20240329BHJP

   G06V 10/98 20220101ALI20240329BHJP

   A61J 3/00 20060101ALI20240329BHJP

【ＦＩ】

G06V10/764

G06T7/00 350B

G06V10/98

A61J3/00 310K

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022152972

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】000149837

【氏名又は名称】富士フイルム富山化学株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】羽田 真司

【テーマコード（参考）】

4C047

5L096

【Ｆターム（参考）】

4C047KK30

4C047KK31

5L096AA06

5L096BA06

5L096BA18

5L096CA02

5L096CA22

5L096DA02

5L096EA39

5L096FA26

5L096GA30

5L096GA51

5L096HA11

5L096JA22

(57)【要約】

【課題】薬剤が撮影された画像から薬剤の種類を識別する学習済みモデルを用い、人間が見ても納得感のある薬剤種類の候補を提示することができる薬剤識別装置、薬剤識別方法及びプログラムを提供する。
【解決手段】１つ以上のプロセッサは、識別対象薬剤が撮影された画像から識別対象薬剤の種類を識別するように学習された第１の学習済みモデルを用いて画像から複数の薬剤種類のそれぞれに対して識別対象薬剤の種類である確からしさを示す第１のスコアを算出し、画像から識別対象薬剤の１つ以上の外見上の属性を識別し、第１の学習済みモデルが識別し得る複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタから識別対象薬剤の属性に適合する薬剤種類の情報を得て、第１のスコア値と、属性に対して設定された値とを用いて第２のスコアを算出し、第２のスコア値を基に識別対象薬剤の種類の候補を提示する。
【選択図】図４

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
１つ以上の記憶装置と、を備え、
前記１つ以上の前記記憶装置は、
識別対象薬剤が撮影された画像から前記識別対象薬剤の種類を識別するように学習された第１の学習済みモデルと、
複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタと、を記憶し、
前記１つ以上の前記プロセッサは、
前記画像から前記第１の学習済みモデルを用いて識別し得る複数の薬剤種類のそれぞれに対して前記識別対象薬剤の種類である確からしさを示す第１のスコア値を算出し、
前記画像から前記識別対象薬剤の１つ以上の外見上の属性を識別し、
前記薬剤マスタから前記識別対象薬剤の前記属性に適合する薬剤種類の情報を得て、前記第１のスコア値と、前記属性に対して設定された値とを用いて第２のスコア値を算出し、
前記第２のスコア値を基に前記識別対象薬剤の種類の候補を提示する、
薬剤識別装置。

【請求項2】

前記１つ以上の前記記憶装置は、
前記画像から前記識別対象薬剤の１つ以上の外見上の属性を識別するように学習された第２の学習済みモデルを記憶し、
前記１つ以上の前記プロセッサは、
前記第２の学習済みモデルを用いて、前記識別対象薬剤が１つ以上の前記外見上の属性に対応するカテゴリに該当するか否かを識別する、
請求項１に記載の薬剤識別装置。

【請求項3】

前記属性に対して設定された値は、前記属性の重要度に応じた値である、
請求項１に記載の薬剤識別装置。

【請求項4】

前記１つ以上の前記プロセッサは、
前記重要度の設定を変更する指示を受け付け、
前記受け付けた前記指示に基づき前記属性の前記重要度に応じた値を設定する、
請求項３に記載の薬剤識別装置。

【請求項5】

前記重要度に応じた値は、ユーザ毎に設定可能である、
請求項４に記載の薬剤識別装置。

【請求項6】

前記重要度に応じた値は、ユーザが望むタイミングで設定可能である、
請求項４又は５に記載の薬剤識別装置。

【請求項7】

入力装置を備え、
前記１つ以上の前記プロセッサは、前記入力装置から前記重要度の設定に関する指示の入力を受け付ける、
請求項３に記載の薬剤識別装置。

【請求項8】

前記薬剤マスタは、薬剤の形状に関する属性及び色に関する属性を含む複数の前記外見上の属性に関する情報を含み、
前記１つ以上の前記プロセッサは、
前記第２のスコア値の算出において前記形状に関する属性を重視するか、前記色に関する属性を重視するかを指定する指示を受け付け、
前記受け付けた前記指示に基づき、前記形状に関する属性及び前記色に関する属性の少なくとも一方の重要度を変化させる、
請求項３に記載の薬剤識別装置。

【請求項9】

前記１つ以上の前記プロセッサは、
前記識別対象薬剤の前記属性に適合する薬剤種類に対する前記第１のスコア値に、前記属性の重要度に応じた値を加算することにより、前記第２のスコア値を算出する、
請求項３に記載の薬剤識別装置。

【請求項10】

前記１つ以上の前記プロセッサは、
前記識別対象薬剤の前記属性に適合する薬剤種類に対する前記第１のスコア値を、前記属性に対して設定された値を用いて修正することにより前記第２のスコア値を算出する、
請求項１に記載の薬剤識別装置。

【請求項11】

前記薬剤マスタは、薬剤の形状及び色の少なくとも一方に関する属性を含む複数の前記外見上の属性に関する情報を含み、
前記１つ以上の前記プロセッサは、
前記識別対象薬剤が前記複数の前記外見上の属性に適合するか否かを識別する、
請求項１に記載の薬剤識別装置。

【請求項12】

前記１つ以上の前記プロセッサは、
前記第２のスコア値の大きさの順番に複数の前記候補が並んだ薬剤候補リストを提示する、
請求項１に記載の薬剤識別装置。

【請求項13】

前記識別対象薬剤の種類の前記候補を表示するディスプレイを備える、
請求項１に記載の薬剤識別装置。

【請求項14】

前記識別対象薬剤を撮影するカメラを備える、
請求項１に記載の薬剤識別装置。

【請求項15】

１つ以上のプロセッサが、
識別対象薬剤が撮影された画像から前記識別対象薬剤の種類を識別するように学習された第１の学習済みモデルを用いて前記画像から複数の薬剤種類のそれぞれに対して前記識別対象薬剤の種類である確からしさを示す第１のスコア値を算出することと、
前記画像から前記識別対象薬剤の１つ以上の外見上の属性を識別することと、
前記第１の学習済みモデルが識別し得る複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタから前記識別対象薬剤の前記属性に適合する薬剤種類の情報を取得することと、
前記識別対象薬剤の前記属性に適合する薬剤種類の情報に基づき、前記第１のスコア値と、前記属性に対して定められた値とを用いて第２のスコア値を算出することと、
前記第２のスコア値を基に前記識別対象薬剤の種類の候補を提示することと、
を実行する薬剤識別方法。

【請求項16】

コンピュータに、
識別対象薬剤が撮影された画像から前記識別対象薬剤の種類を識別するように学習された第１の学習済みモデルを用いて前記画像から複数の薬剤種類のそれぞれに対して前記識別対象薬剤の種類である確からしさを示す第１のスコア値を算出する機能と、
前記画像から前記識別対象薬剤の１つ以上の外見上の属性を識別する機能と、
前記第１の学習済みモデルが識別し得る複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタから前記識別対象薬剤の前記属性に適合する薬剤種類の情報を取得する機能と、
前記識別対象薬剤の前記属性に適合する薬剤種類の情報に基づき、前記第１のスコア値と、前記属性に対して定められた値とを用いて第２のスコア値を算出する機能と、
前記第２のスコア値を基に前記識別対象薬剤の種類の候補を提示する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、薬剤識別装置、薬剤識別方法及びプログラムに係り、特に薬剤が撮影された画像から薬剤の種類を識別する画像認識技術及び機械学習技術に関する。

【背景技術】

【0002】

調剤監査あるいは持参薬の鑑別などの業務を効率化する技術の１つとして、薬剤が撮影された画像から薬剤の種類を識別する人工知能（Artificial Intelligence：ＡＩ）の開発が進められている。特許文献１には、服用１回分の１以上の錠剤が分包され、該錠剤が分割錠である場合を含む分包紙の反射光画像および透過光画像を撮像する撮像工程と、前記反射光画像および前記透過光画像に基づき、前記反射光画像中の前記錠剤に対応する領域である錠剤領域を切り出す切り出し工程と、前記切り出し工程において切り出された前記錠剤領域それぞれの寸法および色を前記錠剤の形状および色に関するモデル情報と照合することによって、前記錠剤をそれぞれ一意に識別する識別値を出力する第１識別工程と、前記第１識別工程において、切り出された前記錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合又は特徴量がいずれの基準データにも一致しない場合であって、誤検知された前記識別値が出力された場合に、特徴量の類似する複数の前記錠剤である類似錠剤の画像を含む学習用データに基づく機械学習により生成された学習モデルを用いて、前記第１識別工程において誤検知された前記錠剤についての前記識別値を出力する第２識別工程とを含むことを特徴とする錠剤検知方法が記載されている。

【0003】

特許文献２には、薬剤に形成されたマークを抽出するように構築された学習済みモデルに、種類不明の対象薬剤を撮像した撮像画像を入力して得られる出力値に基づき、当該撮像画像に写るマークを抽出した抽出マーク画像を生成する画像生成部と、前記画像生成部が生成した抽出マーク画像と、薬剤の種類毎に予め登録された登録マーク画像との照合結果に基づき、前記対象薬剤の種類を判別する判別部と、を備える、種類判別装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６７４２８５９号

【特許文献2】国際公開第２０２２／０９２１３０号

【発明の概要】

【発明が解決しようとする課題】

【0005】

薬剤が撮影された画像の入力を受けて薬剤の種類を識別する機械学習モデル（ＡＩモデル）である薬剤識別モデルは、薬剤の画像とその薬剤についての正解の薬剤種類とのデータ組を含む複数の学習（訓練）用のデータを用いて、深層学習などの機械学習を適用して生成される。このような薬剤識別モデルは、学習用のデータから特徴量を自動的に学習し、入力された画像に対して高精度な薬剤種類識別が可能である。

【0006】

例えば、Ｎ種類の薬剤種類を識別するように学習された薬剤識別モデルは、識別対象薬剤が撮影された画像を入力とし、学習された全Ｎ種類の薬剤種類のそれぞれに対して、識別対象薬剤の種類である確からしさ（確信度）を示すスコア値を算出する。そして、薬剤識別モデルから出力された各薬剤種類に対するスコア値の大きさの順に、つまり確からしさの高い順に、上位の薬剤種類が識別対象薬剤の種類の候補として提示される。１つの識別対象薬剤に対して、薬剤識別モデルが出力した薬剤種類毎のスコア値から上位の複数の候補が推定結果として提示され、最終的にユーザによって正しい薬剤の種類が判断され、識別対象薬剤の種類を確定させる操作が行われる。

【0007】

しかし、一般に、薬剤識別モデルが学習した特徴量は、人間の感覚と一致するものではない。このため、薬剤識別モデルが出力するスコア値を基に提示される上位候補は、必ずしも人間の類似感覚と一致しない。例えば、薬剤識別モデルによる識別結果として提示されるスコア上位の複数の候補の中には、人間の目で見れば、識別対象薬剤とは明らかに相違すると判断されるような外見的特徴が非類似の（外見上の属性が全く異なる）薬剤の候補が含まれる場合がある。そのため、薬剤識別装置から提示される薬剤種類の候補に対してユーザが違和感を覚え、薬剤識別装置の識別性能に対する信頼性に疑念を抱かれる可能性がある。

【0008】

本開示はこのような事情に鑑みてなされたもので、薬剤が撮影された画像から薬剤の種類を識別する学習済みの機械学習モデルを用いつつ、人間が見ても納得感のある薬剤種類の候補を提示することができる薬剤識別装置、薬剤識別方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の第１態様に係る薬剤識別装置は、１つ以上のプロセッサと、１つ以上の記憶装置と、を備え、１つ以上の記憶装置は、識別対象薬剤が撮影された画像から識別対象薬剤の種類を識別するように学習された第１の学習済みモデルと、複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタと、を記憶し、１つ以上のプロセッサは、画像から第１の学習済みモデルを用いて識別し得る複数の薬剤種類のそれぞれに対して識別対象薬剤の種類である確からしさを示す第１のスコアを算出し、画像から識別対象薬剤の１つ以上の外見上の属性を識別し、薬剤マスタから識別対象薬剤の属性に適合する薬剤種類の情報を得て、第１のスコア値と、属性に対して設定された値とを用いて第２のスコアを算出し、第２のスコア値を基に識別対象薬剤の種類の候補を提示する。

【0010】

第１態様に係る薬剤識別装置によれば、第１の学習済みモデルによって算出された各薬剤種類の第１のスコア値から、さらに識別対象薬剤の外見上の属性を加味した第２のスコアが算出され、この第２のスコア値を基に識別対象薬剤の種類の候補が提示される。薬剤の外見上の属性は、人間が視覚によって認知可能な属性である。人間は視覚的な認知によって複数の薬剤同士が類似しているか、類似していないかという印象を持つ。第１の学習済みモデルによって算出される第１のスコア値は、必ずしも人間の類似感覚と一致しないが、第２のスコア値は、識別対象薬剤の外見上の属性が考慮されて算出されるため、人間の類似感覚に近いものとなり得る。

【0011】

第１態様によれば、識別対象薬剤について第１の学習済みモデルを用いた高精度な識別を可能にしつつ、識別対象薬剤について人間が見て納得感が得られる薬剤種類の候補を提示することが可能になる。「識別」という用語は、判別、判定、推定、推論、及び予測などの概念を含む。

【0012】

識別対象薬剤が撮影された画像から識別対象薬剤の外見上の属性を識別する処理は、機械学習によって生成された学習済みモデルを用いて実行されてもよいし、パターンマッチングなど機械学習以外の方法による画像処理技術を適用して実行されてもよい。

【0013】

第２態様に係る薬剤識別装置は、第１態様に係る薬剤識別装置において、１つ以上の記憶装置は、画像から識別対象薬剤の１つ以上の外見上の属性を識別するように学習された第２の学習済みモデルを記憶し、１つ以上のプロセッサは、第２の学習済みモデルを用いて、識別対象薬剤が１つ以上の外見上の属性に対応するカテゴリに該当するか否かを識別する構成であってもよい。

【0014】

第３態様に係る薬剤識別装置は、第１態様又は第２態様に係る薬剤識別装置において、属性に対して設定された値は、属性の重要度に応じた値であってもよい。例えば、重要度が高いほど大きな値に設定される。

【0015】

第４態様に係る薬剤識別装置は、第３態様に係る薬剤識別装置において、１つ以上のプロセッサは、重要度の設定を変更する指示を受け付け、受け付けた指示に基づき属性の重要度に応じた値を設定する構成であってもよい。

【0016】

第５態様に係る薬剤識別装置は、第４態様に係る薬剤識別装置において、重要度に応じた値は、ユーザ毎に設定可能であってもよい。

【0017】

第６態様に係る薬剤識別装置は、第４態様又は第５態様に係る薬剤識別装置において、重要度に応じた値は、ユーザが望むタイミングで設定可能であってもよい。

【0018】

第７態様に係る薬剤識別装置は、第３態様から第６態様のいずれか一態様に係る薬剤識別装置において、入力装置を備え、１つ以上のプロセッサは、入力装置から重要度の設定に関する指示の入力を受け付ける構成であってもよい。

【0019】

第８態様に係る薬剤識別装置は、第３態様から第７態様のいずれか一態様に係る薬剤識別装置において、薬剤マスタは、薬剤の形状に関する属性及び色に関する属性を含む複数の外見上の属性に関する情報を含み、１つ以上のプロセッサは、第２のスコアの算出において形状に関する属性を重視するか、色に関する属性を重視するかを指定する指示を受け付け、受け付けた指示に基づき、形状に関する属性及び色に関する属性の少なくとも一方の重要度を変化させる構成であってもよい。

【0020】

第９態様に係る薬剤識別装置は、第３態様から第８態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、識別対象薬剤の属性に適合する薬剤種類に対する第１のスコア値に、属性の重要度に応じた値を加算することにより、第２のスコアを算出する構成であってもよい。

【0021】

第１０態様に係る薬剤識別装置は、第１態様から第９態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、識別対象薬剤の属性に適合する薬剤種類に対する第１のスコア値を、属性に対して設定された値を用いて修正することにより第２のスコアを算出する構成であってもよい。

【0022】

第１１態様に係る薬剤識別装置は、第１態様から第１０態様のいずれか一態様に係る薬剤識別装置において、薬剤マスタは、薬剤の形状及び色の少なくとも一方に関する属性を含む複数の外見上の属性に関する情報を含み、１つ以上のプロセッサは、識別対象薬剤が複数の外見上の属性に適合するか否かを識別する構成であってもよい。

【0023】

第１２態様に係る薬剤識別装置は、第１態様から第１１態様のいずれか一態様に係る薬剤識別装置において、１つ以上のプロセッサは、第２のスコア値の大きさの順番に複数の候補が並んだ薬剤候補リストを提示する構成であってもよい。

【0024】

第１３態様に係る薬剤識別装置は、第１態様から第１２態様のいずれか一態様に係る薬剤識別装置において、識別対象薬剤の種類の候補を表示するディスプレイを備える構成であってもよい。

【0025】

第１４態様に係る薬剤識別装置は、第１態様から第１３態様のいずれか一態様に係る薬剤識別装置において、識別対象薬剤を撮影するカメラを備える構成であってもよい。

【0026】

本開示の第１５態様に係る薬剤識別方法は、１つ以上のプロセッサが、識別対象薬剤が撮影された画像から識別対象薬剤の種類を識別するように学習された第１の学習済みモデルを用いて画像から複数の薬剤種類のそれぞれに対して識別対象薬剤の種類である確からしさを示す第１のスコアを算出することと、画像から識別対象薬剤の１つ以上の外見上の属性を識別することと、第１の学習済みモデルが識別し得る複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタから識別対象薬剤の属性に適合する薬剤種類の情報を取得することと、識別対象薬剤の属性に適合する薬剤種類の情報に基づき、第１のスコア値と、属性に対して定められた値とを用いて第２のスコアを算出することと、第２のスコア値を基に識別対象薬剤の種類の候補を提示することと、を実行する。

【0027】

第１５態様に係る薬剤識別方法において、第２態様から第１４態様のいずれか一態様に係る薬剤識別装置と同様の具体的態様を含む構成とすることができる。

【0028】

本開示の第１６態様に係るプログラムは、コンピュータに、識別対象薬剤が撮影された画像から識別対象薬剤の種類を識別するように学習された第１の学習済みモデルを用いて画像から複数の薬剤種類のそれぞれに対して識別対象薬剤の種類である確からしさを示す第１のスコアを算出する機能と、画像から識別対象薬剤の１つ以上の外見上の属性を識別する機能と、第１の学習済みモデルが識別し得る複数種類の薬剤のそれぞれについての１つ以上の外見上の属性に関する情報を含む薬剤マスタから識別対象薬剤の属性に適合する薬剤種類の情報を取得する機能と、識別対象薬剤の属性に適合する薬剤種類の情報に基づき、第１のスコア値と、属性に対して定められた値とを用いて第２のスコアを算出する機能と、第２のスコア値を基に識別対象薬剤の種類の候補を提示する機能と、を実現させる。

【0029】

第１６態様に係るプログラムにおいて、第２態様から第１４態様のいずれか一態様に係る薬剤識別装置と同様の具体的態様を含む構成とすることができる。

【発明の効果】

【0030】

本開示によれば、薬剤が撮影された画像から薬剤の種類を識別するように学習された第１の学習済みモデルを用いて高精度な薬剤種類識別を行い、人間が見ても納得感のある候補を提示することが可能になる。

【図面の簡単な説明】

【0031】

【図1】図１は、スマートフォンの正面斜視図である。

【図2】図２は、スマートフォンの背面斜視図である。

【図3】図３は、スマートフォンの電気的構成を示すブロック図である。

【図4】図４は、実施形態に係る薬剤識別装置の機能構成を示すブロック図である。

【図5】図５は、薬剤マスタに含まれる情報と重要度の設定の例を示す図表である。

【図6】図６は、実施形態に係る薬剤識別装置により実行される処理の例を示す説明図である。

【図7】図７は、実施形態に係る薬剤識別装置が実行する薬剤識別方法の例を示すフローチャートである。

【発明を実施するための形態】

【0032】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0033】

〔実施形態に係る薬剤識別装置の概要〕
本開示の実施形態に係る薬剤識別装置は、薬剤が撮影された画像から薬剤の種類を識別するように学習（訓練）された学習済みの機械学習モデルである薬剤識別モデルと、薬剤を撮影した画像からその薬剤について人間が認知可能な複数の外見上の属性を識別するように学習された学習済みの機械学習モデルである属性分類モデルと、複数種類の薬剤のそれぞれについての複数の外見上の属性に関する情報を記録した薬剤マスタとを用い、識別対象薬剤の画像を薬剤識別モデルに入力することによって薬剤識別モデルから出力される複数の薬剤種類のそれぞれについてのスコア値に対して、属性分類モデルの出力を用いて薬剤マスタを参照することにより、識別対象薬剤の外見上の属性を加味してスコア値の修正を行い、修正後のスコア値を基に人間の類似感覚に近い候補を提示することを可能とする。なお、薬剤識別モデル及び属性分類モデルのそれぞれは実体的にはプログラムである。

【0034】

薬剤識別装置は、一例として携帯端末装置に搭載される。携帯端末装置は、スマートフォン、携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ端末、ノート型パーソナルコンピュータ端末、ウエアブル端末、及び携帯型ゲーム機のうちの少なくとも１つを含む。以下では、スマートフォンのハードウェアとソフトウェアとによって実現される薬剤識別装置を例に挙げ、図面を参照しつつ、詳細に説明する。

【0035】

〔スマートフォンの外観〕
図１は、実施形態に係る薬剤識別装置として機能するスマートフォン１０の正面斜視図である。図１に示すように、スマートフォン１０は、平板状の筐体１２を有する。スマートフォン１０は、筐体１２の正面にタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、及びインカメラ２０を備えている。

【0036】

タッチパネルディスプレイ１４は、画像等を表示するディスプレイ部、及びディスプレイ部の前面に配置され、タッチ入力を受け付けるタッチパネル部を備える。ディスプレイ部は、例えばカラーＬＣＤ（Liquid Crystal Display）パネル又はカラー有機ＥＬ（organic electro-luminescence）パネルである。

【0037】

タッチパネル部は、例えば光透過性を有する基板本体の上に面状に設けられ、光透過性を有する位置検出用電極、及び位置検出用電極上に設けられた絶縁層を有する静電容量式タッチパネルである。タッチパネル部は、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。タッチ操作は、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ドラッグ操作、ピンチイン操作、及びピンチアウト操作を含む。

【0038】

スピーカ１６は、通話時及び動画再生時に音声を出力する音声出力部である。マイクロフォン１８は、通話時及び動画撮影時に音声が入力される音声入力部である。インカメラ２０は、動画及び静止画を撮影する撮像装置である。

【0039】

図２は、スマートフォン１０の背面斜視図である。図２に示すように、スマートフォン１０は、筐体１２の背面にアウトカメラ２２、及びライト２４を備えている。アウトカメラ２２は、動画及び静止画を撮影する撮像装置である。ライト２４は、アウトカメラ２２で撮影を行う際に照明光を照射する光源であり、例えばＬＥＤ（Light Emitting Diode）により構成される。

【0040】

さらに、図１及び図２に示すように、スマートフォン１０は、筐体１２の正面及び側面に、それぞれスイッチ２６を備えている。スイッチ２６は、ユーザからの指示を受け付ける入力部材である。スイッチ２６は、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0041】

なお、筐体１２の構成はこれに限定されず、折り畳み構造又はスライド機構を有する構成を採用してもよい。

【0042】

〔スマートフォンの電気的構成〕
スマートフォン１０の主たる機能として、基地局装置と移動体通信網とを介した移動無線通信を行う無線通信機能を備える。

【0043】

図３は、スマートフォン１０の電気的構成を示すブロック図である。図３に示すように、スマートフォン１０は、前述のタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、インカメラ２０、アウトカメラ２２、ライト２４、及びスイッチ２６の他、ＣＰＵ（Central Processing Unit）２８、無線通信部３０、通話部３２、メモリ３４、外部入出力部４０、ＧＰＳ受信部４２、及び電源部４４を有する。

【0044】

ＣＰＵ２８は、メモリ３４に記憶された命令を実行するプロセッサの一例である。ＣＰＵ２８は、メモリ３４が記憶する制御プログラム及び制御データに従って動作し、スマートフォン１０の各部を統括して制御する。ＣＰＵ２８は、無線通信部３０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0045】

また、ＣＰＵ２８は、動画、静止画、及び文字等をタッチパネルディスプレイ１４に表示する画像処理機能を備える。この画像処理機能により、静止画、動画、及び文字等の情報が視覚的にユーザに伝達される。また、ＣＰＵ２８は、タッチパネルディスプレイ１４のタッチパネル部からユーザのタッチ操作に対応した２次元の位置座標情報を取得する。さらに、ＣＰＵ２８は、スイッチ２６からの入力信号を取得する。

【0046】

インカメラ２０及びアウトカメラ２２は、それぞれ不図示の撮影レンズ、絞り、撮像素子、ＡＦＥ（Analog Front End）、Ａ／Ｄ（Analog to Digital）変換器、及びレンズ駆動部等を有する。インカメラ２０及びアウトカメラ２２は、ＣＰＵ２８の指示に従って、動画及び静止画を撮影する。

【0047】

ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画を、ＭＰＥＧ（Moving Picture Experts Group）及びＪＰＥＧ（Joint Photographic Experts Group）等の圧縮した画像データに変換してもよい。

【0048】

ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をメモリ３４に記憶させる。また、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画を無線通信部３０又は外部入出力部４０を通じてスマートフォン１０の外部に出力してもよい。

【0049】

さらに、ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をタッチパネルディスプレイ１４に表示する。ＣＰＵ２８は、インカメラ２０及びアウトカメラ２２が撮影した動画及び静止画をアプリケーションソフトウェア内で利用してもよい。

【0050】

なお、ＣＰＵ２８は、アウトカメラ２２による撮影の際に、ライト２４を点灯させることで被写体に撮影補助光を照射してもよい。ライト２４は、ユーザによるタッチパネルディスプレイ１４のタッチ操作、又はスイッチ２６の操作によって点灯及び消灯が制御されてもよい。

【0051】

無線通信部３０は、ＣＰＵ２８の指示に従って、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の規格の移動通信網に対応した基地局装置に対し無線通信を行う。スマートフォン１０は、この無線通信を使用して、音声データ及び画像データ等の各種ファイルデータ、電子メールデータ等の送受信、Ｗｅｂ（World Wide Webの略称）データ及びストリーミングデータ等の受信を行う。

【0052】

通話部３２は、スピーカ１６及びマイクロフォン１８が接続される。通話部３２は、無線通信部３０により受信された音声データを復号してスピーカ１６から出力する。通話部３２は、マイクロフォン１８を通じて入力されたユーザの音声をＣＰＵ２８が処理可能な音声データに変換してＣＰＵ２８に出力する。

【0053】

メモリ３４は、ＣＰＵ２８に実行させるための命令を記憶する。メモリ３４は、スマートフォン１０に内蔵される内部記憶部３６、及びスマートフォン１０に着脱自在な外部記憶部３８により構成される。内部記憶部３６及び外部記憶部３８は、公知の格納媒体を用いて実現される。

【0054】

メモリ３４は、ＣＰＵ２８の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号等が対応付けられたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶する。また、メモリ３４は、ストリーミングデータ等を一時的に記憶してもよい。

【0055】

外部入出力部４０は、スマートフォン１０に連結される外部機器とのインターフェースの役割を果たす。スマートフォン１０は、外部入出力部４０を介して通信等により直接的又は間接的に他の外部機器に接続される。外部入出力部４０は、外部機器から受信したデータをスマートフォン１０の内部の各構成要素に伝達し、かつスマートフォン１０の内部のデータを外部機器に送信する。

【0056】

通信等の手段は、例えばユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、インターネット、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、及び赤外線通信である。また、外部機器は、例えばヘッドセット、外部充電器、データポート、オーディオ機器、ビデオ機器、スマートフォン、ＰＤＡ、パーソナルコンピュータ、及びイヤホンである。

【0057】

ＧＰＳ受信部４２は、ＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて、スマートフォン１０の位置を検出する。

【0058】

電源部４４は、不図示の電源回路を介してスマートフォン１０の各部に電力を供給する電力供給源である。電源部４４は、リチウムイオン二次電池を含む。電源部４４は、外部のＡＣ電源からＤＣ電圧を生成するＡＣ／ＤＣ変換部を含んでもよい。

【0059】

このように構成されたスマートフォン１０は、タッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影モードに設定され、インカメラ２０及びアウトカメラ２２によって動画及び静止画を撮影することができる。

【0060】

スマートフォン１０が撮影モードに設定されると、撮影スタンバイ状態となり、インカメラ２０又はアウトカメラ２２によって動画が撮影され、撮影された動画がライブビュー画像としてタッチパネルディスプレイ１４に表示される。

【0061】

ユーザは、タッチパネルディスプレイ１４に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。

【0062】

スマートフォン１０は、撮影スタンバイ状態においてタッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影が指示されると、ＡＦ（Autofocus）及びＡＥ（Auto Exposure）制御を行い、動画及び静止画の撮影及び記憶を行う。

【0063】

メモリ３４は本開示における「記憶装置」の一例である。タッチパネルディスプレイ１４は、本開示における「入力装置」及び「ディスプレイ」の一例である。インカメラ２０及びアウトカメラ２２のそれぞれは本開示における「カメラ」の一例である。

【0064】

〔薬剤識別装置の機能構成〕
図４は、スマートフォン１０によって実現される薬剤識別装置１００の機能構成を示すブロック図である。薬剤識別装置１００の各機能は、ＣＰＵ２８がメモリ３４に記憶されたプログラムを実行することで具現化される。図４に示すように、薬剤識別装置１００は、画像取得部１０２、薬剤識別モデル１０４、属性分類モデル１０６、薬剤マスタ１０８、適合薬剤抽出部１１０、重要度設定部１１２、スコア修正部１１４、候補提示部１１６、及び薬剤確定部１１８を備える。

【0065】

画像取得部１０２は、識別対象薬剤が撮影された静止画である撮影画像を取得する。撮影画像は、例えばインカメラ２０又はアウトカメラ２２によって撮影された画像であってよい。撮影画像は、無線通信部３０、外部記憶部３８、又は外部入出力部４０を介して他の装置から取得した画像であってもよい。撮影画像は、複数の識別対象薬剤が含まれていてよい。複数の識別対象薬剤は、同じ薬種の識別対象薬剤に限定されず、それぞれ異なる薬種の識別対象薬剤であってもよい。撮影画像は、分包袋に収納された状態の識別対象薬剤が撮影された画像であってもよい。分包袋は、全部又は一部が透明又は半透明であればよい。

【0066】

本実施形態では識別対象の１つの薬剤のみが写る画像ＩＭを処理する態様を例に説明するが、異種の薬剤が混在している状態で複数の薬剤を一度にまとめて（１画像として）撮影した画像を処理する場合には、複数の薬剤を含む撮影画像から個々の薬剤領域を検出して、薬剤毎に薬剤領域を切り出した画像（薬剤毎の切り出し画像）をそれぞれ処理すればよい。

【0067】

撮影画像は、識別対象薬剤及びマーカが撮影された画像であってもよい。この場合、マーカは、撮影距離及び撮影視点の標準化を行う際の基準として機能する。マーカは、同一形状の複数のマーカから構成され各マーカの代表点が標準化の基準点となる方式、又は単一のマーカから構成されそのマーカに含まれる複数の特徴点が標準化の基準点となる方式が考えられる。同一形状の複数のマーカから構成される方式の場合、個々のマーカは、例えば、ＡｒＵｃｏマーカ、円形マーカ、又は四角形マーカなどであってよい。複数のマーカは、例えば、薬剤載置範囲の矩形領域の四隅に配置される。撮影画像は、識別対象薬剤及び基準となるグレーの色が撮影された画像であってもよい。一方、単一のマーカから構成される方式の場合、マーカは四角形やコの字の形状（矩形のうちの一辺が欠落した形状、いわゆるU-shaped）であってもよい。単一のマーカは、薬剤載置範囲の矩形領域を囲うように配置される。この場合、四角形やコの字の四隅の各点が標準化の基準点となる。

【0068】

撮影画像は、標準となる撮影距離及び撮影視点で撮影された画像であってもよい。撮影距離とは、識別対象薬剤及び撮影レンズの間の距離と撮影レンズの焦点距離とから表すことができる。また、撮影視点とは、マーカ印刷面と撮影レンズの光軸とが成す角度から表すことができる。

【0069】

画像取得部１０２は、不図示の画像補正部を含む。画像補正部は、撮影画像にマーカが含まれる場合に、マーカに基づいて撮影画像の撮影距離及び撮影視点の標準化を行って標準化画像を取得する。標準化画像は、撮影画像について標準化処理が施された後、四隅のマーカを頂点とする矩形の内側の領域が切り出された画像であってよい。例えば、画像補正部は、マーカによって座標を特定した四角形の４つの頂点が撮影距離及び撮影視点の標準化後に行く先の座標を指定する。画像補正部は、これら４つの頂点が、それぞれ指定した座標の位置に変換されるような透視変換行列を求める。このような透視変換行列は、４点あれば一意に定まる。例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）のgetPerspectiveTransform関数によって、４点の対応関係があれば変換行列を求めることができる。

【0070】

画像補正部は、求めた透視変換行列を用いて、元の撮影画像の全体を透視変換し、変換後の画像を取得する。このような透視変換は、ＯｐｅｎＣＶのwarpPerspective関数を用いることで実行することができる。この変換後の画像が、撮影距離及び撮影視点が標準化された標準化画像であってよい。

【0071】

また、画像補正部は、撮影画像に基準となるグレーの色の領域が含まれる場合に、基準となるグレーの色に基づいて撮影画像の色調補正を行ってもよい。

【0072】

薬剤識別モデル１０４は、入力された画像ＩＭから薬剤の種類を識別する、いわゆる物体認識のタスクを行うように機械学習によって訓練された学習済みのＡＩモデルである。薬剤識別モデル１０４が識別する薬剤の種類は、例えば、ＹＪコード（個別医薬品コード）あるいは薬剤名称などの識別情報によって特定し得る薬剤種類である。本実施形態における薬剤識別は、識別対象薬剤がどのＹＪコードの医薬品であるかを決定する行為として定義し得る。これは薬剤識別の定義の一例であって、例えば識別符号はＹＪコード以外の種類を用いて定義してもよい。

【0073】

薬剤識別モデル１０４は、識別対象薬剤を撮影して得られる画像ＩＭの入力を受けて、画像ＩＭ内の識別対象薬剤の種類を識別し、学習済みのＮ種類の薬剤種類（クラス）に分類する多クラス分類器として機能する。すなわち、薬剤識別モデル１０４は、画像ＩＭが入力されると、学習済みの全Ｎ種類の薬剤ｉに対して、識別対象薬剤がその薬剤ｉである確からしさ（確信度）を示すスコア値を算出する。「薬剤ｉ」という表記における「ｉ」は学習したＮ種類の薬剤を区別するインデックスである。薬剤識別モデル１０４は、識別対象薬剤が薬剤ｉであるかどうかを判定する指標となるスコア値を薬剤ｉごとに算出する。

【0074】

薬剤識別モデル１０４は、例えば、ニューラルネットワークを用いて構成される。画像認識に好適な機械学習モデルとして、例えば、畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いることができる。薬剤識別モデル１０４に入力される画像ＩＭは、撮影画像から切り出された識別対象薬剤の領域画像であってよい。なお、薬剤識別モデル１０４には、画像ＩＭに加えて、画像ＩＭから抽出された刻印情報などが入力されてもよい。

【0075】

薬剤識別モデル１０４は、識別対象薬剤を片面側から（一方向から）撮影した片面の画像の入力を受けて、その識別対象薬剤の種類及びその識別対象薬剤の表裏（表側であるか、裏側であるか）まで識別できるように学習されたモデルであってもよい。薬剤識別モデル１０４は本開示における「第１の学習済みモデル」の一例である。

【0076】

属性分類モデル１０６は、画像ＩＭの入力を受けて、画像ＩＭ内の識別対象薬剤の外見上の属性を識別し、人間が視覚によって外見から認識可能な複数の属性のそれぞれに対応するカテゴリｊに属するか否かを判別できるように機械学習によって訓練された学習済みのＡＩモデルである。「カテゴリｊ」という表記における「ｊ」は、人間が外見から認識可能な複数の属性のそれぞれに対応する複数のカテゴリを区別するインデックスである。属性分類モデル１０６は本開示における「第２の学習済みモデル」の一例である。

【0077】

属性分類モデル１０６に学習させるカテゴリの例として、例えば、円形、三角形、四角形、五角形、非透明カプセル、透明カプセル、２色カプセル、単色カプセル、赤色、青色、黄色、白色などがあり得る。

【0078】

属性分類モデル１０６は、入力された画像ＩＭから画像ＩＭ内の識別対象薬剤の外見上の属性を示すカテゴリ情報を出力する。属性分類モデル１０６の出力は、各カテゴリｊに属するか否かを確定的に判別したスコア値であってもよいし、各カテゴリｊに属する確からしさ（確信度）を示すスコア値であってよい。すなわち、属性分類モデル１０６が出力するスコア値は「０」又は「１」の離散値であってもよいし、連続値であってもよい。また、連続値のスコア値に対して閾値を設定して二値化することによって確定的に判別したスコア値として用いてもよい。

【0079】

なお、属性分類モデル１０６は、識別対象薬剤を複数のカテゴリ（クラス）に分類する多クラス分類器として機能するが、薬剤識別モデル１０４と比べて、分類の細かさ（粒度）が異なる。薬剤識別モデル１０４によって識別される薬剤種類の数は、例えば、数千から数万のオーダーであるのに対し、属性分類モデル１０６によって識別されるカテゴリの数は、例えば、数十のオーダーであり、分類の粒度が大きく異なる。１つの薬剤は、複数のカテゴリに属していてもよい。

【0080】

薬剤マスタ１０８は、Ｎ種類の薬剤ｉのそれぞれについて、カテゴリｊに属するか否かの情報を含むマスタデータのデータベースである（図５参照）。薬剤マスタ１０８は、薬剤識別モデル１０４によって識別可能な全Ｎ種類の薬剤ｉについての複数の外見上の属性を示す情報を含む。なお、薬剤マスタ１０８は、スマートフォン１０のメモリ３４に限らず、図示せぬグラウドサーバなど、スマートフォン１０と通信可能に接続されるネットワーク上の外部装置に保存されていてもよい。

【0081】

適合薬剤抽出部１１０は、属性分類モデル１０６が出力するカテゴリ情報を基に、薬剤マスタ１０８を参照して、識別対象薬剤と同じカテゴリに属する薬剤種類の情報を薬剤マスタ１０８から取得する。

【0082】

重要度設定部１１２は、各カテゴリｊに対して重要度を設定する。重要度に応じた値は、予め定められた固定の値であってもよいが、ユーザ毎に、又はユーザが望むタイミングで、重要度の設定をカスタマイズできる構成であることが好ましい。例えば、ユーザインターフェースを介して、ユーザに重要度の設定を変更する指示の入力を受け付け、ＧＵＩ（Graphical User Interface）ボタン又はアプリの設定画面から「色重視」、「形状重視」等の選択肢をユーザに選択させて、ユーザ毎に、又は、薬剤種類を確定させる際の判断毎に、重要度の設定を変更してもよい。「色重視」が選択されると、「色」に関するカテゴリの重要度を相対的に高くする値に設定され、「形状重視」が選択されると、「形状」に関するカテゴリの重要度を相対的に高くする値に設定される。

【0083】

また、ＣＰＵ２８は、重要度に関する設定情報をユーザ情報と関連付けてメモリ３４に記憶させることができ、記憶させたユーザ毎の設定情報をユーザ情報に基づいて読み出して、ユーザ毎の設定を再現することが可能である。ＣＰＵ２８は、画像ＩＭの取得前、画像ＩＭの取得後、あるいは、候補提示部１１６が提示する候補の表示中など、時期を問わず、重要度に関する設定の変更の指示を受け付けるＧＵＩを提供し、ユーザから指示されたタイミングで随時に設定の変更を行うことが好ましい。

【0084】

スコア修正部１１４は、薬剤識別モデル１０４から出力された各薬剤ｉに対するスコア値ｓ_iに対して、属性分類モデル１０６の出力を用いて薬剤マスタ１０８から識別対象薬剤と同じ外見上の属性を持つ薬剤種類のスコア値を修正する。スコア修正部１１４は、重要度設定部により設定されたカテゴリ別の重要度に応じて、例えば、次式（１）又は次式（２）のように、スコア値ｓ_iを修正し、修正後のスコア値ｓ_ciを算出する。

【0085】

【数1】

【0086】

【数2】

【0087】

ｋ_jは、カテゴリjに対する重み係数である。ｋ_jは、カテゴリｊに属するという情報の重要度に相当する。

【0088】

Ｎ_jは、カテゴリｊに属する薬剤種類の数である。Ｎ_jの値が小さいほど、そのカテゴリｊは希少度の高い属性であることを示しており、Ｎ_jの値が大きいほど、そのカテゴリｊがありふれた属性であることを示している。

【0089】

αは、カテゴリに属する薬剤の希少度をスコアに反映する度合いを表す定数である。αを考慮する理由は、希少度の高いカテゴリに属するという情報は、薬剤種類の特定により一層役立つという考えに立脚するものである。なお、α＝０の場合、希少度を修正スコアには反映させないことに相当する。

【0090】

δ_ijは、薬剤マスタ１０８上で薬剤ｉがカテゴリｊに属しており、かつ識別対象薬剤の画像ＩＭを属性分類モデル１０６に入力した際にカテゴリｊに属すると判定された場合に「１」、そうでない場合に「０」となる値（離散値）である。

【0091】

ｃ_ijは、薬剤マスタ１０８上で薬剤ｉがカテゴリｊに属しており、かつ識別対象薬剤の画像ＩＭを属性分類モデル１０６に入力した際に属性分類モデル１０６から出力される、その識別対象薬剤がカテゴリｊに属するか否かに関するスコア値ないし確信度（連続値）である。

【0092】

属性分類モデル１０６が算出する各カテゴリｊの確からしさ（確信度）を示す連続値のｃ_ijに対して閾値を設けて２値化したものがδ_ijとなり得る。

【0093】

薬剤識別モデル１０４が出力するスコア値ｓ_iは本開示における「第１のスコア値」の一例である。カテゴリｊの重要度を示すｋ_jは本開示における「属性に対して設定された値」の一例である。ｋ_jを用いて式（１）又は式（２）により修正された修正後のスコア値ｓ_ciは本開示における「第２のスコア値」の一例である。

【0094】

候補提示部１１６は、スコア修正部１１４によって修正された修正後のスコア値ｓ_ciの大小によって最終的な薬剤の候補を提示する。候補提示部１１６は、例えば、修正後のスコア値ｓ_ciの大きい順に上位の複数の候補をタッチパネルディスプレイ１４に表示させる。なお、候補の表示中に、ユーザから重要度の設定を変更する指示が入力された場合、スコア修正部１１４は、変更された設定に基づきスコア値ｓ_ciを再計算し、候補提示部１１６は、再計算されたスコア値ｓ_ciに基づく上位候補を提示する。このように、重要度の設定の変更に連動して、提示される薬剤候補リストが更新される。

【0095】

薬剤確定部１１８は、ユーザからの識別対象薬剤の種類を確定させる指示を受け付け、受け付けた指示に従い、識別した薬剤の種類を確定させる処理を行う。

【0096】

〔薬剤識別装置１００の動作の説明〕
図５は、薬剤マスタ１０８に登録されている情報の例を概略的に示す図表である。薬剤マスタ１０８には、複数種類の薬剤ｉについての外見上の属性である色（図５では白と黄色を例示）及び形状（図５では円と楕円を例示）に関する情報が記録されている。図５では、薬剤１～薬剤４の４種類の薬剤のレコードを示すが、薬剤マスタ１０８には薬剤識別モデル１０４が識別可能な全薬剤種類の薬剤の情報が記録されている。図５に示す「白」、「黄色」、「円形」、及び「楕円」の各カテゴリは、人間が薬剤の外見から視覚的に認識できる外見上の属性の例である。

【0097】

各カテゴリに対応する列の各セルに示す「１」又は「０」の情報は、それぞれのカテゴリに該当するか否かを表しており、該当する場合は「１」、該当しない場合は「０」の値となっている。それぞれのカテゴリには、重要度（ｋ1，ｋ2，ｋ3，ｋ4）が設定されている。図５の例では、ｋ1＝０．４、ｋ2＝０．４、ｋ3＝０．０３、ｋ4＝０．０３と設定されており、外見上の複数の属性のうち「色」に関する属性の重要度が高く設定されていることがわかる。ここでは、薬剤識別モデル１０４が出力するスコア値ｓ_iを修正する際の単純な場合の例として、式（１）のα＝０のケースを説明する。

【0098】

なお、図５においては、各薬剤に付されている刻印文字と、各薬剤の画像とを示しているが、薬剤マスタ１０８において刻印文字の情報は含まれていなくてよい。

【0099】

図５に示す例を用いて本実施形態に係る薬剤識別装置１００の動作を具体的に説明する。図６に示すように、「ＡＡ１１」という刻印を持つ識別対象薬剤の画像ＩＭを薬剤識別モデル１０４に入力すると、薬剤識別モデル１０４から、刻印「ＡＡ１１」の薬剤１についてスコア値０．５、刻印「ＡＡ１２」の薬剤２についてスコア値０．４、刻印「ＡＡ２２２」の薬剤４についてスコア値０．３、刻印「ＢＢ９８」の薬剤３についてスコア値０．０１というスコア値が得られたとする。このようなスコア値が出力される薬剤識別モデル１０４は、薬剤マスタ１０８には含まれていない「刻印文字」の外見の類似度を重視したものと推察される。

【0100】

仮に、このようなスコア値から上位候補を提示した場合、刻印文字「ＡＡ１２」の薬剤２が上位から２番目の候補として提示されることになるが、人間の感覚では薬剤２（ＡＡ１２）は、黄色、かつ楕円形の錠剤であり、識別対象薬剤（白かつ円形の錠剤）とは明白に異なるように見える。

【0101】

本実施形態に係る薬剤識別装置１００では、薬剤識別モデル１０４が出力するスコア値が次のように修正される。すなわち、「ＡＡ１１」という刻印を持つ識別対象薬剤の撮影画像ＩＭａを属性分類モデル１０６に入力すると、属性分類モデル１０６から、この識別対象薬剤が「白色」及び「円形」という２つのカテゴリに属するという結果が得られる。

【0102】

適合薬剤抽出部１１０は、属性分類モデル１０６の出力に基づき、薬剤マスタ１０８に登録されている全薬剤種類の中から「白色」及び「円形」の少なくとも１つのカテゴリに属する薬剤を抽出する。スコア修正部１１４は、適合薬剤抽出部１１０によって抽出された薬剤について、白色の重要度ｋ1＝０．４、円形の重要度ｋ3＝０．０３をスコア値ｓ_iに加算する。

【0103】

図６に示す例の場合、薬剤１（刻印文字：ＡＡ１１）、薬剤３（刻印文字：ＢＢ９８）、及び薬剤４（刻印文字：ＡＡ２２）の各薬剤は「白色」及び「円形」のカテゴリに属しているため、これら該当する各薬剤のスコア値ｓ_iに「０．４＋０．０３」が加算され、それぞれのスコア値が修正される。こうして、属性分類モデル１０６が識別した「白色」及び「円形」に該当する薬剤のスコアがかさ上げされる。その一方、薬剤２（刻印文字：ＡＡ１２）は、「白色」及び「円形」のいずれのカテゴリにも属していないため、薬剤２のスコア値は修正されず、元のスコア値（０．４０）がそのまま維持される。

【0104】

よって、修正後のスコア値は、薬剤１（刻印文字：ＡＡ１１）が「０．９３」、薬剤２（刻印文字：ＡＡ１２）が「０．４０」（修正なし）、薬剤３（刻印文字：ＢＢ９８）が「０．４４」、薬剤４（刻印文字：ＡＡ２２）が「０．７３」となる。修正後のスコア値を大きい順に並べ替えると、薬剤１（０．９３）、薬剤４（０．７３）、薬剤３（０．４４）、薬剤２（０．４０）の順番となり、識別対象薬剤とは色が異なる薬剤２を低順位化することができる。これにより、予め設定していた「色を重視して判定する」というポリシーを反映させることができた。

【0105】

タッチパネルディスプレイ１４には、修正されたスコア値ｓ_ciの大きさの順番に上位の複数の候補が並んだ薬剤候補リストが表示される。図６に例示したように、修正後のスコア値ｓ_ciに基づいて提示される上位候補の並び順は、人間の認識感覚（類似感覚）に近いものとなり、ユーザの納得感が得られ易いものと期待される。

【0106】

なお、図６で説明した重要度等の数値は説明のための一例にすぎない。重要度のパラメータの設定によって、算出される修正スコア値は変化する。修正スコア値が人間の類似感覚に近いものとなるように、各属性に対する重要度のパラメータが適切な値に設定される。例えば、重要度のパラメータの適切な値や範囲は、試行錯誤によって決定されてもよいし、パラメータの増減による自動最適化探索を行うことによって決定されてもよい。

【0107】

〔薬剤識別方法の例〕
図７は、実施形態に係る薬剤識別装置１００によって実行される薬剤識別方法の例を示すフローチャートである。図７に示すステップを含む薬剤識別方法は、ＣＰＵ２８がメモリ３４からプログラムを読み出して実行することにより実現される。なお、薬剤識別方法を実行させるプログラムは、無線通信部３０、又は外部入出力部４０を介して提供されてもよい。

【0108】

ステップＳ１において、ＣＰＵ２８は、識別対象薬剤が撮影された画像を取得する。例えば、ＣＰＵ２８は、アウトカメラ２２によって撮影された画像を取得する。取得された画像には、複数の識別対象薬剤が含まれていてもよい。ＣＰＵ２８は、取得された画像にマーカが含まれる場合に、マーカに基づいて撮影画像の撮影距離及び撮影視点の標準化を行い、標準化画像を生成してもよい。また、ＣＰＵ２８は、取得された画像に対して色調補正などの補正処理を行ってもよい。

【0109】

ステップＳ２において、ＣＰＵ２８は、取得された画像から薬剤の領域を検出する。薬剤領域を検出する処理は、例えば、画像内から薬剤の領域を抽出するように学習された学習済みモデルを用いて実行される。ＣＰＵ２８は、画像内から検出された薬剤のそれぞれの領域を切り出して、薬剤毎の領域画像（以下、薬剤画像という。）を取得し得る。図４及び図６で説明した画像ＩＭは、薬剤単位で切り出された薬剤画像であってよい。

【0110】

ステップＳ３において、ＣＰＵ２８は、薬剤画像から識別対象薬剤の刻印及び／又は印字を抽出し、刻印印字抽出画像を生成する。刻印印字抽出画像は、識別対象薬剤の刻印部分又は印字部分の輝度が刻印部分又は印字部分とは異なる部分の輝度よりも相対的に高い画像である。なお、「刻印印字抽出画像」という用語は、刻印に限らず錠剤又はカプセルに付された印字を抽出した画像も含む。刻印印字抽出画像は文字記号抽出画像と言い換えてもよい。「刻印印字」という用語は、錠剤又はカプセル薬剤についての「刻印」、「印字」、「印字記号」、「識別記号」又は「文字記号」などの概念を含む。

【0111】

ステップＳ４において、ＣＰＵ２８は、薬剤識別モデル１０４を用いて薬剤画像から識別対象薬剤の種類を識別する。薬剤識別モデル１０４に薬剤画像を入力することにより、薬剤識別モデル１０４から識別可能な全薬剤種類に対するスコア値ｓ_iが出力される。なお、薬剤識別モデル１０４は、薬剤画像と刻印印字抽出画像との組み合わせを入力とし、全薬剤種類に対するスコア値ｓ_iを出力してもよい。

【0112】

また、ＣＰＵ２８は、ステップＳ３及びステップＳ４の処理と並行して、ステップＳ５において、属性分類モデル１０６を用いて薬剤画像から識別対象薬剤の外見上の属性を識別する。属性分類モデル１０６に薬剤画像を入力することにより、属性分類モデル１０６から識別対象薬剤が該当するカテゴリの情報が出力される。

【0113】

ステップＳ６において、ＣＰＵ２８は、属性分類モデル１０６から出力された識別対象薬剤のカテゴリと同じカテゴリに属する薬剤を薬剤マスタ１０８に問い合わせ、薬剤マスタ１０８から識別対象薬剤のカテゴリと同じカテゴリに属する薬剤を取得する。

【0114】

そして、ステップＳ７において、ＣＰＵ２８は、識別対象薬剤と同じカテゴリに属する薬剤に対して、カテゴリ毎に設定された重要度に応じてスコア値ｓ_iを修正する。ＣＰＵ２８は、上述した式（１）又は式（２）を用いて全薬剤種類に対する修正スコア値ｓ_ciを算出する。

【0115】

ステップＳ８において、ＣＰＵ２８は、この修正スコア値ｓ_ciの大きい順に上位候補を取得し、降順に並ぶ薬剤候補リストを生成する。

【0116】

ステップＳ９において、ＣＰＵ２８は、ステップＳ８で得られた上位候補を識別対象薬剤の種類の候補として出力する。ＣＰＵ２８は、修正スコア値の大きさに基づく上位候補をタッチパネルディスプレイ１４に選択可能に表示させる。ユーザは、タッチパネルディスプレイ１４に表示される複数の候補の中から正しい薬剤種類を選択して識別対象薬剤の種類を確定させる指示を入力することができる。

【0117】

また、ＣＰＵ２８は、タッチパネルディスプレイ１４等のユーザインターフェースから、薬剤種類の候補の表示を修正する指示、又は、刻印印字によるテキスト検索等の他の処理に移行する指示など各種の指示の入力を受け付けてもよい。ユーザは、提示される薬剤種類の候補を確認し、タッチパネルディスプレイ１４のユーザインターフェースから薬剤種類を確定させる指示を入力したり、候補の表示の修正又はテキスト検索への移行などの指示を入力したりすることができる。

【0118】

ステップＳ１０において、ＣＰＵ２８は、タッチパネルディスプレイ１４又は音声入力によって識別対象薬剤の種類を確定させる指示の入力を受け付け、受け付けた指示に従い識別対象薬剤の種類を確定させる処理を行う。

【0119】

ステップＳ１にて取得された画像内に含まれる全ての識別対象薬剤についてステップＳ３～ステップＳ１０の処理が行われたら、ＣＰＵ２８は、図７のフローチャートを終了する。

【0120】

本実施形態に係る薬剤識別装置１００によれば、薬剤識別モデル１０４の算出したスコア値ｓ_iを基調としつつ、属性分類モデル１０６の出力に基づいて外見上の属性を加味してスコア値ｓ_iの修正を行い、修正されたスコア値ｓ_ciを基に候補を提示するため、人間が見ても納得感のある候補を提示できる。

【0121】

〔各処理部のハードウェア構成について〕
図４で説明した画像取得部１０２、適合薬剤抽出部１１０、重要度設定部１１２、スコア修正部１１４、候補提示部１１６、及び薬剤確定部１１８などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

【0122】

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0123】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又は、ＣＰＵとＧＰＵの組み合わせなどによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0124】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0125】

＜薬剤識別装置１００の機能を実現させるプログラムについて＞
薬剤識別装置１００の処理機能はスマートフォン１０に限らず、タブレット型コンピュータ、パーソナルコンピュータ、ワークステーション、あるいはサーバなど、様々な形態の情報処理装置を用いて実現することができる。薬剤識別装置１００の処理機能は複数台のコンピュータを含むコンピュータシステムによって実現してもよい。

【0126】

上記の実施形態で説明した薬剤識別装置１００の処理機能の一部又は全部をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0127】

また、薬剤識別装置１００の処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

【0128】

＜実施形態の効果＞
実施形態に係る薬剤識別装置１００によれば、次のような効果が得られる。

【0129】

［１］機械学習ベースの薬剤識別モデル１０４が出力する薬剤候補のスコア値ｓ_iに対して、事後的に人間の類似感覚に合致する修正を行うことで、人間が納得し得る候補順で候補を提示できる。

【0130】

［２］ユーザ毎又は薬剤種類の判断毎に、重視したい外見上の特性（特徴）をカスタマイズできる。

【0131】

［３］薬剤識別モデル１０４の学習後に、薬剤識別モデル１０４とは独立に、重視したい外見上の属性を考慮する仕組み（属性分類モデル１０６、薬剤マスタ１０８及びスコア修正部１１４）を追加でき、提示する候補をコントロールできる。薬剤識別モデル１０４を学習させるには高いコストを要するが、属性分類モデル１０６は、比較的に低コストで生成することができる。本実施形態によれば、高コストの薬剤識別モデル１０４を作り直すことなく、追加的な構成（属性分類モデル１０６、薬剤マスタ１０８及びスコア修正部１１４）を組み合わせることで、人間の類似感覚に近い候補の提示を実現できる。

【0132】

［４］例えば、薬剤の形状に関して「五角形」又は「三角形」などのように特殊な（稀な）属性に対して重要度を高く設定しておくことにより、そのような特殊な属性が属性分類モデル１０６によって識別された場合に、その同じ属性を持つ薬剤種類に限定して候補を提示するようにスコア値を修正することも可能である。

【0133】

［５］薬剤識別モデル１０４及び属性分類モデル１０６で学習していない薬剤であっても、ある外見上の属性が既知であり、かつ、その属性分類モデル１０６で学習済みの場合、その薬剤を薬剤マスタ１０８に登録さえすれば、その薬剤を候補化できる可能性がある。

【0134】

〔変形例１〕
画像から識別対象薬剤の外見上の属性を識別する手段は、属性分類モデル１０６のようなＡＩモデルに限らない。入力された画像から１つ以上の外見上の属性を捉えて、その属性に応じた分類ができればよく、テンプレートマッチングの手法による画像認識器など、ＡＩ以外の様々な画像処理技術を適用できる。

【0135】

〔変形例２〕
属性分類モデル１０６が出力するカテゴリ情報の代わりに、又は、これに加えて、画像から識別対象薬剤の外見上の属性に対応した連続値のような数値（例えば、識別対象薬剤の大きさを示す数値）を算出し、この連続値に応じてスコア値ｓ_iを修正してもよい。

【0136】

〔変形例３〕
上述の実施形態では、識別対象薬剤の外見上の属性に適合する薬剤種類のスコア値ｓ_iに対して、該当する属性の重要度に応じた値を加算してスコア値ｓ_iを修正する例を説明したが、スコア修正の演算においては「加算」による修正に限らず、乗算を含む様々な演算式を適用できる。修正後のスコア値が修正前のスコア値ｓ_iよりも増加する修正に限らず、例えば、重要度を示すｋｊについて負の値を定義することにより、修正後のスコア値が修正前のスコア値ｓ_iよりも減少する修正もあり得る。

【0137】

識別対象薬剤の外見上の属性に適合する薬剤種類のスコア値ｓ_iに対して修正を行う代わりに、識別対象薬剤の外見上の属性に適合しない（非適合の）薬剤種類のスコア値ｓ_iを減少させる修正を行うことにより、非適合の薬剤種類を低順位化させてもよい。属性分類モデル１０６が出力するカテゴリ情報を用いて薬剤マスタ１０８に問い合わせを行うことで、薬剤マスタ１０８から識別対象薬剤の外見上の属性に適合する薬剤種類の情報を抽出でき、かつ、非適合の薬剤種類の情報を抽出することもできる。

【0138】

〔変形例４〕
上記の実施形態では薬剤の鑑別を行う場合の例を説明したが、薬剤監査を行う場合についても本開示の技術を適用できる。

【0139】

〔その他〕
本発明の技術的範囲は、上記した実施形態及び変形例に記載の範囲には限定されない。実施形態及び変形例における構成等は、本発明の趣旨を逸脱しない範囲で変更可能であり、実施形態及び変形例間で適宜組み合わせることができる。

【符号の説明】

【0140】

１０ スマートフォン
１２ 筐体
１４ タッチパネルディスプレイ
１６ スピーカ
１８ マイクロフォン
２０ インカメラ
２２ アウトカメラ
２４ ライト
２６ スイッチ
３０ 無線通信部
３２ 通話部
３４ メモリ
３６ 内部記憶部
３８ 外部記憶部
４０ 外部入出力部
４２ ＧＰＳ受信部
４４ 電源部
１００ 薬剤識別装置
１０２ 画像取得部
１０４ 薬剤識別モデル
１０６ 属性分類モデル
１０８ 薬剤マスタ
１１０ 適合薬剤抽出部
１１２ 重要度設定部
１１４ スコア修正部
１１６ 候補提示部
１１８ 薬剤確定部
ＩＭ 画像
ＳＴ１、ＳＴ２、ＳＴｎ ＧＰＳ衛星
Ｓ１～Ｓ１０ 薬剤識別方法のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】