(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023005928
(43)【公開日】2023-01-18
(54)【発明の名称】薬剤識別システムおよび薬剤識別方法
(51)【国際特許分類】
G16H 20/10 20180101AFI20230111BHJP
A61J 3/00 20060101ALI20230111BHJP
【ＦＩ】
G16H20/10
A61J3/00 310K
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021108222
(22)【出願日】2021-06-30
(71)【出願人】
【識別番号】592007601
【氏名又は名称】株式会社コンテック
(74)【代理人】
【識別番号】110001298
【氏名又は名称】弁理士法人森本国際特許事務所
(72)【発明者】
【氏名】横山 祐介
(72)【発明者】
【氏名】高平 賢治
【テーマコード（参考）】
4C047
5L099
【Ｆターム（参考）】
4C047KK01
4C047KK13
4C047KK25
4C047KK28
4C047KK30
4C047KK32
5L099AA25
(57)【要約】
【課題】画像認識を用いた薬剤識別システムにおいて、薬剤の識別を迅速に行うことを可能とする。
【解決手段】特徴値抽出部３０は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデル３２を用いて、撮影画像から特徴値を抽出する。薬剤識別部４０は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リスト４２と、特徴値抽出部３０が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤１２の識別を行う。
【選択図】図１
【解決手段】特徴値抽出部３０は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデル３２を用いて、撮影画像から特徴値を抽出する。薬剤識別部４０は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リスト４２と、特徴値抽出部３０が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤１２の識別を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
薬剤を撮影した撮影画像の画像認識を行うことにより、撮影された薬剤の識別を行う薬剤識別システムにおいて、
撮影画像から特徴値を抽出する特徴値抽出部と、
撮影画像に含まれる薬剤の識別を行う薬剤識別部と、
を備え、
前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、
前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行うこと
を特徴とする薬剤識別システム。
撮影画像から特徴値を抽出する特徴値抽出部と、
撮影画像に含まれる薬剤の識別を行う薬剤識別部と、
を備え、
前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、
前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行うこと
を特徴とする薬剤識別システム。
【請求項2】
前記薬剤識別部は、
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合に、
前記未知薬剤の存在をユーザに対して表示すること
を特徴とする請求項１に記載の薬剤識別システム。
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合に、
前記未知薬剤の存在をユーザに対して表示すること
を特徴とする請求項１に記載の薬剤識別システム。
【請求項3】
前記薬剤識別部は、
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合、および／または誤識別を行った場合に、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加すること
を特徴とする請求項１に記載の薬剤識別システム。
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合、および／または誤識別を行った場合に、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加すること
を特徴とする請求項１に記載の薬剤識別システム。
【請求項4】
前記薬剤識別システムが医療機関の処方箋システムにおいて利用されるものであり、
医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、
前記薬剤識別部は、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、
追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させること
を特徴とする請求項３に記載の薬剤識別システム。
医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、
前記薬剤識別部は、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、
追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させること
を特徴とする請求項３に記載の薬剤識別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムに関するものである。
【背景技術】
【0002】
薬局などの、薬剤を取り扱う施設において、薬剤の機械的な識別が求められることがある。例えば、処方箋に基づいて取り揃えられた薬剤が実際に処方箋の処方内容と合致しているか否かを、作業者（薬剤師など）とは別の主体によって判定するために、薬剤の機械的な識別を行う装置（薬剤鑑査装置）が用いられることがある。こうした装置を用いることにより、患者に対する薬剤の交付における作業ミスを防止することができる。
【0003】
特許文献１には、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムが記載されている。特許文献１に記載された薬剤識別システム撮影画像においては、撮影画像を入力データとして、入力された撮影画像に対応する薬剤の情報を出力データとして返すＡＩモデルを用いて、入力された撮影画像に含まれる薬剤の識別が行われる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特願２０２０－０１８３９４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の薬剤識別システムにおいては、各種薬剤がそれぞれ撮影画像においてどのような姿で現れるのか、に関する学習データが用いられる。この学習データに基づき、ＡＩモデルは、どのような撮影画像に対してどのような薬剤の情報を返すべきであるかを学習する。
【0006】
しかしながら、ＡＩモデルによる学習には相応の時間が必要となる。薬局などの、薬剤を取り扱う施設において識別の対象となる薬剤は膨大な数が存在するため、それら全てに対応できるような学習が完了するには長い時間がかかってしまう。
【0007】
また、新規薬剤の流通開始により識別対象とするべき薬剤の種類が増加すると、ＡＩモデルによる学習を再度行う必要が生じる。その場合にも、既存の薬剤も含めた膨大な数の薬剤に関する学習をやり直すことになるため、やはり長い時間がかかってしまう。
【0008】
また、撮影画像、すなわち薬剤の外見を基に薬剤の識別を行う場合、ラベルや包装のデザインが変更されるだけでもＡＩモデルにとっては新規の薬剤とみなされてしまうため、デザイン変更のたびに学習のやり直しが必要となってしまう。
【0009】
ところで、例えば薬局においては患者に対して迅速に薬剤の交付を行うことが求められる。その薬局において、薬剤包装のデザイン変更などに伴うＡＩモデルの学習のやり直しが必要になると、その学習の間、薬剤識別システムを用いた薬剤の識別を行うことができないため、長い時間にわたり薬剤の交付が行なえない事態が生じてしまう。
【0010】
以上のような問題に鑑み、本発明は、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムにおいて、撮影画像に基づく薬剤の識別を迅速に行うことが可能な薬剤識別システムを提供することを課題とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明に係る実施形態の一例としての薬剤識別システムは、薬剤を撮影した撮影画像の画像認識を行うことにより、撮影された薬剤の識別を行う薬剤識別システムにおいて、撮影画像から特徴値を抽出する特徴値抽出部と、撮影画像に含まれる薬剤の識別を行う薬剤識別部と、を備え、前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行うことを特徴とする。
【0012】
また好ましくは、前記薬剤識別部は、前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合に、前記未知薬剤の存在をユーザに対して表示するとよい。
【0013】
また好ましくは、前記薬剤識別部は、前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合、および／または誤識別を行った場合に、前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加するとよい。
【0014】
また、前記薬剤識別システムが医療機関の処方箋システムにおいて利用されるものである場合には、医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、前記薬剤識別部は、前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させるとよい。
【発明の効果】
【0015】
本発明に係る実施形態の一例としての薬剤識別システムによれば、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルが用いられるため、どのような撮影画像に対してもＡＩモデルはアルゴリズムに基づいて特徴値を抽出することが可能である。したがって、新規薬剤の流通開始や薬剤包装のデザイン変更のたびにＡＩモデルの学習をやり直す必要がない。そのため、薬剤の流通事情に左右されず、常に撮影画像を用いた薬剤の識別を迅速に行うことが可能で、薬局においては患者に対する薬剤の交付が滞ることを防止できる。
【図面の簡単な説明】
【0016】
【図1】本発明に係る実施形態の一例としての薬剤識別システムの構成を概略的に示すブロック図。
【発明を実施するための形態】
【0017】
図１のブロック図に、本発明に係る実施形態の一例としての薬剤識別システム１０の構成を概略的に示す。この薬剤識別システム１０において識別対象となる薬剤１２の例として、図１には錠剤が収められたＰＴＰシート１３（１枚１０錠入り）と、散剤（粉薬）が収められたＳＰ包装１４（４包１セット）が示されている。
【0018】
図１に示す薬剤識別システム１０は、薬剤１２の画像を撮影する撮影部２０と、撮影部２０が撮影した撮影画像から特徴値を抽出する特徴値抽出部３０と、撮影画像に含まれる薬剤１２を識別する薬剤識別部４０と、識別結果を表示するためのモニタ６０と、を備えている。
【0019】
これらの構成要素は１つの機器にまとめて組み込まれていてもよいし、複数の機器に分かれて配置されていてもよい。例えばスマートフォンの画面をモニタ６０、そのスマートフォンに組み込まれたカメラを撮影部２０、メモリやプロセッサを他の構成要素として、薬剤識別システム１０が１つのスマートフォンで構築されるようになっていてもよい。あるいは、薬剤識別システム１０がネットワーク（インターネットなど）上に構築されたものであり、ネットワークを介して接続された複数の機器のそれぞれが構成要素の一つ一つとして機能するようになっており、様々な場所の機器から薬剤識別システム１０を利用可能な構成であってもよい。
【0020】
（基本的動作）
この薬剤識別システム１０を用いて識別作業を行おうとするユーザ（作業者）はまず、撮影部２０によって薬剤１２（薬剤１２を含む領域）を撮影して、撮影画像を取得する。そして、この撮影画像が特徴値抽出部３０へ入力される。特徴値抽出部３０はＡＩモデル３２（実体としては、ＡＩモデル３２のデータを記憶する記憶装置）を備えており、このＡＩモデル３２を用いて、撮影画像から特徴値を抽出する。
この薬剤識別システム１０を用いて識別作業を行おうとするユーザ（作業者）はまず、撮影部２０によって薬剤１２（薬剤１２を含む領域）を撮影して、撮影画像を取得する。そして、この撮影画像が特徴値抽出部３０へ入力される。特徴値抽出部３０はＡＩモデル３２（実体としては、ＡＩモデル３２のデータを記憶する記憶装置）を備えており、このＡＩモデル３２を用いて、撮影画像から特徴値を抽出する。
【0021】
詳細については後述するが、ＡＩモデル３２は撮影画像を入力データとして、それに対応する特徴値を出力データとして返す入出力関係を記述したモデルである。本実施形態においては、撮影画像から特徴値を抽出する、という作業は、特徴値抽出部３０がＡＩモデル３２に撮影画像を入力して、撮影画像に対応する出力として返ってきた特徴値を得ることを意味する。なお、特徴値は撮影画像に含まれる図形毎に抽出されるものであり、図１のように撮影対象の図形が複数（ＰＴＰシート１３とＳＰ包装１４の２つ）存在するならば、それぞれの図形に対応する特徴値が別々に抽出される。図１の場合であれば、ＰＴＰシート１３に関する特徴値と、ＳＰ包装１４に関する特徴値とが抽出される。
【0022】
特徴値抽出部３０にて抽出された特徴値は薬剤識別部４０へ送信される。薬剤識別部４０は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リスト４２（薬剤特徴リスト４２のデータを記憶する記憶装置）を備えている。
【0023】
薬剤特徴リスト４２には、ＡＩモデル３２が出力し得る特徴値と、その特徴値に対応する薬剤の識別情報（薬剤の製品名などの、薬剤の種類を特定する情報）が列挙されている。薬剤識別部４０は、この薬剤特徴リスト４２と、特徴値抽出部３０が抽出した撮影画像の特徴値との比較に基づいて、撮影画像に含まれる薬剤の識別を行う。すなわち、特徴値抽出部３０から送信された特徴値と一致する特徴値が薬剤特徴リスト４２に列挙されているならば、薬剤特徴リスト４２内でその特徴値に対応する薬剤が、撮影画像に含まれる薬剤であると識別される。なお、薬剤特徴リスト４２と特徴値との比較に基づく薬剤識別においては、撮影画像から抽出された特徴値が、薬剤特徴リスト４２内に列挙された特徴値と完全には一致しなくとも、ある程度近い値（例えばリスト値の0.95-1.05倍程度の値）であれば、その特徴値を示した薬剤が薬剤特徴リスト４２内の薬剤であると識別してもよい。
【0024】
薬剤識別部４０は、薬剤特徴リスト４２を用いた識別結果をモニタ６０に送信する。モニタ６０は、薬剤識別部４０から送信された識別結果をユーザに向けて表示する。すなわち、撮影部２０によって撮影された薬剤１２に関して、薬剤１２の製品名といった、薬剤１２の種類を特定する情報がモニタ６０に表示される。これにより、薬剤識別システム１０のユーザは、撮影対象の薬剤１２がどのようなものであるか、についての識別結果を知ることができる。
【0025】
（ＡＩモデルによる特徴値抽出について）
本実施形態においては、ＡＩモデル３２として、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みのものが用いられる。ＡＩ（人工知能）を用いた画像認識においては、画像から特徴値を抽出するという手法が用いられることがある。この特徴値は、画像に現れている形状の特徴を数値化したものであり、多くの場合、人間の視覚では理解できないものであるが、データとして記録することは可能である。そして、機械学習を行うＡＩモデルを用いた画像認識においては、ＡＩモデルが画像から特徴値を抽出するための演算手順（アルゴリズム）が、学習の進行につれて最適化されていく。
本実施形態においては、ＡＩモデル３２として、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みのものが用いられる。ＡＩ（人工知能）を用いた画像認識においては、画像から特徴値を抽出するという手法が用いられることがある。この特徴値は、画像に現れている形状の特徴を数値化したものであり、多くの場合、人間の視覚では理解できないものであるが、データとして記録することは可能である。そして、機械学習を行うＡＩモデルを用いた画像認識においては、ＡＩモデルが画像から特徴値を抽出するための演算手順（アルゴリズム）が、学習の進行につれて最適化されていく。
【0026】
例えば、ＡＩモデルに入力される画像に対応して、ユーザが出力として返ってくることを期待する「正解」のデータがあるとする。ＡＩモデルは、入力画像からどのような特徴値を抽出すれば「正解」を出力しやすくなるかを機械学習の進行につれて学習してゆく。すなわち、機械学習によって、画像から特徴値を抽出するためのアルゴリズムが最適化されていく。
【0027】
本実施形態の薬剤識別システム１０で用いられるＡＩモデル３２の場合、撮影画像に映っている薬剤を適切に識別することが可能なように、予め学習が行われる。例えば、様々な撮影画像と、それらの撮影画像に映っている既知の薬剤の識別情報（製品名など）と、の対応関係が学習データとして使用される。機械学習により、ＡＩモデル３２が撮影画像から特徴値を抽出するためのアルゴリズムと、薬剤に対応する特徴値が列挙された薬剤特徴リスト４２が作成される。このアルゴリズムと薬剤特徴リスト４２は学習の進行につれて最適化されていく。
【0028】
このアルゴリズムと薬剤特徴リスト４２の最適化には時間がかかるため、従来の技術ではＡＩモデルが学習待ちとなって薬剤の識別が滞ることがあったが、本実施形態においては、アルゴリズムが予め学習済みであるＡＩモデル３２と、既知の薬剤に対応する特徴値が列挙された薬剤特徴リスト４２が用いられるため、薬剤識別の際に学習待ちが発生することはなく、迅速に薬剤識別を行うことができる。
【0029】
（未知薬剤が存在する場合）
本実施形態のＡＩモデル３２が使用する学習済みのアルゴリズムは、機械学習において使用された学習データに含まれる既知の薬剤を識別するために最適化されたものである。しかしながら、撮影画像に既知の薬剤ではない薬剤（未知薬剤）が含まれていたとしても、学習済みのアルゴリズムを用いて撮影画像から特徴値を抽出すること自体は可能である。ただし、未知薬剤が撮影画像に含まれていた場合は、抽出された特徴値は薬剤特徴リスト４２に列挙されていないものとなる。
本実施形態のＡＩモデル３２が使用する学習済みのアルゴリズムは、機械学習において使用された学習データに含まれる既知の薬剤を識別するために最適化されたものである。しかしながら、撮影画像に既知の薬剤ではない薬剤（未知薬剤）が含まれていたとしても、学習済みのアルゴリズムを用いて撮影画像から特徴値を抽出すること自体は可能である。ただし、未知薬剤が撮影画像に含まれていた場合は、抽出された特徴値は薬剤特徴リスト４２に列挙されていないものとなる。
【0030】
例えば図１のように撮影対象の薬剤１２がＰＴＰシート１３とＳＰ包装１４であった場合に、ＰＴＰシート１３が既知の薬剤、ＳＰ包装１４が未知薬剤（新製品やパッケージ変更の薬剤）であったとする。このような場合でも、特徴値抽出部３０は、学習済みのアルゴリズムを用いて、ＰＴＰシート１３の特徴値と、ＳＰ包装１４の特徴値をそれぞれ抽出することができる。
【0031】
薬剤識別部４０は、既知の薬剤であるＰＴＰシート１３の特徴値と、未知薬剤であるＳＰ包装１４の特徴値を特徴値抽出部３０から受信した場合には、撮影画像に未知薬剤が含まれていることを示す識別結果を、モニタ６０を介してユーザに対して表示する。すなわち、特徴値抽出部３０は、薬剤特徴リストに列挙されている既知のＰＴＰシート１３の識別情報（製品名など）と、「ＳＰ包装１４は未知薬剤である」ことを示す情報をモニタ６０に送信する。モニタ６０は、ＰＴＰシート１３の（既知の）識別情報と、未知薬剤が撮影画像に含まれていることを示す情報をユーザに向けて表示する。この表示にあたっては、どの薬剤が未知薬剤であるかがユーザにわかるよう、モニタ６０は、未知の特徴値が抽出された図形、ここではＳＰ包装１４の画像を示すとともに、「この薬剤が未知薬剤である」と表示するとよい。
【0032】
（識別結果に誤りがあった場合のユーザによる指摘）
また、画像認識による薬剤識別においては、照明の明るさや薬剤の姿勢などの撮影条件によって、学習データとは異なる姿で薬剤が撮影画像内に現れることがある。この場合、既知の薬剤であっても、薬剤特徴リスト４２に列挙されているものとは異なる特徴値が抽出されることがある。薬剤特徴リスト４２に列挙されているものとは異なる特徴値が抽出された場合、薬剤識別部４０は、既知の薬剤を未知薬剤であると識別したり、あるいは別の（既知の）薬剤であると誤って識別したりといった、誤識別を起こすことがある。このような誤識別が起こった際、ユーザが誤識別に気づいた場合は、今回の識別結果には誤りがあることをユーザが指摘できるようになっているとよい。例えばモニタ６０がタッチパネルディスプレイ（例えばスマートフォンやタブレット端末の画面）である場合に、ユーザが誤った識別結果を示している表示に触れると、「この識別結果を通報しますか」といった、誤識別を指摘するか否かを確認するダイアログが現れて、そのダイアログに対してユーザが肯定的に応答すると、その識別結果が誤識別として薬剤識別部４０に通知される。
また、画像認識による薬剤識別においては、照明の明るさや薬剤の姿勢などの撮影条件によって、学習データとは異なる姿で薬剤が撮影画像内に現れることがある。この場合、既知の薬剤であっても、薬剤特徴リスト４２に列挙されているものとは異なる特徴値が抽出されることがある。薬剤特徴リスト４２に列挙されているものとは異なる特徴値が抽出された場合、薬剤識別部４０は、既知の薬剤を未知薬剤であると識別したり、あるいは別の（既知の）薬剤であると誤って識別したりといった、誤識別を起こすことがある。このような誤識別が起こった際、ユーザが誤識別に気づいた場合は、今回の識別結果には誤りがあることをユーザが指摘できるようになっているとよい。例えばモニタ６０がタッチパネルディスプレイ（例えばスマートフォンやタブレット端末の画面）である場合に、ユーザが誤った識別結果を示している表示に触れると、「この識別結果を通報しますか」といった、誤識別を指摘するか否かを確認するダイアログが現れて、そのダイアログに対してユーザが肯定的に応答すると、その識別結果が誤識別として薬剤識別部４０に通知される。
【0033】
（薬剤特徴リストへの追加）
以上のように、未知の特徴値が抽出された（未知薬剤が撮影画像に含まれている）場合、あるいは識別結果に誤りがあった（誤識別を行った）場合には、薬剤識別部４０は、その未知の特徴値、あるいは誤識別の基となった特徴値を、薬剤特徴リスト４２に追加する。この際に、未知薬剤の識別情報や、誤った識別結果に関する訂正情報がユーザから入力された場合は、薬剤特徴リスト４２には、特徴値とともに、それに対応する正しい識別情報が追加される。薬剤特徴リスト４２に正しい識別情報が追加されていれば、次回以降の識別においては、薬剤識別部４０は追加された特徴値に対して正しい識別情報を返すことが可能となるため、モニタ６０には正しい識別結果が表示されるようになって、未知薬剤や誤識別を含む結果が表示されなくなる。
以上のように、未知の特徴値が抽出された（未知薬剤が撮影画像に含まれている）場合、あるいは識別結果に誤りがあった（誤識別を行った）場合には、薬剤識別部４０は、その未知の特徴値、あるいは誤識別の基となった特徴値を、薬剤特徴リスト４２に追加する。この際に、未知薬剤の識別情報や、誤った識別結果に関する訂正情報がユーザから入力された場合は、薬剤特徴リスト４２には、特徴値とともに、それに対応する正しい識別情報が追加される。薬剤特徴リスト４２に正しい識別情報が追加されていれば、次回以降の識別においては、薬剤識別部４０は追加された特徴値に対して正しい識別情報を返すことが可能となるため、モニタ６０には正しい識別結果が表示されるようになって、未知薬剤や誤識別を含む結果が表示されなくなる。
【0034】
（処方箋システムとの連携）
ここで、図２に示すように、薬剤識別システム１０が医療機関の処方箋システムにおいて利用されるものであると、ユーザが未知薬剤の識別情報や誤識別に関する訂正情報を入力することが容易になる。
ここで、図２に示すように、薬剤識別システム１０が医療機関の処方箋システムにおいて利用されるものであると、ユーザが未知薬剤の識別情報や誤識別に関する訂正情報を入力することが容易になる。
【0035】
医療機関の処方箋システムにおいては、患者に交付される予定の薬剤の情報が記された処方箋データ５０が医師によって発行される。薬剤識別システム１０が処方箋システムにおいて利用される場合、処方箋データ５０が薬剤識別部４０に入力される。図２においては説明のために、処方箋データ５０は薬剤の種類を特定する識別情報（ここでは製品名）と、薬剤の包装形態、薬剤の数量を示すものとしているが、実際の処方箋データは、これと異なる情報や、これより多くの情報を含むものである。
【0036】
この薬剤識別システム１０においても、撮影画像内に未知薬剤が含まれていた場合、あるいは誤識別が発生した場合には、その未知薬剤や誤識別された薬剤の特徴値が薬剤特徴リスト４２に追加される。ここで、図２の薬剤識別部４０は、新しく特徴値を薬剤特徴リスト４２に追加する際に、その特徴値に対応する薬剤が何であるかを、ユーザに選択させることができる。
【0037】
例えばモニタ６０がタッチパネルディスプレイである場合、ユーザが未知薬剤や誤識別の識別結果を示す表示に触れると、「正しい薬剤を選択してください」といった選択を促す表示と共に、処方箋データ５０に記されている薬剤の情報がモニタ６０に表示される。例えば図２に示す例においてＰＴＰシート１３が既知の薬剤、ＳＰ包装１４が未知薬剤とする識別結果がモニタ６０に表示されていた場合、ユーザは処方箋データ５０の中から、ＳＰ包装１４の識別情報として、製品名「ＹＹＹ」を選択する。すると薬剤識別部４０は、撮影画像内のＳＰ包装１４の形状から抽出された特徴値と、製品名「ＹＹＹ」との組み合わせを、薬剤特徴リスト４２に追加する。これにより、次回以降の識別においては、薬剤識別部４０は撮影されたＳＰ包装１４を正しく製品名「ＹＹＹ」と識別することが可能になる。
【0038】
（薬剤識別システム１０による識別の手順）
図３に、図２の薬剤識別システム１０によって行われる薬剤１２の識別の手順（薬剤識別方法の手順）をフローチャートとして示す。まず、医師の発行した処方箋に記された薬剤の情報が処方箋データ５０として薬剤識別部４０に入力される（ステップＳ０１）。次に、撮影部２０によって薬剤１２が撮影されて、撮影画像が得られる（ステップＳ０２）。
図３に、図２の薬剤識別システム１０によって行われる薬剤１２の識別の手順（薬剤識別方法の手順）をフローチャートとして示す。まず、医師の発行した処方箋に記された薬剤の情報が処方箋データ５０として薬剤識別部４０に入力される（ステップＳ０１）。次に、撮影部２０によって薬剤１２が撮影されて、撮影画像が得られる（ステップＳ０２）。
【0039】
この撮影画像が特徴値抽出部３０に入力される。特徴値抽出部３０は特徴値抽出のためのアルゴリズムが予め学習済みのＡＩモデル３２を用いて、入力された撮影画像から特徴値を抽出する（ステップＳ０３）。
【0040】
抽出された特徴値は薬剤識別部４０に送信される。薬剤識別部４０は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リスト４２と、送信された特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行う（ステップＳ０４）。ここで、未知薬剤が撮影画像に含まれていた場合（ステップＳ０５－ＹＥＳ）には、「未知薬剤が存在する」という情報を識別結果に含める（ステップＳ０６）。未知薬剤が存在しない場合（ステップＳ０５－ＮＯ）には、識別結果をそのままモニタ６０に送信する（ステップＳ０７）。
【0041】
識別結果を薬剤識別部４０から受信したモニタ６０は、識別結果を示す情報をユーザに対して表示する（ステップＳ０８）。ここで、識別結果に未知薬剤や誤識別の結果が含まれていなければ（ステップＳ０９－ＮＯ）、ユーザが識別結果を確認することで今回の薬剤識別は終了となる。
【0042】
一方、識別結果に未知薬剤や誤識別の結果が含まれていた場合（ステップＳ０９－ＹＥＳ）には、処方箋データ５０の中から薬剤特徴リスト４２に追加すべきデータをユーザに選択させる。
【0043】
そして薬剤識別部４０が、未知薬剤または誤識別の識別結果の基となった特徴値と、ユーザが選択したデータとの組み合わせを薬剤特徴リスト４２に追加して（ステップＳ１０）、今回の薬剤識別は終了となる。
【0044】
以上のように、本実施形態の薬剤識別システム１０によれば、アルゴリズムが予め学習済みのＡＩモデル３２が用いられるので、学習待ちが発生することなく迅速に薬剤識別を行うことが可能である。したがって、薬局においては患者に対する薬剤の交付が滞ることを防止できる。
【0045】
また、識別対象の薬剤に未知薬剤が含まれていたり、誤識別が発生したり、といった事態が生じても、薬剤識別部４０がその未知薬剤あるいは誤識別の基となった特徴値を薬剤特徴リスト４２に追加するだけで未知薬剤や誤識別への対処が完了する。したがって、新規薬剤の流通開始により識別対象とするべき薬剤の種類が増加したり、ラベルや包装（パッケージ）のデザイン変更により既知薬剤から抽出される特徴値が変化したりしても、ＡＩモデル３２の学習をやり直す必要がないため、長い時間にわたり薬剤の交付が行なえないという事態が防止される。
【符号の説明】
【0046】
１０ 薬剤識別システム
１２ 薬剤
２０ 撮影部
３０ 特徴抽出部
３２ ＡＩモデル
４０ 薬剤識別部
４２ 薬剤特徴リスト
６０ モニタ
１２ 薬剤
２０ 撮影部
３０ 特徴抽出部
３２ ＡＩモデル
４０ 薬剤識別部
４２ 薬剤特徴リスト
６０ モニタ
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2022-11-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
薬剤を撮影した撮影画像の画像認識を行うことにより、撮影された薬剤の識別を行う薬剤識別システムにおいて、
撮影画像から特徴値を抽出する特徴値抽出部と、
撮影画像に含まれる薬剤の識別を行う薬剤識別部と、
を備え、
前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、抽出した特徴値を前記薬剤識別部に送信し、
前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行って、前記薬剤特徴リスト内で撮影画像の特徴値に対応する薬剤が、撮影画像に含まれる薬剤であると識別し、
前記ＡＩモデルは、撮影画像を入力データとして、撮影画像に現れている形状の特徴を数値化した特徴値を抽出して出力データとして返すものであり、撮影画像に既知の薬剤以外の薬剤が含まれている場合は、前記薬剤特徴リストに列挙されているものとは異なる特徴値を抽出するものであること
を特徴とする薬剤識別システム。
撮影画像から特徴値を抽出する特徴値抽出部と、
撮影画像に含まれる薬剤の識別を行う薬剤識別部と、
を備え、
前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、抽出した特徴値を前記薬剤識別部に送信し、
前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行って、前記薬剤特徴リスト内で撮影画像の特徴値に対応する薬剤が、撮影画像に含まれる薬剤であると識別し、
前記ＡＩモデルは、撮影画像を入力データとして、撮影画像に現れている形状の特徴を数値化した特徴値を抽出して出力データとして返すものであり、撮影画像に既知の薬剤以外の薬剤が含まれている場合は、前記薬剤特徴リストに列挙されているものとは異なる特徴値を抽出するものであること
を特徴とする薬剤識別システム。
【請求項2】
前記薬剤識別部は、
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合に、
前記未知薬剤の存在をユーザに対して表示すること
を特徴とする請求項１に記載の薬剤識別システム。
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合に、
前記未知薬剤の存在をユーザに対して表示すること
を特徴とする請求項１に記載の薬剤識別システム。
【請求項3】
前記薬剤識別部は、
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合、および／または誤識別を行った場合に、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加すること
を特徴とする請求項１に記載の薬剤識別システム。
前記薬剤特徴リストと撮影画像の特徴値との比較に基づく識別によって識別することが不能な未知薬剤が撮影画像に含まれている場合、および／または誤識別を行った場合に、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加すること
を特徴とする請求項１に記載の薬剤識別システム。
【請求項4】
前記薬剤識別部は、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、前記未知薬剤および／または誤識別された薬剤の特徴値とともに、ユーザから入力された訂正情報を前記薬剤特徴リストに追加すること
を特徴とする請求項３に記載の薬剤識別システム。
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、前記未知薬剤および／または誤識別された薬剤の特徴値とともに、ユーザから入力された訂正情報を前記薬剤特徴リストに追加すること
を特徴とする請求項３に記載の薬剤識別システム。
【請求項5】
前記薬剤識別システムが医療機関の処方箋システムにおいて利用されるものであり、
医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、
前記薬剤識別部は、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、
追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させて、追加する特徴値と、ユーザが選択したデータとの組み合わせを、前記薬剤情報リストに追加すること
を特徴とする請求項３に記載の薬剤識別システム。
医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、
前記薬剤識別部は、
前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、
追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させて、追加する特徴値と、ユーザが選択したデータとの組み合わせを、前記薬剤情報リストに追加すること
を特徴とする請求項３に記載の薬剤識別システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
上記課題を解決するため、本発明に係る実施形態の一例としての薬剤識別システムは、薬剤を撮影した撮影画像の画像認識を行うことにより、撮影された薬剤の識別を行う薬剤識別システムにおいて、撮影画像から特徴値を抽出する特徴値抽出部と、撮影画像に含まれる薬剤の識別を行う薬剤識別部と、を備え、前記特徴値抽出部は、撮影画像から特徴値を抽出するためのアルゴリズムが予め学習済みであるＡＩモデルを用いて、撮影画像から特徴値を抽出し、抽出した特徴値を前記薬剤識別部に送信し、前記薬剤識別部は、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、前記特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行って、前記薬剤特徴リスト内で撮影画像の特徴値に対応する薬剤が、撮影画像に含まれる薬剤であると識別し、ＡＩモデルは、撮影画像を入力データとして、撮影画像に現れている形状の特徴を数値化した特徴値を抽出して出力データとして返すものであり、撮影画像に既知の薬剤以外の薬剤が含まれている場合は、前記薬剤特徴リストに列挙されているものとは異なる特徴値を抽出するものであることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【0014】
また好ましくは、前記薬剤識別部は、前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、前記未知薬剤および／または誤識別された薬剤の特徴値とともに、ユーザから入力された訂正情報を前記薬剤特徴リストに追加するとよい。また、前記薬剤識別システムが医療機関の処方箋システムにおいて利用されるものである場合には、医師の発行した処方箋に記された薬剤の情報が処方箋データとして前記薬剤識別部に入力されており、前記薬剤識別部は、前記未知薬剤および／または誤識別された薬剤の特徴値を前記薬剤特徴リストに追加する際に、追加する特徴値に対応する薬剤を、前記処方箋データの中からユーザに選択させて、追加する特徴値と、ユーザが選択したデータとの組み合わせを、前記薬剤情報リストに追加するとよい。