IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社コンテックの特許一覧

<>
  • 特開-薬剤識別システム 図1
  • 特開-薬剤識別システム 図2
  • 特開-薬剤識別システム 図3
  • 特開-薬剤識別システム 図4
  • 特開-薬剤識別システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127141
(43)【公開日】2024-09-20
(54)【発明の名称】薬剤識別システム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240912BHJP
   A61J 3/00 20060101ALI20240912BHJP
   G16H 20/10 20180101ALI20240912BHJP
【FI】
G06T7/00 300F
A61J3/00 310K
G16H20/10
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023036082
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】592007601
【氏名又は名称】株式会社コンテック
(74)【代理人】
【識別番号】110001298
【氏名又は名称】弁理士法人森本国際特許事務所
(72)【発明者】
【氏名】高平 賢治
(72)【発明者】
【氏名】川瀬 祥太
【テーマコード(参考)】
4C047
5L096
5L099
【Fターム(参考)】
4C047KK13
4C047KK17
4C047KK28
4C047KK30
5L096BA06
5L096CA02
5L096DA02
5L096FA06
5L096JA11
5L096KA04
5L099AA25
(57)【要約】
【課題】画像認識を用いた薬剤識別システムにおいて、特徴量リストに適切な特徴量の登録を行うことを可能とする。
【解決手段】撮影部12は、薬剤15の撮影画像を撮影する。薬剤識別部30は、撮影画像に写っている薬剤15を識別する。薬剤識別部30は、撮影画像から特徴量を抽出する抽出部34を有する。特徴量リスト22には、既知の薬剤に対応する既知特徴量が列挙されている。選別部24は、抽出部34によって抽出された特徴量が、既知特徴量の近似範囲から外れている場合に、その特徴量を、薬剤識別部30によって識別された薬剤15に対応する新たな特徴量として特徴量リスト22に登録する。
【選択図】図1
【特許請求の範囲】
【請求項1】
薬剤の識別を行う薬剤識別システムにおいて、
前記薬剤の撮影画像を撮影する撮影部と、
前記撮影画像に写っている前記薬剤を識別する薬剤識別部と、
既知の薬剤に対応する既知特徴量が登録された特徴量リストと、
前記特徴量リストに登録されるべきデータを選別する選別部と、
を備え、
前記薬剤識別部は、前記撮影画像から特徴量を抽出する抽出部を有し、
前記選別部は、前記抽出部によって抽出された前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録することが可能であること
を特徴とする薬剤識別システム。
【請求項2】
前記標準画像基準は、前記薬剤の標準的な形状の情報、前記薬剤の標準的な寸法の情報、または前記薬剤の標準的な数量の情報、の少なくとも一つを含むこと
を特徴とする請求項1に記載の薬剤識別システム。
【請求項3】
前記選別部は、
前記抽出部によって抽出された前記特徴量が、前記既知特徴量の近似範囲から外れている場合、かつ、前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、
前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録すること
を特徴とする請求項1に記載の薬剤識別システム。
【請求項4】
前記選別部は、
前記抽出部によって抽出された前記特徴量が、前記薬剤の識別情報を示す識別指標を含む前記撮影画像から抽出されたものである場合、かつ、前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、
前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録すること
を特徴とする請求項1に記載の薬剤識別システム。
【請求項5】
前記薬剤識別部を含む薬剤識別装置と、
複数の前記薬剤識別装置と通信し、かつ、前記特徴量リストを含むサーバと、が設けられており、
複数の前記薬剤識別装置のそれぞれは、前記薬剤識別部の前記抽出部が抽出した前記特徴量を前記サーバへ送信可能であり、
前記サーバは、前記特徴量リストを前記薬剤識別装置へ送信可能であり、
前記薬剤識別装置のうち第1の薬剤識別装置から前記サーバに送信された第1の特徴量が第1の薬剤に対応する新たな特徴量として前記特徴量リストに登録された場合、
前記第1の薬剤識別装置以外の前記薬剤識別装置の前記薬剤識別部は、前記特徴量リストを前記サーバから受信することにより、前記第1の特徴量に対応する前記第1の薬剤を識別することが可能であること
を特徴とする請求項1に記載の薬剤識別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムに関するものである。
【背景技術】
【0002】
薬局などの、薬剤を取り扱う施設において、薬剤の機械的な識別が求められることがある。例えば、処方箋に基づいて取り揃えられた薬剤が実際に処方箋の処方内容と合致しているか否かを、作業者(薬剤師など)とは別の主体によって判定するために、薬剤の機械的な識別を行う装置(薬剤鑑査装置)が用いられることがある。こうした装置を用いることにより、患者に対する薬剤の交付における作業ミスを防止することができる。
【0003】
特許文献1には、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムが記載されている。特許文献1に記載された薬剤識別システムにおいては、特徴値抽出部がAIモデルを用いて撮影画像から特徴値を抽出する。このAIモデルは、撮影画像から特徴値を抽出するためのアルゴリズムを予め学習済みである。そして薬剤識別部が、既知の薬剤に対応する特徴値が列挙された薬剤特徴リストと、特徴値抽出部が抽出した撮影画像の特徴値との比較に基づき、撮影画像に含まれる薬剤の識別を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2023-005928号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の薬剤識別システムは、抽出された特徴値と薬剤特徴リストとの比較に基づく識別では識別できない未知薬剤の特徴値を、薬剤特徴リストに登録することも可能である。
【0006】
しかしながら、撮影画像の状態によっては、未知薬剤の特徴値(特徴量)を薬剤特徴リストに登録すべきでない場合がある。例えば、撮影画像に写っている薬剤が1シートの薬剤から一部が切り離された切れ端の薬剤である場合、その撮影画像から抽出された特徴量は薬剤特徴リストに登録されるべきではない。切れ端の薬剤の特徴量が薬剤特徴リストに登録されたとしても、その特徴量は、1シート全体の薬剤を写した撮影画像から抽出される特徴量とは異なる特徴量となる。したがって薬剤識別システムは、切れ端の薬剤の特徴量が薬剤特徴リストに登録されても、その特徴量を、1シート全体の薬剤の識別に利用することができない。
【0007】
また、薬剤に輪ゴムのような付属物が取り付けられている場合も、その付属物が取り付けられた薬剤を写した撮影画像から抽出される特徴量は薬剤特徴リストに登録されるべきではない。付属物が取り付けられた薬剤を写した撮影画像から抽出される特徴量が薬剤特徴リストに登録されたとしても、薬剤識別システムは、その特徴量を、付属物の取り付けられていない薬剤の識別に利用することができないからである。
【0008】
以上のような問題に鑑み、本発明は、薬剤を撮影した撮影画像の画像認識を行うことにより撮影された薬剤の識別を行う薬剤識別システムにおいて、特徴量リストに適切な特徴量の登録を行うことが可能な薬剤識別システムを提供することを課題とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明に係る実施形態の一例としての薬剤識別システムは、薬剤の識別を行う薬剤識別システムにおいて、前記薬剤の撮影画像を撮影する撮影部と、前記撮影画像に写っている前記薬剤を識別する薬剤識別部と、既知の薬剤に対応する既知特徴量が登録された特徴量リストと、前記特徴量リストに登録されるべきデータを選別する選別部と、備え、前記薬剤識別部は、前記撮影画像から特徴量を抽出する抽出部を有し、前記選別部は、前記抽出部によって抽出された前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録することが可能であることを特徴とする。
【0010】
また好ましくは、前記標準画像基準は、前記薬剤の標準的な形状の情報、前記薬剤の標準的な寸法の情報、または前記薬剤の標準的な数量の情報、の少なくとも一つを含むとよい。
【0011】
また好ましくは、前記選別部は、前記抽出部によって抽出された前記特徴量が、前記既知特徴量の近似範囲から外れている場合、かつ、前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録するとよい。
【0012】
また好ましくは、前記選別部は、前記抽出部によって抽出された前記特徴量が、前記薬剤の識別情報を示す識別指標を含む前記撮影画像から抽出されたものである場合、かつ、前記特徴量が、予め定められた標準画像基準を満たす前記撮影画像から抽出されたものである場合に、前記特徴量を、前記薬剤識別部によって識別された前記薬剤に対応する新たな特徴量として前記特徴量リストに登録するとよい。
【0013】
また好ましくは、前記薬剤識別部を含む薬剤識別装置と、複数の前記薬剤識別装置と通信し、かつ、前記特徴量リストを含むサーバと、が設けられており、複数の前記薬剤識別装置のそれぞれは、前記薬剤識別部の前記抽出部が抽出した前記特徴量を前記サーバへ送信可能であり、前記サーバは、前記特徴量リストを前記薬剤識別装置へ送信可能であり、前記薬剤識別装置のうち第1の薬剤識別装置から前記サーバに送信された第1の特徴量が第1の薬剤に対応する新たな特徴量として前記特徴量リストに登録された場合、前記第1の薬剤識別装置以外の前記薬剤識別装置の前記薬剤識別部は、前記特徴量リストを前記サーバから受信することにより、前記第1の特徴量に対応する前記第1の薬剤を識別することが可能であるとよい。
【発明の効果】
【0014】
本発明に係る実施形態の一例としての薬剤識別システムによれば、標準画像基準を満たす撮影画像から抽出された、適切な特徴量が、特徴量リストに登録される。
【図面の簡単な説明】
【0015】
図1】本発明に係る実施形態の一例としての薬剤識別システムの構成を概略的に示すブロック図。
図2】薬剤の識別の流れを示すフローチャート。
図3】選別部に送信されるデータの一例を示す図。
図4】特徴量リストの一例を示す図。
図5】特徴量の選別の流れを示すフローチャート。
【0016】
図1のブロック図に、本発明に係る実施形態の一例としての薬剤識別システム10の構成が概略的に示されている。この薬剤識別システム10において識別対象となる薬剤の例として、図1には錠剤17が収められたPTPシート16(PTP:Press Through Package)が示されている。
【0017】
図1のPTPシート16においては、1シートに10錠の錠剤が含まれる。PTPシート16は図1において、表面(表側の面)が示されている。表面は、透明なポケット部を通じて個別の錠剤17が外部から視認できる面である。
【0018】
また図1には、識別指標19を含むPTPシート18が示されている。識別指標19とは、PTPシート18に収められた錠剤(薬剤)の識別情報を、文字列、図形、模様などの形状、あるいは色彩などの外見的特性によって示す一種のマークである。なお識別情報とは、製品名、製品コード番号などの、薬剤の種類を特定する情報である。識別指標19の例としては、薬剤の識別情報を示すバーコード、二次元コードなどが挙げられる。あるいは、薬剤の名称を示す文字列が識別指標19として用いられてもよい。PTPシート18は図1において、裏面(裏側の面)が示されている。裏面は、個別の錠剤が外部から視認できない面である。PTPシート18の裏面には、例えばバーコードなどのマーク、あるいは薬剤の名称を示す文字列などの識別指標19が記されている。
【0019】
以下においては、PTPシート16およびPTPシート18のような、複数の薬剤と、それらの薬剤を覆う薬剤包装とが合わさった集合体を、まとめて薬剤と呼ぶ。また、本実施形態においては、薬剤識別システム10による識別対象となるPTPシート16およびPTPシート18を、まとめて薬剤15と呼ぶ。
【0020】
図1に示す薬剤識別システム10には、薬剤識別装置11と、サーバ20とが設けられている。薬剤識別装置11は、薬剤15の識別が行われる施設、例えば薬局に配置される装置である。薬剤識別装置11は、薬剤15の撮影画像を撮影する撮影部12と、撮影部12が撮影した撮影画像に写っている薬剤15を識別する薬剤識別部30とを備える。また薬剤識別装置11は、サーバ20との通信を行う通信部14と、各種情報を記憶する記憶部40と、ユーザに対して情報を表示する表示部51と、ユーザからの入力を受け付ける入力部52とを備える。
【0021】
薬剤識別装置11のこれらの構成要素は1つの機器にまとめて組み込まれていてもよいし、複数の機器に分かれて配置されていてもよい。例えばスマートフォンの画面を表示部51、そのスマートフォンに組み込まれたカメラを撮影部12、スマートフォンのメモリやプロセッサを他の構成要素として、薬剤識別装置11が1つのスマートフォンで構築されるようになっていてもよい。あるいは、薬剤識別装置11がネットワーク(インターネットなど)上に構築されたものであり、ネットワークを介して接続された複数の機器のそれぞれが構成要素の一つ一つとして機能するようになっており、ユーザが様々な場所の機器から薬剤識別装置11を利用可能な構成であってもよい。
【0022】
サーバ20は、薬剤識別装置11と通信可能な装置である。サーバ20は、薬剤識別装置11から送信されるデータのとりまとめを行う。サーバ20は例えば、複数の薬局が所属する団体において、団体を代表する拠点(本拠地)に設けられる。サーバ20は、既知の薬剤15に対応する既知特徴量が登録された特徴量リスト22と、特徴量リスト22に登録されるべきデータを選別する選別部24とを備える。サーバ20は、各種情報を記憶する記憶装置(例えばRAM、ROM、あるいはハードディスクドライブなどのストレージ機器)と、CPUなどのプロセッサとを含む。特徴量リスト22はサーバ20の記憶装置に記憶される。また記憶装置に記憶されているプログラムデータがサーバ20のプロセッサによって実行されることで、サーバ20のプロセッサが選別部24として機能する。
【0023】
サーバ20は例えば、インターネットなどのコンピュータネットワークを介して薬剤識別装置11と通信する。図示の簡略化のため、図1には薬剤識別装置11が1つだけ示されているが、1つのサーバ20に対して、薬剤識別装置11が複数設けられていることが好ましい。例えば、複数の薬局のそれぞれに薬剤識別装置11が1つずつ設けられて、サーバ20が複数の薬局と通信するとよい。なお、1つの薬局に複数の薬剤識別装置11が設けられていてもよい。
【0024】
薬剤識別装置11の各構成要素について説明する。薬剤識別装置11の撮影部12は例えば、CCDカメラ(CCD:Charge Coupled Device)、あるいはCMOSカメラ(CMOS:Complementary Metal Oxide Semiconductor)などの、イメージセンサを備えたカメラ装置を含む。
【0025】
薬剤識別装置11の通信部14は、イーサネットなどの通信プロトコルに従って、薬剤識別装置11と薬剤識別装置11の外部の装置(サーバ20など)との間での通信を行うための通信インタフェースユニットを含む。通信部14とサーバ20との間の通信は、通信部14とサーバ20との間を接続する通信ケーブルを介した有線通信によって行われてもよいし、電磁波による無線通信で行われてもよい。
【0026】
薬剤識別装置11の薬剤識別部30は、撮影部12が撮影した撮影画像に対する画像処理を行い、撮影画像に写っている薬剤15を識別するユニットである。例えば、薬剤識別装置11の備えるCPU(Central Processing Unit)などのプロセッサが、記憶部40に記憶されているプログラムデータを実行することで、そのプロセッサが薬剤識別部30として機能する。図1の薬剤識別部30は、画像認識部32と、抽出部34と、照合部36とを含む。画像認識部32、抽出部34、照合部36はそれぞれ、薬剤識別部30の機能の一部を実現する。例えば、薬剤識別部30のプロセッサが、画像認識部32、抽出部34、照合部36に対応するプログラムデータを実行することで、プロセッサが画像認識部32、抽出部34、照合部36として機能する。
【0027】
画像認識部32は、撮影画像に対して画像認識を行うことで、撮影画像に含まれている薬剤15の、外見的特性を調べる。抽出部34は、撮影画像から薬剤15の特徴量を抽出する。照合部36は、抽出部34の抽出した特徴量と、記憶部40に記憶されている薬剤特徴リスト44とを照合する。
【0028】
薬剤識別装置11の記憶部40は、RAM(Random Access Memory)またはROM(Read Only Memory)などの記憶装置を含む。記憶部40は、薬剤識別部30のプロセッサによって実行されるプログラムデータのほかに、AIモデル42(AI:Artificial Intelligence)と、薬剤特徴リスト44とを含む。
【0029】
AIモデル42は、撮影画像を入力データとして、それに対応する特徴量を出力データとして返す入出力関係を記述したモデルである。薬剤特徴リスト44は、AIモデル42が出力し得る特徴量と、その特徴量に対応する薬剤の識別情報(薬剤の製品名などの、薬剤の種類を特定する情報)が登録されたリストである。
【0030】
薬剤識別装置11の表示部51は、ユーザに対して各種情報を表示する。例えば、薬剤識別部30が撮影画像に写っている薬剤15を識別した後、その識別結果が表示部51に表示される。表示部51は、例えば液晶ディスプレイである。
【0031】
薬剤識別装置11の入力部52は、ユーザからの入力を受け付ける。例えば、識別結果が表示部51に表示されたとき、ユーザはその識別結果が正しければ、表示部51に表示される「確認」ボタンを押下するなどの、識別結果を承認するための操作を、入力部52を介して行うとよい。また、識別結果が正しくない場合には、ユーザは入力部52を介して正しい情報を薬剤識別装置11に入力するとよい。入力部52は、例えばキーボードおよびマウスである。また入力部52は例えば、表示部51と一体化したタッチパネルであってもよい。
【0032】
次に図2を参照して、薬剤識別システム10において行われる処理の大まかな流れについて説明する。図2には、薬剤15の識別の流れを示すフローチャートが示されている。まず、ステップS10において、撮影部12が、薬剤15を撮影して撮影画像を作成する。そして、撮影画像は薬剤識別部30に送信される。
【0033】
薬剤識別部30はステップS11において、撮影画像に対する画像処理を行い、撮影画像に写っている薬剤15を識別する。識別結果は表示部51に表示される。ユーザが識別結果を確認した後、ステップS12において、薬剤識別部30は撮影画像と識別結果を含むデータをサーバ20の選別部24へ送信する。ここで、データ送信は識別が一件完了するごとに行われてもよいし、複数件の識別が完了したときに、複数件のデータがまとめて送信されてもよい。
【0034】
図3に、薬剤識別部30から選別部24へ送信される送信データ60の一例が示されている。送信データ60には、撮影画像の画像ファイルデータと、撮影画像から抽出された特徴量と、撮影画像に識別指標が含まれているか否かの情報と、抽出された特徴量に対応する薬剤の識別情報と、が含まれている。
【0035】
図3には、「XXX.jpg」という画像ファイル名を有する撮影画像と、「YYY.jpg」という画像ファイル名を有する撮影画像に関する送信データ60の例が示されている。図3において、撮影画像「XXX.jpg」から抽出された特徴量は「X」であり、撮影画像「XXX.jpg」には識別指標が含まれており(「あり」)、特徴量「X」に対応する薬剤(すなわち、写っている薬剤15)は「薬剤A」である。同様に、撮影画像「YYY.jpg」から抽出された特徴量は「Y」であり、撮影画像「YYY.jpg」には識別指標が含まれておらず(「なし」)、特徴量「Y」に対応する薬剤は「薬剤B」である。
【0036】
図2のステップS12において、図3のような送信データ60が選別部24に送信される。選別部24はステップS13において、送信されたデータから、特徴量リスト22に登録されるべきデータを選別する。
【0037】
選別部24は、抽出部34によって抽出された特徴量が、予め定められた標準画像基準を満たす撮影画像から抽出されたものであるか否かを判定する。すなわち、送信データ60に含まれる撮影画像の画像ファイルデータ(撮影画像「XXX.jpg」、「YYY.jpg」など)が、特定の基準を満たすか否かが判定される。
【0038】
予め定められた標準画像基準とは、薬剤15を撮影した画像として標準的な画像と言えるかどうかの基準である。標準的な画像とは、それに対応する特徴量を特徴量リスト22に登録することで、薬剤15に対する以後の識別精度が向上することが見込まれる画像である。具体例としては、薬剤15の薬剤包装に欠けがなく(シートの一部が切り取られておらず)、付属物(輪ゴムなど)が取り付けられていない薬剤15が写っている撮影画像が、標準的な画像である。
【0039】
抽出部34によって抽出された特徴量が、予め定められた標準画像基準を満たす撮影画像から抽出されたものであれば、選別部24はステップS14において、その特徴量と対応薬剤の情報(特徴量に対応する薬剤の識別情報)との組み合わせ情報を、特徴量リスト22に登録する。
【0040】
図4には、特徴量リスト22の一例が示されている。「薬剤A」に対応する特徴量としては「M」、「N」などが、「薬剤B」に対応する特徴量としては「P」、「Q」などが登録されている。図3の撮影画像「XXX.jpg」、「YYY.jpg」が標準画像基準を満たすものであった場合、それぞれの特徴量「X」、「Y」が、それぞれ「薬剤A」、「薬剤B」に対応する新たな特徴量として特徴量リスト22に登録される。
【0041】
次に、薬剤識別部30が撮影画像に写っている薬剤15を識別する処理(図2のステップS11)の詳細について説明する。図1に示されている、薬剤識別部30の画像認識部32は、撮影画像に対して画像認識を行うことで、撮影画像に含まれている薬剤15の、外見的特性を調べる。画像認識部32は例えば、撮影画像内の薬剤15に、予め定められた外見的特性を示す部分が含まれているか否かを確認する。具体的には、画像認識部32は、撮影画像にバーコード、文字列などの識別指標19が含まれているか否かを確認する。画像認識部32は例えば、薬剤15の撮影画像を複数の部分入力画像に分割し、各部分入力画像を予め用意された複数種類のモデル画像と比較し、部分入力画像に類似するモデル画像を決定する。そして、画像認識部32は、部分入力画像に類似するモデル画像に割り当てられた情報を、薬剤15の外見的特性に関する情報として取得することができる。例えば薬剤15の部分入力画像が、バーコードまたは二次元コードのパターン画像、または文字列などのモデル画像に類似していれば、画像認識部32は、撮影画像に識別指標19が含まれていると認識することができる。撮影画像に識別指標19が含まれている場合、画像認識部32は、識別指標19の示す識別情報を取得することが好ましい。また、画像認識部32は、撮影画像に識別指標19が含まれているか否かを確認するにあたり、バーコード、二次元コード、文字列などを読み取るソフトウェアで使用される一般的なAPI(Application Programming Interface)を用いてもよい。
【0042】
また、画像認識部32は、薬剤15の外見的特性として、薬剤15の寸法を計測してもよい。具体的には、画像認識部32は、薬剤包装(例えばPTPシート16、PTPシート18など)の短辺の長さ、および長辺の長さを、撮影画像に写っている薬剤15の形状を基に算出するとよい。また画像認識部32は、薬剤15の縦横比(薬剤包装の短辺と長辺との比)を算出してもよい。また、画像認識部32は、AR技術(AR:Augmented Reality)を用いて薬剤15の寸法を計測してもよい。例えば、画像認識部32は、計算処理によって作成された計測用の図形(コンピュータグラフィックス)を撮影画像内の薬剤15に重ね合わせ、撮影画像内で薬剤15の大きさと計測用の図形が一致するまで、計測用の図形の寸法を調節する。そして、計測用の図形が薬剤15の大きさと一致したときの、計測用の図形の寸法を、薬剤15の寸法として算出する。
【0043】
画像認識部32が薬剤15の寸法を算出する方法の一例を説明する。画像認識部32は例えば、撮影画像内の色彩の変化率を基にして、薬剤15(薬剤包装)と背景との境界線、すなわち薬剤15の輪郭を特定する。そして、画像認識部32は、撮影画像における薬剤15の輪郭の長さに基づいて、薬剤15の実際の寸法の値を算出する。例えば撮影画像に、寸法の基準を示す基準体(単位寸法を示す目盛りなど)が含まれていれば、画像認識部32は、撮影画像内における指標体と薬剤15との大きさの比較により、薬剤15の実際の寸法を算出することができる。また、撮影部12と被写体との距離などの、撮影倍率(撮影画像内での被写体の大きさと、被写体の実際の大きさとの比率)に影響を及ぼす撮影条件が、撮影部12が固定されているなどの原因で特定可能であるならば、画像認識部32は、撮影条件を基にして、撮影画像に含まれる薬剤15の実際の寸法を算出することができる。また、撮影倍率が不明な場合であっても、画像認識部32は、薬剤15の輪郭の長さに基づいて、薬剤15の縦横比を算出することが可能である。
【0044】
薬剤識別部30の抽出部34は、記憶部40のAIモデル42を用いて、撮影画像から薬剤15の特徴量を抽出する。ここで、AIモデル42は、撮影画像を入力データとして、それに対応する特徴量を出力データとして返す入出力関係を記述したモデルである。特徴量とは、撮影画像に現れている形状、色彩などの視覚的な特徴を数値化したものである。特徴量は多くの場合、人間の感覚では理解できないものであるが、数値化された特徴量のデータは電子情報として記録可能である。撮影画像から特徴量を抽出する、という作業は、抽出部34がAIモデル42に撮影画像を入力して、撮影画像に対応する出力として返ってきた特徴量を得ることを意味する。本実施形態においては、AIモデル42として、撮影画像から特徴量を抽出するためのアルゴリズムが予め学習済みのものが用いられる。
【0045】
本実施形態の薬剤識別システム10で用いられるAIモデル42の場合、撮影画像に映っている薬剤15を適切に識別することが可能なように、予め学習が行われる。例えば、様々な撮影画像と、それらの撮影画像に映っている既知の薬剤15の識別情報(製品名など)と、の対応関係が学習データとして使用される。機械学習により、AIモデル42が撮影画像から特徴量を抽出するためのアルゴリズムと、既知の薬剤15に対応する特徴量が登録された特徴量リスト22が作成される。
【0046】
予め行われた学習によって作成されたアルゴリズムを備えたAIモデル42のデータは、薬剤識別装置11の記憶部40に記憶される。AIモデル42は、撮影画像に既知の薬剤15が含まれている場合でも、含まれていない場合でも、撮影画像を入力として受け付けると、何らかの特徴量を出力する。したがって、抽出部34は、どのような撮影画像からでも何らかの特徴量を抽出することができる。
【0047】
なお、予め行われた学習によって作成された特徴量リスト22は、サーバ20に記憶される。特徴量リスト22には、既知の薬剤15に対応する特徴量、すなわち既知特徴量が登録されている。
【0048】
薬剤識別部30の照合部36は、抽出部34の抽出した特徴量と、薬剤特徴リスト44とを照合する。薬剤特徴リスト44には、AIモデル42が出力し得る特徴量と、その特徴量に対応する薬剤の識別情報(薬剤の製品名などの、薬剤の種類を特定する情報)が登録されている。
【0049】
例えば、薬剤識別装置11はサーバ20と通信して、特徴量リスト22のデータを受信し、そのデータを初期状態の薬剤特徴リスト44として記憶部40に記憶する。さらに、薬剤識別装置11のユーザは、特徴量リスト22に登録されていない薬剤15の情報を、薬剤特徴リスト44に登録していく。例えば、薬剤識別装置11が配置された薬局において、他の薬局では取り扱っていない独自の薬剤15が取り扱われている場合、ユーザはその独自の薬剤15の情報を薬剤特徴リスト44に登録するとよい。ユーザが薬剤特徴リスト44に薬剤15の情報を登録することについては後述する。
【0050】
抽出部34が抽出した特徴量は、照合部36に送信される。照合部36は、薬剤特徴リスト44と、抽出部34が抽出した特徴量との比較に基づいて、撮影画像に含まれる薬剤の識別を行う。すなわち、抽出部34から送信された特徴量と一致する特徴量が薬剤特徴リスト44に登録されているならば、薬剤特徴リスト44内でその特徴量に対応する薬剤15が、撮影画像に含まれる薬剤15であると識別される。なお、薬剤特徴リスト44と特徴量との比較に基づく薬剤識別においては、撮影画像から抽出された特徴量が、薬剤特徴リスト44内に登録された特徴量と完全には一致しなくとも、ある程度近い値(例えばリスト値の0.95-1.05倍程度の値)であれば、その特徴量を示した薬剤15が薬剤特徴リスト44内の薬剤15であると識別してもよい。
【0051】
薬剤識別部30は、照合部36による照合の結果、すなわち薬剤15の識別結果を表示部51に送信する。また、画像認識部32が、撮影画像に識別指標19が含まれていることを認識した場合には、薬剤識別部30は、その識別指標19が示す識別情報を、薬剤15の識別結果として表示部51に送信する。表示部51は、薬剤識別部30から送信された識別結果をユーザに向けて表示する。すなわち、撮影部12によって撮影された薬剤15に関して、薬剤15の製品名といった、薬剤15の種類を特定する情報が表示部51に表示される。これにより、薬剤識別システム10のユーザは、撮影対象の薬剤15がどのようなものであるか、についての識別結果を知ることができる。
【0052】
なお、抽出部34は、薬剤特徴リスト44に登録されていない特徴量を撮影画像から抽出することがある。例えば、撮影画像に含まれる薬剤15が、既知の薬剤ではない薬剤(未知薬剤)である場合には、抽出部34が抽出する特徴量は、既知の薬剤のいずれとも異なる特徴量、すなわち薬剤特徴リスト44に登録されていない特徴量となる。また、市販の薬剤においては、薬剤包装(パッケージ)が変更されることがある。撮影画像に含まれる薬剤15の種類が既知のものであったとしても、薬剤包装が変更されていると、抽出部34が抽出する特徴量は、薬剤特徴リスト44に登録されていない特徴量となる。
【0053】
照合部36は、薬剤特徴リスト44に登録されていない特徴量を抽出部34から受信した場合には、撮影画像に未知薬剤(または薬剤包装の変更された薬剤)が含まれていることを示す識別結果を、表示部51に表示させる。
【0054】
また、画像認識による薬剤識別においては、照明の明るさや薬剤の姿勢などの撮影条件によって、学習データとは異なる姿で薬剤が撮影画像内に現れることがある。この場合、既知の薬剤であっても、薬剤特徴リスト44に登録されているものとは異なる特徴量が抽出されることがある。薬剤特徴リスト44に登録されているものとは異なる特徴量が抽出された場合、薬剤識別部30は、既知の薬剤を未知薬剤であると識別したり、あるいは別の(既知の)薬剤であると誤って識別したりといった、誤識別を起こすことがある。このような誤識別が起こった際、ユーザが誤識別に気づいた場合は、今回の識別結果には誤りがあることをユーザが指摘できるようになっているとよい。例えば表示部51がタッチパネルディスプレイ(例えばスマートフォンやタブレット端末の画面)である場合に、ユーザが誤った識別結果を示している表示に触れると、「この識別結果を通報しますか」といった、誤識別を指摘するか否かを確認するダイアログが現れて、そのダイアログに対してユーザが肯定的に応答すると、その識別結果が誤識別として薬剤識別部30に通知される。
【0055】
以上のように、未知の特徴量が抽出された(未知薬剤が撮影画像に含まれている)場合、あるいは識別結果に誤りがあった(誤識別を行った)場合には、薬剤識別部30は、その未知の特徴量、あるいは誤識別の基となった特徴量を、薬剤特徴リスト44に追加する。この際に、未知薬剤の識別情報や、誤った識別結果に関する訂正情報がユーザから入力された場合は、薬剤特徴リスト44には、特徴量とともに、それに対応する正しい識別情報が追加される。すなわち、ユーザは薬剤特徴リスト44に、新しい薬剤の情報、あるいは既知の薬剤に対応する新しい特徴量を登録する。薬剤特徴リスト44に正しい識別情報が追加されていれば、次回以降の識別においては、薬剤識別部30は追加された特徴量に対して正しい識別情報を返すことが可能となる。
【0056】
そして、薬剤15の識別完了後、薬剤識別部30は、識別結果を含む送信データ60を選別部24に送信する。すなわち、薬剤特徴リスト44に登録された新しい薬剤およびそれに対応する特徴量のデータ、あるいは、既知の薬剤に対応する新しい特徴量のデータが選別部24に送信される。選別部24は、送信データ60に新しい特徴量(特徴量リスト22に登録済みの特徴量から乖離した特徴量)が含まれている場合、その特徴量が標準画像基準を満たす撮影画像から抽出されたものであれば、新しい特徴量を、その特徴量に対応する薬剤の識別情報と共に、特徴量リスト22へ登録する。
【0057】
次に、図5を参照して、選別部24が特徴量リスト22に登録されるべきデータを選別する処理(図2のステップS13)の詳細について説明する。図5には、特徴量の選別の流れを示すフローチャートが示されている。
【0058】
選別部24は大まかに言えば、欠けがなく、かつ付属物の付いていない薬剤15の撮影画像から抽出された特徴量であって、特徴量リスト22に既に登録されているものとは異なる特徴量を特徴量リスト22に登録する。
【0059】
まずステップS20において、図3に示されているような送信データ60が薬剤識別部30から選別部24へ送信されることで、選別が開始される。選別部24はステップS21において、特徴量が識別指標19を含む撮影画像から抽出されたものであるか否かを判定する。撮影画像に識別指標19が含まれている場合(ステップS21でYES)、選別部24は後述のステップS23へ進む。
【0060】
撮影画像に識別指標19が含まれていない場合(ステップS21でNO)、選別部24はステップS22へ進み、薬剤識別部30から送信された特徴量が、特徴量リスト22に登録されている既知特徴量の近似範囲外であるか否かを判定する。既知特徴量の近似範囲とは、薬剤識別部30のAIモデル42が、入力された特徴量に対して、その特徴量が既知の薬剤に対応するものであると判定する範囲である。
【0061】
薬剤識別部30から送信された特徴量が、既知特徴量の近似範囲内(例えば既知特徴量の0.95-1.05倍程度の値)である場合(ステップS22でNO)、選別部24はステップS25に進み、選別を終了する。
【0062】
一方、薬剤識別部30から送信された特徴量が、既知特徴量の近似範囲外である場合(ステップS22でYES)、すなわち既知特徴量から乖離している場合、選別部24はステップS23へ進む。なお、既知特徴量の近似範囲がどの程度か(既知特徴量からどの程度離れていれば乖離しているとみなすか)については、薬剤識別システム10の設計者が任意に設定することができる。また、個別の特徴量(およびそれに対応する薬剤の種類)ごとに、近似範囲が個別に設定されてもよい。
【0063】
ステップS23において選別部24は、薬剤識別部30から送信された特徴量が、標準的な撮影画像から抽出されたものであるか否かを判定する。図5のフローチャートにおいては、標準画像基準を満たすか否かの判定対象となる撮影画像は、識別指標19が含まれている撮影画像、または特徴量が既知特徴量の近似範囲外となっている撮影画像である。この判定においては、送信データ60内に含まれる撮影画像について、画像処理が行われ、その撮影画像が、予め定められた標準画像基準を満たすか否かが判定される。
【0064】
サーバ20には、予め標準画像基準のデータが記憶されており、選別部24は、送信データ60に含まれる撮影画像と、標準画像基準のデータとを比較することにより、撮影画像が標準画像基準を満たすか否かを判定する。具体的には、標準画像基準は、薬剤15の標準的な形状の情報、薬剤15の標準的な寸法の情報、または薬剤15の標準的な数量の情報、の少なくとも一つを含むとよい。
【0065】
例えば選別部24は、撮影画像に写っている薬剤15の形状が、標準的な形状の情報(データ)と近似したものであるか否かを判定する。なお、薬剤15の標準的な形状のデータは、サーバ20に予め記憶されている。例えば薬剤15の剤形が1シートに10錠の錠剤が封入されるPTPシート(PTPシート16、PTPシート18)である場合、薬剤15の標準的な形状のデータとして、欠けのない(10錠分の)PTPシートの形状のデータがサーバ20に記憶される。選別部24は、送信データ60に示されている対応薬剤のデータ(製品名などの、薬剤15の種類を特定する情報)に基づいて、薬剤15の標準的な形状のデータと、送信データ60に含まれる撮影画像のデータとを比較する。
【0066】
(輪郭特定)
選別部24は、撮影画像が撮影画像基準を満たすか否かを判定するにあたって、例えば撮影画像内の薬剤15の輪郭を特定することができる。選別部24は例えば、撮影画像内の色彩の変化率を基にして、薬剤15の輪郭を特定することができる。特定された輪郭が、薬剤15の標準的な形状(例えばPTPシートにおいては角の丸まった長方形)と異なっている場合、撮影画像は標準画像基準を満たさないと判定される。なお、薬剤15の輪郭は、薬剤識別部30において特定されてもよい。例えば、記憶部40に、特徴量の抽出を行うAIモデル42とは別に、薬剤15の輪郭を特定する輪郭AIモデル(図示せず)のデータが記憶されているとよい。そして、薬剤識別部30は輪郭AIモデルを用いて特定した薬剤15の輪郭を示すデータを、薬剤15の特徴量と共にサーバ20へ送信するとよい。また、サーバ20の記憶装置に輪郭AIモデルのデータが記憶され、選別部24が輪郭AIモデルを用いて薬剤15の輪郭を特定してもよい。例えば薬剤15に輪ゴムが取り付けられている場合、薬剤15の輪郭とは異なる輪ゴムの輪郭が特定される。したがって薬剤15に輪ゴムが取り付けられていれば、薬剤15の輪郭は標準的な形状と異なるものとなり、撮影画像は標準画像基準を満たさないと判定される。
【0067】
また、薬剤15が欠けのある状態の場合にも、薬剤15の輪郭は標準的な形状と異なるものとなり、撮影画像は標準画像基準を満たさないと判定される。例えば薬剤15の剤形が1シートに10錠の錠剤が封入されるPTPシートである場合、患者に提供される薬剤15の数量に応じて、PTPシートの一部が切り取られることがある。例えば患者に提供される薬剤15が5錠の場合、PTPシートが5錠分だけ切り取られた切れ端が患者に提供される。このような切れ端のシートが撮影画像に写っている場合は、薬剤15の輪郭は標準的な形状と異なるものとなり、撮影画像は標準画像基準を満たさないと判定される。
【0068】
(寸法判定)
また選別部24は、撮影画像に写っている薬剤15の寸法が、標準的な寸法の情報(データ)と近似したものであるか否かを判定してもよい。例えば画像認識部32が薬剤15の寸法を計測した場合には、その計測された寸法が送信データ60に含められる。選別部24は、送信データ60に含まれている薬剤15の寸法が、標準的な寸法の情報(データ)と近似したものであるか否かを判定する。なお、薬剤15の標準的な形状のデータは、サーバ20に予め記憶されている。例えば薬剤15の、薬剤包装(PTPシートなど)の長辺および短辺の長さの値、あるいは薬剤包装の縦横比の値がサーバ20に予め記憶されるとよい。
【0069】
例えば薬剤15が、PTPシートの一部が切り取られた切れ端のシートとなっている場合、その長辺および短辺の長さの値、あるいは縦横比の値は、1シート全体での標準的な寸法の値と異なる。したがって薬剤15として切れ端のシートが撮影画像に写っている場合は、撮影画像は標準画像基準を満たさないと判定される。
【0070】
なお、標準的な寸法の情報は、必ずしもサーバ20に予め記憶されていなくともよく、様々な薬剤15の識別が繰り返される過程で、実際に計測された値がサーバ20に記憶されてもよい。例えば送信データ60において、撮影画像に識別指標19が含まれていることが示されており、かつ薬剤15の寸法の計測値が送信データ60に含まれている場合、サーバ20はその寸法の計測値を、薬剤15の標準的な寸法の情報として記憶するとよい。
【0071】
また選別部24は、撮影画像に写っている薬剤15の数量が、薬剤15の標準的な数量と一致するか否かを判定してもよい。選別部24は、画像処理によって、撮影画像に含まれている薬剤15の数量を計数することができる。例えば、選別部24は、色彩の変化率などを基に、PTPシートに含まれる透明なドーム部の輪郭を特定し、そのドーム部の個数を薬剤15の数量として特定することができる。
【0072】
サーバ20には予め、薬剤15の標準的な数量の値が、薬剤15の種類ごとに記録されている。例えば製品名「薬剤A」の薬剤15が、10錠入りのPTPシートを一単位として販売されている場合、「薬剤A」の標準的な数量は10錠としてサーバ20に記憶される。そして、撮影画像に含まれる薬剤15の数量と、標準的な数量とが比較され、両者が一致しない場合には、撮影画像は標準画像基準を満たさないと判定される。
【0073】
以上のような様々な要素を基に、選別部24は撮影画像が標準画像基準を満たすか否かを判定する。撮影画像のいずれかの要素が標準画像基準を満たしていない場合、撮影画像が標準的なものではない(ステップS23でNO)と判定され、選別部24はステップS25に進み、選別を終了する。
【0074】
一方、撮影画像の様々な要素がいずれも標準画像基準を満たしていた場合、撮影画像は標準的なものである(ステップS23でYES)と判定され、選別部24はステップS24に進む。ステップS24において、選別部24は、薬剤識別部30から送信された特徴量を、薬剤識別部30によって識別された薬剤15に対応する新たな特徴量として、特徴量リスト22に登録する。特徴量リスト22への特徴量の登録が完了したら、選別部24はステップS25に進み、選別を終了する。
【0075】
以上のようにして、選別部24は特徴量リスト22に登録されるべきデータを選別する。以上の処理によれば、特徴量リスト22に登録される特徴量は、特徴量リスト22に既に登録されている既知特徴量の近似範囲外の特徴量、あるいは、識別指標19が含まれている撮影画像から抽出された特徴量となる。
【0076】
既知特徴量の近似範囲外の特徴量とは、例えば薬剤識別装置11のAIモデル42の基礎となる学習データに含まれていなかった、未知の種類の薬剤の特徴量である。また、薬剤15の薬剤包装(パッケージ)が変更された場合には、薬剤15の種類が既知のものであったとしても、既知特徴量の近似範囲外の特徴量が抽出される。また、薬剤15の種類および薬剤包装が既知のものであったとしても、撮影条件(薬剤15の姿勢、照明条件など)が未知の条件の下で撮影された場合には、既知特徴量の近似範囲外の特徴量が抽出される。このような、未知の特徴量を特徴量リスト22に登録しておくことで、以後、この特徴量リスト22を参照することにより、薬剤識別部30は薬剤15を識別しやすくなる。
【0077】
一方、図1に示されているように、識別指標19がPTPシートの裏面に記されている場合には、識別指標19を含む撮影画像は、薬剤15の裏面を撮影した画像となる。一般的にAIモデル42の学習データに用いられる画像は、薬剤15の表面を撮影した撮影画像が使用されることが多い。したがって、薬剤15の裏面を撮影した撮影画像から抽出される特徴量は、既知特徴量とは異なる未知の特徴量となる。裏面の撮影画像から抽出された特徴量が特徴量リスト22に登録されることで、以後、この特徴量リスト22を参照することにより、薬剤識別部30は裏面の撮影画像からでも薬剤15を識別しやすくなる。
【0078】
特に、一つのサーバ20に対して複数の薬剤識別装置11が設けられている場合に、いずれかの薬剤識別装置11において未知の特徴量が抽出された場合には、その未知の特徴量がサーバ20の特徴量リスト22に登録されることが好ましい。なぜならば、複数の薬剤識別装置11から通信可能なサーバ20の特徴量リスト22に未知の特徴量が登録されることで、他の薬剤識別装置11も未知の特徴量に対応する薬剤を識別することが可能になるからである。
【0079】
例えば、複数の薬剤識別装置11のうち、特定の第1の薬剤識別装置11において、未知の特徴量として、特定の第1の薬剤に対応する第1の特徴量が抽出されたとする。そして、第1の薬剤識別装置11からサーバ20に送信された第1の特徴量が、第1の薬剤に対応する新たな特徴量として特徴量リスト22に登録されたとする。この場合、第1の薬剤識別装置11以外の薬剤識別装置は、そのままでは第1の特徴量に対応する第1の薬剤を識別することができないが、特徴量リスト22をサーバ20から受信することにより、第1の薬剤を識別できるようになる。具体的には、薬剤識別装置11以外の薬剤識別装置は、新たな特徴量が登録された特徴量リスト22をサーバ20から受信することにより、薬剤特徴リスト44に新たな特徴量を追加する。すると、その薬剤識別装置の薬剤識別部30は、撮影画像から第1の特徴量が抽出された場合に、その撮影画像に第1の薬剤が写っていると識別することができる。例えば、複数の薬局にそれぞれ薬剤識別装置11が配置されている場合に、いずれかの薬局で新製品の薬剤に対する識別が行われて、その薬剤15の特徴量がサーバ20の特徴量リスト22に登録されたら、他の薬局でも新製品の薬剤の識別が可能となる。
【0080】
なお、以上の実施形態においては、薬剤識別装置11からサーバ20への送信データ60のデータの送信は、通信部14を介して通信により行われるものとなっているが、薬剤識別装置11からサーバ20へデータを伝える方法はこれに限られない。例えば、可搬性のあるストレージ機器(フラッシュメモリ機器など)に送信データ60が記録されて、そのストレージ機器がサーバ20へ運搬されることによって、サーバ20にデータが伝えられてもよい。
【0081】
なお、本実施形態では、薬剤識別装置11において未知の特徴量が抽出された場合、特徴量と、その特徴量に対応する薬剤15の識別情報のみがサーバ20の特徴量リスト22に登録されるが、これらに加えて、撮影画像のデータもサーバ20に蓄積されてもよい。撮影画像と、特徴量と、薬剤15の識別情報の組み合わせが数多く蓄積されていると、これらのデータを基に、新たなAIモデル(図示せず)を作るための学習データを形成することが可能である。
【0082】
以上のように、本実施形態の薬剤識別システム10によれば、撮影画像から抽出された特徴量が、既知特徴量の近似範囲から外れている場合、その特徴量が新しい特徴量として特徴量リスト22に登録される。したがって、新しい特徴量を抽出した薬剤識別装置11以外の薬剤識別装置における以後の識別においては、同じ(または近似範囲内の)特徴量を有する撮影画像に対して、薬剤識別システム10は正しい識別を行うことができる。
【0083】
また、撮影画像が予め定められた標準画像基準を満たす場合に、その撮影画像から抽出された特徴量が特徴量リスト22に登録されるので、薬剤15に対する以後の識別精度が向上する。
【符号の説明】
【0084】
10 薬剤識別システム
11 薬剤識別装置
12 撮影部
15 薬剤
19 識別指標
20 サーバ
22 特徴量リスト
24 選別部
30 薬剤識別部
32 画像認識部
34 抽出部
36 照合部
42 AIモデル
44 薬剤特徴リスト
51 表示部
52 入力部
図1
図2
図3
図4
図5