(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-07-07
(45)【発行日】2023-07-18
(54)【発明の名称】一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法
(51)【国際特許分類】
A61J 3/00 20060101AFI20230710BHJP
【FI】
A61J3/00 310K
(21)【出願番号】P 2023521712
(86)(22)【出願日】2022-12-15
(86)【国際出願番号】 JP2022046206
【審査請求日】2023-04-10
(31)【優先権主張番号】P 2021211416
(32)【優先日】2021-12-24
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000206473
【氏名又は名称】大倉工業株式会社
(74)【代理人】
【識別番号】100123984
【氏名又は名称】須藤 晃伸
(74)【代理人】
【識別番号】100102314
【氏名又は名称】須藤 阿佐子
(74)【代理人】
【識別番号】100159178
【氏名又は名称】榛葉 貴宏
(74)【代理人】
【識別番号】100206689
【氏名又は名称】鈴木 恵理子
(72)【発明者】
【氏名】平澤 正雄
(72)【発明者】
【氏名】松本 篤志
【審査官】小野田 達志
(56)【参考文献】
【文献】特開2014-64836(JP,A)
【文献】国際公開第2016/047569(WO,A1)
【文献】国際公開第2006/095850(WO,A1)
【文献】国際公開第2021/065658(WO,A1)
【文献】国際公開第2021/193271(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61J 3/00
(57)【特許請求の範囲】
【請求項1】
連接された一連の分包袋の各分包袋に一包化された薬剤が処方箋に適合するか鑑査する一包化鑑査装置であって、
前記分包袋を撮像する撮像装置と、
薬剤マスタ情報を記憶する記憶装置と、
前記分包袋内に封入された前記薬剤の適合判定を行う鑑査処理装置と、を備え、
前記鑑査処理装置は、
処方箋データおよび薬剤マスタ情報を取得する取得手段と、
前記処方箋データおよび前記薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査手段と、
前記処方箋に含まれる薬剤の薬剤データが前記薬剤マスタ情報として登録されていない未登録薬剤である場合に、前記撮像装置が撮像した撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成し登録する、薬剤データ仮登録手段と、
前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査手段と、を備え、
前記薬剤データ仮登録手段は、前記撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する、一包化鑑査装置。
【請求項2】
前記薬剤データ仮登録手段は、1の前記未登録薬剤の特徴量に応じたベクトルと、他の前記未登録薬剤の特徴量に応じたベクトルとの内積が所定の基準値以下の場合に、前記1の未登録薬剤と前記他の未登録薬剤とを同一グループに分類する、請求項
1に記載の一包化鑑査装置。
【請求項3】
前記薬剤データ仮登録手段は、同一グループに分類された前記複数の未登録薬剤の特徴量に基づいて、当該同一グループに分類された前記複数の未登録薬剤の画像の中から代表画像を選定し、選定した前記代表画像に基づいて、前記薬剤仮マスタ情報を作成する、請求項
1または
2に記載の一包化鑑査装置。
【請求項4】
前記薬剤データ仮登録手段は、同一グループに分類された複数の未登録薬剤の特徴量の中央値を求め、当該同一グループに分類された複数の未登録薬剤の画像の中から、前記中央値に特徴量が最も近い前記未登録薬剤の画像を、前記代表画像として選定する、請求項
3に記載の一包化鑑査装置。
【請求項5】
前記薬剤データ仮登録手段は、前記未登録薬剤の形状を、形状判定用の機械学習モデルを用いて判定する機能を備え、
前記未登録薬剤が文字情報の抽出が不要な形状である場合には、前記未登録薬剤の画像に平滑化処理を施してから、前記グルーピングを実行する、請求項
1または
2に記載の一包化鑑査装置。
【請求項6】
前記薬剤データ仮登録手段は、
前記未登録薬剤が文字情報の抽出が必要な形状である場合に、
前記撮像画像内の前記未登録薬剤
の画像から、各文字情報が存在するエリアを、文字エリア検出用の機械学習モデルを用いて検出する機能と、
検出した文字情報が存在するエリアにおける各文字を、文字特定用の機械学習モデルを用いて特定する機能と、を備える、請求項1ないし
4のいずれかに記載の一包化鑑査装置。
【請求項7】
前記薬剤データ仮登録手段は、前記未登録薬剤の画像に対してエッジ量算出処理を行い、算出したエッジ量が所定値を超える前記未登録薬剤を、当該未登録薬剤のグループから除外する、請求項1ないし
6のいずれかに記載の一包化鑑査装置。
【請求項8】
コンピューターに、連接された一連の分包袋の各包装袋に一包化された薬剤が処方箋に適合するかの鑑査を実行させるための一包化鑑査プログラムであって、
前記コンピューターを、
処方箋データおよび薬剤マスタ情報を取得する取得手段と、
処方箋データおよび薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査手段と、
前記処方箋データおよび前記薬剤マスタ情報に基づいて、前記処方箋に含まれる薬剤の薬剤データが前記薬剤マスタ情報に登録されていない未登録薬剤である場合に、撮像装置が撮像した撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成し登録する、薬剤データ仮登録手段と、
前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査手段と、して機能させ
、
前記薬剤データ仮登録手段が、前記撮像装置が撮像した撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する一包化鑑査プログラム。
【請求項9】
連接された一連の分包袋の各包装袋に一包化された薬剤が処方箋に適合するかの鑑査を実行させるための一包化鑑査方法であって、
処方箋データおよび薬剤マスタ情報を取得する取得ステップと、
処方データおよび薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査ステップと、
前記分包袋に封入された薬剤が前記薬剤マスタ情報として登録されていない未登録薬剤である場合に、前記未登録薬剤の撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成し登録する薬剤データ仮登録ステップと、
前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査ステップと、を実行
し、
前記薬剤データ仮登録ステップにおいて、前記撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する一包化鑑査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薬剤が処方箋に適合して一包化されているかを鑑査する一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法に関する。本発明に係る一包化鑑査プログラムは、コンピューター上で実行可能なソフトウェアであり、CD-ROM、DVD、USBメモリ、HDD、SSD(Solid State Drive)などのコンピューターで読み取り可能な記憶媒体に格納可能である。
なお、本明細書における「一包化鑑査」とは、処方箋に記載された薬剤を、服用1回分ずつ分包する「一包化」といわれる処理に対して、一包化された薬剤が、処方箋に適合した薬剤であり、かつ、処方箋に適合した数量となっているかをチェックすることを意味するものとする。
【背景技術】
【0002】
薬局では、医師の処方箋に記載された薬剤を1回の服用分ごとに分包する一包化という処理が行われる。しかしながら、薬剤を一包化する際に、誤って、処方箋の数量よりも薬剤が多く封入されてしまう場合や、少なく封入されてしまう場合、あるいは、異なる薬剤が封入されてしまう場合がある。そのため、従来、分包袋内に一包化された薬剤をカメラで撮像し、撮像した薬剤の画像情報に基づいて薬剤の特徴を解析し、解析結果を用いて、一包化された薬剤が処方箋に適合しているかを鑑査する装置が知られている(たとえば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
たとえば、特許文献1では、撮像した薬剤の解析結果と、予め記憶テーブルに記憶している薬剤データとを照合することで、分包袋に封入された薬剤を特定しており、分包袋に封入された薬剤の薬剤データが記憶テーブルに予め登録されていない場合には、この薬剤を特定することができないという問題があった。特に、記憶テーブルの薬剤データを定期的(たとえば1日1回)に更新する場合でも、記憶テーブルの情報は、外部サーバーから薬剤データをダウンロードすることで更新されるため、外部サーバーにおいて未登録薬剤の薬剤データが登録されるまで、一包化鑑査装置における記憶テーブルにおいても未登録薬剤を登録することができず、一定期間(長期間)、未登録薬剤を特定できない状態となってしまう場合もあった。
【0005】
本発明は、マスターテーブルに未登録薬剤の薬剤データが登録されていない場合でも、未登録薬剤を鑑査することができる、一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る一包化鑑査装置は、連接された一連の分包袋の各分包袋に一包化された薬剤が処方箋に適合するか鑑査する一包化鑑査装置であって、前記分包袋を撮像する撮像装置と、薬剤マスタ情報を記憶する記憶装置と、前記分包袋内に封入された前記薬剤の適合判定を行う鑑査処理装置と、を備え、前記鑑査処理装置は、処方箋データおよび薬剤マスタ情報を取得する取得手段と、前記処方箋データおよび前記薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査手段と、前記処方箋に含まれる薬剤の薬剤データが前記薬剤マスタ情報として登録されていない未登録薬剤である場合に、前記撮像装置が撮像した撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成する、薬剤データ仮登録手段と、前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査手段と、を備え、前記薬剤データ仮登録手段は、前記撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、1の前記未登録薬剤の特徴量に応じたベクトルと、他の前記未登録薬剤の特徴量に応じたベクトルとの内積が所定の基準値以下の場合に、前記1の未登録薬剤と前記他の未登録薬剤とを同一グループに分類する構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、同一グループに分類された前記複数の未登録薬剤の特徴量に基づいて、当該同一グループに分類された前記複数の未登録薬剤の画像の中から代表画像を選定し、選定した前記代表画像に基づいて、前記薬剤仮マスタ情報を作成する構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、同一グループに分類された複数の未登録薬剤の特徴量の中央値を求め、当該同一グループに分類された複数の未登録薬剤の画像の中から、前記中央値に特徴量が最も近い前記未登録薬剤の画像を、前記代表画像として選定する構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、前記未登録薬剤の形状を、形状判定用の機械学習モデルを用いて判定する機能を備え、前記未登録薬剤が文字情報の抽出が不要な形状である場合には、前記未登録薬剤の画像に平滑化処理を施してから、前記グルーピングを実行する構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、前記未登録薬剤が文字情報の抽出が必要な形状である場合に、前記撮像画像内の前記未登録薬剤の画像から、各文字情報が存在するエリアを、文字エリア検出用の機械学習モデルを用いて検出する機能と、検出した文字情報が存在するエリアにおける各文字を、文字特定用の機械学習モデルを用いて特定する機能と、を備える構成とすることができる。
上記一包化鑑査装置において、前記薬剤データ仮登録手段は、前記未登録薬剤の画像に対してエッジ量算出処理を行い、算出したエッジ量が所定値を超える前記未登録薬剤を、当該未登録薬剤のグループから除外する構成とすることができる。
本発明に係る一包化鑑査プログラム(または一包化鑑査プログラムを記録した記憶媒体)は、コンピューターに、連接された一連の分包袋の各包装袋に一包化された薬剤が処方箋に適合するかの鑑査を実行させるための一包化鑑査プログラム(または一包化鑑査プログラムを記録した記憶媒体)であって、前記コンピューターを、処方箋データおよび薬剤マスタ情報を取得する取得手段と、処方箋データおよび薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査手段と、前記処方箋データおよび前記薬剤マスタ情報に基づいて、前記処方箋に含まれる薬剤の薬剤データが前記薬剤マスタ情報に登録されていない未登録薬剤である場合に、前記撮像装置が撮像した撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成し登録する、薬剤データ仮登録手段と、前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査手段と、して機能させ、前記薬剤データ仮登録手段が、前記撮像装置が撮像した撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する。
本発明に係る一包化鑑査方法は、連接された一連の分包袋の各包装袋に一包化された薬剤が処方箋に適合するかの鑑査を実行させるための一包化鑑査方法であって、処方箋データおよび薬剤マスタ情報を取得する取得ステップと、処方データおよび薬剤マスタ情報に基づいて、前記薬剤の適合判定を行う通常鑑査ステップと、前記分包袋に封入された薬剤が前記薬剤マスタ情報として登録されていない未登録薬剤である場合に、前記未登録薬剤の撮像画像から、前記未登録薬剤の薬剤仮マスタ情報を作成し登録する薬剤データ仮登録ステップと、前記薬剤仮マスタ情報に基づいて、前記未登録薬剤の適合判定を行う仮マスタ鑑査ステップと、を実行し、前記薬剤データ仮登録ステップにおいて、前記撮像画像から機械学習モデルを用いて前記未登録薬剤の特徴量を算出し、算出した前記未登録薬剤の特徴量に基づいて、前記未登録薬剤をグループに分類するグルーピングを実行し、同一グループに分類された前記未登録薬剤ごとに、前記薬剤仮マスタ情報を作成する。
【発明の効果】
【0007】
本発明によれば、一包化鑑査装置において、マスターテーブルには登録されていない未登録薬剤の薬剤データを作成し、薬剤仮マスタ情報として仮登録することができるため、マスターテーブルにおいて未登録薬剤の薬剤データが登録されるまで、仮登録された未登録薬剤の薬剤仮マスタ情報を用いて、未登録薬剤を鑑査することができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態に係る一包化鑑査システムの構成図である。
【
図3】本実施形態に係る一包化鑑査装置の概要構成図である。
【
図4】本実施形態に係る薬剤データ仮登録機能を説明するための場面例である。
【
図5】本実施形態に係るグルーピング処理を説明するための図である。
【
図6】薬剤の特徴量の傾向を説明するための図である。
【
図7】薬剤の類似度の算出方法を説明するための図である。
【
図8】代表画像の選定方法を説明するための図である。
【
図9】文字記号情報の作成方法を説明するための図である。
【
図10】本実施形態に係る仮マスターテーブルの一例を示す図である。
【
図11】本実施形態に係る仮マスターサブテーブルの一例を示す図である。
【
図12】本実施形態においてディスプレイが表示する画面例を示す図である。
【
図13】本実施形態に係る一包化鑑査処理を示すフローチャートである。
【
図14】本実施形態に係る薬剤データ仮登録処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
本発明を、図に基づいて説明する。なお、以下においては、本発明に係る一包化鑑査装置の実施形態として、一包化された薬剤を鑑査し、鑑査結果に応じた表示を行う一包化鑑査装置およびそれを有する一包化鑑査システムを例示して説明する。また、本発明において「薬剤」とは、少なくとも錠剤およびカプセル剤を含み、散剤、液剤、顆粒剤は含まない構成とすることができる。さらに、本発明に係る一包化鑑査装置は、一包化された薬剤が「処方箋に適合」するか否かを鑑査するものであるが、「処方箋に適合」するか否かとは、処方箋に記載された薬剤のうち所定の薬剤(一部または全ての薬剤)が、分包袋に必要数量含まれているか否かを判定することを意味するものとする。
【0010】
図1は、本実施形態に係る一包化鑑査システム1の構成図である。
図1に示すように、本実施形態に係る一包化鑑査システム1は、レセプトコンピューター10、分包機20、一包化鑑査装置30および外部サーバー40から構成される。なお、
図1に示すように、レセプトコンピューター10、分包機20および一包化鑑査装置30は薬局200内に設置されており、外部サーバー40は、システム管理会社のサーバーやクラウドなど、薬局200の外部に設置されている。また、レセプトコンピューター10、分包機20および一包化鑑査装置30は有線または無線により互いに通信可能となっているとともに、外部サーバー40は、インターネット回線3を介して、一包化鑑査装置30と相互に通信可能となっている。なお、
図1においては、情報またはデータの流れを矢印で示している。
【0011】
レセプトコンピューター10には、手動または自動により、医師に処方された処方箋の情報が入力される。処方箋の情報としては、薬剤の名称、数量、服用法などの情報が含まれる。レセプトコンピューター10に入力された処方箋の情報に基づいて、分包機20および一包化鑑査装置30で使用できる形式の処方箋データが作成される。処方箋データはレセプトコンピューター10に保存され、分包機20および一包化鑑査装置30はレセプトコンピューター10内にある処方箋データを取得する。
【0012】
分包機20は、レセプトコンピューター10から取得した処方箋データに基づいて、処方箋に応じた薬剤を1包に封入する(一包化する)処理を行う。また、分包機20は、処方箋データに応じて、薬剤を服用回数分だけ分包を行う。具体的には、分包機20は、予め用意された一帯の分包紙を引き出し、分包紙を区画化したスペースに各種薬剤を投入して封入することで、分包袋21を作成することができる。また、分包袋21は一帯の分包紙を区画化して作成されるため、
図2に示すように、薬剤の服用回数に応じた数の分包袋21が連接された形態で、分包袋21が作成される。以下においては、連接された複数の分包袋21を、一連の分包袋2と称すこととする。
【0013】
図3は、一包化鑑査装置30の概要構成図である。一包化鑑査装置30は、
図3に示すように、一対のカメラ31,32と、鑑査処理部33と、記憶部34と、ディスプレイ35と、搬送部36と、を有する。また、記憶部34は、本実施形態に係る一包化鑑査処理を実行するプログラムを記憶するほか、外部サーバー40からダウンロードした薬剤データを記憶するマスターテーブル37と、一包化鑑査装置30で作成した薬剤データを記憶する仮マスターテーブル38および仮マスターサブテーブル39とを有する。なお、
図3における各構成要素の配置は例示であり、
図3に示す例に限定されない。また、
図3においては、説明の便宜のため、一包化鑑査装置30に内蔵される一対のカメラ31,32、鑑査処理部33、記憶部34(マスターテーブル37、仮マスターテーブル38および仮マスターサブテーブル39を含む)、並びに、搬送部36を破線で図示し、各構成要素間における信号の流れを一点波線で図示している。
【0014】
図3に示すように、一対のカメラ31,32は、搬送部36により一連の分包袋2が搬送される位置の上側と下側にそれぞれ配置されている。一対のカメラ31,32は、各分包袋21の両面を撮像し、撮像した分包袋21の撮像画像データを鑑査処理部33へと送信する。なお、搬送部36は、一連の分包袋2を搬送するものであれば特に限定されず、たとえば、ベルトコンベアー、リニアコンベアー、ローラーコンベアーなどが例示される。また、ローラーコンベアーの場合、上下方向に配置された2つのローラーで一連の分包袋2を挟んで搬送するサンドウィッチ型のローラーコンベアーが好ましい。
【0015】
鑑査処理部33は、たとえば、CPU、RAM、ROMを有するコンピューターであり、記憶部34に記憶されている一包化鑑査プログラムを実行することで、処方箋データ取得機能と、画像データ取得機能と、鑑査機能と、薬剤データ仮登録機能と、鑑査結果表示機能と、を実行する。以下に、鑑査処理部33の各機能について説明する。
【0016】
処方箋データ取得機能は、レセプトコンピューター10により入力された処方箋データを、レセプトコンピューター10から取得する。また、画像データ取得機能は、一対のカメラ31,32から各分包袋21を撮像した撮像画像データを取得する。なお、処方箋データ取得機能は、分包機20がレセプトコンピューター10から処方箋データを取得し分包を行った後に、処方箋データをレセプトコンピューター10または分包機20から取得する構成とすることもできる。
【0017】
鑑査機能は、処方箋データ取得機能により取得された処方箋データと、画像データ取得機能により取得された撮像画像データとに基づいて、分包袋21に封入された薬剤が処方箋と適合しているか否かを鑑査する。具体的には、鑑査機能は、まず、処方箋データに基づいて、分包袋21に封入されるべき薬剤の種類および個数を特定する。また、鑑査機能は、記憶部34に記憶されている薬剤のマスターテーブル37、仮マスターテーブル38および仮マスターサブテーブル39を参照し、処方箋の薬剤の薬剤データも取得する。薬剤データには、薬剤の形態(錠剤であるかカプセル剤であるか)、薬剤の形状(丸形、楕円形などの外形あるいは輪郭)、大きさ、色、錠剤への刻印・印字(文字や絵、記号、あるいは線条などの模様)などのデータが含まれる。
【0018】
さらに、鑑査機能は、分包袋21の撮像画像データ、処方箋データおよび薬剤データに基づいて、処方箋の薬剤が撮像画像内に必要数量あるか否かを判定することで、分包袋21に封入された薬剤が処方箋に適合しているか否かを鑑査する。具体的には、鑑査機能は、まず、処方箋データから分包袋21に封入すべき薬剤を特定する。次いで、鑑査機能は、処方箋データに登録された薬剤ごとに、これら薬剤が、撮像画像内に必要数量(処方箋データに登録された数量)存在するか否かを判定する。たとえば、鑑査機能は、撮像画像の薬剤と、処方箋の薬剤の薬剤データとを比較し、撮像画像内に、処方箋の薬剤の形態、形状、大きさ、色、刻印・印字と一致する薬剤が必要数量存在する場合に、この薬剤について、当該処方箋に「適合」すると判定する。なお、鑑査機能は、画像解析により、処方箋の薬剤に対応する撮像画像内の薬剤を特定する構成とすることもできるが、機械学習やディープラーニングなどの技術を利用して、処方箋の薬剤に対応する撮像画像内の薬剤を特定することもできる。なお、本実施形態では、一包化鑑査装置30が、所定周期で(たとえば毎日1回)、外部サーバー40から更新データをダウンロードすることで、記憶部34に記憶されている薬剤のマスターテーブル37が更新される。
【0019】
また、本実施形態において、鑑査機能は、処方箋データに登録された薬剤が、撮像画像の中に存在していると判定することができず、「不適合」と判定する場合には、この薬剤が、第1の不適合条件に該当するか、または、第2の不適合条件に該当するかを判定する。ここで、第1の不適合条件として、たとえば、処方箋データに登録された薬剤に刻印・印字がない場合が例示される。薬剤に刻印・印字がない場合は、薬剤を高い精度で判定することができない場合があるため、鑑査機能は、第1の不適合条件を満たす「不適合」として判定する。
【0020】
また、鑑査機能は、処方箋データに登録された薬剤が、マスターテーブル37および仮マスターテーブル38に登録されていない場合には、薬剤を判定することができないため、第2の不適合条件を満たす「不適合」として判定する。さらに、鑑査機能は、処方箋データに登録された薬剤が、第1の不適合条件は満たさないが、撮像画像中に当該薬剤を識別することができない場合には、第2の不適合条件を満たす「不適合」と判定する。たとえば、撮像画像内において薬剤の側面のみが撮像され(薬剤の平面が撮像できず)、薬剤の形状や刻印・印字などが識別できず、処方箋の薬剤を識別することができない場合に、鑑査機能は、当該処方箋の薬剤を、第2の不適合条件を満たす「不適合」として判定する。
【0021】
薬剤データ仮登録機能は、分包袋21に含まれる薬剤の薬剤データが、マスターテーブル37に記憶されていない場合に、当該薬剤について薬剤データを作成し、作成した薬剤データを記憶部34の仮マスターテーブル38および仮マスターサブテーブル39に仮登録する。具体的には、薬剤データ仮登録機能は、鑑査機能がマスターテーブル37を参照しても分包袋21の薬剤を識別できない場合に、当該薬剤の撮像画像に基づいて、薬剤データを作成し、作成した薬剤データを仮マスターテーブル38および仮マスターサブテーブル39に仮登録する。以下に、
図4に示す例において、薬剤A~Eの薬剤データがマスターテーブル37に登録されており、薬剤X,Yの薬剤データがマスターテーブル37(および仮マスターテーブル38)に登録されていない場合を例示して説明する。また、以下においては、マスターテーブル37および仮マスターテーブル38に登録されていない薬剤を未登録薬剤として説明する。
【0022】
薬剤データ仮登録機能は、未登録薬剤の薬剤データを仮登録する場合、まず、分包袋21の撮像画像から、分包袋21に封入されている全ての薬剤の画像を切り出す。具体的には、薬剤データ仮登録機能は、薬剤が存在するエリアを判別するための機械学習モデルM1を用いて、分包袋21の撮像画像から、分包袋21に含まれる各薬剤A~E,X,Yがあるエリアを検出し、各薬剤A~E,X,Yが存在するエリアの画像を切り出す。なお、この段階では、マスターテーブル37または仮マスターテーブル38に登録されている薬剤A~Eの画像も、マスターテーブル37および仮マスターテーブル38に登録されていない未登録薬剤X,Yの画像も切り出されることとなる。また、本実施形態において、薬剤データ仮登録機能は、複数枚(たとえば3枚以上)の分包袋21の撮像画像から、各薬剤A~E,X,Yの画像をそれぞれ切り出す。
【0023】
そして、薬剤データ仮登録機能は、切り出した薬剤の画像に基づいて、マスターテーブル37および仮マスターテーブル38に登録されていない未登録薬剤の画像をグルーピングする処理を行う。たとえば、
図5に示す例においては、
図5(Z)は撮像画像から切り出した薬剤A~E,X,Yの画像を示しており、薬剤データ仮登録機能は、
図5(Z)の画像のうち、マスターテーブル37に既に登録されている薬剤A~Eの画像を仮登録の対象から除外する(
図5(Z’)を参照)。そして、薬剤データ仮登録機能は、
図5(X),(Y)に示すように、マスターテーブル37および仮マスターテーブル38に登録されていない未登録薬剤X,Yをそれぞれ別のグループに分類することで、未登録薬剤のグルーピング処理を行うこととなる。なお、
図5は、本実施形態に係るグルーピング処理を説明するための図である。以下に、薬剤データ仮登録機能によるグルーピング処理の詳細について説明する。
【0024】
本実施形態において、薬剤データ仮登録機能は、まず、撮像画像から切り出した各薬剤の画像から、特徴量を算出するための機械学習モデルM2を用いて、各薬剤の特徴量を算出する。たとえば、本実施形態において、薬剤データ仮登録機能は、機械学習モデルM2を用いて、1つの薬剤の画像から、当該薬剤の特徴量として、512個の特徴量を算出することができる。
【0025】
次に、薬剤データ仮登録機能は、切り出した薬剤の画像のうち、マスターテーブル37および仮マスターテーブル38に既に登録されている薬剤の画像を、仮登録の対象から除外する。ここで、マスターテーブル37および仮マスターテーブル38には、既に登録されている薬剤の特徴量が予め記憶されており(後述する
図10参照)、薬剤データ仮登録機能は、撮像画像から切り出した各薬剤の画像に基づく各薬剤の特徴量と、マスターテーブル37および仮マスターテーブル38において既に登録されている薬剤の特徴量とに基づいて、撮像画像から切り出した各薬剤の画像の中から、マスターテーブル37または仮マスターテーブル38において既に登録されている薬剤の画像を特定する。具体的には、薬剤データ仮登録機能は、処方箋データ、並びに、マスターテーブル37および仮マスターテーブル38を参照し、処方箋に記載されている薬剤であって、マスターテーブル37または仮マスターテーブル38に登録されている薬剤(以下、登録済み薬剤ともいう)の薬剤データを取得する。なお、登録済み薬剤の薬剤データには、登録済み薬剤の特徴量の情報が含まれる。そして、薬剤データ仮登録機能は、撮像画像から切り出した各薬剤の特徴量と、登録済み薬剤の特徴量とに基づいて、撮像画像から切り出した各薬剤と登録済み薬剤との類似度を求め、撮像画像から切り出した薬剤のうち、類似度が所定の基準値s以上である薬剤は、マスターテーブル37または仮マスターテーブル38に登録されている薬剤であるとして、仮登録の対象から除外する。以下に、類似度の求め方の詳細について説明する。
【0026】
たとえば、複数種類の薬剤の特徴量を、特徴量の数に応じた次元の座標空間上(たとえば512個の特徴量を算出する場合は512次元の座標空間)の座標に換算した場合、通常、同一種類の薬剤については、近似する特徴量が得られるため、座標空間上において比較的近い位置に配置されることとなる。たとえば、
図6は、薬剤の特徴量の傾向を説明するための図であり、薬剤A~E,X,Yについて、それぞれ特徴量を2つずつ算出し、算出した特徴量を2次元座標空間上にプロットした模式図である。薬剤A~E,X,Yについて特徴量を算出した場合、
図6に示すように、同一種類の薬剤については、特徴量に応じた座標が座標空間上で近くに位置する傾向となる。また、比較する2つの薬剤において、特徴量に応じた座標が座標空間上で近くに位置する場合、特徴量に応じたベクトルも近似するため(たとえば、
図6に示す例では、同一種類の薬剤Xのベクトルx1とベクトルx2は近似するが、異なる種類の薬剤Xのベクトルx1と薬剤Yのベクトルyは近似しない)、本実施形態では、比較する2つの薬剤の特徴量に応じたベクトルの内積を類似度として算出することで、撮像画像から切り出した薬剤の中から、マスターテーブル37または仮マスターテーブル38に既に登録されている薬剤を特定することができる。
【0027】
図7は、本実施形態に係る薬剤の類似度を算出する方法を説明するための図である。なお、
図7に示す例では、比較する2つの薬剤の特徴量を算出した場合の2次元座標空間を例示して説明するが、たとえば512個の特徴量を算出する場合には512次元まで拡張することで、同様に類似度を算出することができる。
【0028】
たとえば、
図7に示す例において、薬剤aと薬剤bとの類似度を求める場合、薬剤データ仮登録機能は、まず、薬剤aの特徴量に応じたベクトルaと、薬剤bの特徴量に応じたベクトルbとを算出する。本実施形態において、薬剤データ仮登録機能は、ベクトルaとベクトルbとの向き(あるいはベクトルaとベクトルbとがなす角度θ)を判断材料として薬剤aと薬剤bとの類似度を判断するため、ベクトルaおよびベクトルbの大きさは必要なく、ベクトルaおよびベクトルbの大きさを「1」に正規化する。なお、
図7において、ベクトルa’は正規化前の薬剤aのベクトルを示し、ベクトルaは正規化後の薬剤aのベクトルを示す。そして、薬剤データ仮登録機能は、下記式にて、ベクトルaとベクトルbとの内積を求める。なお、ベクトルaは、n次元座標空間上においてはa
1,a
2,・・・a
nのベクトル値を有し、ベクトルbは、n次元座標空間上においてはb
1,b
2,・・・b
nのベクトル値を有するものとする。
【数1】
上記式に示すように、ベクトルaとベクトルbとの内積は、各ベクトル値の積の和として求めることができる。
【0029】
ここで、2つの薬剤a,bの特徴量が全く同じ場合、上記式で求められるベクトルaとベクトルbとの内積は1となる。そのため、薬剤データ仮登録機能は、上記式で算出したベクトルの内積が所定の基準値s(0<s<1)以上である場合に、2つの薬剤は類似すると判定することができる。一方で、比較する2つの薬剤の類似度を算出した結果、ベクトルの内積が所定の基準値s未満である場合は、2つの薬剤は類似しないと判定することができる。なお、類似度を判断するための基準値sは、たとえば、同一種類の薬剤を予め用意しておき、これら薬剤の特徴量に応じたベクトルの内積を予め求めておくことで、同一種類の薬剤を判定するための基準とする基準値sを予め決定しておくことが好ましい。
【0030】
このように、薬剤データ仮登録機能は、撮像画像から切り出した各薬剤について、マスターテーブル37または仮マスターテーブル38に既に登録されている薬剤との類似度を算出し、算出した類似度が基準値s以上であるかを判定することで、撮像画像から切り出した薬剤の中から、マスターテーブル37または仮マスターテーブル38に既に登録されている薬剤を特定し、仮登録の対象から除外することができる。これにより、薬剤データ仮登録機能は、撮像画像から切り出した各薬剤の中から、マスターテーブル37または仮マスターテーブル38に既に登録されていない薬剤を、仮登録の対象とする未登録薬剤として特定することができる。
【0031】
次に、薬剤データ仮登録機能は、未登録薬剤の画像をグルーピングするグルーピング処理を実行する。2種類以上の未登録薬剤が存在する場合に、それぞれの種類の未登録薬剤ごとに薬剤データを仮登録するためである。具体的に、薬剤データ仮登録機能は、同一種類の薬剤の画像を同一グループに分類するために、仮登録の対象とする未登録薬剤同士で類似度を算出する。なお、類似度の求め方は、上述した
図7に示す方法と同様に行うことができる。そして、薬剤データ仮登録機能は、比較する2つの未登録薬剤のベクトルの内積が所定の基準値s(0<s<1)以上であり、2つの未登録薬剤が類似する場合には、当該2つの未登録薬剤を同一のグループに分類する。一方、薬剤データ仮登録機能は、2つの未登録薬剤の類似度を算出した結果、2つの未登録薬剤のベクトルの内積が所定の基準値s未満である場合には、当該2つの未登録薬剤を別のグループに分類する。これにより、たとえば
図5に示す例では、薬剤データ仮登録機能は、未登録薬剤X,Yを、未登録薬剤Xのグループと、未登録薬剤Yのグループに分類することができる。
【0032】
また、薬剤データ仮登録機能は、未登録薬剤をグルーピングする際に、以下のような処理を実行することもできる。すなわち、薬剤データ仮登録機能は、機械学習モデルM1を用いて、未登録薬剤の画像のシルエット(形状)を判定するための形状判定ロジックを実行し、未登録薬剤の形状が円、半円、楕円、カプセルなどであるかを判定する。そして、薬剤データ仮登録機能は、未登録薬剤の形状がカプセル型または半円型である場合には、刻印または印刷された文字記号までは認識せずにグルーピングを実行するために、平滑化フィルタを使って、画像を平滑化した後に、平滑化した画像について特徴量を算出することで、グルーピングを行う構成とすることができる。
【0033】
さらに、薬剤データ仮登録機能は、同一グループに分類した画像群から、ピントぼけなどの不鮮明な画像を取り除くため、各画像にラプラシアンフィルタを適用してエッジ量を検出し、検出されたエッジ量が所定量未満の画像を、不明瞭な画像として、グループから除外する構成とすることもできる。未登録薬剤が明瞭に映っている画像はエッジ量が多く検出され、不明瞭な画像はエッジ量が少なくなる傾向にあり、未登録薬剤が明瞭に映っている画像のみを用いることで、仮登録する薬剤データの精度を高めることができるためである。
【0034】
そして、薬剤データ仮登録機能は、グルーピングした未登録薬剤の画像の中から、当該未登録薬剤を代表する代表画像を選定する。具体的には、薬剤データ仮登録機能は、同一グループに含まれる複数の未登録薬剤のうち、当該グループに含まれる複数の未登録薬剤の特徴量の中央値、最頻値または平均値に最も近い未登録薬剤の画像を、代表画像として選定することができる。たとえば、薬剤データ仮登録機能は、同一グループに含まれる他の未登録薬剤との特徴量の差分の総和が最も小さい未登録薬剤の画像を、中央値に最も近い画像として検出し、当該画像を代表画像として選定することができる。ここで、
図8は、代表画像を選定する方法を説明するための図であり、各未登録薬剤を、その特徴量に応じて、二次元座標空間に配置した例を示している。たとえば、
図8(A)に示すように、薬剤X1は、他の未登録薬剤X2~X7と特徴量が大きく乖離しているため、他の未登録薬剤X2~X7との特徴量の差分の総和は大きくなる。これに対して、
図8(B)に示すように、薬剤X5は、他の未登録薬剤X1~X4,X6,X7と特徴量がそれぞれ近似しているため、他の未登録薬剤X1~X4,X6,X7との特徴量の差分の総和は、同一グループに分類された薬剤X1~X7の中で最も小さくなる。よって、
図8に示す例において、薬剤データ仮登録機能は、未登録薬剤X5の画像を、代表画像として選定することができる。なお、薬剤データ仮登録機能は、各未登録薬剤の特徴量に応じた重心を求め、その重心から最も近い特徴量を有する未登録薬剤の画像を代表画像として選定することもできる。なお、本実施形態において、薬剤データ仮登録機能は、未登録薬剤の表面および裏面について代表画像をそれぞれ選定する構成としているが、刻印・印刷がされている一面の画像だけを代表画像として選定する構成とすることもできる。
【0035】
さらに、薬剤データ仮登録機能は、代表画像から、未登録薬剤に刻印または印刷されている文字または記号の画像を切り出す処理を行う。具体的には、薬剤データ仮登録機能は、予め用意した文字や記号が存在するエリアを検出するための機械学習モデルM3を用いて、選定した代表画像から、文字や記号が存在するエリアを検出する。たとえば、
図9に示す例では、薬剤データ仮登録機能は、機械学習モデルM3を用いることで、「X」、「X」、「X」、「1」、「2」、「3」の文字が存在するエリアをそれぞれ検出することができる。そして、薬剤データ仮登録機能は、検出した各文字や記号について、文字記号分類用の機械学習モデルM4を用いて、それぞれの文字や記号の特徴量を算出する。さらに、薬剤データ仮登録機能は、文字記号特定用の機械学習モデルM5を用いて、それぞれの文字を特定する。
【0036】
そして、薬剤データ仮登録機能は、仮マスターテーブル38に、未登録薬剤の薬剤データ(薬剤仮マスタ情報)を登録する。ここで、
図10は、仮マスターテーブル38の一例を示す図である。
図10に示すように、仮マスターテーブル38は、薬剤識別番号(
図10において「No」で示す)、YJコード、薬剤名、表面特徴量、裏面特徴量、面積、形状などの属性を有しており、薬剤データ仮登録機能は、これら属性のうち、薬剤識別番号、表面特徴量、裏面特徴量、面積、形状(円形、楕円形、カプセル型などの区分)などを自動で登録することができる。たとえば、薬剤データ仮登録機能は、代表画像における未登録薬剤の表面特徴量、裏面特徴量、面積、形状などを、仮マスターテーブル38に登録することができる。あるいは、薬剤データ仮登録機能は、座標空間上において、代表画像の座標を中心とした所定閾値内に座標が存在する1または複数の未登録薬剤の画像の表面特徴量、裏面特徴量、面積の平均値、中央値、最頻値などの統計値を、仮マスターテーブル38に登録する構成とすることもできる。なお、仮マスターテーブル38の属性のうち、YJコードおよび薬剤名については、使用者が、後から入力装置を用いて登録することができる。
【0037】
また、薬剤データ仮登録機能は、仮マスターサブテーブル39に、未登録薬剤の文字記号情報を、未登録薬剤に刻印または印刷された文字または記号ごとに登録する。ここで、
図11は、仮マスターサブテーブル39の一例を示す図である。
図11に示すように、仮マスターサブテーブル39は、薬剤識別番号(
図11において「No」で示す)、文字記号識別番号(
図11において「Sub.No」で示す)、文字記号の特徴量、始点X、始点Y、幅、高さの属性を有することができ、薬剤データ仮登録機能は、未登録薬剤の文字または記号ごとに、これら属性の全てについて自動で登録することができる。たとえば、
図9に示す例では、「X」、「X」、「X」、「1」、「2」、「3」の6文字それぞれについての文字記号情報が仮マスターサブテーブル39に登録されることとなる。
【0038】
なお、仮マスターサブテーブル39において、薬剤識別番号は、仮マスターテーブル38における薬剤識別番号と対応付けられており、どの薬剤についての文字記号情報であるかを特定することが可能となっている。たとえば、
図9に示す例では、6つの文字は同じ薬剤に刻印または印刷されているため、同じ薬剤識別番号が登録されることとなる。また、文字記号識別番号は、1つの薬剤に刻印または印刷された文字または記号ごとに割り当てられる番号であり、1つの薬剤に刻印または印刷された文字記号の数に応じて一意の番号が割り当てられる。たとえば、
図9に示す例では、「X」、「X」、「X」、「1」、「2」、「3」の6文字について1~6の数字が一意に割り当てられることとなる。また、始点Xおよび始点Yは、各薬剤において、各文字記号が刻印または印刷された位置を示すものであり、各文字記号のX方向(たとえば
図9の上下方向)の始点とY方向(たとえば
図9の左右方向)の始点を示し、これにより、薬剤のどの位置にどの文字記号が刻印または印刷されているかを把握することが可能となる。さらに、幅および高さは、各文字記号の大きさを示し、たとえば、幅は、
図9に示す左右方向の長さを、高さは、
図9に示す上下方向の長さを示す。
【0039】
薬剤データ仮登録機能により、未登録薬剤の薬剤データが仮マスターテーブル38および仮マスターサブテーブル39に記憶された場合には、鑑査機能は、仮マスターテーブル38および仮マスターサブテーブル39に基づいて、分包袋21の撮像画像に撮像された薬剤の鑑査を行う。すなわち、本実施形態において、鑑査機能は、マスターテーブル37に基づいて薬剤の鑑査を行い、分包袋21に封入された薬剤がマスターテーブル37に登録されていない場合には、仮マスターテーブル38および仮マスターサブテーブル39に基づいて、マスターテーブル37に登録されていない薬剤の鑑査を行う。さらに、仮マスターテーブル38にも薬剤データが登録されていない場合には、薬剤データ仮登録機能により、未登録薬剤の薬剤データが、仮マスターテーブル38および仮マスターサブテーブル39に登録されることとなる。反対に、マスターテーブル37に薬剤データが登録されていない場合でも、仮マスターテーブル38に薬剤データが登録されている場合には、薬剤データ仮登録機能による未登録薬剤の仮登録は行われず、鑑査機能により、仮マスターテーブル38を用いた鑑査が行われる。
【0040】
なお、鑑査機能が、仮マスターテーブル38および仮マスターサブテーブル39を用いて鑑査を行う場合、あるいはマスターテーブル37を用いて鑑査を行う場合も、分包袋21に含まれている各薬剤の特徴量を算出し、上述したように、マスターテーブル37または仮マスターテーブル38に登録されている薬剤データとの類似度を上記式で算出することで、分包袋21に処方箋に記載の薬剤が含まれているかを判定する構成とすることができる。また、分包袋21に含まれている薬剤の文字記号情報の特徴量を求め、同様に、仮マスターテーブル38に登録されている文字記号情報の特徴量を用いて、文字記号情報について類似度を算出することで、薬剤に印刷・刻印された文字記号の一致・不一致を判定する構成とすることができる。このように、本実施形態では、文字記号をOCRなどで認識するのではなく、類似度を算出して一致しているかを判別することで、フォントの要素まで含めて一致・不一致を判定することや、製薬企業のロゴなどの特殊な文字記号情報についても一致・不一致を判定することができ、より精度の高い鑑査を行うことができる。
【0041】
なお、薬剤データ仮登録機能は、一定期間ごとに(たとえば1日1回)、仮マスターテーブル38および仮マスターサブテーブル39に記憶した未登録薬剤の薬剤データを、外部サーバー40に送信する機能を有する。外部サーバー40は、複数の一包化鑑査装置30から未登録薬剤の薬剤データを収集し、外部サーバー40のデータベースに蓄積することができる。そして、外部サーバー40は、外部サーバー40を管理するシステム管理者の操作に基づいて、蓄積した未登録薬剤の薬剤データを参照し、未登録薬剤の薬剤データを、それぞれの一包化鑑査装置30のマスターテーブル37に登録するためのマスターデータとして作成し、それぞれの一包化鑑査装置30に、マスターテーブル37に登録するための薬剤データとして配信することができる。
【0042】
鑑査結果表示機能は、鑑査機能による鑑査結果を示す画面を、ディスプレイ35に表示させる。具体的には、鑑査結果表示機能は、鑑査結果を示す画面を表示させるための画面描画データを作成し、ディスプレイ35に送信する。ディスプレイ35は、鑑査結果表示機能より送信された画面描画データを受信することで、鑑査結果を示す画面を、ディスプレイ35のモニターに表示する。なお、ディスプレイ35は、タッチパネルを有し、使用者がタッチパネルにタッチして操作可能な構成とすることもできるし、液晶モニターなどであり使用者が他の入力装置を操作して指示を入力する構成としてもよい。
【0043】
図12は、本実施形態においてディスプレイ35が表示する画面を説明するための図である。
図12に示すように、ディスプレイ35が表示する画面100は、一連の分包袋2の各分包袋21の鑑査結果をまとめて示す全体情報を表示する全体情報表示部110と、一連の分包袋2のうち個別の分包袋21の鑑査結果の詳細情報を表示する個別情報表示部120とを有している。
【0044】
全体情報表示部110には、使用者が、一連の分包袋2の鑑査結果を一目で把握できるように、一連の分包袋2を模した分包袋グラフィック111が表示される。分包袋グラフィック111は、複数の矩形で表示された単位目盛112が連続して配列された略矩形の構成となっている。各単位目盛112は、一連の分包袋2の各分包袋21に1対1で対応し、一連の分包袋2における分包袋21の数だけ、単位目盛112が表示される。また、分包袋グラフィック111における、個別情報表示部120で表示している分包袋21に対応する単位目盛112の位置を示すため、インジケータ113が表示されている。たとえば、
図12に示す例では、個別情報表示部120で表示している分包袋21に対応する単位目盛112の位置に重畳して、単位目盛112よりも大きい矩形であるインジケータ113が表示される。なお、インジケータ113は、
図12に示す例に限定されず、たとえば、「▲」のマークを、個別情報表示部120で表示している分包袋21に対応する単位目盛112の位置の下に表示する構成とすることなどができる。このように、個別情報表示部120で表示している分包袋21に対応する単位目盛112の位置にインジケータ113を表示することで、個別情報表示部120で表示している分包袋21が、一連の分包袋2のどの位置に存在するかを使用者に容易に把握させることができる。
【0045】
さらに、本実施形態に係る分包袋グラフィック111は、単位目盛112およびインジケータ113を、各分包袋21の鑑査結果に応じた色で着色して表示する。たとえば、単位目盛112に対応する分包袋21に含まれる全ての薬剤の鑑査結果が処方箋に適合するものである場合には、その分包袋21に対応する単位目盛112は、「適合」を示す第1の色(たとえば青や水色)で表示される。一方、単位目盛112に対応する分包袋21に含まれる薬剤のうち、1つでも第2の不適合条件を満たし「不適合」と判定された薬剤が含まれる場合には、その分包袋21に対応する単位目盛112は、第2の不適合条件を満たす「不適合」と判定されたこと示す第2の色(たとえば赤色)で表示される。さらに、単位目盛112に対応する分包袋21に含まれる薬剤のうち、第2の不適合条件を満たすとは判定された薬剤は1つも含んでいないが、第1の不適合条件を満たし「不適合」と判定された薬剤を1つでも含む場合には、その分包袋21に対応する単位目盛112は、第1の不適合条件を満たす「不適合」と判定されたことを示す第3の色(たとえば黄色)で表示される。
【0046】
なお、インジケータ113も同様に着色されて表示される。たとえば、
図12に示す例では、インジケータ113で表示する分包袋21に含まれる薬剤のうち、薬剤Eが第2の不適合条件を満たし「不適合」と判定されているため、インジケータ113は、第2の不適合条件を満たす「不適合」と判定されたこと示す第2の色(たとえば赤色)で表示されている。このように、単位目盛112およびインジケータ113を、「適合」、第1の不適合条件を満たす「不適合」、第2の不適合条件を満たす「不適合」によって、色を変えて表示することで、使用者が、分包袋グラフィック111を一目見るだけで、一連の分包袋2のどの位置にある分包袋21が、どのような鑑査結果であるかを容易に把握することができる。
【0047】
個別情報表示部120は、一連の分包袋2のうち、使用者が指定する個別の分包袋21の詳細情報を表示する領域である。本実施形態では、個別情報表示部120は、
図12に示すように、撮像画像データに基づく撮像画像を表示する画像情報表示部121と、処方箋データおよび薬剤データに基づく各薬剤の詳細情報を表示する薬剤情報表示部122と、個別情報表示部120に使用者が所望する分包袋21を表示させるためのボタン表示部123とを有する。
【0048】
画像情報表示部121には、一対のカメラ31,32で撮像された撮像画像が表示される。本実施形態においては、使用者が、反転ボタン124を押すことで、カメラ31により撮像された撮像画像と、カメラ32により撮像された撮像画像とを交互に表示することができる。また、画像情報表示部121には、鑑査機能により「不適合」と判定された薬剤を表示する標識が、当該薬剤の画像の上に重畳して表示される。たとえば、
図12に示す例では、薬剤Cについて、第1の不適合条件を満たす「不適合」と判定されており、薬剤Eについて、第2の不適合条件を満たす「不適合」と判定されている。この場合、第1の不適合条件を満たすことを示す第1の標識(たとえば黄色の枠線など)が薬剤Cの画像の上に重畳して表示され、第2の不適合条件を満たすことを示す第2の標識(たとえば赤色の枠線など)が薬剤Eの画像の上に重畳して表示される。さらに、画像情報表示部121では、後述する薬剤の識別番号も、各薬剤の画像の近傍に重畳して表示される。
【0049】
また、薬剤情報表示部122には、
図12に示すように、薬剤の識別番号、画像、名称、数量および鑑査結果が表示される。薬剤の識別番号は、薬剤情報表示部122の薬剤として判定した、画像情報表示部121の薬剤を使用者に表示するための番号であり、たとえば、薬剤情報表示部122の薬剤Aとして、画像情報表示部121の薬剤Aを特定した場合には、画像情報表示部121の薬剤Aには、薬剤情報表示部122の薬剤Aと同じ識別番号「1」が表示される。また、薬剤の画像は、薬剤データから取得される画像であり、
図12に示すように、本実施形態では、薬剤の表面の写真画像および裏面の写真画像が並んで表示される。薬剤の数量は、処方箋データから取得される情報であり、1回の服用における数量が表示される。さらに、薬剤の鑑査結果は、鑑査機能による鑑査結果が表示され、本実施形態では、
図12に示すように、薬剤ごとの鑑査結果が「○」、「△」、「×」で表示される。具体的に、本実施形態では、薬剤が処方箋に適合した種類かつ数量であり「適合」と判定された場合には鑑査結果として「○」が表示され、薬剤が第1の不適合条件を満たす「不適合」と判定された場合には鑑査結果として「△」が表示され、薬剤が第2の不適合条件を満たす「不適合」と判定された場合には鑑査結果として「×」が表示される。
【0050】
さらに、本実施形態では、
図12に示すように、個別情報表示部120に表示する分包袋21の情報を変更するためのボタン表示部123が設けられている。ボタン表示部123には、一連の分包袋2のうち1つ前の分包袋21の情報を表示するためのボタンと、一連の分包袋2のうち1つ後の分包袋21の情報を表示するためのボタンとが表示されており、使用者はこれらボタンを押すことで、1つ前の、あるいは、1つ後の分包袋21の情報を個別情報表示部120に表示することができる。さらに、ボタン表示部123には、一連の分包袋2のうち、1つ前の「不適合」と判定された分包袋21の情報、または、1つ後の「不適合」と判定された分包袋21の情報までスキップして表示するためのスキップボタン(早送りボタン、早巻き戻しボタン)が表示される。使用者は、スキップボタンを押すことで、「適合」と判定された分包袋21の情報をスキップし、「不適合」と判定された分包袋21の情報を個別情報表示部120に表示することができ、「不適合」と判定された分包袋21の情報を効率良く把握することができる。
【0051】
本実施形態において、使用者が、ボタン表示部123のボタンを押して、個別情報表示部120に表示される分包袋21の情報を変更した場合、全体情報表示部110の分包袋グラフィック111においても、変更された分包袋21に対応する単位目盛112の位置に、インジケータ113が移動して表示される。
【0052】
また、個別情報表示部120には、ボタン表示部123のボタンの他に、薬剤追加ボタン125が設けられている。たとえば、分包袋21に処方箋に記載の薬剤が足りない場合、使用者は、分包袋21に当該薬剤を手作業で追加する場合がある。このような場合に、使用者が薬剤追加ボタン125を押すことで、使用者が当該分包袋21において薬剤を追加したことを示す情報を登録することができる。これにより、ディスプレイ35は、追加した薬剤の画像を画像情報表示部121に表示するとともに、薬剤情報表示部122における薬剤の鑑査結果を「適合」に変更して表示することができ、また、分包袋グラフィック111における当該分包袋21の単位目盛112またはインジケータ113を「適合」を示す色に変更して表示することができる。なお、図示していないが、分包袋21に封入された薬剤の数量が処方箋よりも多い場合に、使用者が薬剤を手作業で取り出したことを示す削除ボタンを表示する構成とすることもできる。
【0053】
次に、本実施形態に係る一包化鑑査処理について説明する。
図13は、本実施形態に係る一包化鑑査処理を示すフローチャートである。なお、
図13に示す一包化鑑査処理は、たとえば、使用者が、図示しない一包化鑑査の開始ボタンを押下することで、一包化鑑査装置30により実行される。
【0054】
図13に示すように、ステップS101では、鑑査処理部33の処方箋データ取得機能により、レセプトコンピューター10または分包機20から、処方箋データを取得する処理が行われる。また、ステップS102では、鑑査処理部33の画像データ取得機能により、一対のカメラ31,32により撮像された撮像画像データの取得が行われる。さらに、ステップS103では、鑑査処理部33の鑑査機能により、記憶部34に記憶されたマスターテーブル37が参照され、処方箋に記載されている薬剤の薬剤データが、マスターテーブル37から取得される。なお、本実施形態では、鑑査機能は、処方箋データの各薬剤のYJコードを用いて、処方箋に記載されている各薬剤の薬剤データをマスターテーブル37から取得する。
【0055】
そして、ステップS104では、鑑査機能により、処方箋に記載された全ての薬剤の薬剤データをマスターテーブル37から取得できたか否かの判断が行われる。処方箋に記載された全ての薬剤の薬剤データをマスターテーブル37から取得できた場合には、ステップS108に進む。一方、マスターテーブル37から薬剤データを取得できない薬剤が処方箋に含まれている場合には、ステップS105に進む。
【0056】
ステップS105では、鑑査機能により、仮マスターテーブル38および仮マスターサブテーブル39を参照して、マスターテーブル37に薬剤データが登録されていない薬剤の薬剤データが、仮マスターテーブル38および仮マスターサブテーブル39に登録されているか検索が行われる。そして、ステップS106では、鑑査機能により、仮マスターテーブル38および仮マスターサブテーブル39を参照したことで、処方箋に記載された全ての薬剤の薬剤データが取得できたか否かの判断が行われる。処方箋に記載された全ての薬剤の薬剤データが、マスターテーブル37、仮マスターテーブル38および仮マスターサブテーブル39から取得できた場合には、ステップS108に進む。一方、マスターテーブル37、仮マスターテーブル38および仮マスターサブテーブル39を参照しても、薬剤データを取得できない薬剤が処方箋に含まれている場合には、ステップS107に進む。
【0057】
ステップS107では、マスターテーブル37、仮マスターテーブル38および仮マスターサブテーブル39に薬剤データが登録されていないため、薬剤データが登録されていない未登録薬剤の薬剤データを仮登録するための薬剤データ仮登録処理が行われる。ここで、
図14は、ステップS107の薬剤データ仮登録処理を示すフローチャートである。
【0058】
図14に示すように、まず、ステップS201では、薬剤データ仮登録機能により、カメラ31,32の撮像画像から各薬剤の画像を切り出す処理が行われる。具体的には、薬剤データ仮登録機能は、薬剤が存在するエリアを検出するための機械学習モデルM1を用いて、ステップS102で取得した複数枚の分包袋21の撮像画像から、分包袋21に含まれる各薬剤の位置(エリア)を検出し、薬剤ごとに、各薬剤の画像を切り出す。
【0059】
ステップS202では、薬剤データ仮登録機能により、薬剤の画像を分類するための機械学習モデルM2を用いて、ステップS201で画像を切り出した薬剤の特徴量が算出される。そして、ステップS203では、薬剤データ仮登録機能により、撮像画像から切り出した各薬剤の画像から、マスターテーブル37および仮マスターテーブル38において既に登録されている薬剤の画像を除外する処理が行われる。具体的には、薬剤データ仮登録機能は、まず、ステップS103で取得したマスターテーブル37に登録されている薬剤の薬剤データと、ステップS105で取得した仮マスターテーブル38に登録されている薬剤の薬剤データから、処方箋に記載されている薬剤であって、マスターテーブル37または仮マスターテーブル38に登録されている薬剤である登録済み薬剤の特徴量を得る。そして、薬剤データ仮登録機能は、
図7に示すように、撮像画像から切り出した各薬剤の特徴量に応じたベクトルと、処方箋に記載された登録済み薬剤の特徴量に応じたベクトルとの内積を類似度として算出し、撮像画像から切り出した薬剤のうち、マスターテーブル37または仮マスターテーブル38に登録されている薬剤との類似度が所定の基準値s以上である薬剤を、マスターテーブル37および仮マスターテーブル38に登録されている薬剤として、薬剤データの仮登録の対象から除外する。
【0060】
ステップS204では、薬剤データ仮登録機能により、ステップS203において仮登録の対象から除外されなかった未登録薬剤の画像のグルーピングが行われる。具体的には、薬剤データ仮登録機能は、ステップS203と同様に、比較する2つの未登録薬剤の特徴量に応じたベクトルの内積が所定の基準値s(0<s<1)以上であり、2つの未登録薬剤が類似する場合には、当該2つの未登録薬剤を同一グループに分類し、2つの未登録薬剤の特徴量に応じたベクトルの内積が所定の基準値s未満であり、2つの未登録薬剤が類似しない場合には、これら2つの未登録薬剤を別のグループに分類する。
【0061】
ステップS205では、薬剤データ仮登録機能により、ステップS204で同一グループに分類された複数の未登録薬剤薬剤の画像の中から、代表画像を選定する処理が行われる。具体的には、薬剤データ仮登録機能は、ステップS202で算出した未登録薬剤の特徴量が、そのグループ内における中央値、最頻値または平均値に最も近い未登録薬剤の画像を、代表画像として選定することができる。たとえば、本実施形態において、薬剤データ仮登録機能は、同一グループに属する他の未登録薬剤との特徴量の差分の総和が最も小さい未登録薬剤の画像を、中央値に最も近い画像として検出し、代表画像として選定することができる。
【0062】
ステップS206では、薬剤データ仮登録機能により、ステップS205で選定された代表画像から、文字記号エリアを切り出す処理が行われる。具体的には、薬剤データ仮登録機能は、予め用意した文字記号エリアの検出用の機械学習モデルM3を用いて、ステップS205で選定した代表画像から、文字や記号などが存在するエリアを、文字ごと記号ごとに検出する。さらに、ステップS207では、薬剤データ仮登録機能により、文字記号を分類するための機械学習モデルM4を用いて、ステップS206で取得された各文字記号の特徴量が算出される。そして、ステップS208では、薬剤データ仮登録機能により、文字記号を特定するための機械学習モデルM5を用いて、各文字記号の特徴量に基づいて、各文字記号の特定が行われる。
【0063】
ステップS209では、薬剤データ仮登録機能により、仮マスターテーブル38および仮マスターサブテーブル39に、一意の薬剤識別番号および文字記号識別番号がそれぞれ自動で登録されるとともに、各薬剤の表面特徴量、裏面特徴量、面積、形状が仮マスターテーブル38に自動で登録され、文字記号エリアの特徴量、始点X、始点Y、幅、高さの情報が仮マスターサブテーブル39に自動で登録される。
【0064】
なお、仮マスターテーブル38のYJコードおよび薬剤名は自動で登録することができないため、ステップS210において、薬剤データ仮登録機能により、仮マスターテーブル38のYJコードおよび薬剤名を使用者が登録するようにメッセージなどが出力される。これにより、使用者が、図示しない入力装置を用いて、YJコードおよび薬剤名を仮マスターテーブル38に登録することで、
図10に示すように、仮マスターテーブル38に未登録薬剤の薬剤データが登録されることとなる。なお、使用者がYJコードおよび薬剤名を仮マスターテーブル38に登録するまで、処理は待機し(ステップS211=No)、登録が完了すると(ステップS211=Yes)、
図14の薬剤データ仮登録処理を終了し、
図13に示すステップS108に進む。
【0065】
図13に戻り、ステップS108では、鑑査機能により、一包化された薬剤の鑑査処理が行われる。具体的には、鑑査機能は、ステップS103でマスターテーブル37から取得した薬剤データ、ステップS105で仮マスターテーブル38および仮マスターサブテーブル39から取得した薬剤データ、および/または、ステップS107の薬剤データ仮登録処理で仮登録した薬剤データを用いて、分包袋21に一包化された薬剤の種類や数量が処方箋に適合しているかを鑑査する鑑査処理を行う。具体的には、鑑査機能は、処方箋に記載された薬剤および数量を特定し、処方箋に記載されている各薬剤が撮像画像内に存在するか、また、数量が合っているかを判定する。より具体的には、鑑査機能は、撮像画像内の各薬剤の画像と、処方箋の薬剤に対応する薬剤データの画像とを比較し、処方箋の薬剤と、大きさ、形、個数、色彩および刻印・印字などで一致する薬剤が撮像画像内に必要数量存在する場合に、当該処方箋の薬剤について処方箋に「適合」すると判定する。
【0066】
一方で、鑑査機能は、処方箋の薬剤のうち、刻印・印字がない薬剤の場合には、撮像画像から薬剤を十分な精度で識別することができないため、このような薬剤を、第1の不適合条件を満たさない「不適合」として判定する。さらに、本実施形態において、鑑査機能は、処方箋の薬剤のうち、マスターテーブル37または仮マスターテーブル38に登録されていない未登録薬剤である場合、または、第1の不適合条件を満たさないが、撮像画像内に一致する薬剤を必要数量識別することができなかった場合に、当該処方箋の薬剤について、第2の不適合条件を満たす「不適合」であると判定する。さらに、鑑査機能は、一連の分包袋2の全ての分包袋21について鑑査を行い、分包袋21ごとの鑑査結果を記憶部34に記憶する。
【0067】
ステップS109では、鑑査結果表示機能により、ステップS108の鑑査結果を表示する鑑査結果が表示される。具体的には、鑑査結果表示機能は、一連の分包袋2の各分包袋21に対応する単位目盛112からなる分包袋グラフィック111を表示するとともに、各分包袋21の鑑査結果に応じて、各単位目盛112を、全ての薬剤が処方箋に適合していることを示す第1の色(たとえば水色)、第2の不適合条件を満たす薬剤を1つでも含むことを示す第2の色(たとえば赤色)、第2の不適合条件を満たす薬剤を1つも含まないが、第1の不適合条件を満たす薬剤を1つでも含むことを示す第3の色(たとえば黄色)で色分けして着色するように、分包袋グラフィック111を描画する。
【0068】
また、鑑査結果表示機能は、分包袋グラフィック111において、一連の分包袋2のうち、個別情報表示部120に表示される分包袋21の位置を示すためのインジケータ113を描画する。なお、インジケータ113についても、個別情報表示部120に表示される分包袋21の鑑査結果に応じて、全ての薬剤が処方箋に適合していることを示す第1の色(たとえば水色)、第2の不適合条件を満たす薬剤を1つでも含むことを示す第2の色(たとえば赤色)、第2の不適合条件を満たす薬剤を1つも含まないが、第1の不適合条件を満たす薬剤を1つでも含むことを示す第3の色(たとえば黄色)で色分けして着色するように、インジケータ113を描画する。なお、画面100を最初に表示する際には、一連の分包袋2のうち1個目の分包袋21の位置にインジケータ113を表示する設定とすることができる。
【0069】
さらに、鑑査結果表示機能は、ステップS102で取得した撮像画像データのうち、使用者に指定された分包袋21の撮像画像データの撮像画像を画像情報表示部121に描画するように、画像情報表示部121を描画する。また、鑑査結果表示機能は、ステップS108の鑑査結果に基づいて、識別できた撮像画像の各薬剤の画像上に識別番号を重畳して表示するとともに、「不適合」と判定された薬剤の画像上には、薬剤が第1の不適合条件を満たす「不適合」であることを示す第1の標識、または、薬剤が第2の不適合条件を満たす「不適合」であることを示す第2の標識を重畳して描画する。
【0070】
本実施形態では、鑑査結果表示機能は、処方箋に記載された薬剤データに基づいて、薬剤情報表示部122に、処方箋に記載された薬剤ごとに、薬剤の画像と、薬剤名と、数量とを描画する。また、鑑査結果表示機能は、処方箋に記載された各薬剤について、識別番号を割り当て、各薬剤に関連付けて表示できるよう描画する。さらに、調査結果表示機能は、ステップS108で求めた各薬剤の鑑査結果を、各薬剤に関連付けて表示できるように描画する。
【0071】
なお、鑑査結果表示機能は、使用者が、ボタン表示部123のボタンを押すことなどで、個別情報表示部120に表示する分包袋21の情報を変更することで、変更した一包化の薬剤情報をディスプレイ35に表示する。
【0072】
以上のように、本実施形態に係る一包化鑑査装置30は、処方箋データを取得するとともに、マスターテーブル37から薬剤データを取得し、取得した処方箋データおよび薬剤データに基づいて、分包袋21に封入された薬剤の適合判定を行う通常鑑査を行う機能に加えて、マスターテーブル37に、処方箋に含まれる薬剤の薬剤データがマスターテーブル37に登録されていない未登録薬剤である場合に、カメラ31,32が撮像した撮像画像から、未登録薬剤の仮マスターテーブル38を作成して登録し、当該仮マスターテーブル38を参照して、未登録薬剤の適合判定を行う機能を有する。これにより、本実施形態に係る一包化鑑査装置30は、外部サーバー40から受信するマスター情報に登録されていないため、マスターテーブル37に薬剤データが登録されていない未登録薬剤であっても、一包化鑑査装置30が未登録薬剤の薬剤データを作成し仮マスターテーブル38に登録することができるため、仮マスターテーブル38を参照して、未登録薬剤の鑑査を行うことができる。
【0073】
また、本実施形態では、未登録薬剤が文字記号情報の抽出が不要な形状である場合には、未登録薬剤の画像に平滑化処理を施してから、グルーピング処理を実行することで、印刷された文字や記号が撮像タイミングで変わってしまうカプセル剤などの薬剤であっても、仮マスターテーブル38に登録された薬剤データを用いて、鑑査を行うことが可能となる。すなわち、カプセル剤では、円周方向に文字が印刷されている場合が多く、この場合、カプセル剤の転がり位置によって、撮像画像で撮像される文字が変わってしまう。そのため、文字記号情報をそのまま仮マスターサブテーブル39に登録してしまうと、仮マスターサブテーブル39に登録された薬剤データの文字と、撮像画像で撮像された文字が一致せず、正しくカプセル剤を特定できない場合がある。そのため、平滑化処理により文字や記号の影響を小さくすることで、カプセル剤を特定することが可能となる。
【0074】
一方、未登録薬剤が文字情報の抽出が必要な形状である場合に、未登録薬剤の前記代表画像から、文字情報が存在するエリアを、文字エリア検出用の機械学習モデルM3を用いて検出し、検出した文字情報が存在するエリアにおける各文字を、文字特定用の機械学習モデルM4を用いて特定する。これにより、薬剤が錠剤などの文字や記号を特定可能な形状である場合には、薬剤に刻印または印刷された文字や記号まで特定することで、鑑査の精度をより高めることができる。
【0075】
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
【0076】
たとえば、上述した実施形態では、2種類以上の薬剤が一包化された場面を例示して説明したが、これに限定されず、複数種類の薬剤のうち、所定の種類の薬剤のみについて、処方箋に適合して封入されているかを判定する構成とすることもできる。
【符号の説明】
【0077】
1…一包化鑑査システム
10…レセプトコンピューター
20…分包機
30…一包化鑑査装置
31,32…カメラ
33…鑑査処理部
34…記憶部
35…ディスプレイ
36…搬送部
37…マスターテーブル
38…仮マスターテーブル
39…仮マスターサブテーブル
40…外部サーバー
2…一連の分包袋
21…分包袋
100…画面
110…全体情報表示部
111…分包袋グラフィック
112…単位目盛
113…インジケータ
114…並び替えボタン
120…個別情報表示部
121…画像情報表示部
122…薬剤情報表示部
123…ボタン表示部
124…反転ボタン
125…薬剤追加ボタン
200…薬局
【要約】
課題:マスターテーブルに未登録薬剤の薬剤データが登録されていない場合でも、未登録薬剤を鑑査することができる、一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法を提供する。
解決手段:分包袋21を撮像する撮像装置31,32と、薬剤マスタ情報を記憶する記憶装置34と、分包袋21内に封入された薬剤の適合判定を行う鑑査処理装置33と、を備え、鑑査処理装置33は、処方箋データおよび薬剤マスタ情報を取得する取得手段と、処方箋データおよび薬剤マスタ情報に基づいて、薬剤の適合判定を行う通常鑑査手段と、処方箋に含まれる薬剤の薬剤データが薬剤マスタ情報として登録されていない未登録薬剤である場合に、撮像装置31,32が撮像した撮像画像から、未登録薬剤の薬剤仮マスタ情報を作成する、薬剤データ仮登録手段と、薬剤仮マスタ情報に基づいて、未登録薬剤の適合判定を行う仮マスタ鑑査手段と、を備える。