(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169316
(43)【公開日】2024-12-05
(54)【発明の名称】薬品鑑査システム、及び薬品鑑査プログラム
(51)【国際特許分類】
A61J 3/00 20060101AFI20241128BHJP
【FI】
A61J3/00 310K
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2024066251
(22)【出願日】2024-04-16
(31)【優先権主張番号】P 2023085759
(32)【優先日】2023-05-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】592246705
【氏名又は名称】株式会社湯山製作所
(74)【代理人】
【識別番号】100104444
【弁理士】
【氏名又は名称】上羽 秀敏
(74)【代理人】
【識別番号】100132506
【弁理士】
【氏名又は名称】山内 哲文
(72)【発明者】
【氏名】天野 弘和
(72)【発明者】
【氏名】伊藤 昂祐
(72)【発明者】
【氏名】北爪 達也
(72)【発明者】
【氏名】池谷 侃亮
【テーマコード(参考)】
4C047
【Fターム(参考)】
4C047GG24
4C047JJ02
4C047JJ34
4C047KK07
4C047KK25
4C047KK28
4C047KK30
4C047KK31
4C047KK32
(57)【要約】
【課題】薬品の鑑査の効率及び精度を確保する。
【解決手段】薬品鑑査システム10は、被測定物の重量を測定する計量器1と、計量器1の荷重受部1aに取り付けられる台2と、風防部材3と、計量器1の荷重受部1aに取り付けられる台2を撮影範囲に含むカメラ4と、を備える。風防部材3は荷重受部とは接触せず荷重受部の外側において、台2の下面への風を遮断する位置に配置される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被測定物の重量を測定する計量器と、
前記計量器の荷重受部に取り付けられる台と、
風防部材と、
前記計量器の前記荷重受部に取り付けられる前記台を撮影範囲に含むカメラと、を備え、
前記風防部材は前記荷重受部とは接触せず、前記荷重受部の外側において、前記台の下面への風を遮断する位置に配置される、薬品鑑査システム。
【請求項2】
請求項1に記載の薬品鑑査システムであって、
前記カメラの光軸は、垂直方向に対して傾いて配置される、薬品鑑査システム。
【請求項3】
請求項1又は2に記載の薬品鑑査システムであって、
前記風防部材は、前記台及び前記荷重受部から離間し、且つ、前記台の下方から前記台の側方に延びて形成される、薬品鑑査システム。
【請求項4】
請求項1又は2に記載の薬品鑑査システムであって、
前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出し、検出したマーカに基づいて前記トレイを識別するトレイ識別部と、
前記トレイ識別部の識別結果、及び、前記計量器による計量値を用いて、前記台に置かれたトレイ上の薬品の重量を計算する重量計算部とを、さらに備える、薬品鑑査システム。
【請求項5】
請求項1又は2に記載の薬品鑑査システムであって、
前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出し、検出したマーカに基づいて前記画像における薬品の検出対象範囲を決定する対象範囲決定部と、
前記対象範囲決定部で決定された前記検出対象範囲における薬品領域を検出する薬品領域検出部とを、さらに備える薬品鑑査システム。
【請求項6】
請求項4に記載の薬品鑑査システムであって、
前記マーカは、白又は黒の単位領域が互いに直交する2方向(例えば、縦と横)に隙間なく配置されて構成され、
前記マーカにおいて、黒の単位領域が必ず2以上隣接して配置される、薬品鑑査システム。
【請求項7】
請求項1又は2に記載の薬品鑑査システムであって、
前記台に薬品が追加された場合に、前記カメラで撮影された画像及び前記計量器の測定の少なくとも1つにより、前記台への薬品の追加を検出する追加薬品検出部と、
前記計量器で測定された重量の増加分に基づき、前記台へ追加された薬品の重量を計算する重量計算部と、
前記追加された薬品の重量に基づく数量を、処方データと照合する照合部と、をさらに備える、薬品鑑査システム。
【請求項8】
薬品鑑査プログラムであって、
計量器と、前記計量器の荷重受部に取り付けられる台を撮影範囲に含むカメラに接続されたコンピュータに、
前記カメラで撮影された画像から、前記台に置かれたトレイのマーカを検出する処理と、
前記検出したマーカに基づいて前記トレイを識別する処理と、
前記トレイの識別結果、及び、前記計量器による計量値を用いて、前記台に置かれたトレイ上の薬品の重量を計算する処理とを、実行させる、薬品鑑査プログラム。
【請求項9】
薬品鑑査プログラムであって、
計量器と、前記計量器の荷重受部に取り付けられる台を撮影範囲に含むカメラに接続されたコンピュータに、
前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出する処理と、
前記検出したマーカに基づいて前記画像における薬品の検出対象範囲を決定する処理と、
前記決定された前記検出対象範囲における薬品領域を検出する処理とを、実行させる、薬品鑑査プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、処方データに基づいて調剤された薬品の鑑査に用いられる薬品鑑査システムに関する。
【背景技術】
【0002】
特開2016-047223号公報(特許文献1)には、鑑査支援装置が開示される。この鑑査支援装置は、複数の秤量部と、薬品の包装材から薬品識別情報を読み取る情報読取部とを備える。情報読取部によって薬品識別情報が読み取られるごとに、薬品識別情報に対応する秤量部として特定された秤量部の秤量結果と処方データとの照合処理が開始される。これにより、処方データに含まれる複数種類の処方薬品の鑑査を効率的に行うことができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
薬剤師等の作業者が処方に基づいて調剤する際に、調剤した薬品をトレイに入れて、確認及び運搬をすることが多い。発明者らは、薬品をトレイに入れた状態で計量できるようにすることで、鑑査の作業効率を向上できることを見出した。そのため、作業効率の観点からは、計量器の台を大きくすることが好ましい。しかし、台を大きくすると、台から計量器への荷重の安定性が低くなり計量精度に影響する場合がある。
【0005】
そこで、本願は、薬品の鑑査の効率及び精度を確保できる薬品識別支援システム、及び、薬品鑑査プログラムを開示する。
【課題を解決するための手段】
【0006】
本発明の実施形態における薬品鑑査システムは、被測定物の重量を測定する計量器と、前記計量器の荷重受部に取り付けられる台と、風防部材と、前記計量器の荷重受部に取り付けられる前記台を撮影範囲に含むカメラと、を備える。
前記風防部材は荷重受部とは接触せず、前記荷重受部の外側において、前記台の下面への風を遮断する位置に配置される。
【図面の簡単な説明】
【0007】
【
図1】
図1は、本実施形態の薬品鑑査システムの構成例を示す図である。
【
図2】
図2は、計量器、カメラ、台、及び風防部材の組み立て例を示す斜視図である。
【
図3】
図3は、風防部材を計量器1に取り付けた状態と外した状態の例を示す斜視図である。
【
図6】
図6は、カメラの配置例を説明するための図である。
【
図7】
図7は、ハウジングの長手方向の一方端側に端末が配置される例を示す図である。
【
図8】
図8は、スタンド14の構成例を説明するための図である。
【
図9】
図9は、本実施形態における追加の風防カバーの構成例を示す図である。
【
図10】
図10は、
図1に示す薬品鑑査システムの動作例を示すフローチャートである。
【
図11】
図11は、
図1に示す薬品鑑査システムの他の動作例を示すフローチャートである。
【
図12】
図12は、
図1に示す薬品鑑査システムの他の動作例を示すフローチャートである。
【
図13】
図13は、カメラ4で撮影された画像の例を示す図である。
【
図16】
図16は、画像のマーカM1~M9に基づいて決定された検出対象範囲TG1の例を示す図である。
【
図17】
図17は、予備撮影及び予備検出の例を説明するための図である。
【
図21】
図21は、学習済みモデルを生成するための学習処理の例を説明する図である。
【
図22】
図22は、
図20(b)のS45~S47における回転角度の決定処理の例を説明するための図である。
【
図23】
図23は、PTPシートの輪郭線と直線の交点の数の例を示す図である。
【
図24】
図24は、薬品領域に薬品名を重ねて表示する例を示す図である。
【
図25】
図25は、薬品名枠の重なりを解消するために薬品名枠を移動させる処理の例を説明するための図である。
【
図26】
図26は、薬品名枠の移動前後の表示例を示す図である。
【
図27】
図27は、薬品鑑査システムの構成例を示す機能ブロック図である。
【発明を実施するための形態】
【0008】
発明者らは、1台の計量器を用いて効率よく複数の薬品を鑑査するためのシステムを検討した。検討において、計量器の荷重受部に取り付ける台を大きくして、より大きなトレイを載せられるようにすることを試みた。大きなトレイに薬品を載せた状態で計量可能であれば、現場における薬品の鑑査作業の容易性及び効率を向上できる。しかし、台を大きくすると、台に薬品を入れたトレイを載せると、計量器の測定値が安定しない場合がある。この原因の一つに、水平方向に延在する台の下面に当たる風が考えられる。そこで、発明者らは、水平方向において延在する台の下面への風を遮断する風防部材を設ける構成に想到した。この構成により、薬品の鑑査の効率及び精度を確保できる。以下の実施形態は、この知見に基づくものである。
【0009】
(構成1)
本発明の実施形態における薬品鑑査システムは、被測定物の重量を測定する計量器と、前記計量器の荷重受部に取り付けられる台と、風防部材と、前記計量器の荷重受部に取り付けられる前記台を撮影範囲に含むカメラと、を備える。
前記風防部材は荷重受部とは接触せず、前記荷重受部の外側において、前記台の下面への風を遮断する位置に配置される。
【0010】
上記構成1によれば、防風部材により、台の下面への風が防がれる。そのため、台を水平方向へ延在させても風による計量精度への影響が小さい。台の水平方向の寸法を大きくしつつ、精度も確保できる。また、台はカメラの撮影範囲内なので、台に載せられたトレイの薬品も撮影範囲内となる。結果として、薬品の鑑査の効率及び精度を確保できる。
【0011】
前記計量器の荷重受部は、被計量物の荷重を伝達する部材である。前記計量器は、荷重受部に対して荷重する被測定物の重量を測定する。
【0012】
前記風防部材は、前記台の端部付近おいて、台の下面に入り込む風を遮断する位置に設けられてもよい。前記風防部材は、垂直方向から見て前記台と重なり且つ前記台よりも下方に配置される部分と、垂直方向から見て前記台の外側に配置される部分とを含んでもよい。これにより、効率よく台の下面への風を遮断できる。
【0013】
前記風防部材は、垂直方向から見て前記荷重受部の周囲の全体を囲む領域に配置されてもよい。これにより、風の遮断性能がより高まる。例えば、前記風防部材は、穴を有する板で形成されてもよい。この場合、前記穴が前記台より下方になるよう前記風防部材が配置されてもよい。また、垂直方向から見て前記荷重受部が前記穴の内側になるように前記風防部材が配置されてもよい。さらに、垂直方向から見て前記風防部材の内縁すなわち前記穴の縁が前記荷重部材の外側且つ前記台の内側にあり、風防部材の外縁が前記台の外側にあるように、前記風防部材が配置されてもよい。
【0014】
(構成2)
前記風防部材は、前記台及び前記荷重受部から離間し、且つ、前記台の下方から前記台の側方に延びて形成されてもよい。
【0015】
前記計量器の前記荷重受部に取り付けられた台は、垂直方向から見て、前記計量器の上皿に相当する領域の外側に位置する部分を有してもよい。すなわち、水平面の少なくとも1方向において、前記計量器の前記荷重受部に取り付けられた前記台の端は、前記計量器の上皿に相当する領域の端より外側に位置してもよい。この場合、前記風防部材は、垂直方向から見て、前記台の前記計量器の上皿に相当する領域の外側に配置されてもよい。また、前記風防部材は、前記台から離間し、且つ、前記台の前記計量器の上皿に相当する領域より水平方向外側の位置の下方から前記台の側方に延びて形成されてもよい。
【0016】
前記台の前記計量器の上皿に相当する領域より水平方向外側の位置の下方は、前記台より下であって、垂直方向から見て前記台と重なり且つ前記計量器の上皿に相当する領域とは重ならない位置である。前記風防部材が台の側方に延びる構成は、前記風防部材が、水平方向から見て前記台の少なくとも一部と重なる構成である。
【0017】
前記台は、前記荷重受部に直接的又は間接的に取り付けられる。間接的に取り付けられる例として、前記台は、前記荷重受部に取り付けられた他の部材(例えば、上皿等)に取り付けられてもよい。
【0018】
なお、計量器の上皿に相当する領域は、計量器の荷重受部に取り付けられた上皿又は、荷重受部に取り付けることが想定された上皿の領域である。例えば、荷重受部に上皿の替わりに台を取り付けた場合は、元々、荷重受部に取り付けることを想定していた上皿の領域が、計量器の上皿に相当する領域となる。
【0019】
上記構成では、水平方向において、上皿に相当する領域よりも広い範囲に台を配置できる。そのため、台に載せられるトレイの大きさ及び形状の制約が少なくなる。これにより、作業者は、作業に適したトレイに薬品を入れて鑑査できるため、鑑査効率をより高めることができる。同様の観点から、上記構成の「計量器の上皿に相当する領域」を、「計量器」に置き換えてもよい。この場合も、台が水平方向に広くなるため、鑑査効率を高めることができる。
【0020】
(構成3)
上記構成1又は2において、前記カメラの光軸は、垂直方向に対して傾いて配置されてもよい。これにより、トレイ上に重ねて置かれた薬品を斜めから見た画像を撮影できる。そのため、薬品の積層数がわかりやすい画像が得られる。例えば、重ねて置かれたPTPシート(薬品シート)の枚数がわかりやすい画像が得られる。
【0021】
(構成4)
上記構成1~3のいずれかにおいて、前記薬品鑑査システムは、前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出し、検出したマーカに基づいて前記トレイを識別するトレイ識別部と、前記トレイ識別部の識別結果、及び、前記計量器による測定値を用いて、前記台に置かれたトレイ上の薬品の重量を計算する重量計算部とを、さらに備えてもよい。これにより、薬品を載せるトレイの重量を考慮して、薬品の重量を計量することができる。そのため、トレイの重量の鑑査精度への影響が抑えられる。
【0022】
(構成5)
上記構成1~4のいずれかにおいて、前記薬品鑑査システムは、前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出し、検出したマーカに基づいて前記画像における薬品の検出対象範囲を決定する対象範囲決定部と、前記対象範囲決定部で決定された前記検出対象範囲における薬品領域を検出する薬品領域検出部とを、さらに備えてもよい。これにより、画像のトレイ以外の部分に移った人又は物による薬品の検出精度の影響が抑えられる。また、様々な形状及び大きさのトレイを用いることができる。
【0023】
(構成6)
上記構成4又は5において、前記マーカは、白又は黒の単位領域が互いに直交する2方向(例えば、縦と横)に隙間なく配置されて構成されてもよい。すなわち、前記マーカは、白又は黒の単位領域がマトリクス状に配置されたものであってもよい。前記マーカは、黒の単位領域が必ず2以上隣接して配置されるように構成されてもよい。この場合、マーカにおいて、1つの黒の単位領域の縦及び横の隣の単位領域が全て白になるような配置はない。これにより、マーカのサイズが小さくても、精度よく、トレイ識別又は検出対象範囲決定をすることが可能になる。例えば、前記マーカは、1つの黒の単位領域の周囲の単位領域が全て白になるような配置を含まないように構成されてもよい。なお、マーカの各単位領域における黒と白の色は、厳密に黒と白でなくてもよい。画像で識別可能な程度に異なる2色を、マーカの黒と白の色としてもよい。
【0024】
前記マーカのサイズは、特に限定されないが、例えば、400mm2以下が好ましく、100mm2以下がさらに好ましく、25mm2以下がさらに好ましい。マーカのサイズを小さくすることで、トレイに置かれた薬品がマーカに重なりにくくなる。また、トレイの形状又は大きさ、或いは、トレイにおけるマーカの配置の自由度が高くなる。
【0025】
前記トレイ識別部又は前記対象範囲決定部は、前記カメラで撮影された画像に対してエッジを強調するフィルタ処理を施したフィルタ処理後画像でマーカを検出してもよい。これにより、マーカの検出精度がより高くなる。
【0026】
(構成7)
上記構成1~6のいずれかにおいて、前記薬品鑑査システムは、前記台に薬品が追加された場合に、前記カメラで撮影された画像及び前記計量器の測定の少なくとも1つにより、前記台への薬品の追加を検出する追加薬品検出部と、前記計量器で測定された重量の増加分に基づき、前記台へ追加された薬品の重量を計算する重量計算部と、前記追加された薬品の重量に基づく数量を、処方データと照合する照合部と、をさらに備えてもよい。これにより、1薬品ずつ順次トレイに載せて重量を測定し、鑑査することができる。なお、前記台に追加される薬品は、一例として、前記台に置かれたトレイに追加される薬品であってもよい。
【0027】
上記構成1~6のいずれかにおいて、前記薬品鑑査システムは、前記カメラで撮影された画像において1以上の薬品を認識する薬品認識部と、
前記1以上の薬品が台に置かれた時に前記計量器で測定される前記1以上の薬品の重量及び前記カメラで撮影される前記1以上の薬品の画像の少なくとも1つに基づく前記1以上の薬品の数量を処方データと照合する照合部とを、さらに備えてもよい。
【0028】
前記薬品鑑査システムは、前記追加薬品検出部により検出される追加される1薬品ごとに計量器で測定される1薬品の重量に基づく数量を処方データと照合するモードと、前記画像における前記トレイの1以上の薬品を検出し、前記1以上の薬品が入れられたトレイに対する前記計量器で測定される前記1以上の薬品の重量及び前記カメラで撮影される前記1以上の薬品の画像の少なくとも1つに基づく数量を処方データと照合するモードとが切り替え可能であってもよい。
【0029】
上記構成7において、前記薬品鑑査システムは、前記カメラで撮影された画像において、前記台に追加された薬品を認識する薬品認識部をさらに、備えてもよい。前記照合部は、前記薬品認識部が認識した前記追加された薬品を前記処方データと照合してもよい。これにより、作業者は、薬品をトレイに追加で載せる作業により、1薬品ごとの薬品認識及び重量計算が可能になる。そのため、より効率よい鑑査が可能になる。
【0030】
前記追加薬品検出部は、画像において検出した薬品の領域を、記憶部に記録してもよい。これにより、前記追加薬品検出部は、次に追加された薬品を、すでにトレイにある薬品と区別することができる。
【0031】
上記構成1~7のいずれかにおいて、前記薬品鑑査システムは、前記カメラで撮影された画像における薬品の認識結果、及び、前記計量器で測定された薬品の重量の少なくとも1つと、処方データを照合する照合部を、さらに備えてもよい。画像における薬品の認識結果は、例えば、薬品の検出の有無、薬品名、薬品の数量(例えば、シート枚数又は錠数等)の少なくとも1つを含んでもよい。
【0032】
本発明の実施形態における薬品鑑査システムは、計量器の荷重受部に取り付けられた台を撮影範囲とするカメラにより撮影された画像における、前記台に置かれたトレイ上の薬品のコード又は文字を認識することで薬品を認識する薬品認識部を備えてもよい。この場合、薬品鑑査システムは、前記薬品認識部で認識された薬品の認識結果、及び、前記計量器で測定された前記薬品の重量を、処方データと照合する照合部をさらに備えてもよい。
【0033】
前記薬品認識部は、前記台に前記トレイを載せる動き又は前記トレイに薬品の載せる動きの途中に前記カメラで撮影された少なくとも1枚の予備画像を取得し、前記予備画像において前記薬品のコード又は文字を予備認識してもよい。これにより、前記台に置かれたトレイ上の薬品の画像において、コード又は文字の部分がサチレーション等で認識できない場合、予備画像で予備認識された薬品のコード又は文字を用いて薬品を認識することができる。これにより、画像における薬品のコード又は文字が認識不可の場合の再配置及び再撮影が不要になる。そのため、認識不可の場合の鑑査に要する時間を短くできる。作業者は、より効率よく鑑査できる。
【0034】
前記薬品認識部は、前記画像において、薬品のPTPシート領域の部分画像を検出し、検出した前記PTPシート領域の部分画像を複数段階に回転させた画像のそれぞれに対してコード又は文字を認識する処理を実行してもよい。これにより、高精度且つ高速で薬品のPTPのコード又は文字を認識することができる。前記薬品認識部は、例えば、抽出した前記PTPシート領域の部分画像に対してフィルタ処理をかけた画像を、複数段階に回転させた画像のそれぞれに対してコード又は文字を認識する処理を実行してもよい。これにより、より精度を高めることができる。前記フィルタ処理は、例えば、アンシャープマスク及び制限付きヒストグラム平坦化処理の組み合わせが好ましい。
【0035】
前記薬品認識部は、前記画像における薬品領域の少なくとも一部の部分画像を抽出し、抽出した部分画像を入力とし、部分画像の文字又はコードを認識しやすくするための回転角度を出力する学習済みモデルを用いて、前記抽出した部分画像の回転角度を決定し、決定した回転角度で、前記薬品領域を回転した画像に対してコード又は文字を認識する処理を実行してもよい。これにより、360度の範囲で回転と認識処理を繰り返す場合に比べて、処理時間を短くできる。学習済みモデルは、例えば、ニューラルネットワークのモデルとして、部分画像と回転角度を教師データとするディープラーニングにより作成することができる。
【0036】
前記薬品認識部は、前記画像における薬品領域を抽出し、前記薬品領域に対するコード検出処理と、文字認識(OCR)処理を並行して実行してもよい。この場合、薬品認識部は、コード検出できた場合は、文字認識結果は破棄し、コード検出できなかった場合に、文字認識結果を待ってもよい。
【0037】
本発明の実施形態における薬品鑑査システムは、計量器の荷重受部に取り付けられた台を撮影範囲とするカメラにより撮影された画像における、前記台に置かれたトレイ上の薬品を認識する薬品認識部を備えてもよい。この場合、薬品鑑査システムは、前記薬品認識部で認識された薬品の認識結果、及び、前記計量器で測定された前記薬品の重量を、処方データと照合する照合部をさらに備えてもよい。
【0038】
前記薬品認識部は、入力された画像に対するセグメンテーションにより前記画像における少なくともPTPシート(薬品シート)及びポケット(薬収納部)の領域を出力する学習済みモデルを用いて、前記カメラで撮影された前記画像における少なくともPTPシート及びポケットの領域を決定してもよい。これにより、より高精度且つ高効率で薬品領域を認識できる。
【0039】
前記学習済みモデルは、例えば、画像における少なくともPTPシート、ポケット、及び背景の領域を出力するモデルであってもよい。前記学習済みモデルは、例えば、画像における少なくともPTPシート、ポケット、背景、及びPTPシートの輪郭の領域を出力するモデルであってもよい。前記学習済みモデルは、例えば、セマンティックセグメンテーションにより、各画素を、少なくともPTPシート、ポケット、及び背景のいずれかにラベル付けするモデルであってもよい。なお、学習済みモデルは、セマンティックセグメンテーションのモデルに限られず、例えば、インスタンスセグメンテーション又はパノプティックセグメンテーションのモデルであってもよい。
【0040】
前記薬品認識部は、前記カメラのオートフォーカス(自動焦点)を用いて撮影された画像であって、前記トレイにおける重なった複数のPTPシートを含む画像を取得し、前記重なった複数のPTPシートのうち最も焦点が合っているPTPシートのエッジを検出することで、重なったPTPシートのうち1つのPTPシートの領域を決定してもよい。これにより、例えば、重なった複数のPTPシートのうち最も上にあるPTPシートの領域を検出することができる。そのため、PTPシートの検出精度が高くなる。また、そのため、PTPシート単位の重量を計算しやすくなる。例えば、前記薬品認識部は、重なった複数のPTPシートにおいて最も焦点があっているPTPシートのエッジを、端数シートの輪郭として検出してもよい。
【0041】
前記薬品認識部は、前記画像におけるPTPシートの輪郭を検出し、基準直線と検出されたPTPシートの輪郭との交点の数に基づき、PTPシートの枚数を決定してもよい。これにより、画像に基づきPTPシートの枚数を特定できる。基準直線は、例えば、PTPシートの領域の最小外接矩形内の通る直線とすることができる。基準直線は複数であってもよい。この場合、複数の基準直線それぞれのPTPシートの輪郭との交点の数に基づき、枚数が決定される。これにより、より精度よく枚数を特定できる。複数の基準直線は、例えば、互いに直交する2つの直線、及び、平行な2以上の直線の少なくともいずれかを含んでもよい。
【0042】
上記構成1~7のいずれかにおいて、前記台は、垂直方向から見て前記計量器の上皿に対応する領域と重なる部分における単位当たり重量が、前記計量器の上皿に対応する領域と重ならない部分の単位当たり重量より大きくなるよう構成されてもよい。これにより、台の計量器の上皿に対応する領域と重ならない部分の上に薬品が置かれても台が傾きにくくなる。そのため、薬品を置ける範囲を広くしつつも、計量精度を確保できる。結果として、薬品の鑑査の効率及び精度がより確保しやすくなる。
【0043】
例えば、台の垂直方向から見て計量器の上皿に対応する領域と重なる部分にカウンターウェイト(重り)が設けられてもよい。また、台の垂直方向から見て計量器の上皿に対応する領域と重ならない部分に、重なる部分より板厚が薄い薄肉部及び穴の少なくとも1つが設けられてもよい。
【0044】
上記構成1~7のいずれかにおいて、前記薬品鑑査システムは、前記計量器の底面を少なくとも3点で支持するブロックと、前記ブロックに固定されたベースとを備えてもよい。前記ブロックには、設置面に接する脚部が設けられてもよい。これにより、計量器が安定して支持される。例えば、ベースの歪み等が計量器の支持構造に影響しない。そのため、計量精度がより確保しやすくなる。例えば、前記ベースに、前記カメラを支持するカメラ支持部材が取り付けられてもよい。又は、前記ベースに、前記計量器を収納するハウジングが取り付けられてもよい。例えば、ハウジングに、前記風防部材が取り付けられてもよい。
【0045】
上記構成2、4~7のいずれかにおいて、前記薬品鑑査システムは、風防部材を省略してもよい。
【0046】
本発明の実施形態における薬品鑑査プログラムは、計量器と、前記計量器の荷重受部に取り付けられる台を撮影範囲に含むカメラに接続されたコンピュータに、前記カメラで撮影された画像から、前記台に置かれたトレイのマーカを検出する処理と、前記検出したマーカに基づいて前記トレイを識別する処理と、前記トレイの識別結果、及び、前記計量器による計量値を用いて、前記台に置かれたトレイ上の薬品の重量を計算する処理とを、実行させる。
【0047】
本発明の実施形態における薬品鑑査プログラムは、計量器と、前記計量器の荷重受部に取り付けられる台を撮影範囲に含むカメラに接続されたコンピュータに、前記カメラで撮影された画像から、前記台に置かれたトレイに付されたマーカを検出する処理と、前記検出したマーカに基づいて前記画像における薬品の検出対象範囲を決定する処理と、前記決定された前記検出対象範囲における薬品領域を検出する処理とを、実行させる。
【0048】
以下、図面を参照しながら、本発明の実施形態について説明する。
[実施形態]
(システム構成例)
図1は、本実施形態の薬品鑑査システム10の構成例を示す図である。薬品鑑査システム10は、計量器1、台2、風防部材3、カメラ4、端末5、及び、リーダ6を備える。薬品鑑査システム10では、端末5のコンピュータが、計量器1,カメラ4、リーダ6及びユーザ入力の少なくとも1つにより得られる鑑査対象の薬品の情報が、処方データが示す薬品と一致しているか否かを判断する。
【0049】
計量器1は、被測定物の重量を測定する重量測定装置である。台2は、計量器1の荷重受部に取り付けられる。風防部材3は、計量器1に対して、荷重受部に荷重をかけない状態で取り付けられる。すなわち、風防部材3は、台2及び荷重受部から離間した位置に取り付けられる。風防部材3は、台2の下方から台2の側方に延びて形成される。カメラ4は、計量器1に取り付けられる台2を撮影範囲に含む位置でカメラ支持部4aによって支持される。
図1の例では、台2及び風防部材3は、計量器1に対して脱着可能である。
【0050】
端末5は、コンピュータ5a、ディスプレイ5b及び入力デバイス5cを含む。コンピュータ5aは、計量器1、カメラ4、及びリーダ6に有線又は無線で接続され、これらと通信可能である。コンピュータ5aは、計量器1、カメラ4、及びリーダ6を制御するとともに、これらから取得したデータを処理する。コンピュータ5aが処理するデータは、記憶部8に記憶される。記憶部8は、コンピュータ5aに内蔵の記憶装置又はコンピュータ5aがアクセス可能な外部の記憶装置で構成されてもよい。ディスプレイ5bは、コンピュータ5aからの情報が出力される出力デバイスの一例である。入力デバイス5cは、ユーザからのコンピュータ5aへの入力を受け付ける。入力デバイス5cは、例えば、タッチパネル、マウス、キーボード、ボタン、又は、その他の操作部であってもよい。端末5は、例えば、タブレット端末、ラップトップコンピュータ、ディスクトップコンピュータ、スマートフォン、又は、専用コンピュータとすることができる。
【0051】
薬品鑑査システム10は、コンピュータ5aにより実現される機能部として、トレイ識別部51、重量計算部52、対象範囲決定部53、追加薬品検出部54、薬品認識部55、照合部56、及び、制御部57を備える。薬品認識部55は、薬品領域検出部251を含む。これらの機能部は、1又は複数のコンピュータが所定のプログラムを実行することで実現できる。そのようなプログラム及びプログラムを記憶した非一時的(non-transitory)な記憶媒体も本発明の実施形態に含まれる。なお、これら機能部を構成するコンピュータは、端末5のみに限られない。例えば、これらの機能部の少なくとも一部が、ネットワークを介して、端末5と接続された1又は複数のコンピュータによって構成されてもよい。
【0052】
リーダ6は、薬品の包装材から薬品識別情報を読み取る情報読取器である。リーダ6は、例えば、コードリーダである。この場合、リーダ6は、バーコード(JAN、GS1)等の一次元コード又はQRコード(登録商標)等の二次元コードのような識別情報を読取可能である。
【0053】
(装置の構成例)
図2は、計量器1、カメラ4、台2、及び風防部材3の組み立て例を示す斜視図である。
図2の例では、計量器1は、筐体1bと、筐体1bの上面に設けられた荷重受部1aと、荷重受部1aの上に取り付けられた上皿1dを有する。荷重受部1aは、筐体1bに対して可動である。荷重受部1aは、被測定物の荷重を受けて、荷重を筐体1bに内蔵される測定機構に伝達する。測定機構は、例えば、電磁式、又は、ロードセル式とすることができる。計量器1は、例えば、電子天秤であってもよい。
【0054】
上皿1dは取り外されて、上皿1dの替わりに、台2が、荷重受部1aに直接取り付けられる。台2は板状である。台2の下面には、荷重受部1aに対応する位置に、荷重受部1aに接続される接続部2cが設けられる。接続部2cは、例えば、荷重受部1aに嵌まる凹部で形成される。なお、台2は、上皿1dに取り付けられてもよい。この場合、接続部2cは、上皿1dに嵌まる形状となる。
【0055】
風防部材3は、穴3aを有する板である。風防部材3は、計量器1に対して、荷重受部1aに荷重をかけない状態で、取り付けられる。
図2の例では、風防部材3は、計量器1の筐体1bの上面の上皿1dに対応する領域の外側に載せられる。垂直方向から見て、風防部材3の穴3aは、上皿1dに対応する領域より大きい。台2の接続部2cは、風防部材3の穴3aを通って荷重受部1aに取り付けられる。また、垂直方向から見て、風防部材3の外縁は、台2の外縁の外側に位置する。すなわち、垂直方向から見て、風防部材3は、第2の外縁に重なる位置に配置される。また、風防部材3は、台2より水平方向外側において、上方に延びるフランジ部3bを有する。
【0056】
図2の例では、計量器1に取り付けられた台2は、垂直方向から見て、上皿1dに対応する領域よりも広い範囲に配置される。また、垂直方向から見て、台2の少なくとも一部は、計量器1の外側に位置する。このように、これにより、台2の載置面を広くできる。そのため、台2に載せられるトレイ7の大きさ及び形状の自由度が高くなる。そのため、ユーザは、調剤及び鑑査に適したトレイ7を使用できる。これにより、鑑査効率が向上する。また、台2の水平方向の範囲を大きくした場合に、台2の下面への風の影響が問題となるが、風防部材3が、台2の下面から側面にかけて配置されるため、風の影響が抑えられる。そのため、薬品の鑑査の効率及び精度を確保できる。
【0057】
図2の例では、計量器1は、筐体1bの底面に設けられた脚部1cを有する。脚部1cは、ブロック11に支持される。ブロック11は、計量器1が水平になるよう脚部1cを支持する。ブロック11の下面には脚部11aが設けられる。ブロック11の脚部11aは、設置面に接する。ブロック11には、ベース12が固定される。ベース12は、例えば、締結具(図示略)によりブロック11に固定される。ブロック11の脚部11aが、ベース12の穴12aを通る。また、
図2では図示を省略しているが、計量器1を収納する覆うハウジングが、ベース12に取り付けられてもよい。
【0058】
図3(a)は、台2及び風防部材3を計量器1に取り付けた状態の例を示す斜視図である。
図3(b)は、
図3(a)において風防部材3を省略した状態を示す斜視図である。
図3(b)の状態では、風が、台2の下面に直接当たる。風の影響で、計量器1の測定値のばらつきが大きくなり、測定精度が低下する場合がある。風の影響で、計量器1の測定速度が遅くなる場合がある。これに対して、
図3(a)に示すように、風防部材3を設けることで、台2の下から吹き上げてくる風が、風防部材3によって遮断される。そのため、風による測定精度及び速度への影響が小さくなる。なお、
図3の例では、計量器1を収納するハウジング13が設けられる。ハウジング13は、計量器1の上面を覆う。
【0059】
一例として、室内のエアコンなどの気流が上から下に流れるような環境で薬品鑑査システム10が使用されることが想定される。このような環境において、薬品鑑査システム10の計量器1を載置したテーブル面等の載置面で当該気流が跳ね返り、荷重受部1aに取り付けられた台2の下面に気流が向かう現象が発生し得る。この場合、例えば、
図3(b)のように、載置面から台2の下面へ向かう気流を遮るものがない場合、常に下からの不安定な気流がトレイ底面に当たり続け、計量値が安定しないという状況が発生しやすい。この状況を回避するべく、本実施形態では、風防部材3が設けられる。風防部材3が跳ね返りの気流を受けることになる。風防部材3は、荷重受部1aと接触していないため、当該気流による計量器1の計測値の不安定化は回避される。
【0060】
図4は、
図3(a)のA-A線の断面図である。
図4に示すように、台2は、水平方向において、計量器1の上皿1dに対応する領域の外側に延びて形成される。台2の上皿1dに対応する領域の水平方向外側の部分の下方には、風防部材3が配置される。風防部材3は、台2の下方から水平方向の外側に延び、台2の水平方向の端の外側に達する。このように、風防部材3は、垂直方向から見て台2の計量器1の上皿1dに対応する領域の外側の領域の少なくとも一部から、台2の外側に延びて形成される。すなわち、垂直方向から見て風防部材3が配置される領域は、計量器1の上皿1dに対応する領域の外側の台2と重なる領域の少なくとも一部の領域と、この少なくとも一部の領域から台2の外側へ延在する領域とを含む。
【0061】
図4の例では、風防部材3は、台2の水平方向外側において上方に延びる部分すなわちフランジ部3bを有する。フランジ部3bは、風防部材3の端部となる。フランジ部3bは、水平方向から見て台2の少なくとも一部と重なる。
図4の例では、フランジ部3bの上端すなわち風防部材3の上端は、台2の上端より高い。風防部材3は、台2の上方には配置されない。すなわち、風防部材3は、上方に開口した形状を有する。これにより、計量に影響する台2への風を防ぎつつも、台2にトレイ7を載せやすくすることができる。
【0062】
図4の例では、風防部材3は、計量器1の筐体1bの上面に取り付けられる。風防部材3は、台2及び荷重受部1aの両方から離間した位置に取り付けられる。これにより、風防部材3は、計量器1の荷重伝達経路から離間した箇所、すなわち、計量器1の計量機構(天秤)とは縁を切った箇所に取り付けられる。なお、
図4の例では、風防部材3は、筐体1b及びハウジング13に支持される。風防部材3は、筐体1b及びハウジング13の少なくとも一方に支持されるよう取り付けられてもよい。或いは、風防部材3は、筐体1b及びハウジング13の両方から離間し、独立して設けられてもよい。
【0063】
図4の例では、ブロック11の上に計量器1が載せられ、ブロック11の下面の脚部11aが設置面(床)に接する。板状のベース12は、ブロック11に固定される。計量器1は、ベース12を介さずに、ブロック11を介して設置面に支持される。これにより、ベース12の歪みが計量器1の測定に与える影響を緩和できる。例えば、ベース12に計量器1を載せる構成の場合は、ベース12に歪みがあると、設置面に対して計量器1がガタつき不安定になる。これにより、測定不可能又は測定時間が長くなる場合がある。
図4のように、ブロック11で計量器1を支持する構成とすることで、計量器1を安定して支持できる。
【0064】
ブロック11は、例えば、アルミニウム等の金属で形成されてもよい。ブロック11の脚部11aは、例えば、ゴム等の樹脂で形成されてもよい。例えば、ベース12を貫通しブロック11に達するボルト等の締結具によって、ベース12がブロック11に固定されてもよい。
図4の例では、ブロック11の上面に、凹部が設けられる。ブロック11の上面の凹部に計量器1の脚部1cが配置される。これにより、安定性が向上する。
【0065】
ブロック11は、計量器1の底面の複数の脚部1cのそれぞれに対応して設けられる。本例では、計量器1の4つの脚部1cのそれぞれに対応する4つのブロック11が設けられる。ブロック11の構成は、この例に限られない。変形例として、複数の脚部1cに共通するブロックが設けられてもよい。ブロックは、計量器の底面の少なくとも3点を支持する。
【0066】
図5は、台2の構成例を示す斜視図である。
図5(a)は、台2を上面(表の面)側から見た斜視図であり、
図5(b)は、台を下面(裏の面)側から見た斜視図である。
図5の例では、台2の水平方向における中央部にカウンターウェイト2bが設けられ、中央部の外側に穴2aが設けられる。これにより、台の中央部における単位当たり重量が、中央部以外の部分の単位当たり重量より大きくなる。カウンターウェイト2bは、台2が計量器1に取り付けられた状態で、計量器1の上皿に対応する領域と重なる領域に設けられてもよい。カウンターウェイト2bにより、台2の端に近い位置に薬品が置かれた場合でも、薬品及び台2の重心が上皿に対応する領域と重なる位置になる。これにより、例えば、台2に載せられたトレイ7の端付近に薬品が置かれた場合にトレイ7が傾かない。そのため、重量測定が安定する。すなわち、台2のサイズを大きくして鑑査効率を高めるとともに、計量精度を確保できる。
【0067】
図6は、カメラ4の配置例を説明するための図である。
図6(a)は、カメラ4、計量器1及び台2を含む装置の正面図であり、
図6(b)は、その装置の側面図である。
図6の例では、カメラ4の光軸C1が、垂直方向に対して傾いた状態で、カメラ4がカメラ支持部4aによって支持される。これにより、台2に置かれたトレイ7の薬品を斜めから撮影できる。これにより、例えば、重ねられたPTPシートの枚数がわかりやすい画像が得られる。この観点から、カメラ4の光軸C1の垂直方向に対する角度θ1は、25度≦θ1≦65度であることが好ましい。
【0068】
また、カメラ4がカメラ支持部4aに支持された状態で、台2の全体が、カメラ4の撮影範囲に入るようにカメラ4の画角Gh、Gvが設定される。カメラ4の水平画角Gh及び垂直画角Gvの下限は、例えば、50度(Gh≧50度、Gv≧50度)とすることができる。水平画角Ghは、例えば、100度以上(Gh≧100度)であることが好ましい。
【0069】
図6(a)の左右方向は、ハウジング13の長手方向であり、
図6(b)の左右方向は、ハウジング13の短手方向である。
図6(b)の例では、ハウジング13の短手方向の一方端側に端末5が、スタンド14によって支持された状態で配置される。スタンド14は、端末5のディスプレイの画面が水平面に対して傾いた状態で、端末5を支持する。
【0070】
図7は、ハウジング13の長手方向の一方端側に端末5が配置される例を示す図である。この場合、スタンド14で支持される端末5のディスプレイの画面の傾斜は、
図6(b)に示す場合と異なる。ハウジング13の長手方向の一方の端部付近の上面は、端部に近づくにしたがって低くなるよう傾斜する傾斜部を有する。スタンド14に支持される端末5のディスプレイの画面は、傾斜部と垂直方向に置いて重なり、かつ傾斜部に沿って傾斜する。これにより、端末5及びハウジング13が占める水平方向のスペースを小さくすることができる。
【0071】
図8は、スタンド14の構成例を説明するための図である。
図8(a)(b)は、第1状態で端末5を保持するスタンドの構成例を示す。
図8(c)(d)は、第1状態とは異なる第2状態で端末5を保持するスタンドの構成例を示す。
図8の例では、スタンド14は、端末5を保持する保持部14bと、保持部14bを支持する支持部14aを有する。支持部14aに対する保持部14bの角度は調整可能である。これにより、スタンド14により端末5を保持する角度が調整可能である。そのため、効率よく端末5を配置することができる。また、
図8(c)(d)の例では、スタンド14の保持部14bにアタッチメント14cが装着される。アタッチメント14cの脱着により、端末5の保持できる角度の範囲を広げることができる。
【0072】
図9は、本実施形態における追加の風防カバーの構成例を示す図である。風防カバーは、計量器1、カメラ4、台2及びハウジング13の全体を覆う外付けの風防カバーである。風防カバーは、正面及び底面が開口し、側面、上面及び背面を形成するパネルの組み合わせである本体15と、側面のパネルから正面へ向かって延びるパネルであるガイド15A、15Bを含む。本体15の側面パネルの正面側の縁は、凹部15cを有する。凹部15cは、計量器1の台2に対応する高さに設けられる。凹部15cにより、ユーザが、台2にトレイ7を載せる動作又は、台2に置かれたトレイ7に薬品を載せる動作における物又は手の動線が確保される。ガイド15A、15Bは、側面から見て凹部15cと重なる位置に設けられる。これにより、凹部15cから計量器1へ入る風が防がれる。この構成の風防カバーにより、薬品を配置するための動作の効率を高めるとともに風による影響を少なくして計量精度を確保できる。なお、
図9の例では、ガイドが本体の両側面のパネルに設けられるが、両側面のうち少なくとも一方の側面パネルにガイドが設けられてもよい。
【0073】
図9の例では、風防カバーの天井部にリーダ6が設けられる。リーダ6は、リード部分が下向きになるよう配置される。リーダ6は、風防カバーの内部のリーダ6の下方にある薬品のコードを読み取る。これにより、例えば、ユーザがPTPシートをトレイ7に乗せる過程でバーコードリーダであるリーダ6でPTPシートのコードを読み取ることができる。ユーザは、PTPシートをトレイ7に載せることと、リーダ6にコードを読み取らせることを一つの動作で実現できる。
【0074】
(動作例)
図10は、
図1に示す薬品鑑査システムの動作例を示すフローチャートである。
図10は、処方に基づき調剤された薬品を1薬品ずつ順次鑑査する動作の例である。作業者であるユーザは、まず、トレイ7を、計量器1に取り付けられた台2に置く。薬品鑑査システムは、トレイ7が置かれたことを検出する(S1)。端末5のコンピュータは、計量器1で測定された重量及びカメラ4で撮影された画像の少なくとも1つに基づき、トレイ7が置かれたことを検出できる。
【0075】
S1において、トレイ識別部51は、カメラ4の画像におけるトレイ7に付されたマーカを検出し、マーカに基づいてトレイを識別してもよい。トレイ識別部51は、例えば、マーカに基づき、トレイの個体識別をしてもよい。この場合、マーカは、例えば、バーコード、二次元コード、又は、Arucoマーカ等、マーカの模様が情報を示すものとすることが好ましい。この場合、マーカが示す情報をトレイの個体を識別する識別子として使用できる。
【0076】
重量計算部52は、トレイ識別部51の識別結果と計量器1の測定値を用いて、トレイ上の薬品の重量を計算することができる。この場合、トレイの識別子に対応付けて、重量の測定に用いられるトレイに固有の情報、例えば、トレイの重量、その他の重量の測定に関するトレイに固有のパラメータを、記憶部8に記録しておくことができる。例えば、後述するように、重量計算部52は、カメラ4の画像に含まれるマークにより特定されるトレイ識別子に対応するトレイ固有の情報と、計量器1の測定値を用いてトレイ上の薬品の重量を計算してもよい。
【0077】
また、トレイ識別部51は、カメラ4の画像におけるマーカの位置により画像におけるトレイの領域を識別してもよい。この場合、後述するように、対象範囲決定部53は、画像におけるトレイの領域内を薬品の検出対象範囲に決定することができる。薬品認識部55の薬品領域検出部551は、検出対象範囲における薬品領域を検出する。
【0078】
コンピュータは、処方データの指定をユーザから受け付ける(S2)。S2では、例えば、コンピュータは、端末5のディスプレイ5bに処方データの指定を受け付ける画面を表示することで、処方データの指定を受け付ける。ユーザは、タッチパネル等の入力デバイス5cを介して、鑑査の対象とする処方データの指定を入力する。
【0079】
ユーザは、処方データが示す処方に基づいて調剤した薬品のうち1薬品の包装材に記載されている薬品識別情報(例えば、JANコード、RSSコード、YJコード、又はGS1コード等)をリーダ6に読み取らせる。リーダ6により、1薬品の薬品識別情報が読み取られる(S3)。薬品の包装材は、例えば、分包紙、PTPシート、又は薬品の容器であってもよい。
【0080】
S4で照合部は、S3で読み取られた薬品識別情報が示す薬品が、S2で指定された処方データが示す薬品と照合する。これらが一致しないと判断される場合(S4でNO)、コンピュータは、アラームをユーザに対して出力する(S5)。アラーム出力は、例えば、音出力及び表示であってもよい。また、アラームには、読み取られた薬品が処方に一致しないことの通知が含まれてもよい。
【0081】
S4でYESの場合、コンピュータは、トレイ7への薬品の追加を待機する。ここでは、例えば、S3で読み取られた薬品識別情報が示す薬品をトレイ7に入れることをユーザに促すメッセージが出力されてもよい。
【0082】
S6において、追加薬品検出部54は、計量器1で測定された重量及びカメラ4で撮影された画像の少なくとも1つに基づき、トレイ7(すなわち台2)に薬品が追加されたことを検出する。例えば、計量器1で測定される重量の所定量以上の増加の検出、又は、カメラ4の画像における新たに薬品領域の検出、若しくはこれらの両方の検出により、追加の薬品が検出されてもよい。
【0083】
トレイ7への薬品の追加が検出された場合(S6でYES)、重量計算部52により、計量器1の測定値に基づいて追加された薬品の重量が計算される(S7)。例えば、カメラ4の画像で新たな薬品領域が検出された時点から所定時間内の計量器1で測定された重量の増加分に基づく重量を、追加された薬品の重量として計算することができる。一例として、測定された重量の増加分から包装材の重量を引いた重量を薬品の重量としてもよい。また、計量器1で測定された重量から、トレイ7の重量及びすでにトレイ7にある追加薬品以外の薬品の重量を引いた重量を基に、追加した薬品の重量が計算されてもよい。
【0084】
S8において、薬品認識部55は、S7で計算された重量を基に、追加された薬品の数量を決定する。例えば、計算された重量が、錠数又はシート数に換算されてもよい。この換算は、薬品の単位数量(例えば、1錠、1シート)あたりの重量を用いて実行できる。単位数量あたりの重量は、例えば、薬品データベースから取得されてもよい。なお、処方データで示される薬品の数量が重量で表される場合は、S7で計算された重量を、薬品の数量としてもよい。
【0085】
S9において、照合部56が、S7で決定された薬品の数量が、処方データで示されるその薬品の数量と照合し、これらが一致するか否かを判断する。例えば、S7で決定された薬品の数量と、処方データが示す数量との差が所定範囲内である場合は、一致すると判断されてもよい。例えば、照合処理において、S7で決定された薬品の重量と、処方データが示す薬品の重量を比較する場合、これらの重量の差が、許容誤差範囲であれば、一致すると判断できる。許容誤差範囲は、例えば、薬品の重量に応じて決められてもよい。照合において、数量が一致しない場合(S9でNO)、コンピュータは、アラームを出力する(S5)。アラームには、薬品の数量が処方に一致しないことの通知が含まれてもよい。
【0086】
処方データが示す薬品のうちまだ読み取られていない薬品がある場合(S10でYES)、上記のS3~S9の鑑査処理が繰り返し実行される。この場合、次の薬品をリーダ6に読み取らせてトレイ7に追加する操作をユーザに促すメッセージが出力されてもよい。S3~S9の鑑査処理は、処方データが示す全薬品について実行される。これにより、ユーザが、1つの薬品をリーダ6に読み取らせてトレイ7に追加する操作を、調剤した全薬品について繰り返すことで、1薬品ずつ順次鑑査処理が実行される。
【0087】
処方データが示す全薬品について鑑査処理が終了すると(S10でNO)、カメラ4でトレイ7上の薬品が撮影され、エビデンス画像として記憶部8に記録される(S11)。また、鑑査結果が出力される(S12)。鑑査結果は、薬品鑑査システム10で認識された薬品、及び薬品の数量が、処方データの情報と一致しているか否かを示す。出力の形態は特に限定されないが、例えば、ディスプレイ5bへの表示、記憶部8への記録、及び、送信の少なくとも1つであってもよい。
【0088】
図11は、
図1に示す薬品鑑査システムの他の動作例を示すフローチャートである。
図11は、処方に基づき調剤された薬品を1薬品ずつ順次鑑査する動作の例である。
図11の例では、薬品識別情報は、リーダではなくカメラ4の撮影画像から読み取られる。そのため、ユーザの作業は、
図10の例では、リーダ6に薬品をかざす、トレイ7(計量器1)に載せると2工程あったものが、
図11の例では、薬品をトレイ7(計量器1)に乗せる工程のみになる、
【0089】
図11のS1、S2、S11、S12の処理は、
図10のS1、S2と同様にできる。S2の後、コンピュータは、トレイ7への1つ薬品の追加を待機する。ここでは、例えば、1つの薬品をトレイ7に入れることをユーザに促すメッセージが出力されてもよい。
【0090】
S3-2において、コンピュータは、トレイ7(すなわち台2)に薬品が追加されたことを検出する。この検出は、
図10のS6の検出と同様にできる。トレイ7への薬品の追加が検出されると(S3-2でYES)、追加された薬品の重量計算(S7)及び、カメラ4の撮影画像による追加された薬品の認識(S3-3)が開始される。すなわち、追加された薬品の重量計算及び画像における薬品の認識処理は並列に実行される。
図11のS7~S9の処理は、
図10のS7~S9と同様にできる。
【0091】
S3-3では、例えば、薬品認識部55が、カメラ4により撮影された追加薬品を含む画像における薬品識別情報の読取を実行する。薬品識別情報は、例えば、JANコード、RSSコード、YJコード、又はGS1コード、又は薬品名を表す文字であってもよい。この場合、薬品認識部55は、画像における薬品の包装材に記載されたコード又は文字による薬品識別情報を読み取る処理を実行する。これにより、追加された薬品が認識される。認識された薬品の処方データとの照合(S4)、及び、S4でNOの場合のアラーム出力(S5)の処理は、
図10のS4、S5と同様にできる。
【0092】
図11のS3―2、S3-3、S4~S9の処理は、処方データが示す全薬品について実行される。これにより、ユーザが、1つの薬品をトレイ7(台2)に追加する操作を、調剤した全薬品について繰り返すことで、1薬品ずつ順次鑑査処理が実行される。これにより、ユーザが薬品をリーダに読み込ませる操作を省略でき、作業の工数を削減できる。また、画像における薬品の認識と重量測定が並行して実行されるため、処理時間の短縮が可能になる。
【0093】
図11の例では、S3-3で、画像における追加された薬品を認識した場合、認識した薬品の画像における領域(薬品領域)は、認識済みの領域として記憶部8に記録されてもよい。このように、認識済みの領域を記録することで、次の新たな薬品が追加された場合に、新たに追加された薬品の領域と、すでに認識済みの薬品の領域を区別する処理が容易になる。例えば、追加薬品検出部54は、画像における認識済み領域以外の領域で、薬品領域を検出することで、薬品の追加を検出することができる。
【0094】
図12は、
図1に示す薬品鑑査システムの他の動作例を示すフローチャートである。
図12は、処方に基づき調剤された1以上の薬品をまとめて鑑査する動作の例である。
図12の例では、ユーザは、1つの処方に基づく薬品を全て入れたトレイ7を計量器1(台2)に載せる。
図12のS1、S2、S12の処理は、
図10のS1、S2、S12と同様にできる。S3-4において、薬品認識部55は、カメラ4で撮影されたトレイ7の画像に含まれる全ての1以上の薬品を認識する。各薬品の認識処理は、
図11のS3-3の1薬品の認識処理と同様にできる。S4、S5の処理は、
図10のS4、S5と同様にできる。
【0095】
S8-2において、薬品認識部55は、計量器1で測定される前記1以上の薬品の重量及び前記1以上の薬品が含まれるカメラ4の撮影画像の少なくとも1つに基づき、前記1以上の薬品の数量を決定する。重量計算部52は、例えば、S3-4で認識された1以上の薬品がトレイ7(台2)に載せられた状態で計量器1が測定した重量に基づいて、前記1以上の薬品の総重量を計算してもよい。薬品認識部55は、この総重量を、1又は複数の薬品の数量に決定してもよい。1以上の薬品の総重量は、例えば、1又は複数の薬品が入ったトレイ7を台2に載せた状態の計量器1の測定値から、トレイ7の重量を引いた重量を基に計算できる。トレイ7の重量は、画像におけるトレイ7のマーカを基に決定できる。例えば、トレイの重量をトレイの識別子と対応付けて予め記憶部8に記録しておくことができる。重量計算部52は、記憶部8を参照して、マーカが示す識別に対応するトレイの重量を決定できる。
【0096】
又は、S8-2において、薬品認識部55は、画像におけるPTPシートの数、又は、錠剤の数を認識する処理を実行してもよい(具体例は後述)。
【0097】
照合部56は、S8-2で決定された数量を、処方データが示す薬品の数量と照合する。照合処理は、例えば、S8-2で決定された台2に置かれた1又は複数の薬品の総重量と、処方データが示す薬品の総重量とを比較することで実行されてもよい。
【0098】
図12の処理により、ユーザは、トレイ7に処方に基づいて調剤した薬品を全て入れて台2に置くことで、鑑査ができる。
【0099】
(カメラ画像の例)
図13(a)は、カメラ4で撮影された画像の例を示す図である。カメラ4の光軸は垂直方向に対して傾いている。そのため、
図13(a)の例のように、トレイ7及びトレイ7の中の薬品を斜め上から見た画像がカメラ4で撮影される。
図13(b)は、光軸が垂直方向になるよう配置されたカメラ4で、トレイ7を真上から撮影した画像の例である。
図13(a)の画像の方が、
図13(b)の画像より、積層されたPTPシートの枚数がわかりやすい。このように、積層されたPTPシートの枚数が明確な画像を、例えば、エビデンス用の画像(エビデンス画像)として記録することができる。この場合、画像の目視によりPTPシートの枚数が把握できる。
【0100】
また、カメラ4の光軸を、垂直方向に対して傾けることで、トレイ7の開口の縁に貼られたマーカが画像において認識されやすくなる。例えば、
図13(a)に示すように、トレイの縁に貼られたマーカを認識しやすい方向から撮影できる。そのため、画像においてマークが精度よく認識される。なお、マーカを、Arucoマーカとすることで、マーカの面の法線に対して傾いた方向からArucoマーカを撮影した場合でも、マーカを精度よく認識できる。このような斜め方向からの撮影された画像であってもArucoマーカの認識精度は良い。そのため、Arucoマーカを用いることは、限られたスペースでの撮影環境において、何らかの認識を実行するのに有利である。
【0101】
(マーカの例)
図14は、マーカの例を示す図である。
図14の(a)及び(b)それぞれにおいて、上段の図は、マーカの構成例を示し、下段の図は、カメラで撮影された画像のマーカ部分の例を示す。
図14の(a)及び(b)の各マーカM10、M11は、白又は黒の単位領域が互いに直交する2方向(縦と横)に隙間なく配置されて構成される。マーカM10、M11の単位領域は、一例として、四角形である。
【0102】
図14(a)において、マーカM10の1つの単位領域TRを破線で示している。
図14の(a)のマーカM10は、黒の単位領域が必ず2以上隣接して配置される構成の例である。マーカM10における全ての黒の単位領域の各々は、他の黒の単位領域に隣接している。そのため、マーカM10では、1つの黒の単位領域に隣接する4つの単位領域が全て白になることはない。
【0103】
図14の(b)のマーカM11では、1つの黒の単位領域KRに隣接する4つの単位領域が全て白になっている。さらに、マーカM11では、1つの黒の単位領域KRを囲む8つの単位領域も全て白である。このように、周囲の単位領域が全て白である1つの黒の単位領域KRがある場合、画像において、1つの黒の単位領域KRがつぶれて認識されない可能性が高くなる。特に、マーカのサイズが小さい場合、画像において単位領域KRが認識されにくくなる。
【0104】
そのため、
図14(a)のマーカM10のように、黒の単位領域が必ず2以上隣接して配置されるマーカを用いることで、画像におけるマーカの認識精度を高めることができる。すなわち、
図14(b)のマーカM11のような白の領域に囲まれる1つの黒の領域を含む構成でないマーカを用いることが好ましい。例えば、マーカのサイズを、5mm×5mmと小さくしても、認識精度を維持することができる。マーカを小さくすることで、トレイに置いた薬品がマークに重なることを避けられる。その結果、トレイのサイズを小さくすることができる。
【0105】
例えば、4行4列(4×4)の白又は黒の単位領域で情報を表示するマーカの場合、全ての白黒の配置パターンに対して少なくとも0~999の番号、すなわち1000種類の番号を割り振ることができる。全ての配置パターンから、白の領域に囲まれる1つの黒の領域を含むパターンを除いても、約900のパターンは残る。そのため、白の領域に囲まれる1つの黒の領域を含むマーカを用いなくても、マーカが示す番号を、例えば、トレイの識別情報として用いることができる。
【0106】
トレイ識別部51又は対象範囲決定部53が、画像におけるマーカを検出する処理において、カメラで撮影された画像にエッジを強調するフィルタ処理を施したフィルタ処理後画像でマーカを検出してもよい。これにより、マーカのパターン(特徴)の認識精度が向上する。
【0107】
図15は、
図11に示す動作例においてカメラ4で撮影される画像の例を示す図である。
図15(a)は、1つ目の薬品がトレイ7に追加された時の画像の例である。この画像において、1つの薬品のPTPシートの領域が薬品領域R1として検出される。薬品領域R1において、薬品識別情報としてバーコードK1(例えば、GS1コード)が読み取られる。バーコードK1の読み取りの後、薬品領域R1は認識済み領域として記憶部8に記録される。
図15(b)は、2つ目の薬品がトレイ7に追加された時の画像である。この画像では、認識済み領域である薬品領域R1はマスキングされる。この画像において、薬品領域R1以外の領域を検出対象範囲として、2つ目の薬品の薬品領域R2が検出される。薬品領域R2のバーコードK2が読み取られる。バーコードK2の読み取りの後、薬品領域R2は認識済み領域として記録される。
図15(c)は、3つ目の薬品がトレイ7に追加された時の画像である。この画像では、認識済み領域R1、R2以外の領域を検出対象領域として、3つ目の薬品の薬品領域R3が検出され、薬品領域R3のバーコードK3が読み取られる。
【0108】
図11に示す動作例では、カメラ4で撮影される画像において追加された薬品が認識される。鑑査処理中に、カメラ4の撮影範囲内のトレイ7の外側の領域に薬品以外の物又は人が入ると、画像に写り込み、薬品領域として誤検知される可能性がある。そこで、対象範囲決定部53は、カメラ4で撮影された画像から、トレイ7のマーカを検出し、検出したマーカに基づいて画像における薬品の検出対象範囲を決定することができる。この場合、薬品領域検出部551は、検出対象範囲において薬品領域を検出する。これにより、トレイ7の内側の範囲を検出対象範囲として薬品領域が検出される。
【0109】
トレイ7の開口の縁の付近の内側の面に複数のマーカが貼り付けられる。なお、マーカは、トレイ7の開口のフランジ部に貼り付けられてもよい。複数のマーカは、少なくとも、トレイ7の開口の角に対応する位置に貼り付けられることが好ましい。
図16に示すように、対象範囲決定部53により、画像におけるマーカM1~M9が検出される。各マーカM1~M9の代表点MP1~MP9(マーカM5ではMP5)が決定される。例えば、対象範囲決定部53は、各マーカM1~M9の代表点MP1~MP9の画像における座標を取得する。
図16の例では、マーカは、Arucoマーカである。Arucoマーカは、正方形の黒枠と、その内部のバイナリマトリクスで構成される正方形マーカである。バイナリマトリクスが情報(例えば、識別子)を示す。例えば、Arucoマーカの黒枠の頂点の1つが代表点として検出される。
【0110】
図16の斜線部以外の領域は、検出されたマーカM1~M9に基づいて決定された検出対象範囲TG1の例を示す。この例では、検出されたマーカM1~M9の内側の領域が、検出対象範囲TG1として決定される。対象範囲決定部53は、例えば、検出したマーカM1~M9の代表点MP1~MP9を頂点とする多角形を含む領域を検出範囲として決定することができる。
図16の例では、代表点MP1~MP9及び画像のカメラ4に近い辺の2点を頂点とする多角形が検出対象範囲TG1として決定される。薬品領域検出部551は、検出対象範囲TG1において薬品領域を検出する。すなわち、検出対象範囲TG1外の領域MS1は、マスキングされ、処理対象から除外される。これにより、トレイ7外の物又は人の映り込みによるノイズが少なくなる。そのため、薬品検出の精度が高くなる。また、鑑査の作業に用いられるトレイ7の形状、大きさの自由度が高くなる。
【0111】
(予備撮影の動作例)
図17は、
図10~
図12の少なくとも1つの動作例において実行される予備撮影及び予備検出の例を説明するための図である。制御部57は、カメラ4に、ユーザが、台2にトレイ7を載せる動き、又はトレイ7に薬品の載せる動きの途中の画像を撮影(予備撮影)させてもよい。例えば、カメラ4の画像において動きが検出されている間に、カメラ4が動画を撮影するよう制御されてもよい。薬品認識部55は、予備撮影された少なくとも1枚の予備画像を取得する。また、薬品認識部55は、トレイ7が台2に置かれた後にカメラ4で撮影された画像(本撮影画像)を取得する。
図17における画像YG1~YG3は、予備画像の例であり、画像HGは、本撮影画像の例である。この例では、薬品認識部55は、予備画像と本撮影画像の両方において、薬品の認識処理を実行する。認識処理は、例えば、薬品の包装材に記載された薬品識別情報(コード又は文字)の読取処理であってもよい。
【0112】
図17の例では、薬品認識部55は、複数の予備画像YG1~YG3のそれぞれに対して薬品の予備認識を実行する。予備画像YG2では、第1のPTPシートw1のコードb1が読み取られる。予備画像YG3では、第1及び第2のPTPシートw1,w2のコードb1、b2がそれぞれ読み取られる。本撮影画像HGでは、第2のシートw2のコードb2がサチレーションにより読み取り不可能になっている。この場合、予備画像YG3で読み取られた第2のシートw2のコードb2が認識結果として用いられる。
【0113】
このように、本撮影の画像で読取不可能であっても、予備画像で読取可能な場合は、再撮影が不要になる。そのため、鑑査のタクトを短くでき、効率が向上する。例えば、本撮影画像で薬品識別情報の読取が不可能な場合、薬品の位置又は照明条件を変更して再撮影が必要になる場合があるが、予備撮影で読取可能であって場合が、そのような再撮影の作業が不要になる。
【0114】
予備撮影は、例えば、
図12のトレイ検出S1の際に、トレイ7が撮影範囲内に入って置かれるまでの間に行われてもよい。
図12におけるS3-4の薬品認識で、薬品が認識できない薬品領域がある場合に、予備撮影の画像で認識された同じ薬品領域の薬品の認識結果を採用することができる。また、
図11の例では、S3-2でトレイへの薬品の追加が検出される際に、薬品が撮影範囲内に入って置かれるまでの間に予備撮影が行われてもよい。この場合、S3-3の薬品認識で、薬品が認識できない薬品領域がある場合に、予備撮影の画像で認識された同じ薬品領域の薬品の認識結果が採用される。
【0115】
(薬品識別情報の読取処理の例)
図18は、
図12の薬品認識処理S3-4、又は
図11の薬品認識処理S3-3の具体例を示すフローチャートである。
図18の例では、まず、薬品領域検出部551が、カメラ4で撮影された画像における薬品領域を検出する(S21)。例えば、エッジ抽出処理により、薬品領域のエッジを抽出することで、画像における薬品領域を検出できる。なお、薬品領域検出部551は、上記の対象範囲決定部53が決定した検出対象範囲に対して画像処理を実行して、検出対象範囲における薬品領域を検出してもよい。
【0116】
図18のS22~S30は、S21で検出された薬品領域の部分画像それぞれについて実行される処理である。これらの処理は、薬品認識部55によって実行される。薬品領域の部分画像は、グレースケール化される(S22)。グレースケール化された薬品領域の部分画像に対して、最小外接矩形処理が実行される(S23)。最小外接矩形処理では、薬品領域の輪郭に外接する最小外接矩形(長方形又は正方形)が計算される。最小外接矩形の辺が垂直及び水平になるように薬品領域の部分画像を回転する処理が実行される。すなわち、回転を考慮した最小外接矩形の回転角に応じて部分画像を回転する処理が実行される。
【0117】
図18のS24において、薬品領域の部分画像に対するフィルタ処理が実行される。例えば、フィルタ処理として、アンシャープマスク及び制限付適応ヒストグラム平坦化が実行されてもよい。これにより、薬品領域の部分画像におけるコード又は文字の部分を強調させることができる。フィルタ処理(S24)により、薬品領域の部分画像におけるコード又は文字の検出精度が向上する。
【0118】
S24のフィルタ処理後の薬品領域の部分画像に対して、コード読取(S25)及び文字認識(OCR)(S26)が並列で実行される。すなわち、コード読取の結果を待たずにOCR処理が開始される。コード読取処理は、例えば、バーコード検出処理である。
図18の例では、コード読取処理でコードが検出された場合(S27でYES)、薬品認識部55は、OCRの結果を待たずに、検出されたコードを出力する(S30)。この場合、OCR結果は破棄される。コード読取処理でコードが検出されない場合(S27でNO)、薬品認識部55は、OCR処理の結果を待つ(S28)。OCR結果が得られると、そのOCR結果が出力される(S30)。
【0119】
図18の処理では、コード読取でコード検出できなかった場合に、OCR処理を開始する場合と比べると、コード検出できなかった場合のOCR処理を待つ時間が短縮できる。
【0120】
図19は、
図18におけるコード読取(S25)の具体例を示すフローチャートである。
図19の例では、薬品領域の部分画像を複数段階に回転させた画像のそれぞれに対してコード読取処理が実行される。
図19の例では、薬品領域の部分画像を1段階分回転させる処理(S31)と、S31で回転した画像に対するコード読取処理(S32)が、複数段階(
図19の例では7回)繰り返される。コード読取処理は、例えば、入力された画像におけるバーコードを読み取り読取結果を返すライブラリにより実行されてもよい。いずれかの段階のコード読取処理でコード検出された場合(S33でYES)、繰り返しループを抜けて、読取結果が出力される(S34)。
図19の例では、一例として、0、2、-2、4、-4、6、-6度で回転された部分画像に対して、順次、コード読取処理が実行される。これにより、コード読取の処理速度及び成功率を向上することができる。すなわち、高精度且つ高速にコード検出が可能になる。
図19では、S31における1段階の回転角度は、2度である。処理の高速化及び高精度化の観点から、1段階の回転角度は、例えば、1~10度であることが好ましく、1~5度であることがより好ましい。
【0121】
図20は、
図18におけるOCR処理(S26)の具体例を示すフローチャートである。
図20では、(a)及び(b)の2通りの処理例が示される。
図20(a)の処理では、S41で90度ずつ回転させた4枚の画像のそれぞれについて、S42で2値化した2枚の画像を生成する。2枚の画像は、互いに白黒が判定した画像である。これにより、S41及びS42で8枚の画像が生成される。この8枚の画像に対して、OCR処理(S43)が実行される。OCR処理は、例えば、入力された画像における文字を認識し、認識結果を返すライブラリにより実行されてもよい。OCR処理で認識された文字から、テキストマッチングによって薬品名が抽出される(S44)。テキストマッチングでは、例えば、認識された文字列と薬品マスタの薬品名の文字列とを比較することで、文字列にマッチする薬品名が抽出される。
【0122】
図20(b)の処理では、薬品領域の部分画像の一部の部分領域を切り出し(S45)、切り出した部分領域の認識に適した回転角度を、学習済みモデルを用いて推定する処理(S46)を、複数(N個)の異なる部分領域について実行する。学習済みモデルは、画像を入力とし、回転角度を出力とするモデルである。学習済みモデルで出力される回転角度は、所定角度(例えば90度)間隔の予め決められた複数段階の角度のうちいずれかである。学習済みモデルは、薬品領域の画像の部分領域の画像と、この部分領域の画像の認識に適した回転角度とを教師データとした機械学習(例えば、ディープラーニング)によって生成することができる。
【0123】
図21は、学習済みモデルを生成するための学習処理の例を説明する図である。
図21に示すように、学習処理では、薬品領域の画像から固定サイズの部分領域の画像を切り出してモデルに入力する。部分領域の画像は、ランダムに切り出されてもよい。切り出し元の薬品領域の画像は、切り出し前にランダムにサイズの変更などの前処理をしたものを用いてもよい。モデルには正解の回転角度が供給される。すなわち、部分領域の画像と回転角度のデータセットが、教師データとなる。入力された部分領域の画像に対して、正解の回転角度を出力するためのモデルのパラメータを計算する処理を、複数の入力に対して繰り返すことで学習処理が実行される。モデルは、ニューラルネットワークのモデルとすることができる。
【0124】
図20(b)のS47では、N個の部分領域の回転角度を基に、薬品領域の部分画像の回転角度が決定される。決定した回転角度で、薬品領域の部分画像が回転される(S48)。回転後の部分画像を2値化した2画像に対してOCR処理が実行される(S42、S43)。OCRで認識された文字から、テキストマッチングにより薬品名が抽出される(S44)。S42、S43、S44の処理は、
図23(a)のS42,S43、S44と同様にできる。
【0125】
図22は、
図20(b)のS45~S47における回転角度の決定処理の例を説明するための図である。
図22の例では、薬品領域の部分画像から、固定サイズの矩形の部分領域を切り出す。
図22の例では、薬品領域の部分画像において5つの部分領域が切り出される。切り出した部分領域のそれぞれに対して学習済みモデルにより回転角度が推定される。複数の部分領域の回転角度のうち、最も数が多い回転角度を、薬品領域の部分画像の回転角度に決定することができる。
図22の例では、文字の向きが異なる2つのシートが含まれており、2つのシートで文字認識に適した回転角度は180deg異なる。このように、薬品領域の部分画像に異なる向きの文字が含まれる場合であっても、上記の多数決の処理で回転角度を決定することで、より大きな面積の回転角度が採用されやすくなる。これにより、後段のOCRに用いる画像として、より多くの文字が認識に適した向きになるよう回転された画像を提供できる。すなわち、認識に適した回転角度が採用されやすくなる。なお、切り出す部分領域の位置と数は、求める精度及び速度に応じて適宜変更されてもよい。
【0126】
図20(b)のように、学習済みモデルを用いて決定された回転角度で回転させた薬品領域の部分画像に対してOCR処理を実行することで、
図20(a)の場合に比べてOCR処理の回数が少なくなる(S23の例では4分の1)。これにより、OCRの処理時間を短縮できる。
【0127】
(薬品領域検出処理の変形例)
薬品認識部55の薬品領域検出部531は、学習済みモデルを用いて、カメラで撮影された画像における少なくともPTPシート、ポケット、PTPシートの輪郭、及び背景の領域を決定してもよい。学習済みモデルは、セグメンテーションにより入力された画像におけるPTPシート、ポケット、PTPシートの輪郭、及び背景の領域を出力するモデルであってもよい。学習済みモデルは、例えば、画像と、画像におけるPTPシート、ポケット、PTPシートの輪郭及び背景を示すデータとを含むデータセットを教師データとした機械学習(例えば、ディープラーニング)によって生成することができる。
【0128】
カメラで撮影された画像は、例えば、学習済みモデルを用いたセグメンテーションにより4ラベルに切り分けられる。一例として、セマンティックセグメンテーションにより、画像の各画素が、PTPシート、ポケット、背景及びPTPシートの輪郭の4つのうちいずれかにラベル付けされる。このように、学習済みモデルを用いたセグメンテーションにより、PTPシート、ポケット、及び背景の領域を決定することで、例えば、PTPシートや背景の模様や照明環境が認識の精度に与える影響が小さくなる。そのため、様々な模様がPTPシートや背景にある場合や、様々な照明環境において、精度よく、これらの領域を決定することができる。また、学習済みモデルを用いたセグメンテーションにより、PTPシート、ポケット及び背景に加えてPTPシートの輪郭の領域を分類することで、重なりあったPTPシートの輪郭を精度よく検出できる。これにより、例えば、カメラ4で撮影された画像に基づいて、PTPシートの枚数を決定することができる。
【0129】
(PTPシート枚数検出処理の例)
薬品認識部55は、カメラ4で撮影された画像におけるPTPシートの輪郭を検出し、基準直線と検出されたPTPシートの輪郭との交点の数に基づき、PTPシートの枚数を決定することができる。PTPシートの輪郭は、例えば、エッジ検出又は学習済みモデルを用いたセグメンテーションにより検出することができる。
【0130】
薬品認識部55は、画像において認識されたPTPシートの輪郭を含むPTPシート領域の部分画像を取得する。薬品認識部55は、PTPシート領域の最小外接矩形を求めて、矩形に合わせて部分画像を回転する。矩形内を通り、互いに直交する2つの直線のそれぞれの線に交わるPTPシートの輪郭線の数がカウントされる。各線上のPTPシートの輪郭線の数に基づき、PTPシートの枚数が決定される。
【0131】
図23は、PTPシートの輪郭線と直線の交点の数の例を示す図である。
図23(a)では、重なったPTPシートを横断する直線L1とPTPシートの輪郭線との交点は3点である。重なりの一番上のPTPシートの輪郭線と直線L1との交点は2点になるため、交点が3点の場合は、PTPシートの枚数は、3-1=2枚と決定できる。また、
図23(b)に示すように、2以上の平行な直線L1~L3のそれぞれと輪郭線との交点の数に基づいてPTPシートの枚数を決定してもよい。これにより、輪郭線がかすれたり、画像にノイズが発生したりした場合であっても、精度よくPTPシートの枚数を決定できる。
図23(c)に示すように、PTPシートを縦断する複数の直線L4~L6のそれぞれと輪郭線との交点の数にも基づいてPTPシートの枚数を決定することができる。これにより、より精度を高めることができる。
図23の場合、
図23(b)の横断する直線L1~L3のそれぞれの輪郭線との交点の数は、2、3、3である。対応するPTPシートの枚数は、1枚、2枚、2枚となる。多数決のルールに従えば、PTPシートは2枚と決定できる。
図23(c)の縦断する直線L4~L6それぞれと輪郭線との交点の数は、2、3、3であり、対応するPTPシートの枚数は、1枚、2枚、1枚となる。多数決によりPTPシートの数は1枚と決定できる。このように、基準とする直線の向きによって決定される枚数が異なる場合は、異なる枚数のうち最も多い枚数を、最終的なPTPシートの枚数(
図23の例では2枚)に決定することができる。
【0132】
(端数のPTPシート検出の例)
薬品認識部55は、カメラ4で撮影された画像において、重なるPTPシートの最も上にある端数シートの大きさを検出してもよい。端数シートの大きさに基づき端数シートの錠剤の数を決定することができる。端数シートの検出処理は、例えば、カメラ4のオートフォーカス(自動焦点)を用いて撮影された画像において最も焦点が合っているエッジを検出する処理を含んでもよい。このようにして検出されるエッジは、重なったPTPシートの一番上のPTPシートのエッジである可能性が高い。例えば、画像において検出されたエッジのうちコントラストが他のエッジより高いエッジを抽出することで、最も焦点のあっているエッジを抽出することができる。これにより、重なったPTPシートの一番上のPTPシートのエッジが検出できる。薬品認識部55は、この一番上のPTPシートのエッジで囲まれる領域を、端数シートの領域として検出することができる。
【0133】
一例として、整数シートの上に端数シートが重ねて載せられて場合について説明する。上に載せられた端数のPTPシートP1のエッジE1のコントラストは、下の層の整数のPTPシートP2のエッジE2のコントラストより高くなっている。このコントラストの違いに基づき、一番上のPTPシートのエッジが、端数シートのエッジとして抽出される。例えば、抽出されたコントラストが他のエッジよりも高いエッジで囲まれた領域が抽出される。この例では、複数の領域が抽出される。これらの複数の領域のうち、形状及び面積の少なくとも1つが予め決められた条件を満たしている領域(
図29(d)の領域HR)が、端数シートの領域に決定される。端数シートの領域HRの面積に基づいて、端数シートに含まれる錠剤の数を決定することができる。
【0134】
薬品鑑査システム10は、薬品認識部55が認識した画像における薬品の薬品名を、画像に重畳してディスプレイ5bに表示してもよい。この場合、画像における各薬品領域に重なる領域に、各薬品領域で認識された薬品の薬品名を表示することができる。この場合、コンピュータ5aの処理で、画像における各薬品領域に対して薬品名を表示する薬品名枠が決定される。薬品名枠は、例えば、各薬品領域に対して予め決められた位置関係を有する位置(所定の位置)に決定される。一例として、表示する薬品名を囲む薬品名枠の大きさが、薬品名の文字数に基づき決定される。画像の薬品領域の中心が、薬品名枠の中心と一致するように、画像における薬品名枠の位置が決定される。
【0135】
画像において、複数の薬品領域が互いに近い位置にある場合、複数の薬品名が重なって表示される。この場合、例えば、
図24に示すように、複数の薬品領域R1~R6のそれぞれに対して所定の位置に薬品名枠N1~N6を配置すると、薬品名が重なって表示され、視認性が悪くなることがある。そこで、薬品鑑査システム10は、薬品領域に対する薬品名枠の位置を所定の位置から移動した位置に決定することで、複数の薬品名が重ならないようにすることができる。
【0136】
一例として、薬品鑑査システム10は、複数の薬品領域それぞれに対して所定の位置に薬品名枠を配置した場合の複数の薬品名枠の重なりを判断する。複数の薬品名枠が重なる場合、重なっている複数の薬品名枠の代表点(例えば、左上端の点)の座標を基に、複数の薬品名枠が重ならないよう薬品名枠の移動先の位置を決定する。この場合、移動量が最小になるように移動先の位置が決定されてもよい。また、薬品領域に対する薬品名枠の所定の位置は、薬品領域の長手方向の向きと薬品名枠の長手方向が一致するように決定されてもよい。
【0137】
図25は、薬品名枠の移動処理の例を示す図である。
図25の例では、重なる薬品名枠N1、N2のうち、薬品名枠の代表点(
図25の例では左上端点)が画像の左上に近い薬品名枠N1を固定として、他の薬品名枠N2を移動させる。固定の薬品名枠N1の中心を基準に複数の仮想領域A1~A4を定義し、移動させる薬品名枠N2の代表点(左上端点)がどの領域に属するかによって移動方向が決定される。移動量は、重なり量に応じて決定される。例えば、薬品名枠N1、N2の重なる領域の移動方向における長さに応じて移動量が決定される。
図25の例では、薬品名枠N1は、薬品名枠N1の中心に対して、右上の第1領域(第1象限)A1、左上の第2領域(第2象限)A2、左下の第3領域(第3象限)A3、及び右下の第4領域(第4象限)A4の4つの領域に分割される。
【0138】
図25(a)のように、薬品名枠N2の代表点が第1象限A1にある場合、右方向(x軸の正方向)に、重なっている薬品名枠N2のx方向の長さの分だけ移動させる。
図25(b)及び(c)のように、薬品名枠N2の代表点が第2象限A2又は第3象限A3にある場合、下方向(y軸の負方向)に、重なっている薬品名枠N2のy方向の長さの分だけ移動させる。
図25(d)のように、薬品名枠N2の代表点が第4象限A4にある場合、薬品名枠N1、N2の重なり領域の短手方向に、重なっている薬品名枠N2の短手方向の長さ分だけ移動させる。
図25(d)の例では、薬品名枠N1、N2が重なる領域は、x方向よりy方向の方が短い。そのため、y方向に、重なり領域のy方向の長さ分、薬品名枠N2が移動する。
図25の例では、薬品名枠の移動量を最短にすることができる。
【0139】
画像において、重なる薬品名枠の組が、複数組ある場合、薬品名枠の代表点の座標が画像の左上点に近い順に、薬品名枠をソートし、ソートした薬品名枠を順次固定して、固定した薬品名枠に重なる他の薬品名枠を移動させる処理を実行することができる。これにより、移動処理が簡単になる。
【0140】
図26は、画像における薬品名枠の移動前後の例を示す図である。
図26(a)は、薬品領域R1、R2、R3のそれぞれに対する薬品名枠N1、N21、N31の所定の位置が、薬品領域の長手方向の向きに関わらず一定である場合の例である。
図26(b)は、薬品領域R1、R2、R3のそれぞれに対する薬品名枠N1、N21、N31の所定の位置が、薬品領域と長手方向が一致するように決定される場合の例である。
図26(b)の例では、薬品名枠N1、N22、N32の所定の位置からの移動量が、
図26(a)の例よりも短くなっている。このように、薬品領域と長手方向が一致するように薬品名枠を配置することで、重なりを解消するための移動量を短くできる。この場合、各薬品領域の薬品名枠の所定の位置を決定する際に、薬品領域の縦と横の長さが比較される。薬品領域の縦が長い場合は、薬品名枠を縦書きとし、横が長い場合は、薬品名枠を横書きとするように、薬品領域に対する薬品名枠の所定の位置が決定される。
【0141】
薬品鑑査システム10は、携帯型鑑査システムとの連携機能を有してもよい。
図27は、そのような薬品鑑査システム10の構成例を示す機能ブロック図である。
図27の薬品鑑査システム10は、計量器1、台2、トレイ識別部51、重量計算部52、及び、照合部56に加え、連携部58を備える、連携部58は、携帯型鑑査システム20とデータ通信を行う。薬品鑑査システム10は、携帯型鑑査システム20と通信可能である。薬品鑑査システム10及び携帯型鑑査システム20は、上位システム30と通信可能であり、上位システム30から処方データを取得できる。上位システム30は、例えば、レセプトコンピュータシステムであってもよい。
【0142】
携帯型鑑査システム20は、例えば、薬品のピッキングを補助するピッキング補助システムであってもよい。携帯型鑑査システム20は、スマートフォン又はPDA等の携帯端末によって実装することができる。携帯型鑑査システム20は、リーダ21を有し、リーダ21で読み取った薬品情報を、処方データと照合することで薬品を鑑査する。携帯型鑑査システム20が備えるコンピュータは、リーダ21が読み取ったトレイに付されたマーカを基にトレイを識別するトレイ識別部22、リーダ21が読み取った薬品のコードを基に薬品情報を取得する薬品情報取得部23、薬品情報を処方データと照合する照合部24、及び薬品鑑査システム10とデータ通信を行う連携部26を有する。連携部26は、薬品鑑査システム10に対して、リーダ21で読み取った薬品情報に加えて、薬品情報に対応するトレイ情報(例えば、トレイ識別子(トレイID))及び処方情報(例えば、処方ID)を送信する。
【0143】
薬品鑑査システム10の連携部58は、これらの情報を携帯型鑑査システム20から受信する。重量計算部52は、トレイの薬品の重量を計算する。携帯型鑑査システム20から受信したトレイ情報で示されるトレイが、トレイ識別部51で検出されたトレイ、すなわち台2に載せられたトレイと同じである場合、重量計算部52は、携帯型鑑査システム20から受信した薬品情報を基に薬品の重量を計算できる。また、照合部56は、携帯型鑑査システム20から受信した薬品情報及び処方情報に基づき、薬品の重量と処方データを照合する。これにより、薬品の重量が処方にあっているか否かを鑑査することができる。連携部58は、携帯型鑑査システム20に対して、薬品の重量の鑑査結果を送信してもよい。
【0144】
このように、携帯型鑑査システム20が、ピッキング薬品の鑑査を実行し、ユーザがその薬品を載せたトレイを薬品鑑査システム10の計量器1の台2に載せることで、薬品鑑査システム10で、その薬品の重量が処方とあっているか鑑査することができる。このように、トレイのマーカを、携帯型鑑査システム20と薬品鑑査システム10の双方でそれぞれ読み取って、トレイを識別することで、トレイに載せられた薬品の鑑査を、双方のシステムで連動して実行することができる。トレイのマーカは、例えば、GS1コード、QRコード(登録商標)又はARコード等であってもよい。
【0145】
薬品鑑査システム10の鑑査処理における薬品認識では、薬品マスタデータが参照される。薬品マスタデータは、例えば、コンピュータがアクセス可能な記憶部8に記憶される。鑑査処理において、コンピュータがアクセス可能な薬品マスタデータに該当する薬品のマスタデータがない場合、マスタなしエラーが発生する。マスタなしエラーが発生した場合に、コンピュータは、必要なマスタデータの要求を自動生成し、マスタデータの供給先に要求するか、又は、記憶部8に記録しておくことができる。記録された要求は、所定条件で供給元に送信される。これにより、必要な薬品分のマスタデータを効率よく取得することができる。例えば、全マスタ又は差分マスタを供給元から一括ダウンロードする場合に比べて、通信量を減らすことができる。
【0146】
薬品鑑査システム10は、計量器1を用いて計測した薬品の重量を、薬品マスタデータに登録する機能を有してもよい。例えば、薬品マスタデータに、薬品の重量が登録されていない場合、薬品鑑査システム10は、ユーザの指示に応じて、計量器1で計測されたその薬品の重量を薬品マスタデータに登録してもよい。この場合、薬品鑑査システム10は、ユーザが目視鑑査した薬品の重量を、計量器1を用いて計量し、薬品の単位量あたりの重量を計算して、薬品マスタデータに登録することができる。これにより、ユーザは、少ない作業で、鑑査中の薬品の重量を薬品マスタデータに効率よく登録することができる。
【0147】
一例として、薬品鑑査システム10は、鑑査処理として、鑑査する処方を決定、鑑査する薬品を決定、及び、ユーザの目視による薬品量の目視鑑査結果の入力受付、の処理を順に実行する。鑑査する処方を決定する処理は、例えば、画面においてユーザから鑑査する処方の選択又は指定を受け付ける処理であってもよい。鑑査する薬品を決定する処理は、画面においてユーザから薬品の選択を受け付ける、ユーザがリーダ6で読み取った情報を基に薬品情報を取得、又は、カメラ4で撮影した画像から薬品情報を取得、のうち少なくとも1つであってもよい。目視鑑査結果の入力受付は、画面に表示された鑑査する薬品の量が処方通りであるか否かをユーザが目視で確認した結果の入力を受け付ける処理であってもよい。薬品の量が処方通りであることの目視鑑査結果がユーザから入力された場合、薬品鑑査システム10は、ユーザに、目視鑑査した薬品の計量指示を出力する。計量指示は、例えば、薬品を計量器1の台2に載せる操作の指示であってもよい。目視鑑査した薬品の計量指示は、例えば、薬品マスタデータに鑑査する薬品の重量が登録されていない場合に実行されてもよい。ユーザがその薬品を台2に載せると、重量計算部52が、計量器1の計測値に基づき、薬品の単位量当たり重量を計算する。計算された薬品の単位当たり重量は、薬品マスタデータに登録される。
【0148】
一例として、薬品鑑査システム10は、鑑査する処方を決定、鑑査する薬品を決定、及び、ユーザが選択した鑑査方法で薬品が処方通りか否かを判断、の処理を順に実行する。この場合、鑑査する薬品を決定する前に、ユーザがその薬品の鑑査方法を選択可能としてもよい。例えば、ユーザが鑑査する薬品を選択する画面において、各薬品に対応して、鑑査方法を入力するためのユーザインタフェースツール(例えば、ボタン等)が表示されてもよい。これにより、鑑査する薬品の決定前に鑑査方法が決定されるため、鑑査方法に応じて不要な情報をユーザに対して提示することを避けることができる。
【0149】
ユーザが選択可能な鑑査方法は、例えば、計量器1を用いて計測された薬品の重量が処方通りであるか否かを判断する重量鑑査、ユーザが目視により薬品が処方通りであるか否かを確認した目視鑑査結果の入力を受け付ける目視鑑査、及び、リーダ6により読み取られる薬品情報の入力を受け付けるコードチェックの少なくとも2つであってもよい。例えば、重量鑑査の場合は、薬品マスタデータに鑑査する薬品の重量情報が登録されている必要がある。ユーザが薬品の鑑査方法として、ある薬品について目視鑑査を選択した場合、その薬品の薬品マスタデータに重量情報が登録されていなくても、そのことをチェックする必要もなく、その旨のメッセージをユーザに提示する必要はない。上記のように、鑑査する薬品を決定する前に鑑査方法が選択されることで、これらの不要な処理を省略できる。
【0150】
薬品鑑査システム10は、鑑査処理として、鑑査する処方を決定、鑑査する薬品を決定、ユーザが準備した薬品の情報を取得、ユーザが準備した薬品が処方通りか否かを判断して判断結果を出力、の処理を順に実行する。鑑査処理中、すなわち、鑑査する処方を決定してから、判断結果が出力されるまでの間に、処方データを供給する上位システムにおいて処方が修正される場合がある。この場合、処方の修正情報が、薬品鑑査システム10に通知される。薬品鑑査システム10は、鑑査処理中に。処方の修正情報を受け取った場合、ユーザに対して、処方修正があったことを通知することができる。この通知とともに、薬品鑑査システム10は、現在実行中の鑑査処理のキャンセル、及び、修正後の処方データで鑑査処理の実行の指示の少なくとも1つをユーザから受け付けてもよい。これにより、鑑査中に処方修正がある場合に、修正した処方で鑑査をやり直すことができる。
【0151】
薬品鑑査システム10は、ユーザにより鑑査対象に指定された処方データに基づいて、同じ処方データの薬品の調剤に用いられた他の秤量システムにおける秤量結果を取得してもよい。例えば、処方データに基づいて、散薬を自動的に秤量して払い出す秤量システムにおいて、処方データ(例えば、処方ID)に対応付けて秤量結果データが記録される。薬品鑑査システム10において、ユーザからの指示に基づいて、この秤量結果データを取得し、表示することができる。例えば、ユーザは、処方IDのQRコード(登録商標)を薬品鑑査システム10に読み取らせて、秤量結果データの取得指示を入力する。薬品鑑査システム10は、この処方ID及び指示入力を受け付けて、処方IDに対応付けられた他のシステムの秤量結果データを取得して、ユーザに対して出力(例えば、表示、印刷等)することができる。
【0152】
薬品鑑査システム10は、鑑査処理以外の用途で、薬品の認識及び秤量し、その結果を画像とともに記録する機能を有してもよい。例えば、1つの薬局から、他の薬局へ、ストックされた薬品の一部を分譲(薬局間の医薬品の譲受・譲渡)する場合がある。この場合、分譲するために準備した薬品の薬品名及び数量をエビデンスとして記録したい場合がある。薬品鑑査システム10は、このような場合にも、計量器1に取り付けられた台2に載せられた分譲する薬品の重量に基づく数量、リーダ6又はカメラ4で読み取られた薬品識別情報、及び、カメラ4により撮影された薬品の画像をエビデンス用に記憶部8に記録し、出力(例えば、印刷)することができる。
【0153】
上記の実施形態は、本発明の例であって、本発明は、この例に限られない。また、上記の実施形態で説明する構成及び処理機能は取捨選択して任意に組み合わせることも可能である。
【符号の説明】
【0154】
1:個人記録部、2:画像記録部、3:識別結果取得部、4:グループ決定部、5:重複候補表示部、10:薬品識別支援システム、20:識別システム