(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-26
(45)【発行日】2022-08-03
(54)【発明の名称】対象物照合装置及び対象物照合方法
(51)【国際特許分類】
A61J 3/00 20060101AFI20220727BHJP
【FI】
A61J3/00 310K
(21)【出願番号】P 2020540182
(86)(22)【出願日】2019-08-01
(86)【国際出願番号】 JP2019030254
(87)【国際公開番号】W WO2020044933
(87)【国際公開日】2020-03-05
【審査請求日】2021-01-04
(31)【優先権主張番号】P 2018163363
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】高森 哲弥
(72)【発明者】
【氏名】羽田 真司
【審査官】菊地 牧子
(56)【参考文献】
【文献】特開2013-144100(JP,A)
【文献】特開2018-027242(JP,A)
【文献】国際公開第2013/021543(WO,A1)
【文献】国際公開第2012/005004(WO,A1)
【文献】国際公開第2015/152225(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61J 3/00
(57)【特許請求の範囲】
【請求項1】
分割可能な医療用物品である対象物についての第1の撮影画像に基づく第1のマッチング用画像を取得する第1の画像取得部と、
分割されていない状態の前記対象物についての第2の撮影画像に基づく第2のマッチング用画像を取得する第2の画像取得部と、
前記第1の撮影画像に映っている前記対象物が分割されているか否かを判定する分割判定部と、
前記対象物が分割されていると判定された場合に、前記第1のマッチング用画像と前記第2のマッチング用画像との照合を行う照合部と、
前記照合の結果に基づいて前記第1のマッチング用画像に含まれる表示用画像を表示装置に表示させる表示制御部であって
、前記第2のマッチング用画像に映っている対象物と同一種類の前記対象物が映っていると判断された前記第1のマッチング用画像を前記表示用画像として表示装置に表示させ、前記表示において前記対象物の外形の向きを揃えて表示させる第1の表示処理、または前記対象物に付された識別情報の向きを揃えて表示させる第2の表示処理を行う表示制御部と、
を備える対象物照合装置。
【請求項2】
前記第1の画像取得部は前記対象物の表面及び裏面について前記第1のマッチング用画像を取得し、
前記第2の画像取得部は前記分割されていない状態の前記対象物の表面及び裏面について前記第2のマッチング用画像を取得し、
前記照合部は、前記対象物の表面及び裏面について前記照合を行い、
前記表示制御部は、前記対象物の表面及び/または裏面についての前記第1のマッチング用画像を選択して、前記表示用画像として前記表示装置に表示させる請求項1に記載の対象物照合装置。
【請求項3】
前記表示制御部は、前記第1の表示処理において、前記対象物の分割により生じる分割線の向きを揃えることにより前記外形の向きを揃える請求項1または2に記載の対象物照合装置。
【請求項4】
前記照合部は前記対象物の前記外形及び/または前記識別情報に基づいて前記照合を行う請求項1から3のいずれか1項に記載の対象物照合装置。
【請求項5】
前記照合部は、前記第1のマッチング用画像のうち前記対象物及び/または前記識別情報を含む一部の領域を抽出し、前記一部の領域について前記照合を行う請求項1から4のいずれか1項に記載の対象物照合装置。
【請求項6】
前記分割判定部は、前記対象物の前記外形があらかじめ規定された形状である場合に前記対象物が分割されていると判定する請求項1から5のいずれか1項に記載の対象物照合装置。
【請求項7】
前記照合部は、前記第1のマッチング用画像及び/または前記第2のマッチング用画像として前記識別情報を強調する処理を施した画像を用いて前記照合を行う請求項1から6のいずれか1項に記載の対象物照合装置。
【請求項8】
前記医療用物品は錠剤、錠剤が収納された包装体、カプセル型薬剤が収納された包装体のいずれかである請求項1から7のいずれか1項に記載の対象物照合装置。
【請求項9】
前記識別情報は前記対象物に付された印字及び/または刻印を含む請求項1から8のいずれか1項に記載の対象物照合装置。
【請求項10】
分割可能な医療用物品である対象物についての第1の撮影画像に基づく第1のマッチング用画像を取得する第1の画像取得工程と、
分割されていない状態の前記対象物についての第2の撮影画像に基づく第2のマッチング用画像を取得する第2の画像取得工程と、
前記第1の撮影画像に映っている前記対象物が分割されているか否かを判定する分割判定工程と、
前記対象物が分割されていると判定された場合に、前記第1のマッチング用画像と前記第2のマッチング用画像との照合を行う照合工程と、
前記照合の結果に基づいて前記第1のマッチング用画像に含まれる表示用画像を表示装置に表示させる表示制御工程であって
、前記第2のマッチング用画像に映っている対象物と同一種類の前記対象物が映っていると判断された前記第1のマッチング用画像を前記表示用画像として表示装置に表示させ、前記表示において前記対象物の外形の向きを揃えて表示させる第1の表示処理、または前記対象物に付された識別情報の向きを揃えて表示させる第2の表示処理を行う表示制御工程と、
を備える対象物照合方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は分割可能な医療用物品の画像をマッチングする対象物照合装置及び対象物照合方法に関する。
【背景技術】
【0002】
病院施設、薬局等では、薬剤の監査や持参薬の鑑別が行われる。これらを目視で行うと薬剤師等の作業負担が大きいため、監査あるいは鑑別を支援する技術が開発されている。監査や鑑別を行う場合、処方内容等の条件によっては錠剤が分割される場合があり、そのような分割された錠剤(異形錠錠剤)に対する監査を行うシステムも知られている。
【0003】
例えば特許文献1では、異形錠錠剤の形状パターンである異形錠錠剤パターンと薬包帯画像とをパターンマッチングさせることにより異形錠錠剤の個数を監査することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
錠剤を分割すると、印字や刻印等、錠剤に付された識別情報が途切れる場合がある。また、錠剤を撮影した画像における印字、刻印等の向きは不規則であり、撮影した画像やマッチングに用いた画像をそのまま表示したのではユーザにとって見づらく、確認が困難である。しかしながら上述した特許文献1では、異形錠錠剤(分割錠剤)の個数をカウントしているだけでこれらの問題を考慮しておらず、監査結果を確認することが困難であった。また、特許文献1では、標準形状錠剤パターン(分割していない錠剤のパターン)を異形錠錠剤の分割数で分割することにより異形錠錠剤パターンを生成し、異形錠錠剤の撮影画像と分割した状態の標準形状錠剤パターンとをマッチングしているが、分割した状態のマスタ画像を用いてマッチングを行うとマッチング対象の領域が狭くなり、異なる錠剤が僅かに一致しただけでも「同一の錠剤である」と誤って判断される可能性がある。さらに、特許文献1では錠剤の分割以外については考慮されていない。
【0006】
このように、従来の技術では分割可能な医療用物品の画像のマッチング精度が低く、またマッチング結果の確認が困難であった。
【0007】
本発明はこのような事情に鑑みてなされたもので、分割可能な医療用物品の画像を良好な精度でマッチングでき、またマッチング結果を容易に確認できる対象物照合装置及び対象物照合方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した目的を達成するため、本発明の第1の態様に係る対象物照合装置は、分割可能な医療用物品である対象物についての第1の撮影画像に基づく第1のマッチング用画像を取得する第1の画像取得部と、分割されていない状態の対象物についての第2の撮影画像に基づく第2のマッチング用画像を取得する第2の画像取得部と、第1の撮影画像に映っている対象物が分割されているか否かを判定する分割判定部と、対象物が分割されていると判定された場合に、第1のマッチング用画像と第2のマッチング用画像との照合を行う照合部と、照合の結果に基づいて第1のマッチング用画像のうち同一種類の対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御部であって、対象物の外形の向きを揃えて表示させる第1の表示処理、または対象物に付された識別情報の向きを揃えて表示させる第2の表示処理を行う表示制御部と、を備える。
【0009】
第1の態様では、対象物が分割されていると判定された場合に、第1のマッチング用画像と、分割されていない状態の対象物についてのマッチング用画像(第2のマッチング画像)とを照合するので、上述した特許文献のようにマッチング対象の領域が狭くなることがなく、分割可能な医療用物品の画像を良好な精度でマッチングすることができる。また、同一種類の対象物が映っていると判断された表示用画像について第1,第2の表示処理を行うので、マッチング結果を容易に確認することができる。なお、第1,第2のマッチング用画像は第1,第2の撮影画像をそのまま用いてもよいし、第1,第2の撮影画像に対し画像処理(例えば、拡大、縮小、回転、領域抽出、領域強調)を施した画像を用いてもよい。なお、「分割可能な医療用物品」は物品が分割可能であればよく、物品それ自体が使用されるか否かは問わない(例えば、錠剤等の包装体には分割可能なタイプが存在するが、包装体それ自体が使用されるものではなく、使用されるのは錠剤である)。
【0010】
第2の態様に係る対象物照合装置は第1の態様において、第1の画像取得部は対象物の表面及び裏面について第1のマッチング用画像を取得し、第2の画像取得部は分割されていない状態の対象物の表面及び裏面について第2のマッチング用画像を取得し、照合部は、対象物の表面及び裏面について照合を行い、表示制御部は、対象物の表面及び/または裏面についての第1のマッチング用画像を選択して表示装置に表示させる。
【0011】
第3の態様に係る対象物照合装置は第1または第2の態様において、表示制御部は、第1の表示処理において、対象物の分割により生じる分割線の向きを揃えることにより外形の向きを揃える。分割線の例としては円形の対象物を分割した際に生じる直線を挙げることができるがこれに限定されるものではない。なお、第1,第2の表示処理の際には、分割線の向きを揃えることに加えて、分割線に対する対象物の位置を揃える(例えば、対象物を分割線に対し上下左右方向のいずれかに位置させて揃える)ことが好ましい。
【0012】
第4の態様に係る対象物照合装置は第1から第3の態様のいずれか1つにおいて、照合部は対象物の外形及び/または識別情報に基づいて照合を行う。
【0013】
第5の態様に係る対象物照合装置は第1から第4の態様のいずれか1つにおいて、照合部は、第1のマッチング用画像のうち対象物及び/または識別情報を含む一部の領域を抽出し、一部の領域について照合を行う。
【0014】
第6の態様に係る対象物照合装置は第1から第5の態様のいずれか1つにおいて、分割判定部は、対象物の外形があらかじめ規定された形状である場合に対象物が分割されていると判定する。例えば、撮影画像における対象物を示す画素の分布に基づいて判定を行うことができる。なお、「あらかじめ規定された形状」として例えば半円形状、半楕円形状、縦横比が規定範囲の矩形を挙げることができるが、これらの例に限定されるものではない。
【0015】
第7の態様に係る対象物照合装置は第1から第6の態様のいずれか1つにおいて、照合部は、第1のマッチング用画像及び/または第2のマッチング用画像として識別情報を強調する処理を施した画像を用いて照合を行う。第7の態様によれば、良好な精度でマッチングを行うことができる。
【0016】
第8の態様に係る対象物照合装置は第1から第7の態様のいずれか1つにおいて、医療用物品は錠剤、錠剤が収納された包装体、カプセル型薬剤が収納された包装体のいずれかである。錠剤の形状は特に限定されない。また、包装体は錠剤あるいはカプセル型薬剤が一錠ずつ、あるいは1カプセルずつ取り出せるように収納されたシート状の包装体であってもよい。
【0017】
第9の態様に係る対象物照合装置は第1から第8の態様のいずれか1つにおいて、識別情報は対象物に付された印字及び/または刻印を含む。印字、刻印は文字、数字、記号、図形及びこれらの組み合わせにより行うことができ、色彩が付されていてもよい。
【0018】
上述した目的を達成するため、本発明の第10の態様に係る対象物照合方法は分割可能な医療用物品である対象物についての第1の撮影画像に基づく第1のマッチング用画像を取得する第1の画像取得工程と、分割されていない状態の対象物についての第2の撮影画像に基づく第2のマッチング用画像を取得する第2の画像取得工程と、第1の撮影画像に映っている対象物が分割されているか否かを判定する分割判定工程と、対象物が分割されていると判定された場合に、第1のマッチング用画像と第2のマッチング用画像との照合を行う照合工程と、照合の結果に基づいて第1のマッチング用画像のうち同一種類の対象物が映っていると判断された表示用画像を表示装置に表示させる表示制御工程であって、対象物の外形の向きを揃えて表示させる第1の表示処理、または対象物に付された識別情報の向きを揃えて表示させる第2の表示処理を行う表示制御工程と、を備える。
【0019】
第10の態様によれば、第1の態様と同様に分割可能な医療用物品の画像を良好な精度でマッチングすることができる。また、マッチング結果を容易に確認することができる。
【0020】
なお、第10の態様に係る対象物照合方法に対し、第2から第9の態様と同様の構成をさらに含めてもよい。また、これら態様の対象物照合方法を対象物照合装置あるいはコンピュータに実行させるプログラム、及びそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
【発明の効果】
【0021】
以上説明したように、本発明の対象物照合装置及び対象物照合方法によれば、分割可能な医療用物品の画像を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。
【図面の簡単な説明】
【0022】
【
図1】
図1は、第1の実施形態に係る薬剤特定装置の構成を示す図である。
【
図2】
図2は、分包された薬剤が搬送される様子を示す図である。
【
図3】
図3は、光源及びカメラの配置を示す側面図である。
【
図4】
図4は、光源及びカメラの配置を示す平面図である。
【
図6】
図6は、記憶部に記憶される情報を示す図である。
【
図7】
図7は、第1の実施形態に係る薬剤特定方法を示す図である。
【
図8】
図8は、分割錠剤であるか否かの判断の様子を示す図である。
【
図9】
図9は、分割錠剤であるか否かの判断の様子を示す他の図である。
【
図10】
図10は、テンプレートマッチングの様子を示す図である。
【
図11】
図11は、半錠領域の切り出しの様子を示す図である。
【
図12】
図12は、テンプレートマッチングのための領域拡大の様子を示す図である。
【
図13】
図13は、薬剤領域画像、マスク画像、及び刻印の抽出結果を示す図である。
【
図14】
図14は、マッチングスコアを算出する様子を示す図である。
【
図16】
図16は、第1の表示処理による表示の例を示す図である。
【
図17】
図17は、第2の表示処理による表示の例を示す図である。
【
図18】
図18は、楕円型の錠剤についてのマッチングを説明するための図である。
【
図19】
図19は、楕円型の錠剤についてのマッチングを説明するための他の図である。
【
図20】
図20は、楕円型の錠剤についてのマッチングを説明するための他の図である。
【
図21】
図21は、楕円型の錠剤についてのマッチングスコアの算出について説明するための図である。
【
図22】
図22は、薬剤の鑑別を行う場合の光源及びカメラの配置を示す側面図である。
【
図23】
図23は、薬剤の鑑別を行う場合の光源及びカメラの配置を示す平面図である。
【
図24】
図24は、分割錠剤に外接する矩形の回転角度を示す図である。
【
図25】
図25は、外接矩形を直立表示した状態を示す図である。
【
図26】
図26は、錠剤が収納されたシートの例(分割されていない状態)を示す斜視図である。
【
図27】
図27は、錠剤が収納されたシートの例(分割されていない状態)を示す正面図である。
【
図28】
図28は、錠剤が収納されたシートの例(分割された状態)を示す図である。
【発明を実施するための形態】
【0023】
以下、添付図面を参照しつつ、本発明に係る対象物照合装置及び対象物照合方法の実施形態について詳細に説明する。
【0024】
<第1の実施形態>
図1は、本発明の第1の実施形態に係る錠剤特定装置10(対象物照合装置、錠剤特定装置)の構成を示す図である。錠剤特定装置10は処理部100と、記憶部300と、表示部400と、操作部500と、搬送機構240と、を備え、処理部100には照明部200,カメラ210(第1の画像取得部),カメラ220(第1の画像取得部),及び処方箋リーダ230が接続されている。
【0025】
カメラ210及びカメラ220はデジタルカメラにより構成される。
図2に示すように、分包袋702(薬包)が連続して構成される薬包帯700の鉛直上側(
図3の+Z側)にカメラ210が配置され、薬包帯700の鉛直下側(
図3の-Z側)にカメラ220が配置されて、分包袋702に分包された錠剤800(錠剤、対象物)を上下(複数の異なる方向)から撮影して、表面及び裏面について画像(第1の撮影画像)を取得する。分包袋702(薬包帯700)は搬送機構240により
図2の+X方向(薬包帯700の長手方向に沿った軸;
図2の矢印方向)に搬送され、撮影の際には照明部200が有する複数の光源202が4方向から分包袋702を照明する。
図3において、複数の光源202のそれぞれとカメラ210,220の撮影光軸1001との間隔(d1,d2,d3,d4)は同じである。つまり、複数の光源202と撮影光軸1001とが等間隔(d1=d2=d3=d4)である。
【0026】
処方箋リーダ230は、処方箋情報を読み取る。例えばOCR(Optical Character Recognition)により、紙に記載された処方箋から患者氏名、処方された薬剤及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、医師や薬剤師等のユーザが処方箋を読み取り、操作部500のキーボード510及び/またはマウス520等の入力デバイスにより処方箋情報(処方データ)を入力してもよい。
【0027】
<処理部の構成>
処理部100は、カメラ210,220で撮影した画像、及び処方箋リーダ230で読み取った情報等に基づいて分包袋702に分包された薬剤の特定を行う。
図5に示すように、処理部100は処方データ取得部100A(処方データ取得部)、画像取得部100B(画像取得部、第1の画像取得部)、マスタ画像取得部100C(マスタ画像取得部、第2の画像取得部)、錠剤判断部100D(錠剤判断部、分割判定部)、画像生成部100E(画像生成部)、錠剤特定部100F(錠剤特定部)、表示制御部100G(表示制御部)、全錠剤特定部100H(全錠剤特定部)、及び前処理部100I(前処理部、照合部)を備える。また、処理部100はCPU110(CPU:Central Processing Unit)、ROM120(ROM:Read Only Memory)、及びRAM130(RAM:Random Access Memory)を備える。
【0028】
上述した処理部100の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
【0029】
各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、コンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
【0030】
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM120(ROM:Read Only Memory)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る対象物照合方法や後述する錠剤特定方法を実行するためのプログラムを含む。ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばRAM130(RAM:Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。これらのプロセッサあるいは電気回路が行う処理は、CPU110により統括される。
【0031】
<記憶部の構成>
記憶部300はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、
図6に示す情報が互いに関連づけて記憶される。処方データ300Aは、処方箋リーダ230で読み取った処方箋の情報、または処方箋に基づいてユーザが入力、編集等した情報である。処方データ300Aは、例えば処方箋に記載されている薬剤の一般名称に基づいて特定の薬剤の名称を入力する、あるいは先発医薬品と後発医薬品とを相互に変更する、等が行われていてもよい。撮影画像300B(第1の撮影画像)はカメラ210,220で撮影した薬剤の画像であり、薬剤の表面及び裏面についての画像が含まれる。撮影画像に複数の薬剤(錠剤)が含まれる場合は、撮影画像から単一の薬剤についての領域を抽出した画像を撮影画像300Bとしてもよい。マッチング用画像300C(第1の撮影画像に基づく第1のマッチング用画像)は分割錠剤であると判断された錠剤についての、撮影画像から生成された錠剤領域を含む画像であり、マスタ画像とのテンプレートマッチングに用いられる。マスク画像300Dは錠剤領域抽出用マスク画像である第1のマスク画像と、刻印及び/または印字領域抽出用マスク画像である第2のマスク画像とを含む。これらマスク画像は2値化されていてもよい。マスタ画像300E(第2の撮影画像に基づく第2のマッチング用画像)は分割されていない状態の錠剤(対象物)の表面及び裏面についての画像であり、テンプレートマッチングの際の基準となる画像である。特定結果300Fはマッチング用画像が示す錠剤の種類及び面の特定結果である。
【0032】
<表示部及び操作部の構成>
表示部400はモニタ410(表示装置)を備えており、入力した画像、処理結果、記憶部300に記憶された情報等を表示することができる。操作部500は入力デバイス及び/またはポインティングデバイスとしてのキーボード510及びマウス520を含んでおり、ユーザはこれらのデバイス及びモニタ410の画面を介して、画像の撮影指示、錠剤の特定指示、表示態様(第1の表示処理または第2の表示処理)の選択等、本発明に係る対象物照合方法や後述する錠剤特定方法の実行に必要な操作を行うことができる(後述)。なお、モニタ410をタッチパネルにより構成し、そのタッチパネルを介して操作を行ってもよい。
【0033】
<錠剤特定方法の処理>
図7のフローチャートを参照しつつ、上述した構成の錠剤特定装置10による対象物照合方法(錠剤特定方法)の処理について説明する。
【0034】
処方データ取得部100Aは、処方箋リーダ230を介して処方箋情報を入力する(ステップS100:処方データ取得工程)。入力した処方箋情報をそのまま処方データとして取得してもよいし、処方箋に基づきユーザが操作部500を介して入力、編集等した情報を処方データとして取得してもよい。また、処方データ取得部100Aは、ユーザが目視等で認識した薬剤の特徴(例えば、錠剤の種類、形状、色等)、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報をユーザの操作に応じて関連情報として入力し、処方データに加えて、またはこれに代えて使用してもよい。
【0035】
画像取得部100Bは、カメラ210,220を制御して、分包袋702に分包された薬剤(錠剤)を複数の異なる方向(
図2,3の±Z方向;鉛直上下方向)から撮影した撮影画像(第1の撮影画像)を取得する(ステップS110:画像取得工程、第1の画像取得工程)。この際、照明部200及び光源202により分包袋702を照明する。
【0036】
マスタ画像取得部100Cは、取得した処方データに基づいて、分割されていない状態の錠剤(対象物)の表面及び裏面についてのマスタ画像を取得する(ステップS120:マスタ画像取得工程、第2の画像取得工程)。マスタ画像取得部100Cは、記憶部300に記憶されたマスタ画像300Eを取得してもよいし、図示せぬ通信回線を介して外部のサーバ、データベース等からマスタ画像を取得してもよい。また、マスタ画像取得部100Cは、カメラ210,カメラ220、及び画像取得部100Bを介して分割されていない状態の錠剤(対象物)について画像(第2の撮影画像)を撮影し、撮影した画像に必要な画像処理を施してマスタ画像として取得してもよい。
【0037】
<分割錠剤の判定>
錠剤判断部100D(分割判定部)は、撮影画像(第1の撮影画像)に映っている錠剤(対象物)が分割錠剤であるか否か(分割されているか否か)を判断(判定)する(ステップS130:錠剤判断工程、分割判定工程)。この判断は例えば以下の手法1、2により行うことができ、錠剤判断部100Dはこれらの手法により「全錠剤」と特定されていない錠剤、及び「不明」と判断された錠剤を「分割錠剤である」と判断することができる。なお、第1の実施形態において錠剤は「分割可能な医療用物品」の一態様である。
【0038】
<手法1:撮影画像及びマスタ画像に基づく特定>
全錠剤特定部100H(分割判定部)は、分割されていない錠剤(全錠剤)の種類を撮影画像及びマスタ画像に基づいて特定する。具体的には、撮影画像とマスタ画像とのテンプレートマッチングにより全錠剤を特定する。テンプレートマッチングは、公知の手法(例えば特開2014-67342号に記載の方法)により行うことができる。
【0039】
<手法2:マスク画像に基づく判断>
錠剤判断部100D(分割判定部)は、以下のようにマスク画像における画素分布の対称性(非対称性)に基づいて判断を行うことができる。全錠剤は(水平もしくは垂直に向きを揃えた状態では)水平方向、垂直方向とも対称の場合が多いが、分割錠剤は以下に示すように非対称性があると考えられる。
図8は機械学習により構築された階層型ネットワーク(例えば、領域抽出用ニューラルネットワーク;第1の階層型ネットワーク)を用いて撮影画像に映った錠剤の2値化マスク画像を生成し、マスク画像に外接する矩形の向きから回転角を推定して、その回転角分矩形を回転させた状態を示す図である。具体的には、
図8の(a)部分、(b)部分はそれぞれ分割錠剤(全錠剤の1/2)、立ち錠(切断面が載置面に接触している状態の錠剤)についての2値化マスク画像の錠剤領域(画素値255の領域)に外接する矩形を示す図である。この状態で、
図9に示すように矩形の領域を複数(例えば水平方向に2分割、垂直方向に2分割で計4つ)に分割し、各領域の白画素(画素値255の画素)の割合を算出して、画素値の分布に基づいて上述の判断を行うことができる。具体的には、分割錠剤(半錠)の場合
図9の(a)部分に示すように+X側と-X側で非対称、+Y側と-Y側で対称であり、立ち錠の場合は
図9の(b)部分に示すように+X側と-X側、+Y側と-Y側ともほぼ対称になる。したがって錠剤判断部100Dは、+X側と-X側で非対称ならば分割錠剤(半錠)、対称ならば立ち錠と判断する(全錠と判断されたものは除く)ことができる。すなわち、錠剤(対象物)の外形があらかじめ規定された形状である(上述した対称性を有する)場合に錠剤が分割されていると判定する。なお、上述した領域抽出用ニューラルネットワークは、別途作成したマスク画像を教師データとして与えた条件付きGAN等の機械学習(GAN:Generative Adversarial Networks)により構成することができる。
【0040】
<マッチング処理の概要>
錠剤特定装置10におけるマッチング処理(第1のマッチング用画像と、マスタ画像である第2のマッチング用画像との照合)の概要について説明する。
図10の(a)部分は分割錠剤が映った撮影画像の例であり、このような撮影画像に対し領域抽出用ニューラルネットワーク(第1の階層型ネットワーク)を用いて2値化マスク画像を生成する(同図の(b)部分)。そして撮影画像と2値化マスク画像とを乗算し、前処理(刻印抽出、2値化、反転等)を施してマッチング用画像を生成する(同図の(c)部分)。そしてマッチング用画像とマスタ画像とを相対的に回転させながらマッチングスコアを算出し、スコアが最大になる回転角度を求めて(同図の(d)部分)、その回転角度だけ錠剤領域画像を逆回転して印字あるいは刻印の向きをマスタ画像と揃える(同図の(e)部分;第2の表示処理の場合)。このようなマッチング処理について、以下で詳細に説明する。
【0041】
<マッチング用画像の生成>
画像生成部100E(第1の画像取得部)は、撮影画像(第1の撮影画像)に含まれる分割錠剤について、マッチング用画像(第1のマッチング用画像)を生成する(ステップS140:画像生成工程、第1の画像取得工程)。錠剤の表面及び裏面を特定するため、画像生成部100Eはカメラ210,220で上下方向から撮影した画像のそれぞれについてマッチング用画像を生成し、対応付ける。以下、マッチング用画像の生成について説明する。
【0042】
画像生成部100Eは、領域抽出用ニューラルネットワーク(第1の階層型ネットワーク)によりマスク用画像を生成し、生成したマスク画像に2値化、クロージングによる整形等の前処理を施す。領域抽出用ニューラルネットワークは、上述した分割錠剤の判断で用いたものを使用することができる。そして、画像生成部100Eは前処理後のマスク画像と撮影画像とを乗算して錠剤領域を抽出し、ノイズの除去等を行う。さらに、画像生成部100Eは錠剤領域を含む矩形(例えば、錠剤領域に外接する矩形)を求め、撮影画像からその矩形を含む正方形の範囲を切り出してマッチング用画像とする。なお、矩形は回転角を算出し直立させておくことが好ましい。
図11は、このようにして生成した分割錠剤領域、矩形、及びマッチング用画像(分割錠剤領域830、矩形832、マッチング用画像834)の関係の例を示す図である。
【0043】
<マッチング用画像に対する前処理>
前処理部100I(照合部)は、マッチング用画像及び/またはマスタ画像に対し、領域拡大処理、2値化処理、画像反転処理、印字及び/または刻印の領域(識別情報を含む一部の領域)を抽出する処理、印字及び/または刻印を強調する処理のうち少なくとも1つを、前処理として施す(ステップS150:前処理工程、照合工程)。なお、2値化処理、画像反転処理、印字及び/または刻印の領域を抽出する処理、印字及び/または刻印を強調する処理(識別情報を強調する処理)を行うかどうかは、マッチング用画像とマスタ画像とで揃えることが好ましい。また、画像の拡大または縮小によりマッチング用画像とマスタ画像の大きさを揃えることが好ましい。
【0044】
<領域拡大>
前処理としての領域拡大においては、前処理部100Iはマッチング用画像が錠剤領域の外接円を含むように領域を拡大する。例えば、
図12の(a)部分に示す領域拡大前のマッチング用画像834の辺の長さが“a”である場合、
図12の(b)部分に示すように錠剤領域の外接円835の一部がマッチング用画像834の外にはみ出る場合がある。このため、同図の(c)部分に示すように両側に0.25aずつ拡大し、辺の長さを“1.5a”とすれば外接円を含むように領域を拡大することができ、
図12の(d)部分に示すマッチング用画像836が得られる。なお、
図12の(e)部分は、刻印部分抽出の前処理を施したマスタ画像の例(マスタ画像838)を示す図である。
【0045】
前処理部100Iは、マッチング用画像836から外接円835に余白領域を考慮した正方形の範囲を切り出し、拡大または縮小してマスタ画像と大きさを揃えてマッチング用画像としてもよい。この余白領域は、例えば外接円に対し(1/10)×aから(1/12)×a程度とすることができる(“a”は上述した回転矩形を含む正方形の一辺の長さ)。余白領域を確保するのは、アオリ誤差等を考慮したものである。
【0046】
前処理部100Iは、上述した領域拡大に加えて、または領域拡大に代えて、2値化処理、画像反転処理、刻印抽出処理をマッチング用画像に施してもよい。刻印抽出は、刻印抽出用ニューラルネットワーク(第2の階層型ネットワーク)を用いて生成したマスク画像との乗算により行うことができる。錠剤特定部100Fは、このような前処理後のマッチング用画像836とマスタ画像とを用いてテンプレートマッチングを行う。第2の階層型ネットワークは、印字及び/または刻印を抽出した画像を教師データとして与えて機械学習を行うことにより構成することができる。
【0047】
<錠剤領域画像、マスク画像、及び刻印抽出結果の例>
図13は、錠剤領域画像、領域抽出用及び刻印抽出用のマスク画像、刻印等の抽出結果の例を示す図である。参照符号810の列は、撮影画像から上述した矩形(
図11の矩形832に相当)の部分を切り出した画像(錠剤の表または裏)を示し、参照符号812の列は参照符号810の列に示す画像の反対側の面(錠剤の裏または表)を示す。参照符号814,816の列は刻印抽出用の2値化マスク画像(表面または裏面;参照符号810,812の画像に対応)を示し、参照符号818,820の列は錠剤領域抽出用の2値化マスク画像(表面または裏面;参照符号810,812の画像に対応)を示す。刻印抽出用マスク画像は、アオリに起因する側面や断面の映り込みの影響を排除するため、錠剤領域抽出用のマスク画像よりも小さくなっている。参照符号822,824の列は、参照符号810,812の列に示す画像から刻印を抽出した結果(表面または裏面)を示す。これらの画像において、同じ行の画像は同じ錠剤についての画像である。
【0048】
<マッチングスコアの算出>
錠剤特定部100F(照合部)は、マッチング用画像(第1のマッチング用画像)とマスタ画像(第2のマッチング用画像)とを相対的に回転させながらマッチングスコアを算出し、回転角度を変えながらマッチングスコアの算出を繰り返す(ステップS160:錠剤特定工程、照合工程)。
図14は撮影画像の表面及び裏面についてのマッチング用画像と、錠剤の表面及び裏面についてのマスタ画像のマッチングスコアを算出する様子を示す概念図である。画像802A,802Bは分割錠剤の画像を示し、一方が表面、他方が裏面である。マスタ画像804A,804Bはそれぞれ表面,裏面についてのマスタ画像である。このような状況において、錠剤特定部100Fは各回転角度において、マッチングスコアS10~S40を算出する。マッチングスコアS10,S20は、それぞれ画像802A,802B(マッチング用画像)とマスタ画像804A(表面)についてのマッチングスコアであり、マッチングスコアS30,S40は、それぞれ画像802A,802B(マッチング用画像)とマスタ画像804B(裏面)についてのマッチングスコアである。
【0049】
マッチングスコアの算出においては、(a)マッチング用画像とマスタ画像の中心を一致させた状態でこれら画像を相対的に少しずつ回転させながらマッチングスコアを算出してもよいし、(b)回転角度が異なる画像を複数作成しておき、各画像を移動させてマッチングスコアを算出してもよい。また、回転角度の変化を小さくする(例えば、回転角度が1degずつ異なる360枚の画像を用いる)ことで正確なマッチングを行うことができるが、処理に時間を要する場合がある。この場合、回転角度の変化を大きくした画像を少数作成して粗いマッチングを行い(例えば、回転角度が10degずつ異なる36枚の画像を用いる)、次いで粗いマッチングの結果スコアが大きくなる角度の付近で、変化を小さくした画像を用いてマッチングを行う(例えば、回転角度が1degずつ異なる10枚の画像を用いる)ことで、処理を高速化することができる。
【0050】
<分割錠剤の特性を考慮したマッチングスコアの算出>
通常のテンプレートマッチングでは、相関スコア値(規格化済み)を用いることが一般的である。しかしながら分割錠剤の特性を考慮すると、以下のようなマッチングスコア(修正スコア)を用いることが好ましい。具体的には、錠剤特定部100Fは(テンプレートマッチングでの相関スコア値(規格化済み))×(マッチング用画像の印字及び/または刻印を示す画像の画素数)×(マスタ画像の印字及び/または刻印部分を示す画像の画素数)をマッチングスコアとして算出し、このマッチングスコアに基づいて錠剤の種類及び面を特定することが好ましい。「相関スコア値(規格化済み)」に「マッチング用画像の印字及び/または刻印を示す画像の画素数」及び「マスタ画像の印字及び/または刻印部分を示す画像の画素数」を乗じるのは、印字及び/または刻印の面積が大きいほどスコアが大きくなるようにし、また「相関スコア値(規格化済み)」が同じでも複雑な印字及び/または刻印に対して重み付けをすることで、マッチングの確度を高めるためである。なお、このような修正スコアの算出において、「印字及び/または刻印部分を示す画像の画素数」としては、例えば
図13の参照符号822,824の列に示す画像(分割錠剤の印字及び/または刻印部分を示す画像)における白い
画素の画素数、
図12の(e)部分(マスタ画像の印字及び/または刻印部分を示す画像)における白い画素の画素数を用いることができる。また、マスタ画像について「印字及び/または刻印部分を示す画像の画素数」を求める際に割線部分の画素数を除外してもよい。
【0051】
<錠剤の種類の特定>
1つの分包袋に複数種類の分割錠剤が分包されることは少ないので、通常は1種類のマスタ画像についてマッチングを行えばよいが、複数種類の分割錠剤が含まれている場合は、錠剤特定部100Fは個々のマスタ画像に対するマッチングスコアの最大値どうしを比較し「マッチング用画像は、マッチングスコアの最大値が最も大きくなるマスタ画像と同一の錠剤を示す」と特定することができる。
【0052】
<回転角度の特定>
錠剤特定部100Fは、マッチングスコアが最大になる角度を錠剤の回転角度として特定する。
【0053】
<表面及び裏面の特定>
錠剤特定部100Fは、例えば以下の基準により錠剤の面(表面または裏面)を特定する。
【0054】
(1)(マッチングスコアS10の最大値)>(マッチングスコアS30の最大値)、かつ(マッチングスコアS20の最大値)≦(マッチングスコアS40の最大値)ならば、画像802Aが表面を示し画像802Bが裏面を示す。
【0055】
(2)(マッチングスコアS20の最大値)>(マッチングスコアS40の最大値)、かつ(マッチングスコアS10の最大値)≦(マッチングスコアS30の最大値)ならば、画像802Aが裏面を示し画像802Bが表面を示す。
【0056】
錠剤特定部100Fは全ての分割錠剤についての処理が終了したか否かを判断し(ステップS170)、判断が肯定されるまでステップS140からS160までの処理を繰り返す。ステップS170の判断が肯定されたら1つの分包袋についての処理を終了してステップS180に進み、全ての分包袋についての処理が終了するまで(ステップS180の判断が肯定されるまで)ステップS110~S170の処理を繰り返す。ステップS170の判断が肯定されたらステップS190に進む。
【0057】
<表示処理>
表示制御部100Gは、錠剤の種類及び面の特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像(第1のマッチング用画像のうち同一種類の錠剤(対象物)が映っていると判断された表示用画像)とをモニタ410(表示装置)に表示させる(ステップS190:表示制御工程)。ステップS190では、分割錠剤の直線部分である弦の向きを揃えて表示させる第1の表示処理、または分割錠剤の印字及び/または刻印の向きを揃えて表示させる第2の表示処理を行う。表示制御部100Gは、ユーザの指示に応じていずれかの表示処理を行ってもよいし、ユーザの指示によらずにいずれかの表示処理を行ってもよい。なお、第1,第2の表示処理において、マッチング用画像ではなく撮影画像、錠剤領域画像を表示してもよい。また、マッチング用画像を表示する場合、前処理を施していない画像を用いてもよいし、前処理を施した画像を用いてもよい。
【0058】
<第1の表示処理>
第1の表示処理では、マッチング用画像における弦の向き(対象物の外形の向きの一例)を揃えて表示させる。錠剤の弦は、対象物である錠剤の分割により生じる分割線の一例であり、錠剤に割線が施されている場合は割線付近が分割線になることが多い。表示制御部100Gは、例えば、マッチング用画像あるいはマスク画像で曲率の小さい辺、短い辺、外接円の中心に近い辺等を弦と判断することができる。弦の向きの算出において、表示制御部100Gは
図24に示すように分割錠剤(半錠)に外接する矩形840(外接矩形)の頂点座標、及び外接矩形のX軸(水平方向)からの回転角θを特定する。そして表示制御部100Gは外接矩形を(90deg-θdeg)回転して外接矩形を直立させ、分割錠剤が直立した画像を得る(
図25の矩形841または矩形842の状態のいずれか)。表示制御部100Gは直立させた分割錠剤の画素分布を調べ、矩形841のように右側半分に明るい画素
(分割錠剤を示す画素;図25における網掛け領域)が多いか、矩形842のように
左側半分に明るい画素が多いかを特定する(「分割錠剤の判定」の手法2で述べたようなマスク画像における白画素の分布に基づいて特定できる)。矩形841の状態であれば時計回りに90deg、矩形842の状態であれば反時計回りに90deg回転させることで、弦の向きを水平方向に揃えることができる。なお、表示する際は弦の向きを水平方向ではなく垂直方向、あるいは斜めに揃えてもよい。また、複数の錠剤について表示する場合、各錠剤の弦の向きに加えて弓(分割錠剤の曲線部分)の向き(対象物の外形の向きの一例)を揃えて表示してもよい(
図16を参照)。
【0059】
<第2の表示処理>
第2の表示処理では、マッチング用画像における印字及び/または刻印(対象物に付された識別情報の一例)の向きを揃えて表示させる。表示制御部100Gは、マッチング用画像を上述の処理により特定した回転角度の分逆回転させることにより印字及び/または刻印の向きを揃えることができる。
【0060】
<表示処理の具体例>
上述した第1,第2の表示処理の具体例について説明する。対象とする錠剤は
図15に示す「バルサルタン錠80mgFFP」である。
図15の(a)部分は錠剤の正面図(表面)であり、印字及び割線が施されている。同図の(b)部分は側面図である。割線と印字の方向との関係は錠剤により異なり、割線が印字に対し水平方向あるいは垂直方向に施されている場合もある。また、
図15の(c)部分及び(d)部分は背面図(裏面)である。表面と同様に裏面にも印字が施されているが、表面と裏面とで印字の方向は一定ではない。例えば、
図15の(a)部分に示す表面に対し、裏面は(c)部分のようになっている(表面と印字の方向が同じ)場合もあるし、(d)部分のようになっている(表面と印字の方向が異なる)場合もある。
【0061】
上述した錠剤に対する第1の表示処理の例を
図16に示す。同図の(a)部分はマスタ画像の表面(白線の左側の領域)及びマッチング用画像の表面(白線の右側の領域)についての表示であり、同図の(b)部分はマスタ画像の裏面(白線の左側の領域)及びマッチング用画像の裏面(白線の右側の領域)についての表示である。
図16において、(a)部分と(b)部分とで同じ位置に存在する画像は同一の錠剤を示している。また、第2の表示処理の例を
図17に示す。同図の(a)部分はマスタ画像の表面(白線の左側の領域)及びマッチング用画像の表面(白線の右側の領域)についての表示であり、同図の(b)部分はマスタ画像の裏面(白線の左側の領域)及びマッチング用画像の裏面(白線の右側の領域)についての表示である。
図17においても、(a)部分と(b)部分とで同じ位置に存在する画像は同一の錠剤を示している。なお、第1,第2の表示処理の際に、表示制御部100Gは錠剤(対象物)の表面及び/または裏面についてのマッチング用画像(第1のマッチング用画像)を選択してモニタ410(表示装置)に表示させる。表面の画像だけ、あるいは裏面の画像だけを表示してもよいし、両方の画像を表示してもよい。また、マスタ画像を併せて表示してもよいし、表示を省略してもよい。
【0062】
以上説明したように、第1の実施形態によれば分割錠剤を良好な精度でマッチングでき、また第1,第2の表示処理によりマッチング結果を容易に確認することができる。
【0063】
<楕円錠剤を分割した場合のマッチング>
楕円型の錠剤を分割した場合のマッチングについて説明する。
図18は楕円錠剤のマスタ画像の例であり、同図の(a)部分は錠剤の表面を示す。表面の左右には、それぞれ“A”、“B”の刻印(または印字)が施されている。また、同図の(b)部分は錠剤の裏面を示す。裏面の左右には、それぞれ“C”、“D”の刻印(または印字)が施されている。この錠剤には、中央に割線が付されている。
図18の錠剤を分割した状態を
図19に示す。
図19の(a1),(a2)部分はそれぞれ表面の左側、右側を示し、同図の(b1),(b2)部分はそれぞれ裏面の左側、右側を示す。このような楕円型の錠剤では、表面と裏面との対応関係が異なる(上述したバルサルタン錠のように、表面と裏面とで刻印の向きが異なる)錠剤が存在する。例えば、
図20の(a1),(a2)部分に示すように表面と裏面とで刻印の向き(上下方向)が一致している場合と、同図の(b1),(b2)部分に示すように刻印の向きが異なっている場合とがある。
【0064】
<楕円錠剤の場合のマッチングスコアの算出>
図21は、
図18~20に示す楕円錠剤のマッチングの様子を示す図である。
図21で「上」と記載されているのは例えばカメラ210により上方から撮影した画像であり、「下」と記載されているのは例えばカメラ220により下方から撮影した画像である。撮影画像にはA,B,C,Dのうちいずれかが刻印されており、
図21に示す撮影画像の刻印は例示したものである。このような状況で、錠剤特定部100Fは以下のマッチングスコアS1~S8を算出する(
図7のステップS160、錠剤特定工程に相当)。この際、上述した修正スコア値と同様に、分割錠剤の特性を加味したマッチングスコアを算出することが好ましい。なお、以下の説明において「マッチングスコアS1」を「S1」と記載する場合がある(マッチングスコアS2~S8についても同様である)。
【0065】
マッチングスコアS1:撮影画像(上方から撮影)とマスタ画像(表面の左側)についてのマッチングスコア
マッチングスコアS2:撮影画像(上方から撮影)とマスタ画像(表面の右側)についてのマッチングスコア
マッチングスコアS3:撮影画像(上方から撮影)とマスタ画像(裏面の左側)についてのマッチングスコア
マッチングスコアS4:撮影画像(上方から撮影)とマスタ画像(裏面の右側)についてのマッチングスコア
マッチングスコアS5:撮影画像(下方から撮影)とマスタ画像(表面の左側)についてのマッチングスコア
マッチングスコアS6:撮影画像(下方から撮影)とマスタ画像(表面の右側)についてのマッチングスコア
マッチングスコアS7:撮影画像(下方から撮影)とマスタ画像(裏面の左側)についてのマッチングスコア
マッチングスコアS8:撮影画像(下方から撮影)とマスタ画像(裏面の右側)についてのマッチングスコア
なお、例えばマッチングスコアS1は、撮影画像(上方から撮影)に対し、マスタ画像(表面の左側)を回転角度0deg~359degの範囲で回転させてテンプレートマッチングしたスコア値のうち、スコア最大となった回転角におけるスコア値を示す。
【0066】
マッチングスコアどうしの対応関係としては、(S1,S7),(S1,S8),(S2,S7),(S2,S8),(S3,S5),(S3,S6),(S4,S5),(S4,S6)があり得る。ここで、例えば(S1,S7)は「上方から撮影した画像が表面の左側を示し、下方から撮影した画像が裏面の左側を示す」ことを意味する。
【0067】
<面の特定>
上述した状況で、錠剤特定部100Fは以下の第1,第2の方式により楕円型の分割錠剤の面を特定する。これにより楕円型の分割錠剤を良好な精度でマッチングして錠剤の面を特定することができる。なお、錠剤の種類は別途特定されているものとする(処方データ、あるいは分包袋の撮影画像において分割錠剤が1種類のみである場合を含む)。
【0068】
(第1の方式)
錠剤特定部100FはスコアT1=S1+S2+S7+S8、スコアT2=S3+S4+S5+S6を算出し、スコアT1,T2の大小を比較する。その結果、スコアT1>T2ならば、錠剤特定部100Fは「上方から撮影した画像が表面、下方から撮影した画像が裏面」と特定する。一方、スコアT1<T2ならば、錠剤特定部100Fは「上方から撮影した画像が裏面、下方から撮影した画像が表面」と特定する。
【0069】
(第2の方式)
錠剤特定部100FはスコアT1=S1+S7、スコアT2=S1+S8、スコアT2=S2+S7、スコアT4=S2+S8、スコアT5=S3+S5、スコアT6=S3+S6、スコアT7=S4+S5、スコアT8=S4+S6を算出し、スコアT1~T8の中の最大スコアを特定する。その結果、最大スコアがスコアT1,T2,T7,T8のいずれかの場合は、錠剤特定部100Fは「上方から撮影した画像が表面、下方から撮影した画像が裏面」と特定する。一方最大スコアがスコアT3,T4,T5,T6のいずれかの場合は、錠剤特定部100Fは「上方から撮影した画像が裏面、下方から撮影した画像が表面」と特定する。
【0070】
<表示処理>
上述した楕円型の錠剤の場合も、表示制御部100Gは分割錠剤の直線部分である弦の向きを揃えて表示させる第1の表示処理、または分割錠剤の印字及び/または刻印の向きを揃えて表示させる第2の表示処理を行い、結果を
図16,17のようにモニタ410(表示装置)に表示させることができる。これによりマッチング結果を容易に確認することができる。
【0071】
<薬剤の鑑別の場合>
上述した実施形態では、主として薬剤監査支援で行われる分包薬剤の特定について説明したが、本発明の対象物照合装置(錠剤特定装置)及び対象物照合方法(錠剤特定方法)は患者が病院、薬局等に持参した薬剤の鑑別にも適用することができる。鑑別を行う場合、
図22の側面図に示すように分包袋に代えてシャーレ等の容器710に錠剤800を入れて撮影を行う。
図23は
図22に示す状態の平面図である。鑑別を行う場合のその他の構成は、上述した錠剤特定装置10と同様である。錠剤の特定処理も上述した態様と同様に行うことができるが、持参薬の鑑別を行う場合は処方箋が確認できない場合がある。この場合、処方データ取得部100Aは、目視等で認識した薬剤の特徴(例えば、錠剤の種類、形状、色等)、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報として入力し、処方データに代えて用いてもよい。
【0072】
薬剤の鑑別を行う場合も、本発明の対象物照合装置(錠剤特定装置)及び対象物照合方法(錠剤特定方法)により分割錠剤(分割可能な医療用物品である対象物)を良好な精度でマッチングでき、また第1,第2の表示処理によりマッチング結果を容易に確認することができる。
【0073】
<錠剤またはカプセル型薬剤が収納された包装体についての照合>
上述した例では、錠剤について照合を行う場合について説明したが、本発明に係る対象物照合装置及び対象物照合方法は錠剤が収納された包装体、カプセル型薬剤が収納された包装体にも適用することができる。例えば、いわゆるPTP包装シート(PTP:press through pack)は錠剤やカプセルをプラスチックとアルミ箔で挟んで収納したシート状の包装体であり、錠剤あるいはカプセル型薬剤の形状に合わせて立体的に形成されるプラスチック部分を強く押す事でアルミ箔が破け、中の錠剤等を1つずつ取り出すことができる。また、一般にPTP包装シートには複数のミシン目が付されており、このミシン目に沿って分割することができる。すなわち、PTP包装シートは分割可能な医療用物品の他の例である。
【0074】
図26は錠剤が収納されたPTP包装シートであるシート900(分割されていない状態)を表面側から見た斜視図であり、
図27は正面図である。シート900は端部902及び本体部904に薬剤の名称、有効成分量等が文字、数字により印字されており(識別情報の一例;裏面にも同様の情報が印字される)、また本体部904をミシン目904Bに沿って切り取る(分割する)ことで錠剤部904Aの数を調節し、必要な数の錠剤910を得ることができる。なお、
図26,27における識別情報は説明の便宜のために記載したものであり、実際の製品の表示を正確に再現したものではない。
図28は本体部904の一部を切り取った状態のシート900の例を示す図である。処方内容により分割されて患者に提供された場合や、錠剤を取り出した部分を切り取った場合にこのような状態になる。
【0075】
<錠剤の包装体についての照合>
このようなシート900についても、上述した錠剤の場合と同様に照合を行うことができる。具体的には、
図26,27に示すように分割されていない状態のシート900(対象物)の表面及び裏面について、カメラ210、カメラ220、画像取得部100B、マスタ画像取得部100Cによりマスタ画像(第2の撮影画像に基づく第2のマッチング用画像)を取得し、照合対象のシート900(分割されていない状態、または分割された状態)の表面及び裏面について第1の撮影画像に基づく第1のマッチング用画像を取得する。これ以降の処理は錠剤の場合と同様に
図7に示すフローチャートに従って実行することができる。
【0076】
<包装体についての表示例>
図29は分割されたシート900について第1の表示処理を行った状態を示す例である。この例では、分割線であるミシン目904Bの向き(及び分割線に対する対象物の向き)を揃えることによりシート900の外形の向きを揃えている。なお、
図29は表面についての表示例であるが、裏面についても同様に表示することができる(
図16の例を参照)。一方、
図30は分割されたシート900について第2の表示処理を行った状態を示す例である。シート900は必ずしもミシン目904Bで切り離されるとは限らず、ハサミ等によりミシン目904Bと直交する方向に切り離される場合があり、この場合錠剤の数が同じでも分割後のシート900の形状が同じになるとは限らない。このような場合は、シート900に付された識別情報(この場合薬剤の名称等の印字)の向きを揃えて表示させる第2の表示処理を行うことができる。なお
図30は表面についての表示例であるが、裏面についても同様に表示することができる(
図17の例を参照)。
【0077】
以上、
図26~30を参照しつつ錠剤が収納された包装体(PTPシート)の場合について説明したが、カプセル型薬剤が収納されたシートの場合も同様に照合を行って結果を第1,第2の表示処理により表示させることができる。なお、錠剤を個別に収納する袋状の収納部が連続してシート状に形成されるタイプの包装体についても、同様に照合及び表示処理を行うことができる。
【0078】
錠剤が収納された包装体、カプセル型薬剤が収納された包装体の場合も、錠剤の場合と同様に包装体を良好な精度でマッチングでき、また第1,第2の表示処理によりマッチング結果を容易に確認することができる。
【0079】
(付記)
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
【0080】
(付記1)
付記1に係る錠剤特定装置は、錠剤を複数の異なる方向から撮影した撮影画像を取得する画像取得部と、分割されていない錠剤の表面及び裏面についてのマスタ画像を取得するマスタ画像取得部と、撮影画像に映っている錠剤が分割された分割錠剤であるか否かを判断する錠剤判断部と、分割錠剤であると判断された錠剤についての撮影画像から錠剤領域を含むマッチング用画像を生成する画像生成部と、マッチング用画像とマスタ画像とのテンプレートマッチングによりマッチング用画像が示す錠剤の種類及び面を特定する錠剤特定部と、特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像とを表示装置に表示させる表示制御部であって、分割錠剤の直線部分である弦の向きを揃えて表示させる第1の表示処理、または分割錠剤の印字及び/または刻印の向きを揃えて表示させる第2の表示処理を行う表示制御部と、を備える。
【0081】
付記1の構成では、分割錠剤に関しマッチング結果を分割錠剤の直線部分である弦の向きを揃えて表示させる第1の表示処理、または分割錠剤の印字及び/または刻印の向きを揃えて表示させる第2の表示処理により表示させるので、ユーザは錠剤の種類及び面の特定結果(マッチング結果)を視覚により容易に把握することができる。また、付記1の構成では分割されていない錠剤についてのマスタ画像を用いてテンプレートマッチングを行うので、画像の僅かな部分どうしの一致により誤ったマッチングがされる可能性を低減し、正確なマッチングを行うことができる。このように、付記1の構成によれば、分割錠剤を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。
【0082】
付記1の構成において、画像取得部は複数の対向する方向から撮影した画像を取得することが好ましい。鉛直上下方向等、錠剤の表面及び裏面を撮影した画像を取得することがさらに好ましい。また、マスタ画像は処方データ(処方箋に記載された薬剤の情報、及びその情報に基づいて医師、薬剤師等が入力した情報)に基づいて取得してもよい。なお、錠剤の「特定」は薬剤の監査、持参薬等の鑑別等において行うことができる。
【0083】
(付記2)
付記2に係る錠剤特定装置は付記1の構成において、表示制御部は、マスタ画像及びマッチング用画像を錠剤の表面及び裏面について表示させる。付記2の構成によれば特定結果(マッチング結果)をいっそう容易に把握することができる。なお付記2の構成において、特定結果はマスタ画像及びマッチング用画像の表面ごと、及び裏面ごとに一括して表示することが好ましい。
【0084】
(付記3)
付記3に係る錠剤特定装置は付記1または付記2の構成において、分割されていない錠剤の種類を撮影画像及びマスタ画像に基づいて特定する全錠剤特定部をさらに備え、錠剤判断部は、全錠剤特定部により種類が特定されていない錠剤について判断を行う。付記3の構成によれば、全錠剤特定部により種類が特定されていない錠剤について分割錠剤であるか否かを判断することで、効率的に処理を行うことができる。
【0085】
(付記4)
付記4に係る錠剤特定装置は付記1から付記3の構成のいずれか1つにおいて、錠剤判断部は、撮影画像から錠剤領域を含むマスク画像を生成し、マスク画像における画素値の分布に基づいて判断を行う。分割されていない錠剤は一般に円形、楕円形等対称な形状であるが、分割により非対称な方向が生じる。このため付記4の構成では、マスク画像における画素値の分布(例えば非対称性)に基づいて分割錠剤であるか否かを判断している。なお、撮影画像からノイズ等不要な部分を除去し錠剤領域を含む画像をマスク画像とすることができ、2値化されていてもよい。また、マスク画像の範囲は例えば錠剤領域に外接する矩形とすることができるが、このような態様に限定されるものではない。また、立っている錠剤(分割面あるいは切断面が錠剤の載置面に接触している状態;いわゆる「立ち錠」)についても、画素値の分布に基づいて判断することができる。
【0086】
(付記5)
付記5に係る錠剤特定装置は付記4の構成において、錠剤判断部は、機械学習により構築された第1の階層型ネットワークを用いてマスク画像を生成する。第1の階層型ネットワークはニューラルネットワークとすることができ、例えばCNN(Convolutional Neural Network;畳み込みニューラルネットワーク)等を用いて、マスク画像を教師データとして与えて深層学習等の機械学習を行うことにより構成することができる。
【0087】
(付記6)
付記6に係る錠剤特定装置は付記5の構成において、画像生成部は、撮影画像の画素値とマスク画像の画素値とを画素ごとに乗算してマッチング用画像を生成する。付記6の構成はマッチング用画像生成処理の具体的態様を規定するもので、マスク画像との乗算により不要な部分を除去したマッチング用画像を生成することができる。
【0088】
(付記7)
付記7に係る錠剤特定装置は付記1から付記6の構成のいずれか1つにおいて、マッチング用画像及び/またはマスタ画像に対し領域拡大処理、2値化処理、画像反転処理、印字及び/または刻印の領域を抽出する処理、印字及び/または刻印を強調する処理のうち少なくとも1つを前処理として施す前処理部をさらに備え、錠剤特定部は、前処理を施したマッチング用画像及び/またはマスタ画像を用いてテンプレートマッチングを行う。付記7の構成では、上述した前処理によりさらに正確にマッチングを行うことができる。これらの前処理はユーザの指示に応じて実施する処理の種類及び/または程度を決定してもよいし、ユーザの指示によらずに錠剤特定装置が決定してもよい。なお、前処理としての2値化処理、画像反転処理、印字及び/または刻印の領域を抽出する処理、印字及び/または刻印を強調する処理を行うかどうかは、マッチング用画像とマスタ画像とで揃えることが好ましい。
【0089】
(付記8)
付記8に係る錠剤特定装置は付記7の構成において、前処理部は、機械学習により構築された第2の階層型ネットワークにより印字及び/または刻印を抽出する処理を施す。第2の階層型ネットワークはニューラルネットワークとすることができ、例えばCNN(Convolutional Neural Network;畳み込みニューラルネットワーク)等を用いて、印字及び/または刻印を抽出した画像を教師データとして与えて深層学習等の機械学習を行うことにより構成することができる。
【0090】
(付記9)
付記9に係る錠剤特定装置は付記1から付記8の構成のいずれか1つにおいて、錠剤特定部は、マッチング用画像とマスタ画像とを相対的に回転させながらマッチングスコアを算出し、マッチングスコアに基づいて特定を行う。付記9の構成では、複数の方向のそれぞれについてのマッチング用画像と、マスタ画像の表面及び裏面とについてマッチングスコアを算出し、この結果に基づいて錠剤の種類及び面を特定することができる。なお、マッチング用画像における錠剤領域の外接円の中心とマスタ画像の中心とを一致させた状態で画像を回転させてもよいし、あらかじめ回転させた画像を移動しながらマッチングを行っても良い。また、マッチングにおいて画像の相対的な移動(平行移動)があってもよい。
【0091】
(付記10)
付記10に係る錠剤特定装置は付記9の構成において、表示制御部は、第2の表示処理において、特定した面に対してマッチングスコアが最大になる回転の角度を算出し、マッチング用画像を角度だけ逆回転させてマッチング用画像における印字及び/または刻印の方向をマスタ画像と揃える。付記10の構成は、第2の表示処理においてマッチング用画像における印字及び/または刻印の方向をマスタ画像と揃える処理を具体的に規定するものである。
【0092】
(付記11)
付記11に係る錠剤特定装置は付記9のまたは付記10の構成において、錠剤特定部は、マッチング用画像とマスタ画像との相関スコア値、印字及び/または刻印を示す画像の画素数、及びマスタ画像の印字及び/または刻印を示す画像の画素数を用いてマッチングスコアを算出する。付記11の構成は、分割錠剤の特性を考慮して正確にマッチングを行うためのスコアの算出について規定するものである。
【0093】
(付記12)
付記12に係る錠剤特定方法は錠剤を複数の異なる方向から撮影した撮影画像を取得する画像取得工程と、分割されていない錠剤の表面及び裏面についてのマスタ画像を取得するマスタ画像取得工程と、撮影画像に映っている錠剤が分割された分割錠剤であるか否かを判断する錠剤判断工程と、分割錠剤であると判断された錠剤についての撮影画像から錠剤領域を含むマッチング用画像を生成する画像生成工程と、マッチング用画像とマスタ画像とのテンプレートマッチングによりマッチング用画像が示す錠剤の種類及び面を特定する錠剤特定工程と、特定の結果に基づいて、マスタ画像と、マスタ画像と同一の錠剤及び同一の面を示すと特定されたマッチング用画像とを表示装置に表示させる表示制御工程であって、分割錠剤の直線部分である弦の向きを揃えて表示させる第1の表示処理、または分割錠剤の印字及び/または刻印の向きを揃えて表示させる第2の表示処理を行う表示制御工程と、を有する。
【0094】
付記12の構成によれば、付記1の構成と同様に分割錠剤を良好な精度でマッチングでき、またマッチング結果を容易に確認することができる。
【0095】
なお、付記12に係る錠剤特定方法に対し、付記2から付記11と同様の構成をさらに含めてもよい。また、それら態様の錠剤特定方法を錠剤特定装置あるいはコンピュータに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
【0096】
以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0097】
10 錠剤特定装置
100 処理部
100A 処方データ取得部
100B 画像取得部
100C マスタ画像取得部
100D 錠剤判断部
100E 画像生成部
100F 錠剤特定部
100G 表示制御部
100H 全錠剤特定部
100I 前処理部
110 CPU
120 ROM
130 RAM
200 照明部
202 光源
210 カメラ
220 カメラ
230 処方箋リーダ
240 搬送機構
300 記憶部
300A 処方データ
300B 撮影画像
300C マッチング用画像
300D マスク画像
300E マスタ画像
300F 特定結果
400 表示部
410 モニタ
500 操作部
510 キーボード
520 マウス
700 薬包帯
702 分包袋
710 容器
800 錠剤
802A 画像
802B 画像
804A マスタ画像
804B マスタ画像
830 分割錠剤領域
832 矩形
834 マッチング用画像
835 外接円
836 マッチング用画像
838 マスタ画像
840 矩形
841 矩形
842 矩形
900 シート
902 端部
904 本体部
904A 錠剤部
904B ミシン目
910 錠剤
1001 撮影光軸
θ 回転角
S1 マッチングスコア
S2 マッチングスコア
S3 マッチングスコア
S4 マッチングスコア
S5 マッチングスコア
S6 マッチングスコア
S7 マッチングスコア
S8 マッチングスコア
S10 マッチングスコア
S20 マッチングスコア
S30 マッチングスコア
S40 マッチングスコア
S100~S190 錠剤特定方法の各ステップ
T1 スコア
T2 スコア
T3 スコア
T4 スコア
T5 スコア
T6 スコア
T7 スコア
T8 スコア