IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社湯山製作所の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105994
(43)【公開日】2023-08-01
(54)【発明の名称】薬剤判別ソフトウェア
(51)【国際特許分類】
   A61J 3/06 20060101AFI20230725BHJP
   A61J 3/07 20060101ALI20230725BHJP
   G16H 20/10 20180101ALI20230725BHJP
   G06T 7/00 20170101ALI20230725BHJP
   G01N 21/27 20060101ALI20230725BHJP
   G02B 5/30 20060101ALI20230725BHJP
【FI】
A61J3/06 R
A61J3/07 R
G16H20/10
G06T7/00 300D
G06T7/00 350B
G01N21/27 A
G02B5/30
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022007075
(22)【出願日】2022-01-20
(71)【出願人】
【識別番号】592246705
【氏名又は名称】株式会社湯山製作所
(74)【代理人】
【識別番号】100109634
【弁理士】
【氏名又は名称】舛谷 威志
(74)【代理人】
【識別番号】100129263
【弁理士】
【氏名又は名称】中尾 洋之
(72)【発明者】
【氏名】天野 弘和
(72)【発明者】
【氏名】中村 圭吾
(72)【発明者】
【氏名】阿部 剛
(72)【発明者】
【氏名】牛嶋 隆道
【テーマコード(参考)】
2G059
2H149
4C047
5L096
5L099
【Fターム(参考)】
2G059AA05
2G059BB08
2G059BB15
2G059DD12
2G059DD13
2G059EE02
2G059EE13
2G059FF01
2G059JJ19
2G059KK04
2G059LL04
2G059MM01
2G059MM03
2G059MM04
2G059MM05
2G059MM09
2G059MM10
2G059PP01
2H149AA23
2H149AB01
2H149BA02
4C047AA17
4C047CC13
4C047JJ01
4C047JJ34
4C047KK30
4C047KK31
4C047KK32
5L096CA05
5L096CA17
5L096DA01
5L096EA03
5L096EA35
5L096FA02
5L096FA18
5L096GA51
5L096HA11
5L096JA09
5L096KA04
5L096KA09
5L096KA15
5L099AA25
(57)【要約】
【課題】本発明は、薬剤を鑑別する装置、および、ソフトウェアを提供する。
【解決手段】薬局で払い出された薬剤には、錠剤やカプセルが、長尺状の分包紙に包まれて払い出されていることがある。このような分包紙を、鑑別するためには、通常のシャーレに配置された、個別の薬剤を鑑別する場合の他に、長尺状の分包紙を、そのままつなげた状態で鑑別する、薬包モードの切り替えが行える、薬剤を鑑別する装置、および、ソフトウェアであると、作業者の自由度が大幅に増す。薬包モードでは、装置内の照明などの反射で、適切に撮像できるように、複数の所定の配置に設けられた、偏光部材を通って、薬剤に光が到達するように構成する。
【選択図】図2


【特許請求の範囲】
【請求項1】
薬剤を撮影するのに用いられる薬剤撮影装置であって、
薬剤が載置される載置部と、
前記載置部を撮影するためのカメラと、
前記載置部を照明するための光源と、を有し、
前記載置部には、分包された薬剤を載置するための載置ユニットがセットされ、
前記載置ユニットは、透明な底部と、少なくとも一つの偏光部材を備え、
前記光源は、少なくとも一部がリング状照明を含み、
前記リング状照明からの光は前記偏光部材を通って、薬剤に到達するように構成されている、
ことを特徴とする薬剤撮影装置。
【請求項2】
前記光源は、前記載置ユニットの透明な底部の上方に設置されたリング状照明を含み、
前記偏光部材は、前記透明な底部と直交するように前記透明な底部の上面に設置されている第一偏光部材を含む、請求項1に記載の薬剤撮影装置。
【請求項3】
前記光源は、前記載置ユニットの透明な底部の下方に設置されたリング状照明を含み、
前記偏光部材は、前記透明な底部の下面と所定の角度で傾斜するように前記透明な底部の下面に設置されている第二偏光部材と、前記透明な底部と平行するように前記透明な底部の下面に設置されている第三偏光部材をさらに含み、
前記第一偏光部材、前記第二偏光部材および前記第三偏光部材のそれぞれの一端はお互いに隣接するように構成されている、請求項2に記載の薬剤撮影装置。
【請求項4】
前記第一偏光部材の偏光方向は、前記透明な底部と直交するように設定され、前記第二偏光部材の偏光方向は、前記透明な底部の下面に対して当該第二偏光部材の傾斜角度と同じように設定され、前記第三偏光部材の偏光方向は、前記透明な底部と平行するように設定されている、請求項3に記載の薬剤撮影装置。
【請求項5】
前記載置ユニットは、複数の分包された薬剤が載置可能で移動させるためのガイド部をさらに備える、請求項1に記載の薬剤撮影装置。
【請求項6】
前記載置ユニットは、当該載置ユニットを前記載置部から取り出すための手持部分をさらに備える、請求項1に記載の薬剤撮影装置。
【請求項7】
前記カメラは、前記載置部の上方に設置された第1カメラと、前記載置部の下方に設置された第2カメラをさらに備える、請求項1に記載の薬剤撮影装置。
【請求項8】
薬剤の判別をコンピューターに行わせる薬剤判別ソフトウェアであって、
分包されていない薬剤を判別する個別モードと、分包された薬剤を判別する分包モードの切り替え選択を受け付けるステップと、
個別モードが選択された場合、載置部にセットされた載置用アイテムに載せた薬剤の画像を取得し、分包モードが選択された場合、載置部にセットされた載置ユニットに分包された薬剤の画像を取得するステップと、
前記画像から、薬剤が占める領域を抽出するステップと、
前記領域内の刻印、および/または、印刷を抽出するステップと、
抽出した刻印、および/または、印刷に基づいて、薬剤の判別を行うステップと、
判別の結果を表示装置に表示するステップと、
をコンピューターに行わせることを特徴とする、薬剤判別ソフトウェア。
【請求項9】
薬剤の画像を取得するステップを行った後、プレビュー表示の切り替え選択が受け付けられた場合、取得された当該薬剤の画像のプレビュー画像を前記表示装置に表示するステップ、をさらにコンピューターに行わせ、または
取得された当該薬剤の画像のプレビュー画像を前記表示装置に表示するステップを、さらにコンピューターに行わせる、請求項8に記載の薬剤判別ソフトウェア。
【請求項10】
判別する薬剤がカプセルである場合、薬剤の画像を取得するステップでは、薬剤を上から撮影した画像と下から撮影した画像とを取得し、
薬剤の判別を行うステップでは、上から撮影した画像のみ、下から撮影した画像のみ、および上から撮影した画像と下から撮影した画像の組み合わせのそれぞれの画像から抽出された刻印、および/または、印刷に対して、テンプレートマッチングを行い、それぞれのマッチング合致率を比較して、最も高い合致率であった薬剤を判別の結果とする、請求項8に記載の薬剤判別ソフトウェア。
【請求項11】
前記マッチング合致率を学習データベースに記録し、自動学習をさせるステップと、
複数回の自動学習を行い、学習データベースに記録されたマッチング合致率が予め設定された閾値を満たす場合、学習結果を出力するステップと、を、さらにコンピューターに行わせる、請求項10に記載の薬剤判別ソフトウェア。
【請求項12】
前記学習データベースに記録されたマッチング合致率は、複数回の自動学習によって得られた最高マッチング合致率と、最新マッチング合致率のうち少なくとも一つの高い値を含む、請求項11に記載の薬剤判別ソフトウェア。
【請求項13】
薬剤の判別をコンピューターに行わせる薬剤判別ソフトウェアであって、
載置部にセットされた載置ユニットに移動する分包された薬剤を、上から撮影した画像と下から撮影した画像とを取得するステップと、
前記上から撮影した画像および下から撮影した画像のうち、薬剤の検出ができる画像における薬剤が占める領域を抽出するステップと、
前記領域内の刻印および/または印刷を抽出するステップと、
抽出した刻印、および/または、印刷に基づいて、薬剤の検索を行うステップと、
判別の結果を表示装置に表示するステップと、
をコンピューターに行わせることを特徴とする、薬剤判別ソフトウェア。
【請求項14】
前記薬剤の検出ができる画像における薬剤が占める領域を抽出するステップでは、AI技術で画像上の薬剤および/または分包紙において、すべての刻印と印刷を含む領域を切り出すステップ、をさらにコンピューターに行わせる、請求項13に記載の薬剤判別ソフトウェア。
【請求項15】
前記上から撮影した画像、または下から撮影した画像のうち、薬剤の検出ができない側において、撮影した画像から薬剤の刻印、および/または、印刷を含む輪郭に沿った外接矩形領域を切り出した画像をそのまま前記表示装置に表示するステップと、
をさらにコンピューターに行わせる、請求項13または14に記載の薬剤判別ソフトウェア。
【請求項16】
前記分包された薬剤のうち、第一の包に含まれる薬剤の検索を行った結果、マッチングした判別の結果がない薬剤がある場合、候補薬の入力を受け付けるステップと、
入力された候補薬を記憶するステップと、
前記分包された薬剤のうち、前記第一の包より後ろの第二の包に含まれる薬剤の検索を行った結果、マッチングした判別の結果がない薬剤がある場合、記憶された前記候補薬を第一候補薬として前記表示装置に表示するステップと、
をコンピューターに行わせる、請求項1に記載の薬剤判別ソフトウェア。
【請求項17】
前記上から撮影した画像、および、下から撮影した画像のいずれも、薬剤の検出ができない場合、薬剤が検出できない部分から外れるように、前記載置ユニットに角度を付けるステップ、をさらにコンピューターに行わせる、請求項13に記載の薬剤判別ソフトウェア。
【請求項18】
角度を付けた前記載置ユニットに移動する分包された薬剤から取得された画像は斜めの場合、画像処理で補正を行うステップ、をさらにコンピューターに行わせる、請求項17に記載の薬剤判別ソフトウェア。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薬剤の画像を撮影する薬剤撮影装置、および薬剤を鑑別する薬剤鑑別ソフトウェアに関する。
【背景技術】
【0002】
現在、一人の患者が複数の医療機関で受診するケースが多い。この場合、医師は、患者に対して他の医療機関で処方された薬を把握しておく必要がある。そのため、医師は、患者に、他の医療機関で処方された薬を持って来てもらうことがよくある。この場合、薬が包装されている袋に薬の識別コードが印刷されていれば、処方された薬がすぐに分かるのだが、印刷されていない場合や、薬が裸で持ち込まれる場合もよくある。その場合、当該医療機関は、その薬の外観だけを手掛かりに、処方された薬を特定しなければならない。このような作業は鑑別作業と呼ばれ、通常、薬剤師或いはテクニシャンの仕事である。薬剤師が、薬剤の大きさ、形状、色等を手掛かりに、手作業で未知の薬剤を鑑別しているのが現状である。残念ながら、鑑別作業は困難で、多大な時間を要し、薬剤師の大きな負担となっている。
【0003】
このような負担を軽減するために、薬剤の鑑別を自動で行う薬剤鑑別装置が提案されている(特許文献1、特許文献2)。しかしながら、このような装置は、未だに文献レベルの話に留まっており、実用には至っていない。現実に使用可能な製品として完成させるためには、装置、ソフトウェア等、薬剤鑑別システムの様々な側面で、まだまだ数多の開発が必要である。
【0004】
また、薬局で払い出された薬剤に対して、鑑査が行われる場合がある。この鑑査では、払い出された薬剤が処方箋と合致しているかの確認がなされる。そして、この鑑査を行う装置も開発されている。しかしながら、鑑査では、鑑別とは異なり、処方箋に照らして払い出された薬剤が正しいか否かを判断すればよいため、無数に存在する薬剤の中から候補となる薬剤を探し出してくる必要がない。そのため、鑑査の技術も、鑑別にはそのまま適用できない。さらに、薬局で払い出された薬剤には、錠剤やカプセルが、長尺状の分包紙に包まれて払い出されていることがある。
【0005】
さらに、近年の薬局では、朝・昼・晩、あるいは、月曜日から日曜日などの曜日ごとの用法に基づき、個別の分包紙に包まれていることが、一般的になっている。これにより、患者は、服用する複数の薬剤を、間違えることなく、正しいタイミングで、適切な薬剤を服用することができる。このような分包紙には、フィルム上に、白ベタ、白帯などの印刷がされていることがあり、その印刷上に、朝・昼・晩、あるいは、曜日などの用法に関する情報が印刷されている。このような分包紙内の薬剤をスピーディーに鑑別するためには、長尺状の分包紙を、そのままつなげた状態で鑑別する必要がある。このように、薬局で払い出された薬剤の状態によって、装置やソフトウエアを変更することなく、鑑別を行うことが、近年の薬剤の服用事情から望まれていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平9-16681号
【特許文献2】特開平5-245186号
【特許文献3】WO2015/152225
【特許文献4】特開2019―076787
【特許文献5】特開2020-011122
【特許文献6】特開2020-157077
【特許文献7】特開2020-156746
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の薬剤撮影装置は、連続的に分包された薬剤を鑑別する際に、照明にて薬剤の刻印または印刷を際立たせる撮影をすると、照明光が分包紙に反射してテカリなどが発生し、刻印または印刷が見にくくなり、薬剤の鑑別ができないという問題がある。
【0008】
そこで、本発明は、連続的に分包された薬剤を鑑別できるようにすることができる薬剤撮影装置、および、薬剤判別ソフトウェアを提供することを目的としている。
【課題を解決するための手段】
【0009】
―――― 本発明の第一態様 ――――
本発明の第一の態様は、薬剤を撮影するのに用いられる薬剤撮影装置に関するものである。この薬剤撮影装置は、薬剤が載置される載置部と、載置部を撮影するためのカメラと、載置部を照明するための光源とを有している。載置部には、分包された薬剤を 載置するための載置ユニットがセットされる。載置ユニットは、透明な底部と、少なくとも一つの偏光部材を備える。光源は、少なくとも一部がリング状照明を含む。リング状照明からの光は偏光部材を通って、薬剤に到達するように構成されている。
【0010】
光源は、載置ユニットの透明な底部の上方に設置されたリング状照明を含むことが好ましく、偏光部材は、透明な底部と直交するように透明な底部の上面に設置されている第一偏光部材を含むことがさらに好ましい。
【0011】
光源は、載置ユニットの透明な底部の下方に設置されたリング状照明を含むことが好ましい。偏光部材は、透明な底部の下面と所定の角度で傾斜するように透明な底部の下面に設置されている第二偏光部材と、透明な底部と平行するように透明な底部の下面に設置されている第三偏光部材を含むことがさらに好ましい。また、第一偏光部材、第二偏光部材および第三偏光部材のそれぞれの一端はお互いに隣接するように構成されている。
【0012】
さらに、第一偏光部材の偏光方向は、透明な底部と直交するように設定され、第二偏光部材の偏光方向は、透明な底部の下面に対して当該第二偏光部材の傾斜角度と同じように設定され、第三偏光部材の偏光方向は、透明な底部と平行するように設定されることが好ましい。
【0013】
載置ユニットは、複数の分包された薬剤が載置可能で移動させるためのガイド部をさらに備えることが好ましい。
【0014】
載置ユニットは、当該載置ユニットを前記載置部から取り出すための手持部分をさらに備えることが好ましい。
【0015】
カメラは、載置部の上方に設置された第1カメラと、載置部の下方に設置された第2カメラをさらに備えることが好ましい。
【0016】
―――― 本発明の第二態様 ――――
本発明の第二の態様は、薬剤の判別をコンピューターに行わせる薬剤判別ソフトウェアに関するものである。この薬剤鑑別ソフトウェアは、分包されていない薬剤 を判別する個別モードと、分包された薬剤を判別する分包モードの切り替え選択を受け付けるステップと、個別モードが選択された場合、載置部にセットされた載置用アイテムに載せた薬剤の画像を取得し、分包モードが選択された場合、載置部にセットされた載置ユニットに分包された薬剤の画像を取得するステップと、画像から、薬剤が占める領域を抽出するステップと、領域内の刻印、および/または、印刷を抽出するステップと、 抽出した刻印、および/または、印刷に基づいて、薬剤の判別を行うステップと、判別の結果を表示装置に表示するステップと、をコンピューターに行わせることができる。
【0017】
好ましくは、薬剤の画像を取得するステップを行った後、プレビュー表示の切り替え選択が受け付けられた場合、取得された当該薬剤の画像のプレビュー画像を前記表示装置に表示するステップ、をさらにコンピューターに行わせる。別の態様では、取得された当該薬剤の画像のプレビュー画像を前記表示装置に表示するステップを、さらにコンピューターに行わせる。
【0018】
判別する薬剤がカプセルである場合、薬剤の画像を取得するステップでは、薬剤を上から撮影した画像と下から撮影した画像とを取得することが好ましい。さらに、薬剤の判別を行うステップでは、上から撮影した画像のみ、下から撮影した画像のみ、および上から撮影した画像と下から撮影した画像の組み合わせのそれぞれの画像から抽出された刻印、および/または、印刷に対して、テンプレートマッチングを行い、それぞれのマッチング合致率 を比較して、最も高い合致率であった薬剤を判別の結果とすることが好ましい。
【0019】
さらに、マッチング合致率を学習データベースに記録し、自動学習をさせるステップと、複数回の自動学習を行い、学習データベースに記録されたマッチング合致率が予め設定された閾値を満たす場合、学習結果を出力するステップと、を行ってもよい。
【0020】
より好ましくは、前記学習データベースに記録されたマッチング合致率は、複数回の自動学習によって得られた最高マッチング合致率と、最新マッチング合致率のうち 少なくとも一つの高い値を含む。
【0021】
―――― 本発明の第三態様 ――――
本発明の第三の態様は、薬剤の判別をコンピューターに行わせる薬剤判別ソフトウェアに関するものである。この薬剤鑑別ソフトウェアは、載置部にセットされた載置ユニットに移動する分包された薬剤を、上から撮影した画像と下から撮影した画像とを取得するステップと、上から撮影した画像および下から撮影した画像のうち、薬剤の検出ができる画像における薬剤が占める領域を抽出するステップと、領域内の刻印および/または印刷を抽出するステップと、抽出した刻印、および/または、印刷に基づいて、薬剤の検索を行うステップと、判別の結果を表示装置に表示するステップと、をコンピューターに行わせることができる。
【0022】
薬剤の検出ができる画像における薬剤が占める領域を抽出するステップでは、AI技術で薬剤の刻印、および/または、印刷を含む領域を切り出すステップ、をさらに行ってもよい。
【0023】
上から撮影した画像、または下から撮影した画像のうち、薬剤の検出ができない側において、撮影した画像から薬剤の刻印、および/または、印刷を含む輪郭に沿った外接矩形領域を切り出した画像をそのまま前記表示装置に表示するステップと、をさらにコンピューターに行わせることが好ましい。
【0024】
さらに、分包された薬剤のうち、第一の薬剤の検索を行った結果、マッチングした判別の結果がない場合、候補薬の入力を受け付けるステップと、入力された候補薬を記憶するステップと、分包された薬剤のうち、第一の薬剤より後ろの第二の薬剤の検索を行った結果、マッチングした判別の結果がない場合、記憶された候補薬を第一候補薬として前記表示装置に表示するステップと、をコンピューターに行わせることが好ましい。
【0025】
上から撮影した画像、および、下から撮影した画像のいずれも、薬剤の検出ができない場合、薬剤が検出できない部分から外れるように、載置ユニットに角度を付けてもよい。
【0026】
さらに、角度を付けた前記載置ユニットに移動する分包された薬剤から取得された画像は斜めの場合、画像処理で補正を行ってもよい。
【発明の効果】
【0027】
本発明は、薬剤鑑別の自動化を可能にする。これにより、薬剤鑑別作業の負担が軽減される。
【図面の簡単な説明】
【0028】
図1図1は、薬剤鑑別システムの概要を示す模式図である。
【0029】
図2~8は、主として薬剤撮影装置の構成を示す。
図2図2は、薬剤撮影装置の実施形態の斜視図である。
図3図3は、図2に示す薬剤撮影装置のフロントカバーを開けた状態を示す斜視図である。
図4図4は、図2に示す薬剤撮影装置の内部の構成を示した斜視図である。この図には、主として、フレームおよびフレームに取り付けられた部材が示されている。
図5図5は、図4に示す薬剤撮影装置の正面図である。
図6図6(a)は、薬剤撮影装置にセットされるトレイの第1実施形態を示す斜視図である。図6(b)は、載置ユニットの実施形態を示す図である。図6(c)は、同トレイの側面図である。
図7図7は、光源と偏向板との関係を示す図である。
図8図8は、図7に示す載置ユニットの左側から見た図である。
【0030】
図9~21は、主として薬剤鑑別ソフトウェアによって作り出されるコンピューター画像の画面レイアウトを示す。
図9図9は、薬剤鑑別ソフトウェアが起動して初期の段階の画像イメージである。
図10図10は、薬剤画像鑑別を行う第1段階の画像イメージである。
図11図11は、薬剤画像鑑別を行う第2段階の画像イメージである。
図12図12は、薬剤画像鑑別を行う第3段階の画像イメージである。
図13図13は、薬剤画像鑑別を行う第4段階の画像イメージである。
図14図14は、薬剤画像鑑別を行う第5段階の画像イメージである。
図15図15は、薬剤画像鑑別を行う第6段階の画像イメージである。
図16図16は、薬剤画像鑑別においてグループ化を行う際の画像イメージである。
図17図17は、全ての薬剤が同一種類の薬剤で構成されている場合に利用される薬剤画像鑑別の第1段階の画像イメージである。
図18図18は、図17で始まった薬剤画像鑑別の第2段階の画像イメージである。
図19図19は、図17で始まった薬剤画像鑑別の第3段階の画像イメージである。
図20図20は、図17で始まった薬剤画像鑑別の第4段階の画像イメージである。
図21図21は、薬剤鑑別ソフトウェアのルーペ機能を使用した際の画像イメージである。
【0031】
図22~25は、薬剤鑑別ソフトウェアが薬剤の自動鑑別を行う際の処理手順を示す。
図22図22は、鑑別の上流部分での処理を示すフローチャートである。
図23図23は、薬剤個別鑑別の処理を示すフローチャートである。
図24図24は、錠剤鑑別の処理を示すフローチャートである。
図25図25は、カプセル鑑別の処理を示すフローチャートである。
【0032】
図26図26(a)は、カメラのキャリブレーションに用いられるキャリブレーションシートの斜視図である。図26(b)は、キャリブレーションシートの平面図である。
【0033】
図27図27は、薬剤撮影装置にセットされるトレイの第2実施形態を示す分解斜視図である。
図28図28は、薬剤画像鑑別を行う第3段階の別実施形態の画像イメージである。
図29図29は、薬剤画像鑑別を行う第6段階の別実施形態の画像イメージである。
図30図30は、鑑別結果を印刷した印刷イメージである。
図31図31は、自動学習の手順を示すフローチャートである。
図32図32は、自動学習に際して画面に表示するメッセージのイメージである。
図33図33は、図17で始まった薬剤画像鑑別の第5段階の画像イメージである。
図34図34は、図17で始まった薬剤画像鑑別の第6段階の画像イメージである。
図35図35は、図17で始まった薬剤画像鑑別の第7段階の画像イメージである。
図36図36は、鑑別結果を印刷する前に表示されるメッセージのイメージである。
図37図37(a)は、カメラのキャリブレーションに用いられるキャリブレーションシートの第2実施形態の平面図である。図37(b)は、第2実施形態のキャリブレーションシートの側面図である。
図38図38は、図17で始まった薬剤画像鑑別の第7段階の第2実施形態の画像イメージである。
図39図39は、図17で始まった薬剤画像鑑別の第7段階の第3実施形態の画像イメージである。
図40図40は、図17で始まった薬剤画像鑑別の第7段階の第4実施形態の画像イメージである。
図41図41は、薬剤手動検索の画像イメージである。
図42図42は、分包紙内の薬剤を鑑別するときの画像イメージである。
図43図43は、分包された薬剤を鑑別する分包モードの画像イメージである。
図44図44は、分包された薬剤を上下から撮影した画像を示すイメージである。
図45図45は、分包された薬剤を鑑別するときの画像イメージである。
図46図46は、分包された薬剤をプレビューするときの画像イメージである。
図47図47(a)は、追加撮影時の薬剤を鑑別する画像イメージである。図47(b)は、追加撮影時に他の載置ユニットの薬剤を鑑別対象薬品リストに追加する画像イメージである。
図48図48は、分包された薬剤の個数確認画面を示すイメージである。
【発明を実施するための形態】
【0034】
§1 薬剤鑑別システム
図1は、薬剤鑑別システムの概要を示す模式図である。同図に示すように、薬剤鑑別システム100は、薬剤撮影装置200と、コンピューター500とで構成される。この薬剤鑑別システム100では、薬剤撮影装置200が薬剤の撮影を行い、得られた薬剤の画像データを基に、コンピューター500が薬剤の鑑別を行う。なお、背景技術で説明したように、薬局で払い出された薬剤には、錠剤やカプセルが、長尺状の分包紙に包まれて払い出されていることがある。本薬剤鑑別装置200は、従来、分包紙にて包装された分包紙内の錠剤やカプセルを開封して取り出し、直接錠剤やカプセルを鑑別する場合と、分包紙を開封せずに分包紙内に収容されたまま鑑別する場合との、いずれの場合にでも鑑別が可能なように構成されている。
【0035】
コンピューター500は、CPU、記憶装置、記録装置等を内蔵する本体520と、出力装置として機能する表示装置530と、入力装置として機能するキーボード541およびマウス542とを備えている。また、表示装置530は、画面531とタッチスクリーン532とを備えており、使用者は、タッチスクリーン532を介してコンピューター500に入力を行うことも可能である。さらには、コンピューター500には、薬剤鑑別ソフトウェア600がインストールされている。このような観点から、薬剤鑑別ソフトウェア(薬剤鑑別プログラムとも呼ばれる)600がインストールされたコンピューター500は、薬剤鑑別装置と呼ぶこともできる。なお、本実施形態では、コンピューター500は、いわゆるPC(パーソナルコンピューター)で構成され、薬剤鑑別ソフトウェア600は、PC内の記録装置内に保存されているが、コンピューター500は、PCではなく、例えば、別の装置内に組み込まれたマイクロコンピューターであってもよい。またその場合、薬剤鑑別ソフトウェア600は、その装置のROM(read only memory)等、記憶装置に書き込まれていてもよい。
【0036】
薬剤の鑑別を行うときには、まずは使用者が、鑑別を行いたい薬剤を薬剤撮影装置200にセットする。次いで、使用者によるコンピューター500の操作を契機として、薬剤撮影装置200は、薬剤の撮影を行う。撮影された薬剤の画像は、データとしてコンピューター500に送信される。そして、コンピューター500は、この画像データを基に、データベース(図示せず)を参照して、薬剤の検索を行う。
【0037】
一実施形態では、コンピューター500は、データベースを内蔵している。例えば、コンピューター500に(株)湯山製作所製医薬品総合データベース「MDbank」(商標)がインストールされている場合には、コンピューター500は、外部データベースにアクセスすることなくMDbankを参照することにより、薬剤の検索を行うことができる。また、別の実施形態では、コンピューター500は、ネットワークを介してデータベースにアクセスする。例えば、同じ施設内の別のコンピューター(サーバー)に(株)湯山製作所製服薬指導支援システム「PharmaRoad」(商標)がインストールされている場合には、コンピューター500は、LAN(local area network)を介してサーバー内のPharmaRoadにアクセスすることにより、薬剤の検索を行うことができる。さらには、別の実施形態では、コンピューター500は、インターネットを介してデータベースにアクセスしてもよい。
【0038】
以下、薬剤撮影装置200について詳細に説明する。その後、薬剤鑑別ソフトウェア600について詳細に説明する。
【0039】
§2 薬剤撮影装置
図2は、薬剤撮影装置200の外観を示す斜視図である。この図では、ケース210により内部は見えないが、薬剤撮影装置200の内部のほぼ中央部には、薬剤を載置する載置部220が設けられている。より具体的には、薬剤は、図6に示すようなトレイ300に入れられ、このトレイ300が、載置部220にセットされる。以下、説明の便宜上、薬剤撮影装置200のうち、載置部220より上側を上部201、下側を下部202と呼ぶ。鑑別する対象の薬剤を分包等の包装から取り出し、直接鑑別する場合と、分包紙にて分包されたままの薬剤を鑑別する場合で、本薬剤鑑別装置200のトレイ300上に設置する方法は異なる。
【0040】
§2.1 薬剤撮影装置の外部構成
図2に示すように、薬剤撮影装置200では、外側からは、下側ケース211、切り欠き部212、トレイ支持部材221、ガイド部材230、上側ケース213、およびカバー214が見える。本図では、長尺状の分包紙が、挿入されている図が示されているが、包装されていない裸の状態の錠剤やカプセルを判別する場合は、図示しないシャーレに薬剤を載置して鑑別を行う。
【0041】
下側ケース211は、薬剤撮影装置200の下部202をカバーしている。下側ケース211の上面には、水平方向に伸びる切り欠き部212が形成されている。この切り欠き部212は、薬剤撮影装置200の左右方向および正面方向に開放している。この切り欠き部212を通して、使用者は、長尺状の分包紙を、薬剤撮影装置200内に挿入することができる。具体的には、分包紙を水平方向に広げて、正面側から切り欠き部212に挿入する。そして、分包紙を薬剤撮影装置200の中央部付近に移動させる。これにより、分包紙を切らずに、分包紙内部に封入された薬剤を、薬剤撮影装置200の内蔵カメラが撮影できる。切り欠き部212により、薬剤撮影装置200の内部空間が左右方向の外部空間に連通しているので、分包紙が薬剤撮影装置200の幅よりも長い場合でも、使用者は、分包紙を巻き戻した状態で、分包紙を薬剤撮影装置200の内部に容易に挿入できる。
【0042】
切り欠き部212の直上には、分包紙専用のトレイ300が載置される。分包紙専用のトレイ300は、鑑別する対象の薬剤が、長尺状または1包のフィルム紙に分包されている場合に用いられる。鑑別する対象の薬剤を分包等の包装から取り出し、直接鑑別する場合には、薬剤を収納する部材を支持する、略四角形の板状の部材を用いる。この略四角形の板状の部材は、その中央部には、円形の孔が開いていて、上下から撮像が可能のようになっている。この錠剤やカプセルが裸で持ち込まれる形態による発明については、先行技術文献の欄に記載している、特許文献に詳細に記載されている。本実施形態においては、分包紙を挟んだ、分包紙専用のトレイ300を、円形のシャーレの代わりに、薬剤撮影装置200にセットし、薬剤の状態に応じて、作業方法を大きく変更することなく、使用者は、鑑別作業を行うことができるのが大きな特徴である。
【0043】
図6には、分包紙専用のトレイ300が記載されている。図6(a)は、分包紙専用のトレイ300を、上部の一方向から見た斜視図である。分包紙専用のトレイ300は、分包紙を載せる、シャーレ本体301と、トレイ300を、切り欠き部212の直上に載置するための、取っ手部302から構成されている。使用者は、鑑別対象の薬剤が、分包されている際には、このトレイ300を、薬剤撮影装置200に設置して、切り欠き212を通して、長尺状の分包紙を、薬剤撮影装置200内に挿入することができる。そして、薬剤撮影装置200は、この分包紙内の薬剤を、上下方向に設置されたカメラによって撮影することができる。薬剤鑑別ソフトウェア600は、この撮影した分包紙内の薬剤の鑑別を行う。このように、本実施形態の薬剤鑑別システム100は、分包紙内の薬剤を分包紙を破らずに鑑別できるので、一日に大量の薬剤の鑑別を行う使用者にとって非常に便利である。また、分包紙のまま病院に持ち込まれた薬剤を鑑別する際に、分包紙のまま鑑別することで、患者様に返却する際に、再分包を実施する必要がなくなり、全体的な鑑別作業の時間短縮を実現できる。さらに、分包紙を開封する必要がなくなることで、鑑別後の再分包によるロスがなくなり、不要なゴミの発生を防ぎ、且つ再分包のための包装紙の浪費も防ことができる。これにより、本発明では、持続可能な開発目標(SDGs)の達成に貢献できる。さらに、トレイ300には、分包紙を適切に、保持・移動させるために、分包紙ガイドが複数設けられている。具体的には、取っ手部302近傍に設置されている、前側分包紙ガイド303、奥側分包紙ガイド304が設けられている。本実施形態では、前側分包紙ガイド303と、奥側分包紙ガイド304に挟まれる平行方向の溝を、分包紙が移動し、鑑別の作業を行っている間は、その状態を保持する状態に載置される。さらに、トレイ300には、クリップ305が、取っ手部302の根元部分に設けられている。このクリップ305は、分包紙を挟むように構成されており、長尺状の分包紙を個別に切り離しを行わなくとも、鑑別作業ができるようになっている。特に、長尺状の分包紙は、その重量などで、簡単に滑り置いたり、ずれたりしてしまうので、鑑別の作業を行っている間は、その状態を保持することが必要になる。本実施形態では、分包紙の用法ごとに切り離す必要がなく、1日の用法確認も、薬剤撮影装置200内で、分包紙をスライドさせて行うことができ、なお、一包のみ切り離された分包紙を載置する際も薬剤撮影装置200にセットし、他の場所の作業台等から移動する際においてもクリップ305によって固定できるため、安定した持ち運び、及び鑑別作業が可能となる。
【0044】
図6(b)は、分包紙専用のトレイ300を、上部の他方向から見た斜視図である。シャーレ本体301には、撮像ガラス306が設けられている。この撮像ガラス306を通して、分包された薬剤を、上部方向のみならず、下部方向からも、撮像することができる。なお、本実施形態では、複数設けられた奥側分包紙ガイド304の間で、分包紙が移動する方向とは、垂直方向に、上部偏向板307が長手方向に設けられている。この上部偏向板307は、上部のリング照明からの照明の反射による薬剤表面に発生するテカリを防止するために設置されている。本実施形態では、バー照明の他に、リング照明を用いているが、バー照明とは異なり、偏向板をリング形状の全体を覆って設置することが困難である。そのため、リング照明からの照明の反射によるテカリが、発生してしまう場合がある。特に、撮像したい薬剤の刻印を際立たせる撮影を行おうとすると、フィルム状の分包紙の表面に反射して、テカリが発生してしまう。このテカリにより、薬剤の刻印が見難くなるという問題が発生していた。
【0045】
図6(c)は、分包紙専用のトレイ300を、背面方向から見た斜視図である。本実施形態では、下部にもリング照明が設置されているため、下部偏向板308および309が設置されている。上部と同様に、下部のリング照明からの照明の反射によるテカリが、薬剤表面等に発生してしまう場合がある。特に、撮像したい薬剤の刻印を際立たせる撮影を行おうとすると、フィルム状の分包紙の表面に反射して、テカリが発生してしまう。下部偏向板は、撮像ガラス306上に、分包紙が載置されているため、撮像ガラス306の反射によるテカリも生じてしまう。そのため、下部偏向板は複数設けられているが、これら偏向板の位置や角度は、単なる一例であって、リング照明の配置に応じて、それぞれ位置や角度の変更は当然可能であるが、少なくとも分包紙1包分の長さと同等以上の長さがあることがさらに好ましい。なお、トレイ300、あるいは、撮像ガラス306には、特に制限されないが、緩やかな傾斜が設けられており、分包紙に入っている薬剤が、前側分包紙ガイド303、あるいは、奥側分包紙ガイド304側へ転がるようになっている。分包紙のフィルム上に、印字、ペンライナー、白ベタの下地などに用法が記載されていることが多いためである。分包紙のフィルム上に、印字、ペンライナー、白ベタの下地などがない透明な部分に薬剤を寄せるように、分包紙を配置することで、鑑別の精度を上げることができる。このように、先行技術文献の欄に記載されている、薬剤撮影装置の構造を、大幅に変更することなく、偏向板が設置された、分包紙専用のトレイ300を、薬剤撮影装置200内に挿入することで、錠剤やカプセルが裸で持ち込まれている場合、および、分包されている場合の双方に対して、使用者は、簡単に、鑑別作業を行うことができる。
【0046】
図2に示すように、薬剤撮影装置200の上面、および前面の上部201は、カバー214により覆われている。図3に示すように、カバー214は、上方向に開くことができる。詳細には、カバー214は、上側ケース213の背面上端部でヒンジ257(図4参照)によりヒンジ留めされており、カバー214は、このヒンジ257を中心に、上下方向に回動可能である。
【0047】
ここで、図3に戻る。図3は、薬剤撮影装置200のカバー214を開けた状態を示している。同図に示すように、カバー214を開けると、薬剤撮影装置200の内部空間の上部201である上側内部空間240が、薬剤撮影装置200の前方の空間に開放する。そして、使用者は、この上側内部空間240を通して、トレイ300を、載置部220の嵌合部223にセットすることができる。図3に示すように、上側ケース213の正面側外面は、略逆U字型の形状をしている。この正面側外面は傾斜しており、これにより傾斜部215が形成されている。具体的には、傾斜部215は、下から上に行くに従って薬剤撮影装置200の背面との距離が小さくなるように、傾斜している。この構成により、使用者は、トレイ300を、上側内部空間240内に入れやすくなる。使用者は、トレイ300を斜め上方向から斜め下方向に動かして、トレイ300を上側内部空間240内に挿入することが多い。その際、上に行くに従って奥に向かうように傾斜部215が傾いていると、傾斜部215の上部前方により大きな空間が確保され、トレイ300が上側ケース213にぶつかりにくくなる。なお、カバー214の前面は、この傾斜部215を覆うように構成されている。そのため、カバー214を閉めると、その前面は、傾斜部215の近傍に位置し、かつ、傾斜部215と平行になる。このように、上側ケース213の上面と傾斜部215とが鈍角をなしているのに対応して、カバー214の上面と前面とも、鈍角をなしている。
【0048】
傾斜部215の下端は、ガイド部材230および下側ケース211の外側前面よりも奥側に位置している。すなわち、薬剤撮影装置200の背面から傾斜部215の下端までの距離は、薬剤撮影装置200の背面からガイド部材230の外側前面および下側ケース211の外側前面までの距離よりも小さい。この構成によって、使用者は、トレイ300を、上側内部空間240内にさらに入れやすくなる。
【0049】
さらに、上側ケース213の正面側外面には、傾斜部215とは別の斜面216が設けられている。より具体的には、斜面216は、略逆U字型の傾斜部215のU字型内部に設けられている。この斜面216は、後述する第1カメラ410(図4参照)の前面に設けられ、第1カメラ410を保護している。これにより、使用者がトレイ300を上側内部空間240内に挿入するときに、トレイ300が第1カメラ410にぶつかって第1カメラ410の位置や向きがずれてしまうことを防止できる。図3に示すように、斜面216は、略四角形形状をなし、薬剤撮影装置200の左右方向に伸びている。そして、上から下に行くに従って、薬剤撮影装置200の背面から斜面216までの距離は、漸減している。すなわち、斜面216の上端の水平位置は、斜面216の下端の水平位置よりも、薬剤撮影装置200の背面に近い。これにより、挿入時、トレイ300が斜面216にぶつかりにくくなり、使用者は、トレイ300を、上側内部空間240の奥に入れやすくなる。
【0050】
図3に示すように、上側ケース213と載置部220との間には、一対のガイド部材230が、設けられている。このガイド部材230の外側側面は、垂直方向に伸び、上側ケース213の外側側面と同一平面上に位置している。これに対し、図3~5に示すように、ガイド部材230の内側側面は、垂直方向に対して傾斜しており、これにより、斜面231が形成されている。この斜面231は、略四角形形状をなしており、薬剤撮影装置200の前後方向に伸びている。また、斜面231は、上側内部空間240に面している。そして、斜面231の1つは、載置部220の右側上方に位置し、もう1つは、載置部220の左側上方に位置している。この斜面231は、上から下に行くに従って、薬剤撮影装置200の中心軸に近づくように、形成されている。すなわち、平面視した場合、斜面231の下端の水平位置は、上端の水平位置よりも、載置部220に近い。さらには、2つの斜面231の下端間の距離は、トレイ支持部材221の嵌合部223(図6(a)参照)の幅とほぼ同じか若干大きいものとなっている。具体的には、2つの斜面231の下端間の距離は、嵌合部223の幅の1~1.2倍程度であることが好ましい。そして、薬剤撮影装置200を平面視した場合、斜面231の下端の一部は、トレイ支持部材221の孔222の周部にほぼ接する場所に位置している。このような構成とすることにより、使用者は、トレイ300を、トレイ支持部材221の嵌合部223に載置しやすくなる。
【0051】
§2.2 薬剤撮影装置の内部構成
図4および図5は、薬剤撮影装置200のケース類を除去した状態を示す図、すなわち薬剤撮影装置200の内部の主要部材を示した図である。なお、図4は、薬剤撮影装置200の斜視図であり、図5は、正面図である。
【0052】
図4に示すように、薬剤撮影装置200の背面側には、フレーム250が設けられている。薬剤撮影装置200の主要部材の多くは、このフレーム250に直接または間接的に取り付けられた構成となっている。フレーム250は、第1柱251、第2柱252、第3柱253、第1梁254、第2梁255、第3梁256およびヒンジ257で構成されている。正面視した場合、第1柱251は薬剤撮影装置200の背面左側に、第2柱252は背面中央部に、第3柱253は背面右側に設けられている。そして、これら第1柱251、第2柱252、および第3柱253は、第1梁254、第2梁255、および第3梁256によって連結されている。さらには、フレーム250の頂部に位置する第3梁256には、カバー214(図3参照)を回動させるヒンジ257が取り付けられている。
【0053】
図4および図5に示すように、薬剤撮影装置200は、第1カメラ410、第2カメラ420、第1光源430、第2光源440、第3光源450、第4光源460、トレイ支持部材221、およびガイド部材230を備えている。これらのうち、トレイ支持部材221およびガイド部材230は、フレーム250に直接取り付けられている、第1カメラ410、第2カメラ420、第3光源450、および第4光源460は、支持部材を介してフレーム250に取り付けられている。第1光源430は、トレイ支持部材221内に収納され、トレイ支持部材221によって支持されている。図には示されていないが、第2光源440は、支持部材を介して下側ケース211(図2参照)に取り付けられている。このように、薬剤撮影装置200の内部の主要部材は、ケース210ではなくフレーム250に取り付けられている。これにより、ケース210の取り外しが容易となり、内部主要部材のメンテナンス作業が容易となる。なお、特に制限されないが、携帯電話やタブレット端末の内蔵カメラを、鑑別用のカメラとして用いることも可能である。この場合、使用者は、薬剤、あるいは、分包紙の実物を見て、片面刻印か、両面刻印なのかを判断できるので、画像で見る場合に比べて、作業が簡単になる。つまり、鑑別結果を表示させるときに、片面に刻印がある候補と、両面に刻印がある候補を、タグなどで切り分けて、一覧表示する刻印タイプを、どちらかに統一することができる。使用者は、作業中に、常に、片面刻印か、両面刻印なのかを、画像を通して判断しているので、このようなカメラの切り替えを行うことで、作業時間の短縮に繋がる。
【0054】
トレイ支持部材221は薬剤撮影装置200の中央部付近に設けられている。また、トレイ支持部材221の直近上方には、ガイド部材230が設けられている。ガイド部材230の上方には、第3光源450が設けられている。さらに、第3光源450よりも高い位置、すなわち薬剤撮影装置200の上面近傍には、第1カメラ410が設けられている。トレイ支持部材221から所定距離離間した下方には、第2光源440が設けられている。第2光源440よりも低い位置で、薬剤撮影装置200の側面付近には、第4光源460が設けられている。第4光源460よりも低い位置、すなわち薬剤撮影装置200の底面近傍には、第2カメラ420が設けられている。このように、薬剤撮影装置200では、第1光源430と第3光源450とで上部光源が構成されている。また、薬剤撮影装置200では、第2光源440と第4光源460とで下部光源が構成されている。
【0055】
図7は、鑑別対象の薬剤が入った分包紙が、撮像ガラス306上に配置された断面図である。撮像ガラス306上面には、上部偏向板307が設けられている。そして、上部偏向板307の右側に分包紙が配置されている。撮像ガラス306下面には、下部偏向板308と309が設けられている。撮像ガラス306の上下には、リング照明である第1光源430および第2光源440と、第3光源であるバー照明450と第4光源であるバー照明460が、それぞれ配置されている。本図は、説明のために、照明と撮像ガラス306上に配置された偏向板との関係を説明するものであり、実際の配置などは、図4および図5を参照して頂きたい。上部偏向板307は、上部のリング照明からの照明の反射によるテカリを防止するために設置されており、下部偏向板308と309は、上部のリング照明からの照明の反射によるテカリを防止するために設置されている。通常、バー照明である450と460には、直線的な形状で表面積が小さいため、バー照明近傍に偏向板が設置されているが、リング照明である430および440は、リング照明全体を覆う偏向板は、サイズが大きくなりすぎるため、現実的ではない。また、リング照明は、光の反射状況が複雑となる。例えば、完全に円形状の照明のみならず、一部分がリング状の照明であっても、光の反射状況が複雑となる。そのため、リング照明用の偏向板は撮像ガラス306面に設置されている。ここでは、上部偏向板307は、高さ8~14mmの高さで制作されている。上部偏向板307の偏向方向は、図示の通り上下方向に設定されている。下部偏向板308は、8~13mmの長さで制作されている。下部偏向板308の偏向方向は、図示の通り左右方向に設定されている。下部偏向板309は、1.5~4mmの長さで、かつ、撮像ガラス306面に対して、45度の角度で制作されている。下部偏向板309の偏向方向は、図示の通り45度の角度で設定されている。これらの寸法、角度、偏向方向は、単なる例示であって、フィルム状の分包紙の表面に反射するテカリを押さえることができれば、この範囲外であっても良い。
【0056】
図8は、さらに、リング照明の光と偏向板との影響を説明する模式図である。本図は、図7の上部照明を、左側から見たものである。撮像ガラス306面に対して、上部に設置されたリング照明である第1光源430と、バー照明である第3光源450が配置されている。バー照明である第3光源450には、その直下に、左右方向の偏向板が配置されている。一方で、リング照明である第1光源430には、360度から光が照射されるため、照明の反射によるテカリが、以下の(数1)左側に示すように、発生してしまう場合がある。特に、撮像したい薬剤の刻印を際立たせる撮影を行おうとすると、フィルム状の分包紙の表面に反射して、テカリが発生してしまう。このテカリにより、薬剤の刻印が見難くなるという問題が発生していた。このため、撮像ガラス306面上に、上下方向の偏向板453を設置し、以下の(数1)右側に示すように、リング照明からのテカリを防止している。
【数1】
同様に、下部のリング照明からの照明の反射によるテカリが、以下の(数2)左2枚の写真に示すように、発生してしまう場合がある。下部偏向板は、撮像ガラス306上に、分包紙が載置されているため、撮像ガラス306の反射によるテカリも生じてしまう。そのため、図7に示す偏光板308や309の様にそれぞれの矢印方向に変更する偏光板が下部に複数設けられており、(数2)右に示すように、テカリを防止することができる。
【数2】
なお、これら偏向板の配置は、単なる一例であって、リング照明の配置に応じて、それぞれ位置、寸法、角度の変更は当然可能である。
【0057】
図4および図5に示すように、ガイド部材230の上方には、第3光源450が設けられている。この第3光源450は、複数のバー照明、具体的には第1バー照明451と第2バー照明452とで構成されている。第1バー照明451は、支持部材453を介して、第3柱253に取り付けられている。また、第2バー照明452は、支持部材454を介して、第1柱251に取り付けられている。換言すれば、これら第1バー照明451および第2バー照明452は、薬剤撮影装置200の側方、具体的には、載置部220よりも側方に設けられている。図5に示すように、第1バー照明451および第2バー照明452は、薬剤撮影装置200の前後方向と平行な方向に設置されており、第1バー照明451および第2バー照明452の発光面は、斜め下、より具体的には載置部220に向いている。また、第1バー照明451および第2バー照明452から載置部220の薬剤が載置される場所までの距離は、第1リング照明431から載置部220の薬剤が載置される場所までの距離よりも大きい。さらには、第1バー照明451および第2バー照明452は、ガイド部材230の斜面231の下端、およびトレイ支持部材221の孔222の外周よりも薬剤撮影装置200の側面に近い位置に設置されている。第3光源450のこのような配置により、上側内部空間240により大きな空間が確保され、使用者は、トレイ300を載置部220に置きやすくなる。
【0058】
第1バー照明451および第2バー照明452は、偏光フィルターを備えており、この偏光フィルターを通って、拡散された光が薬剤に到達するように構成されている。詳しくは、第1バー照明451および第2バー照明452からの直接光は偏光フィルターによってカットされ、偏光フィルターによって拡散された光が、トレイ支持部材221の孔222、すなわち第1リング照明431のリング内を通って、薬剤に到達するように構成されている。すなわち、第3光源450は、拡散光源、あるいは間接光源として機能する。これにより、薬剤の上側が、好適に照明される。本発明者は、第3光源450をこのような構成にすると、薬剤の表面に付された印刷を鮮明に撮影できることを見い出した。しかも、薬剤が錠剤であろうとカプセルであろうと、印刷を鮮明に撮影できる。
【0059】
図4および図5に示すように、第2光源440の下方には、第3光源450と同種の第4光源460が設けられている。この第4光源460は、複数のバー照明、具体的には第3バー照明461と第4バー照明462とで構成されている。第3バー照明461は、支持部材463を介して、第3柱253に取り付けられている。また、第4バー照明462は、支持部材464を介して、第1柱251に取り付けられている。換言すれば、これら第3バー照明461および第4バー照明462は、第1バー照明451および第2バー照明452と同様に、薬剤撮影装置200の側方に設けられている。また、第3バー照明461および第4バー照明462は、第1バー照明451および第2バー照明452と同様に、薬剤撮影装置200の前後方向と平行な方向に設置されている。第3バー照明461および第4バー照明462の発光面は、斜め上、より具体的には載置部220に向いている。第3光源450と第1光源430との関係と同様に、第3バー照明461および第4バー照明462から載置部220までの距離は、第2リング照明441から載置部220までの距離よりも大きい。第3バー照明461および第4バー照明462も、第1バー照明451および第2バー照明452と同様に、偏光フィルターを備ており、この偏光フィルターを通って拡散された光が薬剤に到達するように構成されている。詳しくは、第3バー照明461および第4バー照明462からの拡散光は、第2リング照明441のリング内を通って、薬剤に到達するように構成されている。これにより、薬剤の下側が、印刷が明瞭となるように照明される。なお、本実施形態では、第3光源450および第4光源460は、それぞれ2つのバー照明で構成したが、他の実施形態では、バー照明は、4つ設けてもよい。この場合、4つのバー照明が四角形をなすように、かつ、載置部220を囲うように、バー照明を配置することが好ましい。当然のことながら、この場合に、撮像ガラス306面に設けられた、偏向板の配置は、異なるものとなることは、言うまでもない。
【0060】
第1バー照明451および第2バー照明452の上方には、第1カメラ410が設置されている。この第1カメラ410は、取り付け部材411を介して、第2柱252に取り付けられている。そして、この取り付け部材411により、第1カメラ410は、載置部220の鉛直上方に位置し、かつ載置部220に向くように固定されている。薬剤撮影装置200を上から平面視した場合、第1カメラ410の撮影領域は、トレイ支持部材221の孔222および第1リング照明431のリングの内側を含んでいる。これにより、第1カメラ410は、載置部220に置かれた薬剤の上面、すなわち薬剤を真上から見た画像を、好適に撮影できる。
【0061】
第3バー照明461および第4バー照明462の下方には、第2カメラ420が設置されている。この第2カメラ420は、取り付け部材421を介して、第2柱252に取り付けられている。そして、この取り付け部材421により、第2カメラ420は、載置部220の鉛直下方に位置し、かつ載置部220に向くように固定されている。薬剤撮影装置200を下から平面視した場合、第2カメラ420の撮影領域は、第2リング照明441のリングの内側を含んでいる。これにより、第2カメラ420は、載置部220に置かれた薬剤の下面、すなわち薬剤を真下から見た画像を、好適に撮影できる。以上述べた第1カメラ410および第2カメラ420は、いずれもカラー画像を撮影可能である。
【0062】
§2.3 載置用アイテムの構成
§2.3.1 載置用アイテムの第1実施形態
薬剤撮影装置200には、薬剤を置くための載置用アイテムとして図6に示すようなトレイ300が使用される。トレイ300は、四角形平板状の本体320に孔321が形成され、この孔321に透明の筒322が嵌め込まれた構成となっている。この筒322内には、図8に示すようなシャーレ310が設置される。
【0063】
§3 薬剤鑑別ソフトウェアの概要
以上述べた薬剤撮影装置200は、図1に示すように、コンピューター500に接続される。このコンピューター500は、薬剤鑑別ソフトウェア600を有しており、この薬剤鑑別ソフトウェア600によって、コンピューター500が、薬剤撮影装置200の動作を制御する。具体的には、コンピューター500が、薬剤撮影装置200内の照明の制御を行い、カメラに薬剤の撮影を行わせる。そして、コンピューター500は、撮影された薬剤の画像を、薬剤撮影装置200から受信する。コンピューター500は、薬剤の画像データを各種処理・加工して、薬剤の絞り込みおよび検索に必要な情報を得る。そして、コンピューター500は、この情報に基づいて、薬剤の絞り込みおよび検索を行い、その結果を鑑別結果として表示装置530の画面531に表示する。
【0064】
§3.1 基本的な操作手順
図9は、薬剤鑑別ソフトウェア600が起動した状態の画面531を示している。より詳細には、服薬指導支援システム610により薬剤鑑別ソフトウェアが呼び出され、この薬剤鑑別ソフトウェアにより、画面531の右下に、錠剤鑑別メニューのウィンドウ620が表示されている。このウィンドウ620から、使用者の目的に沿った鑑別が開始される。図9に示すように、ウィンドウ620には、「錠剤画像鑑別」アイテム621と、「返品錠剤画像鑑別」アイテム622と、「ルーペ」アイテム623とが表示される。なお、ウィンドウ620では、『錠剤鑑別』と命名されているが、薬剤鑑別ソフトウェア600は、錠剤のみならずカプセル類の鑑別も行えるので、付記しておく。また、図9に示す例では、持参薬鑑別ソフトウェアは、別のソフトウェアによって起動されているが、持参薬鑑別ソフトウェアは、例えばそのアイコンをクリックすることにより、単独でも起動、動作することができる。使用者によって「錠剤画像鑑別」アイテム621が選択されると、図10に示すような、「錠剤画像鑑別」ウィンドウ700が、画面531に表示される。「錠剤画像鑑別」ウィンドウ700内には、メッセージ701が表示される。このメッセージ701は、使用者に、薬剤が投入されたシャーレ310を薬剤撮影装置200にセットし、「撮影」アイテム751Aを選択するように促す。この際に、使用者は、シャーレモード、あるいは、薬包モードを、モード切替751Bで切り替えることができる。本図では、薬包モードがすでに選択されており、モード切替751Bを押すと、シャーレモードに切り替えられる。使用者は、トレイ300を、薬剤撮影装置200の載置部220にセットする。鑑別したい分包紙をトレイ300に設置し、薬剤撮影装置200のカバー214を閉じた後、使用者は、「撮影」アイテム751をタッチ(タッチスクリーン532で入力する場合)、あるいは、クリック(マウス542で入力する場合)する。これにより、薬剤撮影装置200は、セットされた薬剤の画像撮影を行う。その結果、「錠剤画像鑑別」ウィンドウ700には、図11のような表示がなされる。このような、モードの切り替えによって、使用者は、鑑別対象の薬剤の状態に応じて、簡単に切り替えることができる。図11に示すように、「錠剤画像鑑別」ウィンドウ700は、第1の部分710と、第2の部分720と、第3の部分730と、第4の部分740と、第1アイテム表示部分750と、第2アイテム表示部分760とに、大きく分けられる。第1の部分710および第2の部分720は、「錠剤画像鑑別」ウィンドウ700の左側に配置されている。初期設定では、第1の部分710および第2の部分720の幅はほぼ同じとなっている。また、第3の部分730および第4の部分740は、「錠剤画像鑑別」ウィンドウ700の右側に配置されている。第3の部分730および第4の部分740の幅はほぼ同じとなっている。第1アイテム表示部分750は、「錠剤画像鑑別」ウィンドウ700の下部に設けられている。また、第2アイテム表示部分760は、第3の部分730の下方に設けられている。これら第1アイテム表示部分750および第2アイテム表示部分760には、使用者によって選択可能なアイテムが、各種表示される。
【0065】
第1の部分710には、薬剤撮影装置200によって撮影されたシャーレ310の画像が表示される。この画像には、第1光源430または第2光源440をオンにして撮影した画像が好ましく用いられる。このような照明下で画像を撮影すると、背景と薬剤との明暗がより大きくなる傾向があるからである。この画像には、撮影された複数の薬剤が含まれる領域が存在する。第1の部分710の上部には、「上からビュー」タブ711と、「下からビュー」タブ712とが設置されている。使用者が「上からビュー」タブ711を選択すると、薬剤を上から撮影した画像が第1の部分710に表示される。また、「下からビュー」タブ712を選択すると、薬剤を下から撮影した画像が第1の部分710に表示される。コンピューター500がシャーレ310の画像を取得すると、コンピューター500は、その画像に基づいて、各薬剤が占有する領域を自動で認識する。そして、認識した薬剤の計数を自動で行い、その結果得られた薬剤の個数を第1アイテム表示部分750のゲージ部752に表示する。また、コンピューター500は、認識した各薬剤に対して、バックグラウンドで、順次、自動で鑑別を行う。そして、コンピューター500は、自動鑑別が完了した薬剤の個数、およびシャーレ310中の全薬剤のうちどれくらいの薬剤の鑑別が完了したかを示すバーを、ゲージ部752に表示する。このように、本実施形態では、鑑別の進行状況をグラフにより表示するので、鑑別がどれくらい進行しているのかを、使用者は一目で把握することができる。なお、使用者は、「中止」アイテム753を選択することにより、コンピューター500による自動鑑別を、強制的に中止させることができる。
【0066】
図11に示すように、コンピューター500は、鑑別が完了した薬剤には、鑑別が完了したことを示す第1標識713を、順次付していく。この第1標識713は、例えば、薬剤を囲う実線で構成され、この実線は所定の色(例えば赤色)で描かれる。使用者が、第1の部分710に表示された薬剤の1つ、図11に示す例では上の薬剤を選択すると、「錠剤画像鑑別」ウィンドウ700は、図12に示すように変化する。まず、選択された薬剤の画像が、第2の部分720に拡大表示される。第2の部分720の上部には、選択された薬剤を上から撮影した画像が、また、下部には、選択された薬剤を下から撮影した画像が拡大表示される。なお、使用者の手間を省くため、薬剤鑑別ソフトウェア600の設定によっては、薬剤の選択は、コンピューター500が、鑑別が完了した薬剤の中から自動で行う。
【0067】
図43は、使用者が、トレイ300を薬剤撮影装置200にセットし、図10に記載のモード切替751Bで、「薬包」と記載されている薬包モードにて、分包紙の鑑別作業を行う場合の表示画面である。使用者は、図2に図示するように、分包紙を挟んだ、分包紙専用のトレイ300を、円形のシャーレの代わりに、薬剤撮影装置200にセットして、分包紙の鑑別を行う。そうすると、、「錠剤画像鑑別」ウィンドウ700の第1の部分710に、分包紙に入った状態の薬剤が表示される。
【0068】
図44では、上述の第1の部分710に表示された、分包紙に入った状態の薬剤を拡大して確認している。薬包モードのプレビュー画面では、動画表示が行われ、この表示画面で確認しながら、分包紙に入った薬剤の撮影位置を、指示される赤枠の領域内に調節することができる。なお、分包紙に入った薬剤の撮影では、分包紙のフィルム上に、印字、ペンライナー、白ベタの下地などに用法が記載されていることが多い。そのため、そのような印字、ペンライナー、白ベタの下地などの領域を避けて、薬剤を撮影しないと、正確な情報を得ることができない(下記数3参照)。本実施事例では、薬包モードの場合に、セマンティックセグメンテーションを用いて、撮影領域を検出していく(下記数4および5参照)。これにより、「背景」としてラベル付けされた領域は検出されないようにすることで(下記数6および7参照)、薬剤が表示されている領域のみを撮影が可能になる(下記数8参照)。これにより、(数8)では、白帯で隠れている側のカメラ画像は、採用しないという判断を、薬包モードでは行っている。これにより、分包紙のフィルム上に、印字、ペンライナー、白ベタの下地などに用法が記載されている場合は、その領域は検出せずに、薬剤がある領域のみを検出し処理する。なお、セマンティックセグメンテーションは、単なる一例であって、画像の画素にラベルやカテゴリを関連付けるディープラーニング (Deep Learning) のアルゴリズムであれば良く、これに限られない。人工知能を利用した、特徴的なカテゴリを形成する画素の集まりを認識する手法であれば、本実施形態を実現することができ、Artificial Intelligence(アーティフィシャル インテリジェンス)の進歩によって、最適なものを利用する。
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【0069】
図28に示すように、「錠剤画像鑑別」ウィンドウ700の第2の部分720Aでは、薬剤の画像が表示されるが、薬剤の輪郭を抽出していたので、いびつな形状になるケースが生じた。従来では、画像処理で取得した領域で、薬剤を抜き取って表示していた。今までは、画像処理だけで、薬剤の輪郭を抽出していたので、いびつな形状になることは少なかったが、分包紙の鑑別時は、上述の通り、AI(セマンティックセグメンテーション)を用いて検出することとした。これにより、分包紙のフィルム上に印刷された、印字、ペンライナー線、白地面に薬剤が重なったときでも、背景という学習をさせて、錠剤として認識させる領域を特定することができる。しかし、その一方で、錠剤鑑別画面の第2の部分720Aに表示されるように、例えば、円形として認識できず錠剤画像の外周がいびつになる錠剤の表示が発生してしまうことが判明した。AI(セマンティックセグメンテーション)を用いて検出する場合は、輪郭を抽出して表示するので、このようないびつな表示が生じたのである。そのため、薬包モードでは、画像処理で取った輪郭ではなく、元画像から輪郭に沿った外接矩形で切り取るようにした。たとえば、画像処理では、物体が検出できない白ベタや印字上の薬剤も、第2の部分720Bのように、薬剤の領域を、元画像から輪郭に沿った外接矩形を切り取って表示することで、見やすい画像となった。また、図48に示すように、薬包モードでは「新規撮影」「追加撮影」または「再撮影」ボタンを押下して鑑別する際に薬剤個数確認画面を表示する。この画像は、AI(セマンティックセグメンテーション)を用いて、分包紙内のすべての薬剤の輪郭を抽出した後に、全体画像に重ねて輪郭を色分けした線で描画し、実際の薬剤の数と画像処理が取得した数に差異がないかを目視で確認しやすくするようにしている。また、薬品個数確認画面は一錠ずつ拡大面を表示することができる。
【0070】
図45では、薬包モードで薬剤を撮影した「錠剤画像鑑別」ウィンドウ700の第1の部分710、および、第2の部分720に、それぞれ表示されている。分包紙の中には、分包紙内に封入された薬剤について、医薬品情報データベースに保存されている画像が、分包紙の裏面に見本写真として印刷されているものがある。この場合、図42に示すように、上から分包紙を撮影した画像には、分包紙内に実際に入っている薬剤の画像が表示される。一方、下から分包紙を撮影した画像には、分包紙裏面に印刷された薬剤の見本写真が表示される。より詳細には、第1の部分710では、「上からビュー」タブ711を選択すると、上から分包紙を撮影した画像が表示される。「下からビュー」タブ712を選択すると、下から分包紙を撮影した画像が表示される。また、第2の部分720の上部には、分包紙内に実際に入っている薬剤の撮影画像が、拡大表示される。そして、第2の部分720の下部には、分包紙裏面に印刷された薬剤の見本写真の撮影画像が、拡大表示される。この場合、薬剤鑑別ソフトウェア600は、バックグランドで、それぞれの画像に対して別々に薬剤の鑑別を行う。その結果、薬剤鑑別ソフトウェア600内部では、2つの鑑別結果が得られることになる。この中から、両方の鑑別で高いスコアを得た候補薬に対しては、ランクに重みを付ける。すなわち、両方の鑑別で高いスコアを得た候補薬に対しては、両者のスコアの合算に加えて、さらなるスコアの加算を行う。その結果、両方の鑑別で高いスコアを得た候補薬は、第3の部分730に表示される候補薬のリストの中で、より上の行に表示されるようになる。このように、撮影画像が薬剤の実際の撮影画像と印刷された見本写真の撮影画像との2種類の画像を含む場合には、両者に対してそれぞれ独立して薬剤の鑑別を行い、その後得られた鑑別結果を組み合わせて候補薬リストを作成すると、鑑別の精度が向上する。特に、見本写真がカラー印刷(その中でも特にインクジェットプリンターによるフルカラー印刷)されていると、鑑別の精度は、さらに高まる。
【0071】
図12に戻って、第1の部分710では、使用者またはコンピューター500によって選択された薬剤が分かるように、選択された薬剤に第2標識714が付される。この第2標識714は、第1標識713とは見た目が異なっている。例えば、第2標識714は、薬剤を囲う破線で構成される。また、選択された薬剤がどれであるかを目立たせるため、第2標識714をアニメーション表示にしてもよい。例えば、薬剤を囲う破線が薬剤の周りでぐるぐる回転してもよい。これによって使用者は、第2の部分720に表示されている薬剤は、第1の部分710に表示されている複数の薬剤のうちどれなのかが、容易に把握できるようになる。なお、第2標識714は、第1標識713と同じ色(例えば赤色)で描画してもよいし、異なる色(例えば緑色)で描画してもよい。選択された薬剤の鑑別が完了している場合には、コンピューター500は、第3の部分730に、鑑別の結果得られた候補薬のリストを表示する。リスト中の各行は、1つの候補薬の情報を表示している。初期設定では、確率的により正しい可能性の高い薬剤は、リストのより上の行に表示される。すなわち、リスト表示は、上から下に向かって、可能性の高い薬剤から低い薬剤の順にソートされている。ここで、薬剤が正しい可能性が高いか低いかには、検索を行った結果得られたスコアが指標となる。具体的には、検索をした結果ヒットした薬剤との一致可能性のスコアが高ければ、薬剤が正しい可能性が高く、スコアが低ければ、正しい可能性が低い。
【0072】
リスト中の各行には、候補薬情報として、左から順に、この候補薬が正しい可能性のスコア、データベースに保存された薬剤の画像、刻印あるいは印刷コード、薬品名が表示される。なお、設定を変えれば、スコアの代わりに、全候補薬の中でこの候補薬が正しい可能性の順位を表示することもできる。さらには、薬品名に加えて、薬剤を特定するコード(例えばYJコード)を表示することもできる。このように、1つの薬剤に関する情報を1つの行にまとめて表示すると、使用者は分かりやすい。また、リスト中の各行には、薬剤の寸法を表示してもよい。
【0073】
図46は、薬包モードのプレビュータグを表示する。薬包モードで薬剤を撮影した「錠剤画像鑑別」ウィンドウ700の第1の部分710に、「プレビュー上」および「プレビュー下」というタブが設けられている。薬包モードの場合は、分包紙のフィルム上に印刷された、印字、ペンライナー線、白地面に薬剤が重なることが予想されるため、自動的に「プレビュー上」タブで、分包紙を上部から撮像した画像、および、「プレビュー下」タブで、分包紙を下部から撮像した画像を予め見ることができる。このようなタブを設けることで、使用者は実際に、「撮影」アイテム751Aを選択しなくとも内容を確認することができ、作業のクリック数を削減することができる。これにより、長尺の分包紙を短時間で鑑別することができる。使用者は、第1の部分710に表示された薬剤のうち、コンピューター500による鑑別がまだ完了していない薬剤を選択することもできる。例えば、第1の部分710の右下に表示されたカプセルを選択した場合、選択された薬剤は第2の部分720に拡大表示されるが、コンピューター500による鑑別が未だ完了していないので、鑑別結果は第3の部分730に表示されない。代わりに、第3の部分730には、選択された薬剤は現在コンピューター500により鑑別中である旨のメッセージが表示される。このように、本実施形態では、使用者は、鑑別が完了していない薬剤を選択することもできる。これにより、使用者が今気になった薬剤の画像をすぐ拡大して見ることができ、便利である。一方、鑑別が完了している薬剤には、図11に示すように、第1標識713が付されている。したがって作業中、使用者には、どの薬剤の鑑別が完了しているかが分かりやすい。そして、鑑別が完了している薬剤を選択すれば、使用者は、待たされることなく、コンピューター500による鑑別結果をすぐに見ることができる。このため、第1標識713の存在は、使用者の作業時間削減に大きく貢献する。
【0074】
図13に示すように、第3の部分に表示されたリスト中の薬剤の画像の近傍にマウスカーソル543を持って来ると、このマウスカーソル543が指す薬剤の画像が拡大表示される。このように、使用者の操作に応じて第3の部分730に表示された複数の薬剤の画像のうちの1つを拡大表示すると、使用者が今気になっている薬剤の画像がすぐに詳細に見えるようになる。また、これにより、使用者は、第2の部分720に表示された薬剤の画像と、第3の部分に表示された薬剤の画像との比較が容易となる。なお、マウスカーソル543を拡大された薬剤の画像から離すと、この画像の拡大が解除され、薬剤の画像は、元のサイズに戻る。その後、使用者は、第2の部分720に拡大表示された薬剤と、第3の部分730にリスト表示された各候補薬の情報を見比べて、使用者が正しいと判断する薬剤を選択する。具体的には、使用者は、第3の部分730の中で、正しい薬剤の情報が表示されている行を選択する。図には示されていないが、使用者が薬剤の情報が表示されている行を選択すると、行の少なくとも一部分がハイライトされる。
【0075】
その後、使用者は、自身が選択した薬剤が正しい薬剤だと確信したら、「選択」アイテム761を選択する。その結果、図14に示すように、選択された薬剤の情報が、第4の部分740に追加される。追加される情報、すなわち追加される一行に表示される情報は、第3の部分730で選択された行と類似のものとなっている。具体的には、追加された行には、データベースに保存された薬剤の画像、刻印あるいは印刷コード、薬品名、および薬剤の個数が表示される。このようなデザインにすると、使用者が自身でどの薬剤を選択したか、後で見返したとき分かりやすい。
【0076】
また、第3の部分730にリスト表示された候補薬の中で、明らかに候補薬から外れると使用者が考えるものがある場合には、使用者は、第3の部分730の中でそのような情報が表示された行を選択して、「対象外」アイテム763を選択する。これにより、当該候補薬の情報が、第3の部分730から削除される。そして、リストからは漏れたが、次に正しい可能性の高い候補薬の情報が、第3の部分730に追加される。また、第2の部分720に表示された薬剤の画像または第3の部分730に表示された薬剤の情報から、薬剤に関するさらなる情報を調べたくなった場合には、使用者は、「手動検索」アイテム764を選択する。これにより、使用者は、薬剤に関する情報を手動で検索できる。
【0077】
第3の部分730で選択され、第4の部分740に表示された薬剤については、第1の部分710では、対応する薬剤に第3標識715が付される。第3標識715が付された薬剤は、使用者による選択・確認作業が完了したことを示す。この第3標識715は、前述した第1標識713とは、異なる外観を有している。例えば、第3標識715は、薬剤を囲う実線で構成され、この実線は、第1標識713とは違う色(例えば青色)で描かれる。このように、第1標識713と第3標識715とが異なる外観を有していると、どの薬剤の確認作業が完了してどの薬剤の確認作業が完了していないかが一目で分かり、使用者の作業効率が向上する。特に、第1標識713と第3標識715とで異なる色が付されていると、薬剤の確認作業がどの程度まで完了したのかが一目で直感的に分かり、使用者は、全薬剤の鑑別作業が完了するまであとどれくらいの作業が必要か、感覚的に把握できる。
【0078】
使用者が選択して第4の部分740に追加された薬剤に関して、もし使用者が自身の判断の誤りに気づき、その選択を取り消したい場合には、使用者は、第4の部分740の中で取り消したい薬剤の情報が表示された行、あるいは、第1の部分710の中で取り消したい薬剤の画像を、選択する。そして、薬剤を選択した状態で、「選択解除」アイテム762を選択する。これによって、選択された薬剤は、第4の部分740から削除される。また、第1の部分710では、選択された薬剤に付されていた第3標識715は、第1標識713あるいは第2標識714に戻される。
【0079】
1個の薬剤の確認作業が完了したら、使用者は、まだ確認が完了していない別の薬剤を、第1の部分710で選択し、この選択された薬剤に対して上記と同様の要領で、確認作業を行う。薬剤鑑別ソフトウェア600の設定によっては、1個の薬剤の確認作業が完了したら、コンピューター500が、次の薬剤を、鑑別が完了している薬剤の中から自動で選択する。この場合も、使用者は、選択された薬剤に対して、上記と同様の要領で、確認作業を行う。このようにして、使用者が、全ての薬剤に対して確認作業を完了したら、「錠剤画像鑑別」ウィンドウ700は、図15に示すようになる。
【0080】
同図に示すように、第1の部分710に表示された全ての薬剤に関して、使用者が第3の部分730での選択を全て完了した場合には、あるいは設定によってはコンピューター500による自動鑑別が全て完了した時点で、第1アイテム表示部分750に、「登録」アイテム754、「追加撮影」アイテム755、「再撮影」アイテム756、および「ページめくり」アイテム757が追加表示される。使用者が「登録」アイテム754を選択すると、薬剤の鑑別作業が完了する。すなわち、使用者が「登録」アイテム754を選択すると、鑑別結果が服薬指導支援システム610(図9参照)に送信され、「錠剤画像鑑別」ウィンドウ700が閉じられる。追加で鑑別を行いたい薬剤がある場合、使用者は、この薬剤をシャーレ310に新たに入れ、このシャーレ310を薬剤撮影装置200にセットする。そして、使用者は、「追加撮影」アイテム755を選択する。これにより、追加の薬剤の撮影が行われ、使用者は、この薬剤に対しても、上記と同様の要領で、薬剤の鑑別作業を行うことができる。このようにしてシャーレ310の画像セットが複数生成された場合には、使用者は、「ページめくり」アイテム757を選択することにより、複数の画像セット間を行き来することができる。なお、今回行った薬剤鑑別をやり直したい場合には、「再撮影」アイテム756を選択することにより、使用者は、薬剤の画像の撮影からやり直すことができる。なお、「終了」アイテム758を選択すると、薬剤鑑別作業が中断され、「錠剤画像鑑別」ウィンドウ700が閉じられる。
【0081】
別実施形態では、図29に示すように、第1アイテム表示部分750に、「印刷」アイテム759がさらに表示される。この「印刷」アイテム759を選択すると、図30に示すように、鑑別結果が印刷される。印刷される項目としては、タイトル、鑑別した日時および日付、薬剤鑑別装置の識別番号、患者名、薬品連番、薬品名、刻印(または印字)、薬剤の個数、薬剤の合計数等が含まれる。さらに、図30には含まれていないが、印刷される項目には、担当薬剤師名、撮影した画像、あるいはデータベースに保存された薬剤の画像を含めてもよい。鑑別結果に関しては、きっちりとした鑑別報告書を書く必要があるときと、鑑別結果を簡易な文書で記載すればよい場合がある。図30に示すような印刷、いわゆるジャーナル印刷は、後者の用途にうってつけである。さらには、鑑別結果を手書きのカルテに貼り付けたい場合もある。ジャーナル印刷は、そのような用途にもうってつけである。
【0082】
薬剤鑑別ソフトウェア600が服薬指導支援システム610(図9参照)に鑑別結果を送信する際には、コンピューター500は、鑑別結果に加え、薬剤の個数および用法を服薬指導支援システム610に送信してもよい。薬剤の個数は、後述する「グループ化」によって得られる。また、コンピューター500は、鑑別によって同じ薬剤と特定された薬剤を、自動でグループ化して計数してもよい。コンピューター500は、画面531に用法入力ウィンドウを開き、そこで、使用者から、鑑別した薬剤に関して、用法の入力を受け付けてもよい。服薬指導支援システム610では、使用者は、用法を入力することが多い。薬剤を鑑別した際に、薬剤鑑別ソフトウェア600でついでに用法も入力できるようにすると、使用者の入力の利便性が向上する。
【0083】
なお、薬剤が包装されている袋に薬剤を特定する情報が付されている場合には、薬剤鑑別ソフトウェア600は、上述した画像鑑別を行わなくてもよい。例えば、薬剤が包装されている袋にバーコードが付され、コンピューター500がこのバーコードをスキャンすることにより袋の中に入っている薬剤を特定できる場合には、薬剤鑑別ソフトウェア600は、上述した画像鑑別を省略し、バーコードのスキャンによって得られた薬剤の情報を、服薬指導支援システム610に送信してもよい。薬剤鑑別ソフトウェア600にこのような機能を付加すると、使用者の利便性が向上する。
【0084】
§3.2 便利な機能
§3.2.1 グループ化
薬剤鑑別作業中は、図11~15に示すように、第2アイテム表示部分760に、「グループ化」アイテム765が表示される。この「グループ化」アイテム765が選択されると、図16に示すように、「グループ化」ウィンドウ630が、画面531内に開かれる。この「グループ化」ウィンドウ630内で、使用者は、複数の任意の薬剤をグループ化できる。
【0085】
図16に示すように、「グループ化」ウィンドウ630は、第1の部分631と、アイテム表示部分632とで構成される。第1の部分631には、第1の部分710と同様の画像が拡大表示される。具体的には、第1の部分631には、シャーレ310を上から撮影した画像と下から撮影した画像とが、並列して表示される。
【0086】
使用者は、第1の部分631に表示された画像の中から、同種と判断される薬剤を、タッチあるいはクリックして、複数選択する。別実施形態では、コンピューター500が、第1の部分631に表示された薬剤が互いに同種か否かの判断を行い、コンピューター500が、同種と判断した薬剤を、自動で複数選択する。同種か否かの判断は、後述するテンプレートマッチングを第1の部分631に表示された薬剤に対してそれぞれ行うことにより、行うことができる。使用者またはコンピューター500によって選択された薬剤には、グループ化用標識633が付される。この状態で、使用者が「グループ化」アイテム634を選択すると、選択した薬剤がグループ化される。すなわち、選択してグループ化用標識633が付された薬剤が、1つのグループで括られる。使用者が「選択解除」アイテム635を選択すると、第1の部分631で使用者が行った薬剤の選択が解除され、グループ化用標識633が各薬剤から消える。また、使用者が「グループ化一括解除」アイテム636を選択すると、既になされていた薬剤のグループ化が解除される。最後に、使用者が「確定」アイテム637を選択すると、使用者の行ったグループ化が有効となる。そして、「グループ化」ウィンドウ630が閉じられ、画面531では、元の「錠剤画像鑑別」ウィンドウ700がアクティブになる。アクティブになった「錠剤画像鑑別」ウィンドウ700内では、使用者によって行われたグループ化によって、該当する薬剤がグループ化されている。なお、使用者は、「閉じる」アイテム638を選択することにより、グループ化の作業を破棄して、元の「錠剤画像鑑別」ウィンドウ700に戻ることもできる。
【0087】
複数の薬剤がグループ化され、その中に、コンピューター500による鑑別が完了した薬剤と未了の薬剤とが混在する場合には、コンピューター500は、未了の薬剤の鑑別を省略する。これにより、コンピューター500が全薬剤の鑑別に要する時間を、短縮できる。また、複数の薬剤がグループ化されている場合、その中の1つの薬剤を使用者が第3の部分730で選択すれば、同じグループ内の他の薬剤に対しても、自動的に同じ選択がなされる。したがって、使用者の入力の手間も省かれ、作業時間が短縮される。図15に示すように、グループ化された薬剤に対して使用者による確認作業が終了し、第4の部分740に追加された薬剤では、そのグループに属する薬剤の個数が表示される。また、グループ化されていない薬剤は、「1個」と表示される。
【0088】
§3.2.2 自動学習
薬剤鑑別ソフトウェア600は、鑑別結果を自動学習する機能を有している。より具体的には、コンピューター500は、内部に学習データベースを備えている。そして、薬剤鑑別ソフトウェア600は、使用者が選択した薬剤(図14参照)を学習データベースに記録しておき、次回以降、自動鑑別において同様の薬剤がコンピューター500によって特定された場合には、コンピューター500は、第3の部分730のリストの中で、前回使用者が選択した薬剤を、最も高い順位で表示する。
【0089】
図31は、コンピューター500による学習機能の詳細を示している。基本コンセプトとしては、第3の部分730のリストの中で使用者が選択した薬剤が、以前一度も使用者によって選択されたことがない場合には、使用者の選択を、学習データベースに記録する。第3の部分730のリストの中で使用者が選択した薬剤が、以前使用者によって選択されたことが1回ある場合には、図32に示すように、コンピューター500は、「前回もこの画像の薬剤に対して使用者はこの薬剤を選択しました。この薬剤で正しいかもう1度確認して下さい。」という旨の表示を行う。第3の部分730のリストの中で使用者が選択した薬剤が、以前使用者によって選択されたことが2回以上ある場合には、学習データベースに記録された内容を既に使用者は確認済みであるので、コンピューター500は、学習データベースに対しては、特に何もしない。
【0090】
以下、図31に示すフローチャートに基づいて説明する。まず、コンピューター500が、薬剤の画像を基に、自動鑑別を行う(ステップ510)。そして、図12に示すように、コンピューター500は、鑑別結果を第3の部分730にリスト表示する(ステップ520)。このとき、学習データベースに使用者による以前の選択結果が保存されている場合には、以前選択された薬剤を高い順位で表示する。次いで、使用者は、第3の部分730に表示された候補薬のリストの中から、正しい薬剤を選択する(ステップ530)。次いで、コンピューター500は、使用者によるこの選択が、初めてなのか、2回目なのか、あるいは3回目以降なのかを判定する(ステップ540)。初めての場合には、すなわち使用者が選択した候補薬について学習データベースに使用者による選択の記録が存在しない場合には、コンピューター500は、使用者による候補薬の選択結果を学習データベースに記録し(ステップ551)、また、図14に示すように、選択された候補薬を、第4の部分740に追加する(ステップ552)。2回目の場合には、より具体的には使用者によって選択された薬剤について学習データベースに学習結果が記録されているがユーザー確認済みフラグがオンになっていない場合には、コンピューター500は、図32に示すようなメッセージ731を表示する(ステップ561)。このメッセージ731は、この薬剤は前回の鑑別で学習した薬剤であり、この学習結果が正しいかユーザーに確認する(ステップ562)。また、メッセージ731には、前回の鑑別で使用者が選択した薬剤の名称、刻印(または印字)、撮影された薬剤の画像、およびデータベースに保存された薬剤の画像も表示される。使用者が、「はい」アイテム732を選択した場合には、コンピューター500は、当該薬剤に関して学習データベースに記録された学習結果に対して、ユーザー確認済みフラグを立てる(ステップ563)。また、コンピューター500は、図14に示すように、選択された候補薬を、第4の部分740に追加する(ステップ564)。使用者が、「いいえ」アイテム733を選択した場合には、ステップ530へ戻り、図12に示すように、コンピューター500は、使用者に、第3の部分730に表示された候補薬のリストの中から別の候補薬を選択する機会を与える。ステップ540に戻って、3回目の場合には、より具体的には使用者によって選択された薬剤について学習データベースに学習結果が記録されており、かつユーザー確認済みフラグがオンになっている場合には、コンピューター500は、選択された候補薬を、第4の部分740に追加する(ステップ571)。このような手順を踏むと、使用者が以前間違えて誤った薬剤を選択してしまった場合でも、使用者が誤った薬剤を選択し続ける可能性が、低減される。
【0091】
別実施形態では、使用者が選択した候補薬を学習データベースに学習させるかは、使用者による設定事項としてもよい。例えば、コンピューター500は、使用者による候補薬の選択結果を一時保存しておいて、後刻(例えば1日の業務が終わった後)使用者がその選択結果をまとめて見直し、使用者が学習データベースに学習させたい候補薬の選択結果を選定して、選定されたものだけを学習データベースに記録させてもよい。また、さらに、別の実施形態では、カプセルの撮影データをマスターデータとして使用する学習機能に対して、薬包モードでは、最大3件まで保持するようにしても良い。薬包モードでは、カプセルの撮影時に刻印が、カメラと正対せずに、傾いた状態で撮影されることがある。このように、傾いた画像がマスターデータになった場合に、同じように傾いた画像でないとマッチングスコアが上がらないという問題点がある。そのため、学習データのメインの学習データの他に、学習データサブ1とサブ2を設定する。これにより、複数の傾いたデータが登録されることで、より高いマッチングスコアが実現できる。さらに、マッチングスコアが0.6以上の場合は、メインのマッチングスコアよりも高い場合は、その新しい情報が上書きされ、学習データサブ1からサブ2へと、順々に高いデータが上書きされていくようにすると、より高いマッチングスコアの情報更新を継続することができる。
【0092】
§3.2.3 返品錠剤画像鑑別
図9に示すように、錠剤鑑別メニューのウィンドウ620には、「返品錠剤画像鑑別」アイテム622が配置されている。使用者がこの「返品錠剤画像鑑別」アイテム622を選択すると、図17に示すように、画面531には、「返品錠剤画像鑑別」ウィンドウ640が表示される。この返品錠剤画像鑑別は、鑑別したい複数の薬剤全てが同一種類の場合に、利用される。
【0093】
図17に示すように、「返品錠剤画像鑑別」ウィンドウ640は、第1の部分641と、第2の部分642と、第3の部分643と、計数およびメッセージ表示部分644と、アイテム表示部分645とで構成される。第1の部分641、第2の部分642および第3の部分643の機能および構成は、前述した第1の部分710、第2の部分720および第3の部分730の機能および構成と同様である。
【0094】
まず、使用者は、鑑別したい薬剤を入れたトレイ310を薬剤撮影装置200にセットし、「撮影」アイテム646を選択する。これにより、図18に示すように、第1の部分641に、撮影された薬剤の画像が表示される。また、コンピュータ500は、薬剤の計数を自動で行い、計数された薬剤の数を、計数およびメッセージ表示部分644に表示する。さらには、コンピュータ500は、計数およびメッセージ表示部分644に、メッセージ647を表示する。このメッセージ647は、使用者に、第1の部分641に表示された薬剤の中から1つの薬剤を選択するように促す。使用者が第1の部分641に表示された薬剤の1つを選択すると、画面は、図19に示すように変化する。なお、設定によっては、使用者に代わって、コンピュータ500が、第1の部分641に表示された薬剤の中から1つを、代表薬として自動選択する。
【0095】
選択がなされると、コンピュータ500は、使用者またはコンピュータ500によって選択された薬剤に対して、鑑別を行う。また、第1の部分641では、使用者またはコンピュータ500が選択した薬剤を分かりやすくするため、選択された薬剤には、第2標識648が付される。コンピュータ500による自動鑑別が完了したら、コンピュータ500は、第3の部分643に、候補となる薬剤の情報をリスト表示する。また、計数およびメッセージ表示部分644には、メッセージ649が表示される。このメッセージ649は、使用者に、第3の部分643に表示された薬剤の中から使用者が正しいと判断する薬剤を選択し、「鑑別開始」アイテム651を選択するように促す。また、別実施形態では、図33に示すように、使用者は、「手動検索」アイテム656を選択することにより、第2の部分642に表示された薬剤について、手動で検索を行うこともできる。そして、使用者は、手動検索により見つけた薬剤を、第3の部分643に表示されたリストに、追加することができる。これにより、使用者は、第3の部分643のリストに当初表示されていなかった薬剤の中からも、薬剤を選択することができるようになる。
【0096】
使用者が「手動検索」アイテム656を選択すると、図41に示すように、「手動検索」ウィンドウ680が、画面531に表示される。「手動検索」ウィンドウ680は、検索式入力部分681と、検索結果表示部分682と、データベース画像表示部分683と、アイテム表示部分684とで構成される。まず、使用者は、検索式入力部分681のタイプ部分685に、キーワードまたは検索式を入力する。なお、本実施形態では、使用者は、薬剤を、刻印および薬品名のいずれかから検索できる。次いで、使用者は、検索式入力部分681の検索ボタン686を押す。その結果、検索結果表示部分682に、コンピューター500による検索結果が、リスト表示される。リストの中に表示された薬剤の1つを使用者が選択すると、データベースに保存されたその薬剤の画像が、データベース画像表示部分683に表示される。検索結果表示部分682で薬剤が選択された状態で使用者が「対象外」アイテム687を選択すると、選択された薬剤が、検索結果表示部分682から削除される。「選択」アイテム688を選択すると、選択された薬剤が、第3の部分643(図22参照)に追加される。「新規追加」アイテム689を選択すると、選択された薬剤が、前述した学習データベース(§3.2.2参照)に追加される。これにより、検索結果表示部分682で選択された薬剤が、次回の鑑別から、第3の部分643に、候補薬として常に表示されるようになる。「終了」アイテム691を選択すると、手動検索が中止され、「手動検索」ウィンドウ680が閉じられる。
【0097】
図19に戻って、使用者が第3の部分643で薬剤を選択すると、図20に示すように、選択された薬剤が示されている行がハイライトされる。また、第1の部分641では、対応する薬剤に、使用者による確認が完了したことを示す第3標識652が付される。この状態で使用者が「鑑別開始」アイテム651を選択すると、コンピュータ500は、使用者によって選択されなかった薬剤に対してそれぞれ鑑別を行う。もし、残りの薬剤全てに対する鑑別結果が、使用者による確認が既に完了した薬剤と同じものであれば、「返品錠剤画像鑑別」は正常終了する。この状態で使用者が「印刷」アイテム653を選択すると、計数結果および鑑別の最終結果が印刷される。この印刷には、薬剤を特定するバーコード(例えばJANコード)が含まれる。このバーコードをバーコードリーダーでスキャンすれば、鑑別された薬剤をどの錠剤カセットに返却すればよいかがすぐ分かる。
【0098】
鑑別の結果、残りの薬剤に使用者による確認が完了した薬剤と異なる薬剤が含まれていた場合、コンピュータ500は、「異なる薬剤が複数存在します」というメッセージを計数およびメッセージ表示部分644に表示する。この場合、使用者は、シャーレ310から異なると思われる薬剤を取り除いて、「再撮影」ボタン654を押す。そして、使用者およびコンピュータ500は、前記と同様の操作を繰り返す。その結果、撮影された画像に含まれる薬剤が全て同一のものと判断された場合には、薬剤鑑別ソフトウェアは、「返品錠剤画像鑑別」を正常終了できる。なお、「終了」アイテム655を選択すれば、使用者は、「返品錠剤画像鑑別」を完了しなくても終了できる。
【0099】
図34は、図20に示す「鑑別開始」アイテム651を、使用者が選択した状態を示す図である。すなわち、図34は、コンピュータ500が、使用者によって選択されなかった各薬剤に対して鑑別を行っているときの画面である。同図に示すように、第2の部分642には、データベースに保存された薬剤の画像、薬剤の名称、刻印(または印字)、および薬剤の個数が表示される。第3の部分643には、第1の部分641に表示された薬剤を拡大した画像が、それぞれ表示される。各薬剤の画像の右下には、コンピュータ500が、薬剤の画像から測定した薬剤の寸法が表示される。寸法の表示については、図28で説明したのと同様である。
【0100】
鑑別が完了すると、「返品錠剤画像鑑別」ウィンドウ640は、図35に示すように変化する。同図に示すように、全薬剤に対する鑑別の結果、使用者によって選択された薬剤に対する鑑別結果と異なる鑑別結果の薬剤が見つかった場合には、すなわち、異なる種類の薬剤が見つかった場合には、コンピュータ500は、その異なる鑑別結果の薬剤に対して、第4標識657および658を付す。より詳細には、第1の部分641に表示された、異なる鑑別結果の薬剤の画像には、第4標識657を付す。そして、第3の部分643に表示された、対応する薬剤の画像には、第4標識658を付す。これにより、使用者は、鑑別している薬剤に、異なる種類の薬剤が紛れ込んでいることが容易に分かる。
【0101】
図35に示すように、さらにコンピュータ500は、メッセージ659を、第3の部分643に表示する。このメッセージ659は、使用者に、第3の部分643に表示された全薬剤の画像を目視により確認するよう促す。目視確認の結果、使用者が異なる薬剤を見つけた場合には、使用者は、その薬剤を選択する。その結果、その薬剤に対しても、第4標識657および658が付される。また、コンピュータ500は異なる薬剤と判断したが、目視の結果同じ薬剤と使用者が判断した場合には、その薬剤を選択することにより、使用者は、第4標識657および658を消すこともできる。すなわち、使用者は、コンピュータ500による異なる薬剤という鑑定結果を取り消すこともできる。
【0102】
アイテム表示部分645に表示された「印刷」アイテム653を選択すると、図36に示すようなメッセージが画面に表示される。コンピュータ500が全薬剤に対して自動鑑別を行った結果、異なる鑑別結果の薬剤が見つからなかった場合には、図36(a)に示すようなメッセージが画面に表示される。使用者が「はい」を選択すると、鑑別結果が印刷される。コンピュータ500が全薬剤に対して自動鑑別を行った結果、異なる薬剤が含まれていると判定された場合には、図36(b)に示すようなメッセージが画面に表示される。すなわち、コンピュータ500は、鑑定の結果異なる薬剤が含まれていることが判明したが、その結果を印刷してよいかを、使用者に問い合わせる。使用者が「はい」を選択すると、異なる薬剤の情報を含む鑑別結果が印刷される。また、使用者が薬剤を上から見た画像のみを確認し、未だ下から見た画像を確認していない場合には、図36(c)に示すようなメッセージが画面に表示され、印刷は行われない。
【0103】
図38は、図34に示す「返品錠剤画像鑑別」ウィンドウ640において、鑑別が完了した状態の第2実施形態を示す図である。同図に示すように、第3の部分643では、薬剤に対する鑑別の結果、使用者(またはコンピュータ500)によって選択された薬剤に対する鑑別結果と同じ鑑別結果の薬剤には、すなわち正しい薬剤には、第5標識671が付される。この第5標識671は、例えば青色の実線で構成される。一方、鑑別の結果、使用者等によって選択された薬剤に対する鑑別結果と異なる鑑別結果の薬剤には、すなわち最初の薬剤に対する鑑別結果と異なる鑑別結果の薬剤には、第4標識658が付される。この第4標識658は、例えば赤色の実線で構成される。このように、正しい薬剤と異なる薬剤とに異なる色の標識を付けると、どの薬剤が異なった薬剤なのかが、一目で分かるようになる。
【0104】
第3の部分643に表示された薬剤の1つを使用者が選択すると、選択された薬剤に付されていた標識は、第2標識673に変化する。また、第1の部分641では、第3の部分643で選択された薬剤に対応する薬剤、すなわち第2標識673が付された薬剤に対応する薬剤に、第2標識674が付される。第2標識673は、第4標識658および第5標識671と異なる見た目を有している。例えば、第2標識673は、薬剤の画像を囲う破線で構成され、この破線が、画像の周りをぐるぐる回転する。より詳細には、赤色の第4標識658を使用者が選択した場合、第2標識673は、薬剤の画像の周りをぐるぐる回転する赤色の破線で構成される。これに対応して、第1の部分641では、第2標識674は、薬剤の周りをぐるぐる回転する赤色の破線となる。また、青色の第5標識671を使用者が選択した場合、第2標識673は、薬剤の画像の周りをぐるぐる回転する青色の破線で構成される。これに対応して、第1の部分641では、第2標識674は、薬剤の周りをぐるぐる回転する青色の破線となる。通常、返品薬鑑別では、シャーレ310内に投入される薬剤は、同一薬剤で構成されることがほとんどである。このため、第3の部分643に表示された薬剤の画像は、第1の部分641では、どの薬剤となるのか分かりにくい。そこで、第1の部分641では、使用者に選択された薬剤だけに標識を付けるようにすると、第3の部分643で使用者が今見ている薬剤はシャーレ310の中ではどの薬剤なのかが、容易に把握できるようになる。その結果、使用者が、第1の部分641の画像を見ながら、シャーレ310の中の異なる薬剤を、ピンセット等で取り出すことが容易となる。
【0105】
図39は、図34に示す「返品錠剤画像鑑別」ウィンドウ640において、鑑別が完了した状態の第3実施形態を示す図である。同図に示すように、第3の部分643では、薬剤に対する鑑別の結果、使用者(またはコンピュータ500)によって最初に選択された薬剤に対する鑑別結果と同じ鑑別結果の薬剤には、すなわち正しい薬剤には、第5標識671が付される。これに対応して、第1の部分641では、正しい薬剤には、すなわち第3の部分643で第5標識671が付された薬剤に対応した薬剤に、第5標識672が付される。一方、第3の部分643に戻って、鑑別の結果、使用者等によって最初に選択された薬剤に対する鑑別結果と異なる鑑別結果の薬剤には、すなわち最初の薬剤に対する鑑別結果と異なる鑑別結果の薬剤には、第4標識658が付される。これに対応して、第1の部分641では、異なる薬剤には、すなわち第3の部分643で第4標識658が付された薬剤に対応した薬剤に、第4標識657が付される。
【0106】
使用者は、第3の部分643に表示された薬剤の画像を見て、第3の部分643に表示された薬剤が実際に正しいか、すなわち使用者等によって最初に選択された薬剤と同じ薬剤であるか否かを、目視により1つ1つ確認する。そして、目視の結果、正しい薬剤と使用者が判断した場合には、使用者は、その判断した薬剤を選択する。その結果、その薬剤の画像には、第6標識675が付される。この第6標識675は、使用者による目視の確認が完了し、使用者によって正しい薬剤と判断されたことを表す。使用者が、アイテム表示部分645に表示された「残り一括OK」アイテム676を選択すると、第4標識658が付された薬剤以外の全ての薬剤に対して、第6標識675が付される。使用者が、「表裏全切替」アイテム677を選択すると、第3の部分643に表示された各薬剤の画像の裏表の表示が、切り替えられる。このようにして、使用者が第3の部分643に表示された薬剤の画像を1つ1つ確認して行って、異なる薬剤がシャーレ310から取り除かれ、かつ、残り全ての薬剤の確認が完了し、全ての薬剤の画像に対して第6標識675が付されたら、返品錠剤画像鑑別は終了する。
【0107】
図40は、図34に示す「返品錠剤画像鑑別」ウィンドウ640において、鑑別が完了した状態の第4実施形態を示す図である。同図に示すように、コンピュータ500は、自動鑑別が完了した薬剤について、使用者等によって最初に選択された薬剤と裏表が同じになるように、各薬剤の裏表の表示を自動で切り替える。さらには、コンピュータ500は、自動鑑別が完了した薬剤を順次自動で回転させ、使用者等によって最初に選択された薬剤と向きが同じになるように、各薬剤の向きを揃える。薬剤の向きは、鑑別対象の薬剤に対してパターンマッチングを行う際(後述するステップ380参照)、使用者等によって最初に選択された薬剤の画像の向きと同じ向きになるように、鑑別対象の薬剤の画像を回転させることにより、揃えることができる。あるいは、代表薬(使用者等によって最初に選択された薬剤)を照合したマスター画像は正しく上下を向いている画像であるので、マスター画像との照合時に代表薬の上下をマスター画像の上下と一致するように正しい向きに補正し、次以降の鑑別対称となる他の薬剤に対しても、同様にマスター画像との照合時に上下の向きを補正することができる。この時に正しく上下表示できなかったり、代表薬と同じ向きで表示できなかった薬剤は異なった薬剤であるために向きの調整ができなかった可能性が高い。このため、使用者はそのような向きの異なる画像を発見しやすくなり、目視鑑査業務の正確性と効率を向上させることができる。なお、薬剤の裏表表示の自動切り替えは、パターンマッチングを行った結果、鑑別対象となる薬剤の裏のパターンが使用者等によって最初に選択された薬剤の表のパターンと合致しているとコンピュータ500が判定した場合、あるいは、鑑別対象となる薬剤の表のパターンが使用者等によって最初に選択された薬剤の裏のパターンと合致していると判定した場合、コンピュータ500は、鑑別対象となる薬剤の裏表の画像を入れ替えることにより行うことができる。これにより、使用者による目視確認作業がさらに容易となり、目視鑑査の正確性と安全性が更に向上する。
【0108】
§3.2.4 ルーペ機能
図9に示すように、錠剤鑑別メニューのウィンドウ620には、「ルーペ」アイテム623が配置されている。使用者がこの「ルーペ」アイテム623を選択すると、図21に示すように、画面531には、「ルーペ」ウィンドウ660が表示される。この「ルーペ」ウィンドウ660の機能を使って、使用者は、見たい薬剤を、拡大して見ることができる。
【0109】
図21に示すように、「ルーペ」ウィンドウ660は、第1の部分661と、アイテム表示部分662とで構成される。第1の部分661には、載置部220(図3参照)あるいは載置部220直近の切り欠き用スペース217(図4図5参照)を撮影した画像が表示される。例えば、トレイ300に薬剤を入れて載置部220に置いた場合、シャーレ310を含む領域の画像が、第1の部分651に拡大表示される。また、使用者は、切り欠き212(図2参照)を通して、長尺状の分包紙を、薬剤撮影装置200内に挿入することができる。この場合も、載置部220直下に位置する分包紙を含む領域の画像が、第1の部分661に拡大表示される。図21に示すように、第1の部分661には、上から被写体を撮影した画像と、下から被写体を撮影した画像の中から、使用者によって選択された画像が表示される。使用者が、「拡大」アイテム663を選択すると、ズームインされ、被写体が拡大して表示される。一方、「縮小」アイテム664を選択すると、ズームアウトされ、被写体が縮小して表示される。また、表示画像の現在の倍率が、アイテム表示部分662内に表示される。また、使用者が「照明切り替え」アイテム665を選択することにより、薬剤撮影装置200は、薬剤を照らす照明を第1光源430および第2光源440と、第3光源450および第4光源460との間で切り替える。第1光源430および第2光源440で薬剤を照明すると、薬剤に付された刻印が見やすい。第3光源450および第4光源460で薬剤を照明すると、薬剤に付された印刷が見やすい。このように、本実施形態では、使用者は、長尺状の分包紙を分割したり中の薬剤を取り出したりしないで、分包紙の中に入っている薬剤の刻印や印字を、拡大して観察することができる。これを基に、使用者は、分包紙の中の薬剤を取り出さずに、手動で調査することもできる。なお、「終了」アイテム666を選択すると、「ルーペ」ウィンドウ660は閉じられる。
【0110】
§3.2.5 他シャーレ、分包紙の追加撮影機能
この機能では、第4の部分740の鑑別対象の薬剤リストの項目に、他のシャーレ、あるいは、分包紙の情報を追加することができる。通常、使用者は、自身が選択した薬剤が正しい薬剤だと確信したら、選択された薬剤の情報が、第4の部分740に追加される。しかし、一つのシャーレ、あるいは、一つの分包紙のみで鑑別するのではなくて、全体として、複数のシャーレ、あるいは、分包紙を鑑別する必要がある。たとえば、薬包モードで、朝・昼・晩のような用法で、複数の分包紙がある場合に、これらを纏めて鑑別したい場合などである。このような場合に、今までは、追加撮影時に、他の分包紙の鑑別に切り替えて確認するしかなかった。そのため、追加撮影時に、他のシャーレ、あるいは、分包紙の項目を、鑑別対象の薬剤リストの項目に追加することで、別のシャーレ、あるいは、分包紙の撮影時に、鑑別対象の薬剤リストに追加されていることがわかる。図47(a)、および、(b)は、追加撮影時に他の載置ユニットの薬剤を鑑別対象薬品リストに追加する画像イメージである。ここで、図47(b)では、第4の部分740に追加された「他シャーレ」という項目に「あり」と表示されていることで、追加した薬剤が、別のシャーレの撮影にもあることがわかる。これにより、鑑別対象薬品リストに追加した際に、他のシャーレや分包紙の項目を確認することで、同じ薬剤が登録されるべき場合に、第4の部分740に追加された「他シャーレ」という項目に「あり」となっていれば、鑑別対象リストに複数回追加されていたために、選択ミスをしていないことがわかる。
【0111】
§3.2.6 分包紙の手動検索削減機能
この機能では、薬包モードでの手動検索の回数を減らすことができる。薬剤に関するさらなる情報を調べたくなった場合には、使用者は、「手動検索」アイテム764を選択することで、薬剤に関する情報を手動で検索できる。分包紙が、片側のみしか撮影されない場合は、自動確定ができないために、薬剤に関するさらなる情報を調べたくないにもかかわらず、手動検索が必要になる。実際に、錠剤で片面刻印のみで確定できるものは、全体でも4.8%ほどしかない。そのため、薬包モードでは、毎包ごとに手動検索をしなければならなかった。そのため、薬包モードにおいては、手動検索から確定した錠剤を記憶しておき、他の分包紙の鑑別に利用することとした。具体的には、朝・昼・晩ごとの用法ごとに鑑別を行う場合に、一包目の朝の分包紙を鑑別で、手動検索した錠剤を記憶しておく。次の昼の分包紙を鑑別する際に、同じ錠剤が出てきたときに、片面の刻印しか情報がなくとも、第一候補として表示するようにする。これにより、手動検索の回数をかなり減らすことができるようになり、薬包モードでの作業の効率化が大幅に向上した。
【0112】
§4 薬剤鑑別アルゴリズム
以下、薬剤撮影装置200が撮影した画像内の各薬剤に対して、薬剤鑑別ソフトウェア600がどのように鑑別を行うか、詳述する。図22は、薬剤鑑別を行う上での上流の処理を示している。まず、使用者が薬剤鑑別を開始する旨の入力を行ったら(ステップ110)、薬剤撮影装置200は、薬剤の画像を複数撮影する(ステップ120)。次いで、コンピューター500は、撮影された画像の補正を行う(ステップ130)。次いで、コンピューター500は、補正された画像から、各薬剤が存在する領域を抽出する(ステップ140)。そして、抽出した各薬剤の領域に対して、個別に鑑別を行う(ステップ200)。
【0113】
<ステップ110> ユーザ入力
使用者は、鑑別を行いたい薬剤をまずトレイ300のシャーレ310に入れる(図7参照)。このとき、錠剤は、シャーレ310の底面311の透明な部分315に直接置き、カプセルは、カプセル載置用部材314上に置くことが推奨される。次いで、使用者は、このトレイ300を、薬剤撮影装置200の載置部220に設置して、カバー214を閉める。そして、使用者は、図10に示す「撮影」アイテム751を選択する。
【0114】
<ステップ120> 薬剤画像取得
コンピュータ500は、使用者から薬剤の撮影を行う入力を受け付けると、薬剤撮影装置200を駆動して、シャーレ310の画像を撮影させる。具体的には、コンピュータ500は、下記[画像1]~[画像4]の4枚の画像を取得する。なお、このとき、コンピューター500は、後述する「カメラのピント調整」および「明るさおよび色のキャリブレーション」で得られた設定値(例えばカメラのピント、露出時間およびRGBの各ゲイン)に基づいて、カメラの撮影条件を設定する。これにより、画質の再現性が向上する。
[画像1]第1光源430による照明下、シャーレ310を上から撮影した画像。この画像は、第1リング照明431をオンにして、第1カメラ410で撮影を行うことにより取得できる。
[画像2]第2光源440による照明下、シャーレ310を下から撮影した画像。この画像は、第2リング照明441をオンにして、第2カメラ420で撮影を行うことにより取得できる。
[画像3]第3光源450による照明下、シャーレ310を上から撮影した画像。この画像は、第1バー照明451および第2バー照明452をオンにして、第1カメラ410で撮影を行うことにより取得できる。
[画像4]第4光源460による照明下、シャーレ310を下から撮影した画像。この画像は、第3バー照明461および第4バー照明462をオンにして、第2カメラ420で撮影を行うことにより取得できる。
【0115】
<ステップ130> 画像補正
後述するように、薬剤鑑別システム100では、事前にキャリブレーションが行われており、コンピュータ500は、このキャリブレーションによる較正情報をデータとして保持している。コンピュータ500は、この較正情報を基に、撮影した画像の補正を行う。具体的には、較正情報に基づいて、撮影した画像の座標の補正を行う。これにより、第1カメラ410で撮影した画像の座標軸と第2カメラ420で撮影した画像の座標軸が一致する。
【0116】
<ステップ140> 薬剤領域抽出
画像補正後、画像内で各薬剤が占有する領域を抽出する。これには、背景と薬剤との明暗が大きく分かれる傾向の大きい[画像1]および[画像2]が好適に用いられる。領域抽出は、各画素の明るさを、閾値で2値化して(閾値未満=背景、閾値以上=薬剤)、閾値以上の領域を分離することにより行われる。
【0117】
図23は、薬剤個別鑑別処理200のフローを示している。以下の処理は、各薬剤に対して個別に行われる。まず、コンピューター500は、上からの撮影画像における1つの薬剤の占有領域と下からの撮影画像におけるこの薬剤の占有領域とを、対応づける(ステップ210)。次いで、コンピューター500は、この薬剤が錠剤であるかカプセルであるかを判定する(ステップ220)。錠剤であると判断された場合には、コンピューター500は、錠剤鑑別処理を行い(ステップ300)、カプセルであると判断された場合には、カプセル鑑別処理を行う(ステップ400)。
【0118】
<ステップ210> 上下画像中の薬剤の対応づけ
シャーレ310の透明な部分315に直接置かれた薬剤は、上から撮影した画像([画像1]および[画像3])と下から撮影した画像([画像2]および[画像4])の両方に映っている。本ステップにより、上から撮影した画像においてある1つの薬剤が占有する領域、および下から撮影した画像においてこの薬剤が占有する領域を対応づける。具体的には、ステップ130で補正された[画像1]および[画像2]の一方の画像を左右または上下反転させると、一方の画像内で薬剤が占有する領域は、他方の画像内で同じ薬剤が占有する領域とほぼ合致する。この合致した領域が、2つの画像において1つの薬剤がそれぞれ占有する領域である。すなわち、反転していない画像の1つの領域と、反転画像でこれと重なった領域が反転解除により戻った領域が、1つの薬剤にそれぞれ対応した領域となる。この際、2つの画像が反転して重なる重複領域を対応領域とすることもできる。
【0119】
<ステップ220> 錠剤・カプセル判定
薬剤領域の対応づけ処理を実行したら、コンピューター500は、その薬剤が錠剤かカプセルかを判定する。錠剤は、シャーレ310の透明な部分315に置かれるので、上から撮影した画像にはその上面が、下から撮影した画像にはその下面が映っている。すなわち、2つの画像([画像1]および[画像2])を対比すると、薬剤が錠剤の場合、上から撮影した画像と下から撮影した画像とで、当該薬剤に対応する領域が、それぞれ存在する。したがって、上記ステップ210で2つの画像に対して1つの領域の対応づけができた場合、すなわち、上から撮影した画像において認識された薬剤の占有領域が、下から撮影した画像において認識された薬剤の占有領域と対応づけられた場合には、当該薬剤は錠剤と判定される。
【0120】
一方、カプセルは、不透明なカプセル載置用部材314の上に置かれる。このため、上から撮影した画像にはその上面が写っているが、下から撮影した画像にはカプセルは写っていない。すなわち、2つの画像([画像1]および[画像2])を対比すると、薬剤がカプセルの場合、上から撮影した画像には、薬剤が占有する領域が存在するが、下から撮影した画像には、当該薬剤が占有する領域が存在しない。したがって、上記ステップ210で2つの画像に対して1つの領域の対応づけができなかったた場合、すなわち、上から撮影した画像において認識された薬剤の占有領域に対応する領域が、下から撮影した画像において認識されなかった場合には、当該薬剤はカプセルと判定される。
【0121】
<ステップ300> 錠剤鑑別
コンピューター500によって選択された1個の薬剤が錠剤と判定された場合には、処理は、錠剤鑑別処理300に進む。図24は、錠剤鑑別処理300の各処理を示している。まず、コンピューター500は、薬剤が円形であるか否かの判定を行う(ステップ310)。次いで、コンピューター500は、薬剤の表面に付された刻印の抽出処理を行う(ステップ320)。次いで、コンピューター500は、薬剤の表面に付された印刷の抽出処理を行う(ステップ330)。次いで、コンピューター500は、薬剤の表面に付された情報が刻印か印刷かの判定を行う(ステップ340)。次いで、コンピューター500は、薬剤の表面に付された割線を抽出する(ステップ350)。次いで、コンピューター500は、薬剤の代表色を抽出する(ステップ360)。その後、コンピューター500は、当該薬剤に関する絞り込み情報を基に、候補となる薬剤の絞り込みを行う(ステップ370)。最後に、コンピューター500は、薬剤の画像から抽出した刻印および/または印刷情報を基に、テンプレートマッチングを行い、最終検索を行う(ステップ380)。
【0122】
<ステップ310> 円判定
コンピューター500は、薬剤が占有する領域の円形度を求める。円形度が所定値以上の場合には、コンピューター500は、薬剤が円形であると判定する。また、円形度が所定値未満の場合には、コンピューター500は、薬剤が非円形であると判定する。薬剤が円形であると判定された場合、コンピューター500は、円の中心位置と半径を算出する。薬剤が非円形であると判定された場合には、コンピューター500は、薬剤が占有する領域の長軸がX軸と平行となるように、また、短軸がY軸と平行となるように、薬剤が占有する領域を回転させる。さらには、コンピューター500は、薬剤の長軸と短軸の長さ、および長軸と短軸の長さの比を算出する。
【0123】
<ステップ320> 刻印抽出
コンピューター500は、[画像1]および[画像2]、すなわち第1光源430および第2光源440による照明下撮影された画像に対して、刻印の抽出処理を行う。本発明者は、第1光源430および第2光源440による照明下薬剤を撮影すると、刻印が強調された薬剤の画像を撮影できることを見い出した(下記数1参照)。
【0124】
<ステップ330> 印刷抽出
コンピューター500は、[画像3]および[画像4]、すなわち第3光源450および第4光源460による照明下撮影された画像に対して、印刷の抽出処理を行う。本発明者は、第3光源450および第4光源460による照明下薬剤を撮影すると、印刷が強調された薬剤の画像を撮影できることを見い出した(下記数9参照)。
【数9】
【0125】
<ステップ340> 刻印・印刷判定
前述したように、第1リング照明431および第2リング照明441の照明下に撮影した画像に対して刻印抽出処理(ステップ320)を行うと、薬剤の表面に付された刻印が好適に抽出された画像が得られる。また、第1バー照明451、第2バー照明452、第3バー照明461および第4バー照明462の照明下に撮影した画像に対して印刷抽出処理(ステップ330)を行うと、薬剤の表面に付された印刷が好適に抽出された画像が得られる(上記数1参照)。コンピューター500は、これら刻印抽出画像および印刷抽出画像を基に、薬剤の表面に付された情報が刻印であるのか印刷であるのか、すなわち、薬剤の表面に刻印および印刷が付されているか否かの判定を行う。
【0126】
薬剤に刻印が付されているかの判定を行うには、まず、コンピューター500は、ステップ320で得られた刻印抽出画像に対して、所定の閾値を基準として、2値化を行う。次いで、コンピューター500は、この2値化画像をマスクとして、刻印抽出画像の値との平均値をとる。コンピューター500は、平均値が閾値以上の場合には、刻印ありと判定し、閾値未満の場合には、刻印なしと判定する。同様に、薬剤に印刷が付されているかの判定を行うには、まず、コンピューター500は、ステップ330で得られた印刷抽出画像に対して、所定の閾値を基準として、2値化を行う。次いで、コンピューター500は、この2値化画像をマスクとして、印刷抽出画像の値との平均値をとる。コンピューター500は、平均値が閾値以上の場合には、印刷ありと判定し、閾値未満の場合には、印刷なしと判定する。
【0127】
<ステップ350> 割線領域抽出
コンピューター500は、ステップ320で得られた刻印抽出画像に対して、割線領域抽出処理を行う。詳しくは、コンピューター500は、薬剤に割線が存在するか否か判定する。また、存在すると判定した場合、薬剤を、割線が存在する領域とそれ以外の領域とに分離する。
【0128】
<ステップ360> 代表色抽出
次に、コンピューター500は、薬剤の代表色を、刻印または印刷が付された領域と、それ以外の領域とに分けて、別々に抽出する。代表色の抽出は、画素を構成する色に対してクラスタリングを行うことにより、好適に行える。また、別実施形態では、代表色を抽出する代わりに、薬剤の画像、あるいは、刻印または印刷が付された領域とそれ以外の領域とに対して、「白」、「薄い色」「濃い色」の色の濃さの判定を行う。これは、領域内の色が第1閾値未満なら、「濃い色」、第1閾値以上第2閾値未満なら「薄い色」、第2閾値以上なら、「白」と判定することにより行うことができる。
【0129】
<ステップ370> 絞り込み
コンピューター500は、データベースにアクセスする。そして、以上のステップで得られたデータに基づいて、候補となる薬剤の検索を行う。まずは、最初の段階として、検索する対象の薬剤の絞り込みを行う。具体的には、コンピューター500は、薬剤の種類(錠剤かそれ以外の薬剤か)、薬剤の形状(円形か非円形か、非円形の場合長軸と短軸の長さの比)、薬剤のサイズ(円形の場合薬剤の直径、非円形の場合薬剤の長軸の長さおよび短軸の長さ)、刻印の有無、印刷の有無、割線の有無、薬剤の代表色(刻印が付された領域の代表色、印刷が付された領域の代表色、およびそれ以外の領域の代表色)の少なくとも1つに基づいて、検索する対象の薬剤を絞り込む。なお、コンピューター500が当該患者の処方履歴(例えばお薬手帳のデータ)にアクセスできる場合には、コンピューター500は、検索する対象の薬剤を、処方履歴に含まれる薬剤に限定することもできる。例えば、患者のスマートフォンに保存されたお薬手帳のデータにコンピューター500がアクセスできる場合には、コンピューター500は、当該お薬手帳のデータにアクセスして、当該患者に処方された薬剤の情報を取得することができる。また、紙に印刷されたお薬手帳が存在する場合には、そのお薬手帳をスキャンして、OCR(optical character recognition)によりテキスト化し、これに基づいて、検索対象の薬剤を絞り込むことができる。これにより、薬剤検索の速度を上げることができる。
【0130】
<ステップ380> テンプレートマッチング
その後、前述のステップで得られた刻印抽出画像および/または印刷抽出画像と、データベースに保存された各薬剤の刻印テンプレート画像および/または印刷テンプレート画像との間でテンプレートマッチング(パターンマッチングとも言う)を行い、鑑別対称の薬剤が該当する可能性の高い薬剤をピックアップする。なお、錠剤が円形の場合には、テンプレートマッチングに先立って、円の中心が画像の中心となるように、薬剤が占有する画像の領域を移動・補正する。別実施形態では、刻印および/または印刷の重心が画像の中心となるように、抽出画像およびテンプレート画像を補正してもよい。また、錠剤が円形の場合には、テンプレートマッチングの結果が最大となるように、抽出画像および/またはテンプレート画像を回転させる。その後、両画像に対してテンプレートマッチングを行い、スコアを算出する。このスコアは、両画像が合致している度合いを数値として示している。テンプレートマッチングのスコアが所定値以上の場合、あるいは最上位から所定順位以内である場合には、コンピューター500は、テンプレート画像が属する薬剤を、候補薬としてピックアップする。なお、錠剤が割線を有している場合には、割線が存在する状態でのテンプレートマッチングと、割線を除去した状態でのテンプレートマッチングとの両方を行ってもよい。また、印刷または刻印が単語で構成されている場合には、コンピューター500は、各単語を一単位としてテンプレートマッチングを行ってもよいし、単語を文字・数字・記号に分割し、各文字・数字・記号に対してテンプレートマッチングを行ってもよい。さらには、コンピューター500は、刻印または印刷画像からOCRによりテキスト情報を抽出し、このテキスト情報を基にテンプレートマッチングを行ってもよい。また、携帯電話やタブレット端末の内蔵カメラを、鑑別用のカメラとして用いる場合は、使用者は、薬剤、あるいは、分包紙の実物を見て、片面刻印か、両面刻印なのかを判断できるので、画像で見る場合に比べて、作業が簡単になる。さらに、携帯電話やタブレット端末の内蔵カメラで撮像した画像を基に、鑑別を行う際にも、取得した刻印を抽出した画像とマッチングを行う際に、マッチング効率を高めることができる。具体的には、片面刻印の薬剤も両面刻印の薬剤も、同じく一覧表示しようとすると、正解となる薬剤が、候補の上位に挙がってくることは難しい場合がある。鑑別結果を表示させるときに、使用者は、片面に刻印がある候補と、両面に刻印がある候補を、タグなどで切り分けて、一覧表示する刻印タイプを、どちらかに統一する。このように、どういう刻印の薬剤の種類なのかを、使用者が選択することで、類似薬品が候補に出る頻度を減らすことができる。このように構成することで、正解薬剤の候補の出現率を大幅に向上することができる。
【0131】
<ステップ400> カプセル鑑別
図23のステップ220に戻って、コンピューター500によって選択された1個の薬剤がカプセルと判定された場合には、処理は、カプセル鑑別処理400に進む。図25は、カプセル鑑別処理400の各処理を示している。まず、コンピューター500は、カプセルを、2つの領域に分割する(ステップ410)。次いで、コンピューター500は、それぞれ2つの領域から、代表色を抽出する(ステップ420)。次いで、コンピューター500は、それぞれ2つの領域から、薬剤の表面に付された印刷の抽出処理を行う(ステップ430)。次いで、コンピューター500は、薬剤の表面に印刷が付されているかの判定を行う(ステップ440)。その後、コンピューター500は、当該薬剤に関する絞り込み情報を基に、候補となる薬剤の絞り込みを行う(ステップ450)。最後に、コンピューター500は、薬剤の画像から抽出した印刷情報を基に、テンプレートマッチングを行い、最終検索を行う(ステップ460)。なお、薬包モードの場合は、どの向きでカプセルが撮像されているかはわからない。これが、マッチングにスコアを下げる要因となった。そのため、薬包モードの場合に、カプセルと判定された場合には、マッチング方法を変更した。具体的には、以下の3つのマッチングで、最高点の一致率を出した薬剤を表示することとした。
1.上下カメラの撮影画像と上下のマスター画像の情報のマッチング
2.上カメラの撮影画像と錠剤上部のマスター画像の情報のマッチング
3.下カメラの撮影画像と錠剤下部マスター画像の情報のマッチング
【0132】
具体的には、以下の手法でスコアを比較して、最も高いスコアを計算することとした。なお、照合回数は、単なる例であって、これに限られない。先ず、1回目の撮像情報とマスター画像との照合結果のスコアが0.8だった。それにより、学習データのメインのスコア基準を0.8とした。次に、2回目の撮像情報とマスター画像との照合結果のスコアが0.9だった。それにより、学習データのメインのスコア基準を0.9に変更した。3回目の撮像情報とマスター画像との照合結果のスコアが0.7だった。これは、メインのスコアよりも低いので、メインのスコアはそのまま0.9とした。しかし、学習データにサブ1という領域を作り、ここに0.7を記憶した。4回目の撮像情報とマスター画像との照合結果のスコアが0.6だった。
それにより、学習データのメインのスコア基準を0.6とした。これも、メインのスコアよりも低いので、メインのスコアはそのまま0.9とした。しかし、学習データにサブ2という領域を作り、ここに0.6を記憶した。5回目の撮像情報とマスター画像との照合結果のスコアが0.8だった。これも、メインのスコアよりも低いので、メインのスコアはそのまま0.9とした。しかし、学習データにサブ1よりも高いので、サブ1を入れ替え、かつ、サブ2のデータを0.7とした。6回目の撮像情報とマスター画像との照合結果のスコアが0.95だった。これは、メインのスコアよりも高いので、メインのデータと入れ替えた。一方で、学習データにサブ1よりも高いので、サブ1を入れ替え、かつ、サブ2のデータを0.8とした。
【0133】
<ステップ410> 領域分割
まず、コンピューター500は、薬剤を2つの領域に分割する。具体的には、薬剤の画像の色情報、具体的には画素の色をクラスタリングする。次いで、クラスタリングした色情報をグループ化し、この色グループが属する領域を、1つの領域とする。これにより、右半分と左半分とが異なる色で構成されたカプセルは、2つの領域に好適に分割される。
【0134】
<ステップ420> 代表色抽出
次に、コンピューター500は、薬剤の各領域の代表色を抽出する。これは、領域を構成する画素の色情報をクラスタリングすることにより、好適に行える。
【0135】
<ステップ430> 印刷抽出
コンピューター500は、ステップ410で分割された各領域に対し、ステップ330と同様の処理を施すことにより、各領域から印刷抽出を行う。本発明者は、カプセルの画像を2つの領域に分割し、それぞれの領域に対して別々に印刷画像の抽出処理を行うと、カプセルからより好適に印刷を抽出できることを見い出した。
【0136】
<ステップ440> 印刷判定
コンピューター500は、分割された薬剤の各領域に対してステップ340と同様の処理を行い、各領域に印刷が付されているか否かの判定を行う。
【0137】
<ステップ450> 絞り込み
コンピューター500は、ステップ360と同様にして、候補となる薬剤の絞り込みを行う。具体的には、コンピューター500は、薬剤の種類(カプセルかそれ以外の薬剤か)、薬剤の形状(薬剤の長軸と短軸の長さの比)、薬剤のサイズ(薬剤の長軸の長さおよび短軸の長さ)、代表色、各代表色が属する領域における印刷の有無、の少なくとも1つに基づいて、検索する対象の薬剤を絞り込む。
【0138】
<ステップ460> テンプレートマッチング
コンピューター500は、ステップ430で得られた印刷抽出画像(入力画像)から、印刷部分を切り出す。次いで、印刷抽出画像に対して、ステップ370と同様にして、ステップ410で分割された領域ごとにテンプレートマッチングを行い、候補薬をピックアップする。
【0139】
§5 薬剤鑑別ソフトウェアの追加処理
§5.1 <ステップ370>での追加処理
前述したステップ370では、コンピューター500がアクセスするデータベースは、刻印抽出画像および/または印刷抽出画像に対応するテンプレート画像が保存されていることを前提とする。しかしながら、場合によっては、薬剤の単なる写真だけが保存されている場合がある。その場合、この画像データから薬剤の領域を取得して、前記と同様に印刷抽出および刻印抽出を行い、得られた印刷抽出画像および刻印抽出画像をテンプレート画像として用いてもよい。また、この方法によって、データベース内に保存されるテンプレート画像を作成することもできる。なお、画像データから薬剤の領域は、次のようにして取得することができる。まず、背景の色を取得し、背景色と文字以外の部分を、薬剤が占有する領域と判定する。なお、領域が1ヶ所または3箇所以上見つかった場合は、エラーとする。次いで、各領域の重心の位置を求め、この重心の位置から薬剤の左右を判定する。
【0140】
§5.2 カメラのキャリブレーション
上記実施形態を好適に実施するためには、第1カメラ410および第2カメラ420の焦点が合っている必要がある。また、第1カメラ410の撮影領域および第2カメラ420の撮影領域を合致させる必要がある。さらには、撮影画像の明るさおよび色も、所定値の範囲内に収める必要がある。このため、薬剤鑑別システム100の工場出荷前、あるいは薬剤鑑別システム100の納品先でのセットアップ時に、以下に述べるようなキャリブレーションを行う。なお、このキャリブレーションは、一度行えば、通常は、再び行う必要はない。
【0141】
§5.2.1 カメラの位置合わせ
本キャリブレーションでは、まずはカメラの位置合わせを行う。まず、シャーレ310がセットされたトレイ300を、薬剤撮影装置200の載置部220にセットする。次いで、シャーレ310を第1カメラ410で撮影し、この撮影画像をコンピューター500の表示装置530に表示させる。このとき、シャーレ310の画像に、所定の位置に十字形を有する仮想画像を重ねて表示する。そして、この十字形がシャーレ310の内部に納まるように、第1カメラ410の位置と角度を微調整する。同様の操作を、第2カメラ420に対しても行う。
【0142】
§5.2.2 カメラの焦点調整
次に、カメラの焦点調整を行う。まずは、所定の文字、記号または図の表記がされたテンプレートを、薬剤撮影装置200の載置部220にセットし、低い倍率で、このテンプレートを撮影する。そして、撮影画像においてテンプレートの表記が最も鮮明となるように、カメラの焦点を粗調整する。これが完了したら、倍率を上げて同様の操作を行い、焦点の微調整を行う。
【0143】
§5.2.3 撮影領域のキャリブレーション
本キャリブレーションにより、上下のカメラの撮影領域の座標を合致させることができるようになる。また、カメラの解像度を取得することもできる。まずは、図26に示すような、キャリブレーション用ツールであるキャリブレーションシート810を用意する。このキャリブレーションシート810は、所定の厚みを有する板あるいはシートの両面に、所定のサイズの黒色の円が、所定間隔でm×n個(図23に示す例では3×4個)、行列状に配置された構成となっている。また、黒色の円の位置および大きさは、キャリブレーションシート810の表面と裏面とで、同じになっている。キャリブレーション時には、このキャリブレーションシート810を、薬剤撮影装置200の載置部220にセットし、第1カメラ410および第2カメラ420で、キャリブレーションシート810の撮影を行う。次いで、画像中の黒色の円が指定座標に位置し、かつ指定サイズとなるような変換行列を求める。これは、キャリブレーションシート810を上から撮影した画像、および下から撮影した画像の両方に行う。前述したステップ130では、この変換行列に基づいて、シャーレ310を撮影した画像の補正を行う。これにより、シャーレ310を上から撮影した画像および下から撮影した画像の撮影領域の座標位置が一致するようになる。また、変換行列から、画像の解像度(DPI)、すなわち単位長さを構成する画素数も得られる。
【0144】
§5.2.4 明るさおよび色のキャリブレーション
本キャリブレーションにより、撮影画像の色の再現性を高めることができる。前記と同様に、キャリブレーションシート810が載置部220に置かれた状態で、次の(a)~(b)を繰り返し行う。
(a)露出の調整:第1光源430がオンの状態で、所定の露出時間で、第1カメラ410による撮影を行う。また、第2光源440がオンの状態で、所定の露出時間で、第2カメラ420による撮影を行う。次いで、撮影された画像の所定の各点の明るさを算出する。この明るさが目標値よりも高い場合には、カメラの露出時間を下げる。目標値よりも低い場合には、カメラの露出時間を上げる。
(b)色(ホワイトバランス)の調整:撮影された画像の所定の各点のRGB値を算出する。B(青色)がR(赤色)よりも大きい場合には、Rのゲインを上げる。BがRよりも小さい場合には、Rのゲインを下げる。また、BがG(緑色)よりも大きい場合には、Gのゲインを上げる。BがGよりも小さい場合には、Gのゲインを下げる。
各値が目標値に達するまで、上記(a)~(b)を繰り返し行う。これにより、撮影時のカメラの設定値が得られる。また、同様の操作を、第3光源450および第1カメラ410を用いて、また、第4光源460および第2カメラ420を用いて行う。
【0145】
図37は、キャリブレーションシートの第2実施形態を示す。このキャリブレーションシート810’は、所定の厚みを有する円形の板あるいはシートの両面に、所定サイズの黒色の円811が、所定間隔でm×n個、行列状に配置された構成となっている。加えて、キャリブレーションシート810’の外周付近には、上下左右の4方向すなわち90°の等間隔で、所定長さの直線812が、円の中心線上に位置するように、配置されている。より具体的には、直線812の一対は、円811の行方向と平行に配置され、かつ、行方向に並んだ円811の延長上に配置されている。また、直線812のもう一対は、円811の列方向と平行に配置され、かつ、列方向に並んだ円811の延長上に配置されている。これ以外のキャリブレーションシート810’の構成は、キャリブレーションシート810と同様である。このキャリブレーションシート810’の直径は、シャーレ310(図8参照)または平板330(図27参照)に載せられるリング313の内径とほぼ同じものとなっている。換言すれば、キャリブレーションシート810’の平面形状は、薬剤を置くための載置用アイテムの底面の形状と対応したものとなっている。キャリブレーションシート810’を用いると、キャリブレーションシート810’を載置用アイテムに載せた後この載置用アイテムを薬剤撮影装置200の載置部220にセットする際に、キャリブレーションシート810’の位置がずれてしまうことが、好適に防止される。また、直線812を指標とすることにより、円811の向きを所定の向きに揃えることが、容易となる。
【符号の説明】
【0146】
100・・・・・薬剤鑑別システム
【0147】
200・・・・・薬剤撮影装置
210・・・・ケース
211・・・下側ケース
212・・・切り欠き部
213・・・上側ケース
214・・・カバー
215・・・傾斜部
216・・・斜面
217・・・切り欠き用スペース
220・・・・載置部
221・・・トレイ支持部材
222・・・孔
223・・・嵌合部
230・・・・ガイド部材
231・・・斜面
240・・・・上側内部空間
250・・・・フレーム
300、300’・・・トレイ
301・・・シャーレ本体
302・・・取っ手部
303・・・前側分包紙ガイド
304・・・奥側分包紙ガイド
305・・・クリップ
306・・・撮像ガラス
307・・・上部偏向板
308、309・・・下部偏向板
310・・・・シャーレ
311・・・底部
312・・・側面
313・・・リング
314・・・カプセル載置用部材
315・・・透明な部分
316・・・凹部
317・・・凹部
320・・・・本体
321・・・孔
322・・・筒
330・・・・平板
331・・・第2筒
410・・・・第1カメラ
420・・・・第2カメラ
430・・・・第1光源
431・・・第1リング照明
440・・・・第2光源
441・・・第2リング照明
442・・・下側支持板
443・・・上側支持板
450・・・・第3光源
451・・・第1バー照明
452・・・第2バー照明
460・・・・第4光源
461・・・第3バー照明
462・・・第4バー照明
【0148】
500・・・・・コンピューター
520・・・・本体
530・・・・表示装置
531・・・画面
532・・・タッチスクリーン
541・・・キーボード
542・・・マウス
543・・・マウスカーソル
600・・・・・薬剤鑑別ソフトウェア
610・・・・服薬指導支援システムのウィンドウ
620・・・・錠剤鑑別メニューのウィンドウ
621・・・「錠剤画像鑑別」アイテム
622・・・「返品錠剤画像鑑別」アイテム
623・・・「ルーペ」アイテム
630・・・・「グループ化」ウィンドウ
631・・・第1の部分
632・・・アイテム表示部分
633・・・グループ化用標識
634・・・「グループ化」アイテム
635・・・「選択解除」アイテム
636・・・「グループ化一括解除」アイテム
637・・・「確定」アイテム
638・・・「閉じる」アイテム
640・・・・「返品錠剤画像鑑別」ウィンドウ
641・・・第1の部分
642・・・第2の部分
643・・・第3の部分
644・・・計数およびメッセージ表示部分
645・・・アイテム表示部分
646・・・「撮影」アイテム
647・・・メッセージ
648・・・第2標識
649・・・メッセージ
651・・・「鑑別開始」アイテム
652・・・第3標識
653・・・「印刷」アイテム
654・・・「再撮影」アイテム
655・・・「終了」アイテム
656・・・「手動検索」アイテム
657、658・・・第4標識
659・・・メッセージ
671、672・・・第5標識
673、674・・・第2標識
675・・・第6標識
676・・・「残り一括OK」アイテム
677・・・「表裏全切替」アイテム
660・・・・「ルーペ」ウィンドウ
661・・・第1の部分
662・・・アイテム表示部分
663・・・「拡大」アイテム
664・・・「縮小」アイテム
665・・・「照明切り替え」アイテム
666・・・「終了」アイテム
680・・・・「手動検索」ウィンドウ
681・・・検索式入力部分
682・・・検索結果表示部分
683・・・データベース画像表示部分
684・・・アイテム表示部分
685・・・タイプ部分
686・・・検索ボタン
687・・・「対象外」アイテム
688・・・「選択」アイテム
689・・・「新規追加」アイテム
691・・・「終了」アイテム
700・・・・・「錠剤画像鑑別」ウィンドウ
701・・・メッセージ
710・・・・第1の部分
713・・・第1標識
714・・・第2標識
715・・・第3標識
720・・・・第2の部分
721・・・寸法
730・・・・第3の部分
731・・・メッセージ
740・・・・第4の部分
750・・・・第1アイテム表示部分
751・・・「撮影」アイテム
752・・・ゲージ部
753・・・「中止」アイテム
754・・・「登録」アイテム
755・・・「追加撮影」アイテム
756・・・「再撮影」アイテム
757・・・「ページめくり」アイテム
758・・・「終了」アイテム
759・・・「印刷」アイテム
760・・・・第2アイテム表示部分
761・・・「選択」アイテム
762・・・「選択解除」アイテム
763・・・「対象外」アイテム
764・・・「手動検索」アイテム
765・・・「グループ化」アイテム
810、810’・・・キャリブレーションシート
811・・・円
812・・・直線

図1
図2
図3
図4
図5
図6(a)】
図6(b)】
図6(c)】
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47(a)】
図47(b)】
図48