特許 6853891 薬剤監査装置、画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6853891

(24)【登録日】2021年3月16日

(45)【発行日】2021年3月31日

(54)【発明の名称】薬剤監査装置、画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210322BHJP

   A61J 3/00 20060101ALI20210322BHJP

【ＦＩ】

   G06T7/00 300

   A61J3/00 310K

【請求項の数】12

【全頁数】18

(21)【出願番号】特願2019-539146(P2019-539146)

(86)(22)【出願日】2018年8月8日

(86)【国際出願番号】JP2018029772

(87)【国際公開番号】WO2019044439

(87)【国際公開日】20190307

【審査請求日】2020年2月10日

(31)【優先権主張番号】特願2017-167652(P2017-167652)

(32)【優先日】2017年8月31日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000149837

【氏名又は名称】富士フイルム富山化学株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】岩見 一央

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 国際公開第２０１５／１５２２２５（ＷＯ，Ａ１）

【文献】 特開２０１５−５４１１５（ＪＰ，Ａ）

【文献】 特開２０１０−１１７３３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ａ６１Ｊ ３／００

(57)【特許請求の範囲】

【請求項1】

薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得部と、
前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得部と、
前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
を備えた画像処理装置。

【請求項2】

前記第２画像処理部は、
前記少なくとも３枚の撮影画像に基づいて照度差ステレオ法により前記薬剤の表面の三次元情報を取得する三次元情報取得部と、
前記取得した三次元情報に基づいて前記薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、
を備え、
前記生成した曲率画像を前記刻印抽出画像とする請求項１に記載の画像処理装置。

【請求項3】

前記第１画像処理部は、前記少なくとも１枚の撮影画像から低周波成分を除去する処理を行う請求項１又は２に記載の画像処理装置。

【請求項4】

薬剤を載置するステージと、
前記ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、
前記薬剤を撮影する撮影部と、
前記照射部及び前記撮影部を制御して、前記薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１撮影制御部と、
前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
前記照射部及び前記撮影部を制御して、前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２撮影制御部と、
前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
を備えた薬剤監査装置。

【請求項5】

処方箋情報を取得する処方箋情報取得部と、
前記処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、
前記マスタ画像と前記生成した差分画像とを照合して、前記調剤されるべき薬剤と前記ステージに載置された薬剤とが同一であるか否かを判定する判定部と、
を備えた請求項４に記載の薬剤監査装置。

【請求項6】

薬剤の画像に関心領域を設定する関心領域設定部と、
前記設定した関心領域に対応させて前記マスタ画像からテンプレートを生成するテンプレート生成部と、
を備え、
前記判定部は、前記差分画像の関心領域と前記テンプレートとを照合する請求項５に記載の薬剤監査装置。

【請求項7】

前記ステージには分包袋に分包された複数の薬剤が載置される請求項４から６のいずれか１項に記載の薬剤監査装置。

【請求項8】

前記照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、
を備え、
前記第２方向は前記表面の平面視において前記第１方向と対向する方向であり、前記第３方向は前記表面の平面視において前記第１方向と直交する方向であり、前記第４方向は前記表面の平面視において前記第３方向と対向する方向である請求項４から７のいずれか１項に記載の薬剤監査装置。

【請求項9】

第１撮影制御部は、前記第１光源、前記第２光源、前記第３光源、及び前記第４光源により前記薬剤の表面に光を照射する請求項８に記載の薬剤監査装置。

【請求項10】

薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得工程と、
前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、
前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得工程と、
前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、
前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成工程と、
を備えた画像処理方法。

【請求項11】

薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
をコンピュータに実行させるプログラム。

【請求項12】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
をコンピュータに実行させる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は薬剤監査装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤を撮影した画像から薬剤の種類を特定する薬剤監査装置、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

病院や薬局において、薬剤師等が処方箋に沿って薬剤を調合し分包する場合、分包後に、処方箋どおりに薬剤が分包されているかを監査することが義務づけられている。従来、この監査業務における人為的な誤監査又は監査業務の負担軽減を目的として、様々な技術が考えられてきた。その中の一つとして、薬剤を撮影した画像と予めサーバ等に登録されている薬剤の画像との照合を行い、撮影をした薬剤の種類を特定する技術が知られている。

【0003】

画像同士の照合を行う代表的な技術的手法として、各画像の相関演算により類似度を算出し照合を行う照合方法がある。しかしながら、この手法を薬剤の識別情報に対して行う場合、お互いの識別情報が似ていたり薬剤が割線を有していたりすると、異なる薬剤の画像同士であっても類似度が高くなり、照合装置は間違った判定結果を出力してしまう場合があった。

【0004】

このような課題に対し、特許文献１には、登録画像及び照合画像の複数の分割領域の部分画像の類似度を、それぞれ対応する分割領域ごとに算出し、算出された分割領域毎の複数の類似度のうちで最も低い類似度に基づいて、登録画像が示す薬剤と照合画像が示す薬剤とが同じ種類の薬剤か否かを判定する薬剤照合装置において、薬剤表面に割線がある登録画像を取得した場合には、画像処理部は割線を抽出し、類似度算出部はその割線が部分画像に含まれないように分割領域を設定する技術が開示されている。

【0005】

この装置によれば、識別情報が似ていたり薬剤が割線を有していたりする薬剤同士の照合を行う場合であっても、正確な照合を行うことができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１５−６５９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の技術では、薬剤に付された印字と刻印（割線）との位置関係が一定であることが前提となっている。したがって、印字と刻印との位置関係が一定でない場合には、識別情報を抽出することができず、照合を適切に行うことができないという問題点があった。

【0008】

本発明はこのような事情に鑑みてなされたもので、薬剤に付された印字及び刻印の位置関係が一定でない場合であっても適切に識別情報を抽出する薬剤監査装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために画像処理装置の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。

【0010】

本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。

【0011】

第２画像処理部は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により薬剤の表面の三次元情報を取得する三次元情報取得部と、取得した三次元情報に基づいて薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、を備え、生成した曲率画像を刻印抽出画像とすることが好ましい。これにより、刻印抽出画像を適切に生成することができる。また、第２画像処理部は、少なくとも３枚の撮影画像を平均の信号値で規格化してもよい。

【0012】

第１画像処理部は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行うことが好ましい。これにより、印字強調画像を適切に生成することができる。

【0013】

上記目的を達成するために薬剤監査装置の一の態様は、薬剤を載置するステージと、ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、薬剤を撮影する撮影部と、照射部及び撮影部を制御して、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１撮影制御部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、照射部及び撮影部を制御して、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２撮影制御部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。

【0014】

本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。

【0015】

処方箋情報を取得する処方箋情報取得部と、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、マスタ画像と生成した差分画像とを照合して、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを判定する判定部と、を備えることが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。

【0016】

薬剤の画像に関心領域を設定する関心領域設定部と、設定した関心領域に対応させてマスタ画像からテンプレートを生成するテンプレート生成部と、を備え、判定部は、差分画像の関心領域とテンプレートとを照合することが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。

【0017】

ステージには分包袋に分包された複数の薬剤が載置されることが好ましい。本態様は、分包袋に分包された複数の薬剤について適用することができる。

【0018】

照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、を備え、第２方向は表面の平面視において第１方向と対向する方向であり、第３方向は表面の平面視において第１方向と直交する方向であり、第４方向は表面の平面視において第３方向と対向する方向であることが好ましい。これにより、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を適切に取得することができる。

【0019】

第１撮影制御部は、第１光源、第２光源、第３光源、及び第４光源により薬剤の表面に光を照射することが好ましい。これにより、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を適切に取得することができる。

【0020】

上記目的を達成するために画像処理方法の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得工程と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得工程と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成工程と、を備えた。

【0021】

本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。

【0022】

上記目的を達成するためにプログラムの一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得機能と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得機能と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成機能と、をコンピュータに実行させる。

【0023】

本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。

【発明の効果】

【0024】

本発明によれば、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。

【図面の簡単な説明】

【0025】

【図1】識別情報が印字で付された錠剤の撮影画像と印字強調画像の一例

【図2】識別情報が印字及び刻印で付された錠剤の撮影画像の一例

【図3】識別情報が印字及び刻印で付された錠剤の印字強調画像の一例

【図4】薬剤監査装置の上面図

【図5】薬剤監査装置の側面図

【図6】薬剤監査装置の内部構成を示すブロック図

【図7】画像処理方法の処理の一例を示すフローチャート

【図8】刻印抽出画像の一例

【図9】差分画像の一例

【図10】錠剤の差分画像と関心領域の一例

【図11】錠剤の差分画像と関心領域の一例

【発明を実施するための形態】

【0026】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0027】

〔識別情報が印字及び刻印で付された錠剤〕
図１に示す画像Ｇ_１は、識別情報が印字で付された錠剤（薬剤の一例）の撮影画像の一例である。照明ムラ、及び形状ムラは、印字部に対して周波数帯域が低い場合が多い。したがって、識別情報を抽出するには、印字部以外の照明ムラ及び形状ムラを低減させる処理が望ましい。図１に示す画像Ｇ_２は、画像Ｇ_１に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。このように、印字部が抽出された画像を取得することで、調剤されるべき薬剤のマスタ画像との適切な照合が可能となる。

【0028】

図２に示す画像Ｇ_３、画像Ｇ_４、及び画像Ｇ_５は、識別情報が印字及び刻印（割線）で付された錠剤の撮影画像の一例である。これらは同じ種類の錠剤であるが、図２に示すように、印字と刻印との位置関係がそれぞれ異なっており、一定でない。

【0029】

図３に示す画像Ｇ_６は、図２に示す画像Ｇ_３に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。図３に示すように、画像Ｇ_６は、印字部及び刻印部が抽出される。印字と刻印との位置関係が一定でない場合、印字部及び刻印部が抽出された画像でマスタ画像と照合しようとすると、刻印部が照合精度低下に寄与してしまう。

【0030】

本実施形態に係る薬剤監査装置は、類似度を低下させる原因となっている刻印部を除去し、印字部のみを強調することで、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出する。

【0031】

なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。

【0032】

また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。

【0033】

〔薬剤監査装置の構成〕
図４は、本実施形態に係る薬剤監査装置１００の上面図であり、図５は薬剤監査装置１００の側面図である。

【0034】

図４及び図５に示すように、薬剤監査装置１００は、ステージ１０２、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、第８光源１１８、カメラ１２０、及びカメラ１２２を備えている。なお、図４においては、カメラ１２０及びカメラ１２２の図示を省略している。

【0035】

ステージ１０２は、ｘｙ平面（水平面）に平行な載置面１０２Ａ及び裏面１０２Ｂを有する板状部材である。ステージ１０２は、光透過性を有する材料によって構成されている。ここでは、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。ステージ１０２の載置面１０２Ａには、錠剤Ｔが載置される。錠剤Ｔの表面のうち、載置面１０２Ａに接している側の面を下側の面、下側の面の反対面を上側の面とすると、錠剤Ｔの上側の面及び下側の面の少なくとも一方には、錠剤Ｔの識別情報Ｉが刻印、又は印字、又は刻印及び印字により付されている。ここでは、錠剤Ｔは分包袋に包まれていないが、透明又は半透明の分包袋に包まれた状態で載置されてもよい。分包袋には複数の錠剤が包まれていてもよい。また、分包袋が連続して薬包帯を構成してもよい。さらに、ステージ１０２を設けずに、分包袋を撮影可能に支持してもよい。

【0036】

第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状（線状）のＬＥＤ（Light Emitting Diode）光源である。第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、不図示の支持部により支持され、それぞれｚ軸方向に対して傾斜した方向からステージ１０２に向かって可視光の照明光を照射する。ここでは、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８の点灯時の輝度は、それぞれ同一である。

【0037】

第１光源１０４は、ステージ１０２からｚ軸方向の一方側（図５において上側）に一定量離れた位置であって、載置面１０２Ａのｘ軸方向の一方側（図４において左側）の位置に、ｙ軸方向に平行に配置されている。第１光源１０４は、ステージ１０２に向けて第１方向に照明光を照射する。

【0038】

第２光源１０６は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｘ軸方向の他方側（図４において右側）の位置に、ｙ軸方向に平行に配置されている。第２光源１０６は、ステージ１０２に向けて第２方向に照明光を照射する。第２方向は、ｘｙ平面視（表面の平面視の一例）において第１方向と対向する方向である。

【0039】

第３光源１０８は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の一方側（図４において上側）の位置に、ｘ軸方向に平行に配置されている。第３光源１０８は、ステージ１０２に向けて第３方向に照明光を照射する。第３方向は、ｘｙ平面視において第１方向と直交する方向である。

【0040】

第４光源１１０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の他方側（図４において下側）の位置に、ｘ軸方向に平行に配置されている。第４光源１１０は、ステージ１０２に向けて第４方向に照明光を照射する。第４方向は、ｘｙ平面視において第３方向と対向する方向である。

【0041】

第５光源１１２は、ステージ１０２からｚ軸方向の他方側（図５において下側）に一定量離れた位置であって、ｘ軸方向の一方側の位置に、ｙ軸方向に平行に配置されている。第５光源１１２は、ステージ１０２に向けて第５方向に照明光を照射する。第５方向は、ｘｙ平面視において第１方向と同じ方向である。

【0042】

第６光源１１４は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｘ軸方向の他方側の位置に、ｙ軸方向に平行に配置されている。第６光源１１４は、ステージ１０２に向けて第６方向に照明光を照射する。第６方向は、ｘｙ平面視において第５方向と対向する方向である。

【0043】

第７光源１１６は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の一方側の位置に、ｘ軸方向に平行に配置されている。第７光源１１６は、ステージ１０２に向けて第７方向に照明光を照射する。第７方向は、ｘｙ平面視において第５方向と直交する方向である。

【0044】

第８光源１１８は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の他方側の位置に、ｘ軸方向に平行に配置されている。第８光源１１８は、ステージ１０２に向けて第８方向に照明光を照射する。第８方向は、ｘｙ平面視において第７方向と対向する方向である。

【0045】

カメラ１２０及びカメラ１２２（撮影部の一例）は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ１２０及びカメラ１２２は、それぞれ不図示のレンズ及び撮像素子を備えている。

【0046】

カメラ１２０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置に設けられている。カメラ１２０は、光軸をｚ軸方向に平行にして載置面１０２Ａに向けて配置されている。カメラ１２２は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置に設けられている。カメラ１２２は、光軸をｚ軸方向に平行にして裏面１０２Ｂに向けて配置されている。カメラ１２０の光軸及びカメラ１２２の光軸は、ステージ１０２を介して対向している。

【0047】

図６は、薬剤監査装置１００の内部構成を示すブロック図である。薬剤監査装置１００は、取得部１２４、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、記憶部１４８、判定部１５０、及び表示部１５２を備えている。

【0048】

取得部１２４（第１画像取得部の一例、第２画像取得部の一例）は、前述のカメラ１２０及びカメラ１２２の他、照射部１２６及び撮影制御部１２８を含んで構成される。

【0049】

照射部１２６は複数の光源を有している。ここでは、照射部１２６は、前述の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を備えている。

【0050】

撮影制御部１２８（第１撮影制御部の一例、第２撮影制御部の一例）は、照射部１２６の各光源に対して、点灯及び消灯をそれぞれ制御する。

【0051】

また、撮影制御部１２８は、カメラ１２０及びカメラ１２２を制御する。カメラ１２０及びカメラ１２２は、撮影制御部１２８の制御に従って、錠剤Ｔの表面に複数の光源によりそれぞれ光が照射された錠剤Ｔをそれぞれ撮影する。これにより、取得部１２４は、複数の撮影画像を取得する。

【0052】

なお、取得部１２４は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Ｔの複数の画像を取得する構成としてもよい。

【0053】

画像処理装置１３０は、第１画像処理部１３２、第２画像処理部１３６、及び差分画像生成部１４２を備えている。

【0054】

第１画像処理部１３２は、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する。第１画像処理部１３２は、低周波成分除去部１３４を備えている。低周波成分除去部１３４は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行う。

【0055】

第２画像処理部１３６は、少なくとも３枚の撮影画像に基づいて錠剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する。第２画像処理部１３６は、三次元情報取得部１３８、及び曲率画像生成部１４０を備えている。

【0056】

三次元情報取得部１３８は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により錠剤の表面の三次元情報を取得する。また、曲率画像生成部１４０は、三次元情報に基づいて錠剤の表面の局所領域の曲率を表す曲率画像を生成する。

【0057】

差分画像生成部１４２は、印字強調画像及び刻印抽出画像の差分画像を生成する。

【0058】

処方箋情報取得部１４４は、例えば不図示の処方箋リーダを備え、処方箋を読み取って処方箋情報を取得する。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤、及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、ユーザが処方箋を読み取り、不図示のキーボード等の入力デバイスにより処方箋情報を入力してもよい。

【0059】

マスタ画像取得部１４６は、処方箋情報取得部１４４によって取得した処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を記憶部１４８から取得する。

【0060】

記憶部１４８はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク、各種半導体メモリ等の非一時的記録媒体により構成される。記憶部１４８には、処方箋情報、マスタ画像、カメラ１２０及びカメラ１２２により取得した撮影画像、又は撮影画像に画像処理を施した処理済み撮影画像が互いに関連づけて記憶される。

【0061】

判定部１５０は、マスタ画像取得部１４６において取得したマスタ画像と差分画像生成部１４２において生成した差分画像とを照合して、調剤されるべき薬剤とステージ１０２に載置された薬剤とが同一であるか否かを判定する。

【0062】

表示部１５２は不図示のモニタを備えており、処方箋情報取得部１４４から取得された処方箋情報、分包された薬剤の撮影画像、記憶部１４８に記憶されたマスタ画像等を表示する。また、表示部１５２は、判定部１５０の判定結果を表示する。

【0063】

〔画像処理方法〕
本実施形態に係る画像処理方法について説明する。図７は画像処理方法の処理の一例を示すフローチャートである。

【0064】

ステップＳ１において、処方箋情報取得部１４４は、不図示の処方箋リーダによって処方箋を読み取り、処方箋情報を取得する。処方箋情報取得部１４４は、記憶部１４８に予め記憶されている処方箋情報を読み取ってもよい。

【0065】

ステップＳ２（第１画像取得工程の一例、第１画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を全て点灯させて錠剤の表面に光を照射した状態でカメラ１２０によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの上側の面の撮影画像であって、錠剤Ｔの上側の面に十分に照明が行き届いた撮影画像を取得する。

【0066】

また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を全て点灯させた状態でカメラ１２２によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの下側の面の撮影画像であって、錠剤Ｔの下側の面に十分に照明が行き届いた撮影画像を取得する。

【0067】

ステップＳ３では、第１画像処理部１３２において、ステップＳ２において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域（薬剤領域）を検出する。ステージ１０２に複数の錠剤が載置されている場合は、１枚の撮影画像から複数の錠剤領域を検出する。錠剤領域を検出することで、この後における画像処理を行う領域を限定することができ、画像処理にかかる時間を短縮することができる。なお、同じ錠剤についての錠剤領域であって、カメラ１２０の撮影画像から検出された錠剤Ｔの上側の面の錠剤領域と、カメラ１２２の撮影画像から検出された錠剤Ｔの下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。図２に示す画像Ｇ_３は、錠剤領域の一例である。

【0068】

ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、第１画像処理部１３２は、ステップＳ３で検出した錠剤領域について錠剤の印字部分を強調する処理を行い、一対の印字強調画像を生成する。

【0069】

前述したように、照射部１２６による照明ムラ、及び錠剤Ｔの形状ムラは、錠剤Ｔの印字部分に対して周波数帯域が低い場合が多い。したがって、ここでは低周波成分除去部１３４において錠剤領域の低周波成分を取り除いて、印字強調画像を生成する。図３に示す画像Ｇ_６は、印字強調画像の一例である。

【0070】

ステップＳ５（第２画像取得工程の一例、第２画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔの表面へ照射する光の照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２０によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの上側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚（少なくとも３枚の一例）の錠剤Ｔの撮影画像を取得する。

【0071】

また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔを照射する照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２２によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの下側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚の錠剤Ｔの撮影画像を取得する。

【0072】

ステップＳ６では、第２画像処理部１３６において、ステップＳ５において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域を検出する。なお、同じ錠剤の上側の面の錠剤領域と下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。

【0073】

ステップＳ７（第２画像処理工程の一例、第２画像処理機能の一例）では、第２画像処理部１３６は、ステップＳ６で検出した錠剤領域について錠剤の立体形状から刻印部分のみを抽出する処理を行い、一対の刻印抽出画像を生成する。

【0074】

ここでは、三次元情報取得部１３８において、照度差ステレオ法（フォトメトリックステレオ法）を用いて三次元情報を取得し、xyz画像（三次元画像）を生成する。

【0075】

照度差ステレオ法は、光の照射方向を異ならせて同一地点において撮影した複数の画像を用いて、各位置の明るさの変化からその位置の面の法線方向を推定する手法である。すなわち、照度差ステレオ法により、各位置の接平面に直交する単位法線ベクトルを求めることができる。

【0076】

なお、照度差ステレオ法で用いるカメラ１２０によって撮影された４枚の画像は、第２画像処理部１３６において、それぞれ検出された錠剤領域の平均の信号値で規格化しておくことが望ましい。カメラ１２２によって撮影された４枚の画像についても同様である。照射部１２６の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状の光源（バー照明）である。撮影画像の錠剤領域の平均輝度を合わせておくことで、照度差ステレオ法を用いる際の原理的な制約である「無限遠の点光源」の条件が緩和され、バー照明条件でも照度差ステレオ法の適用が可能となる。

【0077】

また、曲率画像生成部１４０は、照度差ステレオ法によって得られた単位法線ベクトル（三次元情報の一例）から法曲率を算出する。法曲率とは、曲面を法線方向に沿った平面で切った際の平面と、切られた曲面との交線（曲線）の曲率である。ここで、単位法線ベクトルを軸にして３６０°に渡って法曲率を求めることにより、法曲率の最大値である最大主曲率及び最小値である最小主曲率を求める。

【0078】

次に、曲率画像生成部１４０は、平均曲率を算出する。平均曲率は、（最大主曲率＋最小主曲率）／２によって求めることができる。

【0079】

さらに、曲率画像生成部１４０は、刻印抽出画像として、このように算出した各位置の平均曲率から曲率画像を生成する。本実施形態では、平均曲率の相対的に高い位置を相対的に高い輝度で表した曲率画像を生成する。これにより、刻印を抽出して相対的に高い輝度で表現した刻印抽出画像を生成することができる。

【0080】

図８に示す画像Ｇ_７は、図２に示す画像Ｇ_３に対して刻印部分のみを抽出する処理を行った結果である刻印抽出画像の一例である。なお、ここではｚ軸のレンジは調整している。

【0081】

ステップＳ８（差分画像生成工程の一例、差分画像生成機能の一例）では、差分画像生成部１４２は、錠剤領域毎に、ステップＳ４で生成した印字強調画像からステップＳ７で生成した刻印抽出画像を差し引いた一対の差分画像を生成する。

【0082】

図９に示す画像Ｇ_８は、図３に示す印字強調画像である画像Ｇ_６から図８に示す刻印抽出画像である画像Ｇ_７を差し引いた結果である差分画像の一例である。このように、印字部分のみが相対的に輝度の高い部分として適切に抽出される。なお、画像Ｇ_７において抽出された錠剤の輪郭部分については、差分の対象としていない。

【0083】

ステップＳ９では、画像処理装置１３０は、錠剤の差分画像を選択する。ステージ１０２に複数の錠剤が載置されている場合は、複数対の差分画像から一対の差分画像を選択する。

【0084】

ステップＳ１０では、処方された薬剤の一対のマスタ画像を記憶部１４８から読み出し、取得する。複数の薬剤が処方されている場合は、処方された複数の薬剤のうちの１つの薬剤の一対のマスタ画像を読み出す。マスタ画像は、印字部分が相対的に輝度の高い部分として表現された画像である。

【0085】

ステップＳ１１では、判定部１５０において、ステップＳ９で選択した差分画像とステップＳ１０で取得したマスタ画像との類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。類似度は、公知の手法によって算出すればよい。

【0086】

ステップＳ１２では、判定部１５０は、ステップＳ１１で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。

【0087】

ステップＳ１３では、処方された薬剤の全てのマスタ画像についてステップＳ９で選択された差分画像との照合を行ったか否かを判定する。照合を行っていないマスタ画像がある場合は、ステップＳ１０に戻り、新たな一対のマスタ画像を選択し、同様の処理を行う。全てのマスタ画像について照合を行った場合は、ステップＳ１４に移行する。

【0088】

ステップＳ１４では、ステップＳ８で生成した全ての差分画像について照合が終了したか否かを判定する。照合を行っていない差分画像がある場合は、ステップＳ９に戻り、新たな一対の差分画像を選択し、同様の処理を行う。全ての差分画像について照合を行った場合は、ステップＳ１５に移行する。

【0089】

ステップＳ１５では、マスタ画像と差分画像との照合結果に基づいて、処方された薬剤が処方箋通りか否かを判定する。

【0090】

処方された薬剤が処方箋と異なる場合は、ステップＳ１６に移行し、表示部１５２において、処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。

【0091】

一方、処方された薬剤が処方箋通りの場合は、ステップＳ１７に移行し、表示部１５２において、監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。

【0092】

処方された薬剤の全てのマスタ画像と生成された全ての差分画像との全ての組み合わせについて類似度を算出し、最も類似度の高い組み合わせについて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定してもよい。

【0093】

この場合、調剤されるべき薬剤と調剤された薬剤とが同一であると判定された組み合わせについて順次照合対象から排除し、残りのマスタ画像と残りの差分画像とについて最も類似度が高い組み合わせついて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定すればよい。

【0094】

〔関心領域の設定〕
錠剤領域全体を関心領域とした場合、テレセントリックな光学系で撮影しない限り、ステージ１０２の中心部（カメラ１２０及びカメラ１２２の光軸に近い位置）に載置した場合と端部（カメラ１２０及びカメラ１２２の光軸から相対的に離れた位置）に載置した場合とでは、同じ錠剤であっても写り方が異なる。例えば、ステージ１０２の端部に載置した場合、照度差ステレオ法で得られる平均曲率は、錠剤の側面の情報を含んでしまう。

【0095】

したがって、錠剤に関心領域を設定することが好ましい。関心領域は、錠剤の載置位置に応じて、関心領域の位置、形状、及び大きさを設定してもよい。例えば、判定部１５０（関心領域設定部の一例）において、錠剤の薬剤の画像に関心領域を設定する。

【0096】

図１０に示す画像Ｇ_９は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１０に示す画像Ｇ_１０は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１０に示すように、画像Ｇ_９には関心領域Ａ_９が、画像Ｇ_１０には関心領域Ａ_１０が設定されている。

【0097】

また、判定部１５０（テンプレート生成部の一例）は、設定した関心領域の位置、形状、及び大きさに対応させてマスタ画像からテンプレートを生成し、差分画像の関心領域とテンプレートとを照合する。

【0098】

このように関心領域を設定することで、照合精度を向上させることができる。

【0099】

図１１に示す画像Ｇ_１１は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１１に示す画像Ｇ_１２は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１１に示すように、画像Ｇ_１１には関心領域Ａ_１１が、画像Ｇ_１２には関心領域Ａ_１２が設定されている。

【0100】

この錠剤は、円周上に印字部、又は刻印部が配置されている。したがって、関心領域Ａ_１１及び関心領域Ａ_１２に印字部、又は刻印部が収まっていない。このように、関心領域を錠剤の中央部に設定すると、照合精度が低下する場合もある。したがって、関心領域は、錠剤毎に異なる位置に設定してもよい。

【0101】

〔その他〕
上記の画像処理方法は、コンピュータに第１画像取得機能、第１画像処理機能、第２画像取得機能、第２画像処理機能、及び差分画像生成機能を実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

【0102】

ここまで説明した実施形態において、例えば、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、及び判定部１５０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0103】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

【0104】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0105】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0106】

１００ 薬剤監査装置
１０２ ステージ
１０２Ａ 載置面
１０２Ｂ 裏面
１０４ 第１光源
１０６ 第２光源
１０８ 第３光源
１１０ 第４光源
１１２ 第５光源
１１４ 第６光源
１１６ 第７光源
１１８ 第８光源
１２０ カメラ
１２２ カメラ
１２４ 取得部
１２６ 照射部
１２８ 撮影制御部
１３０ 画像処理装置
１３２ 第１画像処理部
１３４ 低周波成分除去部
１３６ 第２画像処理部
１３８ 三次元情報取得部
１４０ 曲率画像生成部
１４２ 差分画像生成部
１４４ 処方箋情報取得部
１４６ マスタ画像取得部
１４８ 記憶部
１５０ 判定部
１５２ 表示部
Ａ９〜Ａ１２ 関心領域
Ｇ１〜Ｇ１２ 画像
Ｉ 識別情報
Ｔ 錠剤
Ｓ１〜Ｓ１７ 画像処理方法の各処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】