(58)【調査した分野】(Int.Cl.,DB名)
前記照射部は、複数の光源によって前記表面に垂直な方向に対して傾斜した複数の方向からそれぞれ光を照射するドーム照明を含む請求項6から8のいずれか1項に記載の薬剤識別装置。
【発明を実施するための形態】
【0028】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0029】
<第1の実施形態>
薬剤(錠剤)の表面には、薬剤の種別を識別するための識別情報が付されている。この識別情報は、一般に、刻印又は印字(印刷)によって付される。したがって、この識別情報が刻印及び印字のいずれで付されたかを判別することができれば、薬剤の照合プロセスの候補を減らすことができる。
【0030】
第1〜第3の実施形態に係る薬剤識別装置は、表面に付された薬剤の識別情報が、刻印及び印字のいずれにより付されたかを判定する。
【0031】
なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
【0032】
また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
【0033】
〔薬剤識別装置の構成〕
図1は、第1の実施形態に係る薬剤識別装置100(画像処理装置の一例)の上面図であり、
図2は薬剤識別装置100の側面図である。
【0034】
図1及び
図2に示すように、薬剤識別装置100は、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。なお、
図1においては、カメラ120及びカメラ122の図示を省略している。
【0035】
ステージ102は、xy平面(水平面)に平行な載置面102A及び裏面102Bを有する板状部材である。ステージ102は、光透過性を有する材料によって構成されている。ここでは、x軸方向に130mm、y軸方向に80mmの大きさを有している。ステージ102の載置面102Aには、錠剤T(薬剤の一例)が載置される。錠剤Tのうち、載置面102Aに接している面を下面、下面の反対面を上面とすると、錠剤Tの上面及び下面の少なくとも一方には、錠剤Tの識別情報Iが刻印又は印字により付されている。ここでは、錠剤Tは分包紙に包まれていないが、透明又は半透明の分包紙に包まれた状態で載置されてもよい。
【0036】
第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、それぞれバー状(線状)のLED(Light Emitting Diode)光源である。第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、不図示の支持部により支持され、それぞれz軸方向に対して傾斜した方向からステージ102に向かって可視光の照明光を照射する。ここでは、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の点灯時の輝度は、それぞれ同一である。
【0037】
第1光源104は、ステージ102からz軸方向の一方側(
図2において上側)に一定量離れた位置であって、載置面102Aのx軸方向の一方側(
図1において左側)の位置に、y軸方向に平行に配置されている。第1光源104は、ステージ102に向けて第1方向に照明光を照射する。
【0038】
第2光源106は、ステージ102からz軸方向の一方側に一定量離れた位置であって、x軸方向の他方側(
図1において右側)の位置に、y軸方向に平行に配置されている。第2光源106は、ステージ102に向けて第2方向に照明光を照射する。第2方向は、xy平面視(表面の平面視の一例)において第1方向と対向する方向である。
【0039】
第3光源108は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の一方側(
図1において上側)の位置に、x軸方向に平行に配置されている。第3光源108は、ステージ102に向けて第3方向に照明光を照射する。第3方向は、xy平面視において第1方向と直交する方向である。
【0040】
第4光源110は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の他方側(
図1において下側)の位置に、x軸方向に平行に配置されている。第4光源110は、ステージ102に向けて第4方向に照明光を照射する。第4方向は、xy平面視において第3方向と対向する方向である。
【0041】
第5光源112は、ステージ102からz軸方向の他方側(
図2において下側)に一定量離れた位置であって、x軸方向の一方側の位置に、y軸方向に平行に配置されている。第5光源112は、ステージ102に向けて第5方向に照明光を照射する。第5方向は、xy平面視において第1方向と同じ方向である。
【0042】
第6光源114は、ステージ102からz軸方向の他方側に一定量離れた位置であって、x軸方向の他方側の位置に、y軸方向に平行に配置されている。第6光源114は、ステージ102に向けて第6方向に照明光を照射する。第6方向は、xy平面視において第5方向と対向する方向である。
【0043】
第7光源116は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の一方側の位置に、x軸方向に平行に配置されている。第7光源116は、ステージ102に向けて第7方向に照明光を照射する。第7方向は、xy平面視において第5方向と直交する方向である。
【0044】
第8光源118は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の他方側の位置に、x軸方向に平行に配置されている。第8光源118は、ステージ102に向けて第8方向に照明光を照射する。第8方向は、xy平面視において第7方向と対向する方向である。
【0045】
カメラ120及びカメラ122は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ120及びカメラ122は、それぞれ不図示のレンズ及び撮像素子を備えている。
【0046】
カメラ120は、ステージ102からz軸方向の一方側に一定量離れた位置に設けられている。カメラ120は、光軸をz軸方向に平行にして載置面102Aに向けて配置されている。カメラ122は、ステージ102からz軸方向の他方側に一定量離れた位置に設けられている。カメラ122は、光軸をz軸方向に平行にして裏面102Bに向けて配置されている。カメラ120の光軸及びカメラ122の光軸は、ステージ102を介して対向している。
【0047】
図3は、薬剤識別装置100の内部構成を示すブロック図である。薬剤識別装置100は、取得部124、画像比較部130、及び判定部136を備えている。
【0048】
取得部124は、前述のカメラ120及びカメラ122の他、照射部126及び撮影制御部128を含んで構成される。
【0049】
照射部126は複数の光源を有している。ここでは、照射部126は、前述の第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118を備えている。
【0050】
撮影制御部128は、照射部126の各光源に対して、点灯及び消灯をそれぞれ制御する。
【0051】
また、撮影制御部128は、カメラ120及びカメラ122を制御する。カメラ120及びカメラ122は、撮影制御部128の制御に従って、錠剤Tの表面に複数の光源によりそれぞれ光が照射された錠剤Tをそれぞれ撮影し、複数の撮影画像を取得する。
【0052】
なお、取得部124は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Tの表面への光の照射方向がそれぞれ異なる錠剤Tの複数の画像を取得する構成としてもよい。
【0053】
画像比較部130は、取得部124が取得した複数の撮影画像をそれぞれ比較する。画像比較部130は、画像処理部132、及び相関度検出部134を備えている。
【0054】
画像処理部132は、取得部124が取得した複数の撮影画像に対してそれぞれ輝度ムラ補正処理、及びノイズ低減処理等の画像処理を施す。相関度検出部134は、画像処理部132により画像処理が施された各画像同士の相関度を評価する。
【0055】
判定部136は、画像比較部130の比較結果に応じて錠剤Tの識別情報Iが刻印及び印字のいずれにより付されたかを判定する。ここでは、相関度検出部134によって検出された相関度と、予め定められた閾値とを比較して判定する。なお、判定部136は、錠剤Tの表面に刻印が付されているか否かを判定してもよい。
【0056】
〔画像処理方法〕
第1の実施形態に係る画像処理方法について説明する。ここでは、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されているものとする。すなわち、識別情報Iは錠剤Tの上面に配置されている。また、錠剤Tには、照射部126の光源による照明光以外の光は照射されない環境であることが好ましい。
【0057】
まず、撮影制御部128は、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の全てを点灯し、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
【0058】
次に、撮影制御部128は、第1光源104及び第5光源112を点灯し、その他の光源を消灯し、第1光源104及び第5光源112により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の左入射画像及び下面の左入射画像を取得する。
【0059】
次に、撮影制御部128は、第2光源106及び第6光源114を点灯し、その他の光源を消灯し、第2光源106及び第6光源114により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の右入射画像及び下面の右入射画像を取得する。
【0060】
続いて、撮影制御部128は、第3光源108及び第7光源116を点灯し、その他の光源を消灯し、第3光源108及び第7光源116により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の上入射画像及び下面の上入射画像を取得する。
【0061】
さらに、撮影制御部128は、第4光源110及び第8光源118を点灯し、その他の光源を消灯し、第4光源110及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の下入射画像及び下面の下入射画像を取得する(取得工程の一例、取得機能の一例)。
【0062】
このように撮影された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像は、画像比較部130に入力される。
【0063】
画像比較部130の画像処理部132は、入力された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像から、識別情報Iが撮影されている画像を抽出する。ここでは、識別情報Iは鉛直方向の上側に向けられているため、識別情報Iはカメラ120によって撮影されている。
図4は、取得部124において取得された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像のうち、カメラ120によって撮影された錠剤Tの上面の全方向入射画像G
A1、左入射画像G
L1、右入射画像G
R1、上入射画像G
U1、及び下入射画像G
D1の一例を示す図である。なお、識別情報Iが鉛直方向の下側に向けている場合は、識別情報Iはカメラ122によって撮影される。また、ステージ102に複数の錠剤Tが載置され、複数の錠剤Tが撮影された場合は、各画像から所望の錠剤Tの領域を抽出してもよい。
【0064】
画像処理部132は、全方向入射画像G
A1、左入射画像G
L1、右入射画像G
R1、上入射画像G
U1、及び下入射画像G
D1にそれぞれ輝度ムラ補正処理を施し、全方向補正画像G
A2、左補正画像G
L2、右補正画像G
R2、上補正画像G
U2、及び下補正画像G
D2を生成する。
【0065】
この輝度ムラ補正処理は、例えば全方向入射画像G
A1、左入射画像G
L1、右入射画像G
R1、上入射画像G
U1、及び下入射画像G
D1を、全方向入射画像G
A1、左入射画像G
L1、右入射画像G
R1、上入射画像G
U1、及び下入射画像G
D1にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
【0066】
図5は、画像処理部132において輝度ムラ補正処理が施された全方向補正画像G
A2、左補正画像G
L2、右補正画像G
R2、上補正画像G
U2、及び下補正画像G
D2を示す図である。
【0067】
また、画像処理部132は、全方向補正画像G
A2、左補正画像G
L2、右補正画像G
R2、上補正画像G
U2、及び下補正画像G
D2に、それぞれノイズ低減処理を施してもよい。
【0068】
このノイズ低減処理は、例えばメディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含む処理を施す。
【0069】
なお、画像処理部132は、輝度ムラ補正処理前の全方向入射画像G
A1、左入射画像G
L1、右入射画像G
R1、上入射画像G
U1、及び下入射画像G
D1に、それぞれノイズ低減処理を施してもよい。
【0070】
続いて、画像比較部130の相関度検出部134は、全方向補正画像G
A2、左補正画像G
L2、右補正画像G
R2、上補正画像G
U2、及び下補正画像G
D2をそれぞれ比較し、各画像の識別情報Iの領域(刻印又は印字領域の一例)の相関度を検出する(画像比較工程の一例、画像比較機能の一例)。本実施形態に係る相関度は、比較した画像の相関が大きいほど値が高くなる指標である。相関度は、例えば、ゼロ平均正規化相互相関マッチング等のテンプレートマッチングを用いて検出する。
【0071】
図6は、識別情報Iが印字Pにより付されている場合の全方向補正画像G
A2、左補正画像G
L2、右補正画像G
R2、上補正画像G
U2、及び下補正画像G
D2の識別情報Iの領域と、識別情報Iが刻印Sにより付されている場合の全方向補正画像G
A3、左補正画像G
L3、右補正画像G
R3、上補正画像G
U3、及び下補正画像G
D3の識別情報Iの領域との一例を示す図である。
【0072】
図6に示すように、識別情報Iが印字Pにより付されている場合は、照明光の照射方向に依存せずに識別情報Iの輪郭が保存される。したがって、画像間の相関度が相対的に高くなる。一方、識別情報Iが刻印Sで付されている場合は、刻印は照明光の照射方向に依存して影の位置が異なるために、識別情報Iの輪郭は照射方向によって大きく異なる。したがって、画像間の相関度が相対的に低くなる。
【0073】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する(判定工程の一例、判定機能の一例)。
【0074】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
【0075】
本実施形態では、4方向から照明光を照射することで、4枚の各方向入射画像及び1枚の全方向入射画像を取得したが、2方向から照明光を照射することで、2枚の各方向の入射画像及び1枚の両方向入射画像を取得してもよい。なお、3方向以上から照明光を照射することで、3枚以上の各方向の入射画像及び1枚の全方向入射画像を取得することが好ましい。
【0076】
<第2の実施形態>
〔薬剤識別装置の構成〕
図7は、第2の実施形態に係る薬剤識別装置140の斜視図であり、
図8は薬剤識別装置140の上面図である。なお、
図1及び
図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0077】
図7及び
図8に示すように、薬剤識別装置140は、ステージ102、カメラ120、カメラ122、載置面側ドーム照明142及び裏面側ドーム照明148を備えている。なお、
図8においては、カメラ120、カメラ122、及び裏面側ドーム照明148の図示を省略している。
【0078】
載置面側ドーム照明142は、ステージ102からz軸方向の一方側(載置面102A側)に一定量離れた位置に、不図示の支持部により支持されている。載置面側ドーム照明142は、光源保持部144及び複数の点光源146を含んで構成されている。光源保持部144は、複数の点光源146を保持する保持部材である。光源保持部144は光透過性を有する材料によって形成されている。光源保持部144は略ドーム形状に形成されている。
【0079】
光源保持部144の鉛直方向の上側には、光源保持部144の内部を露呈させる開口窓144Aが形成されている。開口窓144Aの鉛直方向の上方には、カメラ120が配置されている。これにより、カメラ120によって開口窓144Aを介して光源保持部144内の錠剤Tを撮影することができる。光源保持部144内の錠剤Tとは、ステージ102に載置され、かつ光源保持部144の内側に位置する錠剤Tをいう。
【0080】
点光源146は、LED光源が用いられる。点光源146は、光源保持部144の外側面の下段部及び上段部のそれぞれの周方向に沿って等間隔に8個取り付けられている。これら16個の点光源146は、光源保持部144内の錠剤Tに向けて照明光を照射する。
【0081】
裏面側ドーム照明148は、ステージ102からz軸方向の他方側(裏面102B側)に一定量離れた位置に、不図示の支持部により支持されている。裏面側ドーム照明148は、光源保持部150及び複数の点光源152を含んで構成されている。光源保持部150は、載置面側ドーム照明142の光源保持部144と同様に構成されている。
【0082】
光源保持部150の鉛直方向の下側には、光源保持部150の内部を露呈させる開口窓150Aが形成されている。開口窓150Aの鉛直方向の下方には、カメラ122が配置されている。これにより、カメラ122によって開口窓150Aを介して光源保持部150内の錠剤Tを撮影することができる。光源保持部150内の錠剤Tとは、ステージ102に載置され、かつ光源保持部150の内側に位置する錠剤Tをいう。
【0083】
点光源152の構成及び配置は、載置面側ドーム照明142の点光源146と同様である。ここでは、複数の点光源146及び複数の点光源152の点灯時の輝度は、それぞれ同一である。
【0084】
また、薬剤識別装置140の内部構成を示すブロック図は、
図3に示した薬剤識別装置100のブロック図と同様であり、点光源146及び点光源152が照射部126に含まれる。
【0085】
このように構成された薬剤識別装置140は、載置面側ドーム照明142の各点光源146、及び裏面側ドーム照明148の各点光源152のそれぞれの点灯及び消灯を制御することにより、光源保持部144内の錠剤Tに任意の照射方向から照明光を照射することができる。
【0086】
〔画像処理方法〕
第2の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0087】
まず、薬剤識別装置140の撮影制御部128は、載置面側ドーム照明142の複数の点光源146、及び裏面側ドーム照明148の各点光源152を全て点灯する。これにより、複数の点光源146は、錠剤Tの表面(上面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。また、複数の点光源152は、錠剤Tの表面(下面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。
【0088】
また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
【0089】
次に、撮影制御部128は、載置面側ドーム照明142の複数の点光源146のうち1つの点光源146を点灯し、残りを消灯する。同様に、裏面側ドーム照明148の複数の点光源152のうち1つの点光源152を点灯し、残りを消灯する。このように、点光源146及び点光源152は、錠剤Tの表面に垂直な方向に対して傾斜した一方向から光を照射する。
【0090】
そして、撮影制御部128は、カメラ120及びカメラ122により錠剤Tを撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。全方向入射画像及び一方向入射画像は、画像比較部130に入力される。
【0091】
画像比較部130の画像処理部132は、入力された全方向入射画像及び一方向入射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された全方向入射画像及び一方向入射画像を抽出する。また、画像処理部132は、抽出した全方向入射画像及び一方向入射画像にそれぞれ輝度ムラ補正処理を施し、全方向補正画像及び一方向補正画像を生成する。
【0092】
続いて、画像比較部130の相関度検出部134は、全方向補正画像及び一方向補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
【0093】
識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、全方向補正画像(全方向入射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
【0094】
一方、識別情報Iが印字によって付されている場合は、全方向補正画像(全方向入射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
【0095】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
【0096】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
【0097】
なお、薬剤識別装置140によれば、載置面側ドーム照明142の点光源146、及び裏面側ドーム照明148のそれぞれの点灯及び消灯を制御することにより、第1の実施形態の同様の全方向(4方向)入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像を取得することも可能である。
【0098】
<第3の実施形態>
〔薬剤識別装置の構成〕
図9は、第3の実施形態に係る薬剤識別装置160の上面図であり、
図10は薬剤識別装置160の側面図である。なお、
図1及び
図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0099】
図9及び
図10に示すように、薬剤識別装置160は、ステージ102、第1光源104、第5光源112、カメラ120、カメラ122、第1落射照明162、及び第2落射照明168を備えている。なお、
図9においては、カメラ120、カメラ122、及び第2落射照明168の図示を省略している。
【0100】
第1落射照明162は、ステージ102とカメラ120との間であって、カメラ120の光軸上に配置され、不図示の支持部により支持されている。第1落射照明162は、光源164及びハーフミラー166を備えている。
【0101】
光源164は、LED光源が用いられる。ハーフミラー166は、光源164から射出された照明光を、カメラ120の光軸と一致する方向に反射させる。また、ハーフミラー166は、ステージ102から戻ってきた反射光を透過させ、カメラ120に入射させる。このように、第1落射照明162は、カメラ120の光軸と同軸の落射照明光をステージ102の載置面102Aに向けて照射する。
【0102】
また、第2落射照明168は、ステージ102とカメラ122との間であって、カメラ122の光軸上に、不図示の支持部により支持されている。第2落射照明168は、光源170及びハーフミラー172を備えている。
【0103】
光源170は、LED光源が用いられる。ハーフミラー172は、光源170から射出された照明光を、カメラ122の光軸と一致する方向に反射させる。また、ハーフミラー172は、ステージ102から戻ってきた反射光を透過させ、カメラ122に入射させる。このように、第2落射照明168は、カメラ122の光軸と同軸の落射照明光をステージ102の裏面102Bに向けて照射する。
【0104】
また、薬剤識別装置160の内部構成を示すブロック図は、
図3に示した薬剤識別装置100のブロック図と同様であり、光源164及び光源170が照射部126に含まれる。
【0105】
このように構成された薬剤識別装置160は、第1光源104及び第5光源112により、それぞれ錠剤Tの表面に対して傾斜した一方向から照明光を照射することができる。また、第1落射照明162及び第2落射照明168により、それぞれ錠剤Tの表面に対して落射方向(垂直方向)から照明光を照射することができる。
【0106】
〔画像処理方法〕
第3の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0107】
まず、薬剤識別装置160の撮影制御部128は、第1光源104及び第5光源112を点灯し、第1落射照明162及び第2落射照明168を消灯する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。
【0108】
次に、撮影制御部128は、第1落射照明162及び第2落射照明168を点灯し、第1光源104及び第5光源112を消灯する。そして、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の落射画像及び下面の落射画像を取得する。一方向入射画像及び落射画像は、画像比較部130に入力される。
【0109】
画像比較部130の画像処理部132は、入力された一方向入射画像及び落射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された一方向入射画像及び落射画像を抽出する。また、画像処理部132は、抽出した一方向入射画像及び落射画像にそれぞれ輝度ムラ補正処理を施し、一方向補正画像及び落射補正画像を生成する。
【0110】
続いて、画像比較部130の相関度検出部134は、一方向補正画像及び落射補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
【0111】
識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、落射補正画像(落射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
【0112】
一方、識別情報Iが印字によって付されている場合は、落射補正画像(落射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
【0113】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
【0114】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、照合の演算処理の負荷を低減させることができる。
【0115】
<第4の実施形態>
錠剤の刻印及び割線を抽出すると、錠剤の照合のロバスト性が向上する。照合において局所特徴量又はテンプレートマッチング等の画像同士の比較をする場合、及びOCR(Optical Character Recognition)等の文字認識をする場合においても同様である。
【0116】
ロバスト性が低下する原因は、いかなる場合においても比較の対象となる画像同士が異なっているためである。特に、光源と刻印及び割線との位置関係が成り行きで決定される場合に、刻印及び割線の画像間の差は顕著となる。これは、光源と刻印及び割線の位置関係に依存して、溝の影の発生の様子が異なるためである。
【0117】
第4〜第5の実施形態に係る薬剤識別装置は、光の照射方向と刻印の影が発生する方向との関係を利用して、光の照射方向に応じたエッジ抽出フィルタ処理を行って錠剤の溝部分のみを抽出する。これにより、光源と刻印の位置関係が成り行きで決定される場合であっても、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する。
【0118】
〔薬剤識別装置の構成〕
図11は、第4の実施形態に係る薬剤識別装置180の上面図であり、
図12は薬剤識別装置180の側面図である。薬剤識別装置180の外観上の構成は、
図1及び
図2に示した薬剤識別装置100の構成と共通であり、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。ここでは、ステージ102の位置A及び位置Bに、それぞれ1つの錠剤Tが載置されている例を示している。
【0119】
錠剤Tは、それぞれ直径がDであり、表面には断面がV字状の溝からなる割線である刻印Sが形成されている。刻印Sの溝の幅はWである。なお、刻印Sの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、錠剤Tの表面における距離をいう。
図11に示す例では、錠剤Tは、刻印Sを鉛直方向の上側に向けて、かつ刻印Sをy軸方向に平行にして、ステージ102に載置されている。
【0120】
図13は、薬剤識別装置180の内部構成を示すブロック図である。なお、
図3に示したブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤識別装置180は、取得部124、エッジ画像生成部182、及び画像合成部184を備えている。
【0121】
取得部124は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する。本実施形態では、カメラ120及びカメラ122により、360dpi(dot per inch)の解像度の画像を取得する。
【0122】
エッジ画像生成部182は、取得部124において取得した複数の画像の各画像に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅の画素数に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成する。
【0123】
画像合成部184は、エッジ画像生成部182において生成した複数のエッジ画像を合成して合成画像を生成する。
【0124】
〔光源と刻印との位置関係による影の発生の違い〕
ここで、光源と刻印(割線)との位置関係による影の発生の違いについて説明する。
【0125】
図14は、
図11に示した錠剤Tのxy平面視の中心を通るx軸方向の断面構造の模式図であり、1画素分のラインのプロファイルを示している。
【0126】
ここで、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、ステージ102に載置された錠剤Tに第1光源104から
図14に示す照明光L
Lを照射する。そして、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。
【0127】
図15に示すプロファイルP
PALは、位置Aに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、
図15に示すプロファイルP
PBLは、位置Bに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。
図15において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。
図15に示すように、錠剤Tの表面の部分は照明光L
Lが照射されることによって輝度が相対的に高くなる。また、刻印Sの
図14における右側の面S
Rにも照明光L
Lが照射されるため、面S
Rの部分は輝度が相対的に高くなる。一方、刻印Sの
図14における左側の面S
Lには照明光L
Lが照射されないため、影が発生し、面S
Lの部分は輝度が相対的に低くなる。
【0128】
さらに、位置Aの方が位置Bよりも第1光源104との距離が近い。したがって、第1光源104による照明光L
Lは、位置Bの方が位置Aよりも弱い。このため、プロファイルP
PBLは、
図15に示すプロファイルP
PALよりも全体的に輝度が低い。
【0129】
続いて、撮影制御部128は、照射部126の光源のうち第2光源106のみを点灯して、ステージ102に載置された錠剤Tに第2光源106から
図14に示す照明光L
Rを照射する。そして、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
【0130】
図16に示すプロファイルP
PARは、位置Aに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、
図16に示すプロファイルP
PBRは、位置Bに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。
図16において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。
図16に示すように、錠剤Tの表面の部分は照明光L
Rが照射されることによって輝度が相対的に高くなる。また、刻印Sの
図14における左側の面S
Lにも照明光L
Rが照射されるため、面S
Lの部分は輝度が相対的に高くなる。一方、刻印Sの
図14における右側の面S
Rには照明光L
Rが照射されないため、影が発生し、面S
Rの部分は輝度が相対的に低くなる。
【0131】
さらに、位置Bの方が位置Aよりも第2光源106との距離が近い。したがって、第2光源106による照明光L
Rは、位置Aの方が位置Bよりも弱い。このため、プロファイルP
PARは、プロファイルP
PBRよりも全体的に輝度が低い。
【0132】
図17に示すプロファイルP
PAWは、位置Aの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Aは、第1光源104との距離が相対的に近く、第2光源106との距離が相対的に遠い。このため、プロファイルP
PAWは、刻印Sの面S
Rの位置と面S
Lの位置とで輝度が異なる値になっている。
【0133】
また、
図17に示すプロファイルP
PBWは、位置Bの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Bは、第1光源104との距離と第2光源106との距離が等しい。このため、プロファイルP
PBWは、面S
Rの位置と面S
Lの位置とで輝度が等しい値になっている。
【0134】
このように、錠剤Tの撮影画像は、光源と刻印との位置関係によって輝度プロファイルが異なることがわかる。その結果として異なる影の画像が得られるため、画像の照合の際のロバスト性が低下する。
【0135】
また、輝度プロファイル同士を比較しても相関が低下する。このため、2値化処理、ノイズ低減処理、及びエッジ抽出処理等を行っても、左入射画像及び右入射画像の合成画像に適用した場合、それぞれ位置による閾値が異なり、少ないパラメータで刻印部分のみを抽出することは困難である。
【0136】
ここでは、撮影画像から輝度プロファイルを抽出した例を説明したが、輝度プロファイルだけでなく、RGB(Red Green Blue)の画像、及びRGB単色の画像においても同様の問題が発生する。また、CIE(Commission Internationale de l'Eclairage:国際照明委員会)XYZ表色系、CIELuv(L* u* v* )表色系、HSV(Hue, Saturation, Value)色空間、LCH(Light,Color,Hue)色空間に変換した画像であっても同様である。
【0137】
〔画像処理方法〕
錠剤Tの表面に付された刻印Sを抽出する第4の実施形態に係る画像処理方法について説明する。
【0138】
前述したように、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。また、照射部126の光源のうち第2光源106のみを点灯して、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
【0139】
このように取得した位置Aの錠剤T及び位置Bの錠剤Tの左入射画像及び右入射画像は、エッジ画像生成部182に入力される。
【0140】
エッジ画像生成部182は、入力された左入射画像及び右入射画像に対して、照射方向に応じた方向のエッジ抽出フィルタをそれぞれ用いて左エッジ画像及び右エッジ画像を生成する。ここでは、エッジ抽出フィルタとして、刻印Sの溝の幅の画素数の半分より大きいサイズのソーベルフィルタを用いる。例えば、刻印Sの溝の幅の画素数が4画素であれば、その半分の2画素より大きいサイズ(x軸方向3画素×y軸方向3画素等)のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。
【0141】
なお、エッジ抽出フィルタ処理としては、ソーベルフィルタ処理、ラプラシアンフィルタ処理、及びキャニーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
【0142】
また、照射方向に応じた方向とは、ここでは照射方向のxy平面視における方向である。すなわち、第1光源104からの照明光の照射方向のxy平面視における方向は、
図11において左から右に向かう方向(右方向)であり、第2光源106からの照明光の照射方向のxy平面視における方向は、
図11において右から左に向かう方向(左方向)である。
【0143】
図18は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、左方向のソーベルフィルタF
L、及び右方向のソーベルフィルタF
Rを示す図である。本実施形態では左入射画像及び右入射画像の解像度が360dpiであり、x軸方向3画素×y軸方向3画素、x軸方向5画素×y軸方向5画素、又はx軸方向7画素×y軸方向7画素等のサイズが刻印Sの溝の画素数の半分に相当する。解像度が異なる場合は、刻印Sの溝の幅の画素数の半分より大きいサイズのフィルタを適宜選択すればよい。ここでは、x軸方向3画素×y軸方向3画素のソーベルフィルタを用いる。
【0144】
エッジ画像生成部182は、位置Aの錠剤Tの左入射画像に対してソーベルフィルタF
Lを用いたエッジ検出処理を行い、左エッジ画像を生成する。
図19に示すプロファイルP
EALは、
図15に示すプロファイルP
PALの微分プロファイルであり、位置Aの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0145】
また、エッジ画像生成部182は、位置Bの錠剤Tの左入射画像に対してソーベルフィルタF
Lを用いたエッジ検出処理を行い、左エッジ画像を生成する。
図19に示すプロファイルP
EBLは、
図15に示すプロファイルP
PBLの微分プロファイルであり、位置Bの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0146】
同様に、エッジ画像生成部182は、位置Aの錠剤Tの右入射画像に対してソーベルフィルタF
Rを用いたエッジ検出処理を行い、右エッジ画像を生成する。
図20に示すプロファイルP
EARは、
図16に示すプロファイルP
PARの微分プロファイルであり、位置Aの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0147】
さらに、エッジ画像生成部182は、位置Bの錠剤Tの右入射画像に対してソーベルフィルタF
Rを用いたエッジ検出処理を行い、右エッジ画像を生成する。
図20に示すプロファイルP
EBRは、
図16に示すプロファイルP
PBRの微分プロファイルであり、位置Bの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0148】
最後に、画像合成部184は、左エッジ画像及び右エッジ画像を合成して合成画像を生成する。
【0149】
図21に示すプロファイルP
CAは、プロファイルP
EAL及びプロファイルP
EARの合成プロファイルであり、位置Aの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0150】
また、
図21に示すプロファイルP
CBは、プロファイルP
EBL及びプロファイルP
EBRの合成プロファイルであり、位置Bの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0151】
図21に示すように、合成画像の輝度プロファイルは、
図17に示した輝度プロファイルと比較し、刻印Sの部分のS/N比(signal-to-noise ratio)が高くなっている。
【0152】
このように、エッジを抽出することで、照明の方向に依存しない(影が出ない)模様等は相対的に信号が低下するので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0153】
<第5の実施形態>
第4の実施形態では、錠剤Tの表面への光の照射方向がそれぞれ異なる2枚の画像である左入射画像及び右入射画像を用いた例を説明したが、光の照射方向は3方向以上あることが好ましい。本実施形態では、光の照射方向を4方向として4枚の画像を用いた例を説明する。
【0154】
〔画像処理方法〕
ここでは、薬剤識別装置180のステージ102の載置面102Aに、刻印Sを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0155】
まず、撮影制御部128は、錠剤Tの上面及び下面の上入射画像、右入射画像、左入射画像、及び下入射画像を取得する(取得工程の一例)。
【0156】
すなわち、撮影制御部128は、照射部126の各光源のうち第3光源108及び第7光源116のみを点灯し、カメラ120及びカメラ122により、錠剤Tの上面及び下面の上入射画像を取得する。同様に、撮影制御部128は、照射部126の各光源のうち第2光源106及び第6光源114のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の右入射画像を取得し、照射部126の各光源のうち第1光源104及び第5光源112のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の左入射画像を取得し、照射部126の各光源のうち第4光源110及び第8光源118のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の下入射画像を取得する。
【0157】
このように取得した上入射画像、右入射画像、左入射画像、及び下入射画像は、エッジ画像生成部182に入力される。
【0158】
エッジ画像生成部182は、入力された上入射画像、右入射画像、左入射画像、及び下入射画像から、刻印Sが撮影されている画像を抽出する。ここでは、刻印Sはカメラ120によって撮影されている。
図22は、取得部124において取得された上入射画像、右入射画像、左入射画像、及び下入射画像のうち、カメラ120によって撮影された上面の上入射画像G
U11、右入射画像G
R11、左入射画像G
L11、及び下入射画像G
D11の一例と、各画像の輝度値のレンジとを示す図である。
【0159】
続いて、エッジ画像生成部182は、上入射画像G
U11、右入射画像G
R11、左入射画像G
L11、及び下入射画像G
D11の輝度値のレンジを刻印Sが視認できるレンジに調整する。
図23は、輝度値のレンジを調整後の上入射画像G
U12、右入射画像G
R12、左入射画像G
L12、及び下入射画像G
D12の一例と、調整後の輝度値のレンジを示す図である。
【0160】
ここで、エッジ画像生成部182は、上入射画像G
U12、右入射画像G
R12、左入射画像G
L12、及び下入射画像G
D12にそれぞれ輝度ムラ補正処理を施してもよい。この輝度ムラ補正処理は、例えば上入射画像G
U12、右入射画像G
R12、左入射画像G
L12、及び下入射画像G
D12を、上入射画像G
U12、右入射画像G
R12、左入射画像G
L12、及び下入射画像G
D12にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
【0161】
次に、エッジ画像生成部182は、上入射画像G
U12、右入射画像G
R12、左入射画像G
L12、及び下入射画像G
D12に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印Sの溝の幅の画素数に応じたサイズのエッジ抽出フィルタをそれぞれ用いてエッジ画像を生成する。ここでは、第4の実施形態と同様に、エッジ抽出フィルタとして、刻印Sの溝の幅の画素数の半分より大きいサイズのソーベルフィルタを用いる。
【0162】
本実施形態では、照射方向に応じた方向とは、照明光の照射方向のxy平面視における方向と、照射方向のxy平面視における方向とxy平面視において45度傾斜する方向と、照射方向のxy平面視における方向とxy平面視において−45度傾斜する方向と、を含む。これは、照射部126の各光源による照明光が完全な平行光ではないためと、各照射方向に対して傾斜する方向の刻印を検出するためである。
【0163】
なお、第4の実施形態と同様に、照射方向に応じた方向を、照射方向のxy平面視における方向のみとすることも可能である。
【0164】
図24は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、上方向のソーベルフィルタF
U、右上方向のソーベルフィルタF
UR、左上方向のソーベルフィルタF
UL、下方向のソーベルフィルタF
D、右下方向のソーベルフィルタF
DR、及び左下方向のソーベルフィルタF
DLを示す図である。また、
図18に示した左方向のソーベルフィルタF
L、及び右方向のソーベルフィルタF
Rも用いる。
【0165】
エッジ画像生成部182は、上入射画像G
U12に対して上方向のソーベルフィルタF
Uを用いてエッジ画像を生成し、右上方向のソーベルフィルタF
URを用いてエッジ画像を生成し、及び左上方向のソーベルフィルタF
ULを用いてエッジ画像を生成し、この3つのエッジ画像を加算して上方向エッジ画像G
U13を生成する。
【0166】
同様に、エッジ画像生成部182は、右入射画像G
R12に対して右方向のソーベルフィルタF
R、右上方向のソーベルフィルタF
UR、及び右下方向のソーベルフィルタF
DRを用いて右方向エッジ画像G
R13を生成する。
【0167】
また、エッジ画像生成部182は、左入射画像G
L12に対して左方向のソーベルフィルタF
L、左上方向のソーベルフィルタF
UL、及び左下方向のソーベルフィルタF
DLを用いて左方向エッジ画像G
L13を生成する。
【0168】
さらに、エッジ画像生成部182は、下入射画像G
D12に対して下方向のソーベルフィルタF
D、右下方向のソーベルフィルタF
DR、及び左下方向のソーベルフィルタF
DLを用いて下方向エッジ画像G
D13を生成する(エッジ画像生成工程の一例、エッジ画像生成機能の一例)。
【0169】
図25は、上方向エッジ画像G
U13、右方向エッジ画像G
R13、左方向エッジ画像G
L13、及び下方向エッジ画像G
D13の一例を示す図である。
図25に示すように、各エッジ画像は、抽出されたエッジ部分の輝度が高く(白色に)表現される。
【0170】
エッジ画像生成部182は、上方向エッジ画像G
U13、右方向エッジ画像G
R13、左方向エッジ画像G
L13、及び下方向エッジ画像G
D13にノイズ低減処理(平滑化処理)をそれぞれ施してもよい。ノイズ低減処理としては、メディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
【0171】
このように生成された上方向エッジ画像G
U13、右方向エッジ画像G
R13、左方向エッジ画像G
L13、及び下方向エッジ画像G
D13は、画像合成部184に入力される。
【0172】
画像合成部184は、上方向エッジ画像G
U13、右方向エッジ画像G
R13、左方向エッジ画像G
L13、及び下方向エッジ画像G
D13を加算して合成画像G
Cを生成する(画像合成工程の一例、画像合成機能の一例)。
図26は、合成画像G
Cの一例と、輝度値のレンジを示す図である。
図26に示すように、合成画像G
Cは輝度値のレンジが拡大され、刻印Sの部分の輝度が相対的に高くなっている。このため、照明の方向に依存しない(影が出ない)模様及び傷等の刻印Sの部分以外の輝度が相対的に低くなり、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の階調情報が残らない。
【0173】
このように、模様等の刻印S以外の情報を低減させることができるので、刻印S以外の情報が錠剤Tの情報として得られることがない。したがって、刻印Sを精度よく抽出し、マスタ画像との照合を適切に行うことができる。
【0174】
なお、画像合成部184は、上方向エッジ画像G
U13、右方向エッジ画像G
R13、左方向エッジ画像G
L13、及び下方向エッジ画像G
D13を乗算して合成画像G
Cを生成してもよい。合成方法は、マスタ画像との照合方法に応じて適宜選択することができる。
【0175】
以上のように、光源及び刻印の位置関係が成り行きで決定される場合であっても、錠剤Tの表面に付された刻印Sを適切に抽出することができる。これにより、錠剤の照合のロバスト性を向上させることができる。
【0176】
ここでは、照明光の照射方向を4方向とした例を説明したが、5方向以上であってもよい。照明光の照射方向が多ければ多いほど検出精度が高くなる。照射方向の数は、必要な検出精度と演算処理時間等から適宜決定すればよい。
【0177】
刻印を精度よく抽出する第4〜第5の実施形態は、第1〜第3の実施形態において識別情報が刻印によって付されたと判別された場合に実施することが好適である。第1〜第3の実施形態において識別情報が印字によって付されたと判別された場合は、撮影画像から印字を精度よく抽出するためのノイズ低減処理及び鮮鋭化処理を行うことが考えられる。
【0178】
<第6の実施形態>
第1〜第3の実施形態の識別情報が刻印及び印字のいずれによって付されたかを判別する構成、及び第4〜第5の実施形態の刻印を抽出する構成を、以下に説明する薬剤識別装置に適用することも可能である。
【0179】
〔薬剤識別装置の構成〕
図27は、第6の実施形態に係る薬剤識別装置10の内部構成を示すブロック図である。薬剤識別装置10は、包装された薬剤を照明する照明部12と、照明部12によって照明された薬剤を撮影する撮影部14と、ユーザに対する薬剤の処方を示す処方情報を取得する処方情報取得部16と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部18と、記憶部18に記憶されたプログラムに従って各種の処理を行う処理部20と、画像表示可能な表示部22と、ユーザから操作を受け付ける操作部24と、を含んで構成される。
【0180】
薬剤の「包装」には一包化が含まれる。「一包化」とは、処方された薬剤を一回の服用ごとに分包(パッケージ)することをいう。処方内容に依って、一つの包材に種類が異なる複数薬剤がパッケージされる場合、一つの包材に同一種類の複数薬剤がパッケージされる場合、及び一つの包材に薬剤が一個だけパッケージされる場合がある。一包化される薬剤の形態は、例えば、錠剤、カプセル剤が挙げられるが、特に限定されない。また、包材は、例えば、紙、プラスティックが挙げられるが、特に限定されない。また、「分包」(あるいは「包装」)は、一回の服用ごとに分包する場合に限定されず、薬剤が包材によって包装されている場合であればよい。
【0181】
照明部12は、光源を含んで構成される。照明部12の光源としては、ここまで説明した第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118のうち少なくとも1つを適用することができる。載置面側ドーム照明142、裏面側ドーム照明148、第1落射照明162、及び第2落射照明168を用いてもよい。
【0182】
撮影部14は、カメラを含んで構成される。撮影部14のカメラとしては、ここまで説明したカメラ120及びカメラ122の少なくとも一方を適用することができる。
【0183】
処方情報取得部16は、例えば、処方箋に記載された文字を光学的に読み取ることにより、処方情報を取得する。処方箋に付与されたバーコード(又は二次元コード)を読み取ることにより、処方情報を取得してもよい。また、医師がコンピュータ装置で入力した処方情報を、通信により取得してもよい。
【0184】
記憶部18は、一時的記憶デバイスと、非一時的記憶デバイスとによって構成される。記憶部18は、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する。
【0185】
処理部20は、例えばCPU(Central Processing Unit)によって構成される。処理部20は、記憶部18に記憶されたマスタ画像を更新する機能を有する。処理部20は、後述する特定の条件が満たされた場合、撮影部14によって得られた撮影画像を用いて記憶部18に記憶されたマスタ画像を更新するマスタ更新処理を行う。
【0186】
処理部20は、照明部12の照明を制御する照明制御部32と、撮影部14の撮影を制御する撮影制御部34と、撮影部14によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部35と、撮影部14によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部36と、撮影部14によって薬剤を撮影して得られた撮影画像の薬剤領域と記憶部18に記憶されたマスタ画像とを照合する照合部42と、薬剤位置取得部35によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部44と、更新判定部44によってマスタ画像を更新すると判定された場合、マスタ画像生成部36によって生成されたマスタ画像を記憶部18に登録する登録部46と、表示部22の表示を制御する表示制御部48と、を含んで構成されている。
【0187】
マスタ画像と撮影画像のうちの薬剤領域との相関度を示す相関値、あるいは薬剤領域間の相関値を算出する相関値算出部49と、基準位置を設定する基準位置設定部50とを、設けてもよい。
【0188】
処理部20の照明制御部32及び撮影制御部34として、これまで説明した撮影制御部128を適用することができる。また、薬剤位置取得部35として、これまで説明した画像比較部130及びエッジ画像生成部182を適用することができる。
【0189】
〔薬包〕
図28は、薬剤である錠剤Tが包装された複数の薬包TPが連続する薬包帯PBを示す図である。薬包帯PBはx軸方向に沿って搬送させることが可能である。錠剤Tには、刻印又は印字により、錠剤Tの種類を示す識別情報が付されている。ここでは、各錠剤Tに、「L」、「M」、又は「N」と刻印されている例を示している。
【0190】
薬包TPの包材は、両面とも透明(半透明を含む、以下同じ)が、好ましい。薬包TPの包材の片面に、印字又はマット加工が、施されていてもよい。
【0191】
連続した薬包TPは、一つの薬包TPのx軸方向におけるサイズごとに、搬送可能である。一つの薬包TPごとに、薬包TPの位置を検出可能であってもよい。
【0192】
なお、本実施形態は、薬包TPが搬送される場合に限定されない。薬包TPが載置台等に載置されるだけの場合であってもよい。
【0193】
図29は、第6の実施形態に係る薬剤識別方法の処理の一例を示すフローチャートである。この処理は、薬剤識別装置10の処理部20を構成するCPUによって、プログラムに従い実行される。
【0194】
まず、処方情報取得部16によって、処方情報を取得する(ステップS2)。
【0195】
次に、照明部12によって、分包された薬剤を照明する(ステップS4)。また、撮影部14によって、照明部12によって照明された薬剤を撮影する(ステップS6)。薬剤位置取得部35によって薬剤位置を取得し、かつマスタ画像生成部36によって撮影画像から薬剤領域を抽出する(ステップS8)。
【0196】
続いて、照合部42によって、記憶部18に記憶されたマスタ画像と撮影画像の薬剤領域とを照合する(ステップS10)。
【0197】
抽出した薬剤領域から、識別情報が刻印及び印字のいずれで付されたかを判別して照合プロセスの候補を減らすために、第1〜第3の実施形態の手法を適用することができる。
【0198】
また、抽出した薬剤領域の刻印を精度よく抽出するために、第4〜第5の実施形態で説明した手法を用いることができる。
【0199】
次に、記憶部18にマスタ画像が非登録の薬剤であるか否かを判定し(ステップS12)、マスタ画像が非登録の薬剤である場合(ステップS12でYESの場合)、さらに一包目であるか否かを判定する(ステップS14)。マスタ画像が非登録かつ一包目である場合(ステップS14でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS16)。
【0200】
マスタ画像が登録された薬剤である場合(ステップS12でNOの場合)、更新判定部44によって、撮影範囲の基準位置(例えば中心位置)と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する(ステップS18)。
【0201】
マスタ画像を更新すると判定された場合、(ステップS18でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS20)。
【0202】
薬包内に他の薬剤が有るか否かを判定し(ステップS22)、薬包内の他の薬剤が有る場合(ステップS22でYESの場合)、ステップS10に戻って、薬包内の他の薬剤に対する照合処理が行われる。
【0203】
薬包の全ての薬剤に対し薬剤認識処理を行って薬包内に他に薬剤が無い場合(ステップS22でNOの場合)、他に薬包が有るか否かを判定し(ステップS24)、他の薬包が有る場合にはステップS4に戻る。
【0204】
なお、更新判定部44は、複数の薬剤が一つの薬包に含まれている場合、薬剤間の間隔に基づいて、マスタ画像を更新するか否かを判定するようにしてもよい。つまり、刻印の場合、隣接する位置に大きな薬剤が存在すると影が出難くなる場合があるので、周囲に他の薬剤が無い場合に、マスタ画像を更新すると判定することが好ましい。例えば、薬剤間の距離が閾値未満(あるいは閾値以下)である場合、撮影画像に刻印の影が出難くなるので、マスタ画像を更新しないと判定する。
【0205】
前述の説明では、主として薬剤の刻印を認識する場合を例に説明したが、薬剤に印字された文字又は記号を認識してもよい。
【0206】
<その他>
上記の画像処理方法は、コンピュータに取得機能、エッジ画像生成機能、画像合成機能、画像比較機能、及び判定機能を実現させるためのプログラムとして構成し、このプログラムを記憶したCD−ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
【0207】
ここまで説明した実施形態において、例えば、撮影制御部128、画像比較部130、画像処理部132、相関度検出部134、判定部136、エッジ画像生成部182、及び画像合成部184等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0208】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
【0209】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0210】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。