(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20221011BHJP
【FI】
G06T1/00 280
(21)【出願番号】P 2021530613
(86)(22)【出願日】2020-06-29
(86)【国際出願番号】 JP2020025507
(87)【国際公開番号】W WO2021006093
(87)【国際公開日】2021-01-14
【審査請求日】2022-02-03
(31)【優先権主張番号】P 2019127740
(32)【優先日】2019-07-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】岩見 一央
【審査官】佐藤 実
(56)【参考文献】
【文献】国際公開第2019/039301(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
刻印又は印字が表面に付された薬剤を載置するステージと、
互いに異なる複数の波長帯域の光を発光する複数の発光部を有し、前記発光部はそれぞれ異なる照射方向から前記薬剤の前記表面を同時に照らす照明部と、
前記各発光部が有する前記波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、前記撮像素子から前記各波長帯域に対応する前記薬剤の複数の第1画像を取得する撮像部と、
前記撮像部で取得された前記複数の第1画像に基づいて、前記薬剤の前記表面に付された前記刻印又は前記印字を強調する強調処理を施した第2画像を生成する画像生成部と、
前記複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、前記画像生成部に前記第2画像を生成させ、前記複数の第1画像の各々の前記出力値のうち2つ未満が閾値以上である場合には、前記画像生成部に前記第2画像の生成を行わせない制御を行う処理制御部と、
を備える画像生成装置。
【請求項2】
前記照明部は、3つ以上の前記発光部を有し、
前記処理制御部は、前記複数の第1画像の各々の前記出力値のうち3つ以上が閾値以上である場合には、前記画像生成部に前記第2画像を生成させ、前記複数の第1画像の各々の前記出力値のうち3つ未満が閾値以上である場合には、前記画像生成部に前記第2画像の生成を行わせない請求項1に記載の画像生成装置。
【請求項3】
前記照明部は、三原色を構成する3つの波長帯域をそれぞれ有する光を発光する3つの前記発光部を有する請求項2に記載の画像生成装置。
【請求項4】
前記照明部は第1の発光部、第2の発光部及び第3の発光部を有し、前記第1の発光部と前記第2の発光部との前記照射方向は前記薬剤上で120°に交わり、前記第1の発光部と前記第3の発光部との前記照射方向は前記薬剤上で120°に交わる請求項2又は3に記載の画像生成装置。
【請求項5】
前記照明部は第1の発光部、第2の発光部及び第3の発光部を有し、前記第1の発光部、前記第2の発光部及び前記第3の発光部は、円孔状に配置される請求項2から4のいずれか1項に記載の画像生成装置。
【請求項6】
前記照明部は第1の発光部、第2の発光部、第3の発光部、第4の発光部を有し、前記第1の発光部と前記第2の発光部との前記照射方向は前記薬剤上で垂直に交わり、前記第1の発光部と前記第4の発光部との前記照射方向は前記薬剤上で垂直に交わり、前記第2の発光部と前記第3の発光部との前記照射方向は前記薬剤上で垂直に交わる請求項1から3のいずれか1項に記載の画像生成装置。
【請求項7】
前記処理制御部は、前記第1画像の画素値の和、平均値、又は中央値を前記出力値とする請求項1から6のいずれか1項に記載の画像生成装置。
【請求項8】
前記画像生成部は、前記照射方向に応じたエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を使用して前記第2画像を生成する請求項1から7のいずれか1項に記載の画像生成装置。
【請求項9】
請求項1から8のいずれか1項に記載の画像生成装置で生成された前記第2画像に基づいて、前記薬剤を識別する薬剤識別装置。
【請求項10】
請求項1から8のいずれか1項に記載の画像生成装置で生成された前記第2画像を表示部に表示する薬剤表示装置。
【請求項11】
互いに異なる複数の波長帯域の光を発光する複数の発光部がそれぞれ異なる照射方向から、ステージに載置された刻印又は印字が表面に付された薬剤の前記表面を同時に照らすステップと、
前記各発光部が有する前記波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、前記撮像素子から前記各波長帯域に対応する前記薬剤の複数の第1画像を取得するステップと、
前記複数の第1画像に基づいて、前記薬剤の前記表面に付された前記刻印又は前記印字を強調する強調処理を施した第2画像を生成するステップと、
前記複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、前記第2画像を生成させ、前記複数の第1画像の各々の前記出力値のうち2つ未満が閾値以上である場合には、前記第2画像の生成を行わせない制御を行うステップと、
を含む画像生成方法。
【請求項12】
互いに異なる複数の波長帯域の光を発光する複数の発光部がそれぞれ異なる照射方向から、ステージに載置された刻印又は印字が表面に付された薬剤の前記表面を同時に照らすステップと、
前記各発光部が有する前記波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、前記撮像素子から前記各波長帯域に対応する前記薬剤の複数の第1画像を取得するステップと、
前記複数の第1画像に基づいて、前記薬剤の前記表面に付された前記刻印又は前記印字を強調する強調処理を施した第2画像を生成するステップと、
前記複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、前記第2画像を生成させ、前記複数の第1画像の各々の前記出力値のうち2つ未満が閾値以上である場合には、前記第2画像の生成を行わせない制御を行うステップと、
を含む画像生成工程をコンピュータに実行させるプログラム。
【請求項13】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項12に記載のプログラムをコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラムに関する。
【背景技術】
【0002】
従来より、刻印又は印字を有する薬剤の表面の画像が取得され利用されている。
【0003】
例えば特許文献1に記載された技術では、薬剤の表面の刻印の検査を行う場合に、薬剤の表面の画像が取得される。特許文献1に記載された技術では、異なる二方向から、波長が異なる光をそれぞれ薬剤に照射し、各波長に対応する画像を取得する。そして、取得した画像において影の部分を合成し、その合成画像を用いて薬剤の表面の刻印の検査を行っている。
【0004】
また例えば特許文献2に記載された技術では、薬剤にそれぞれ異なる方向から、照射方向毎に光の照射を行い、照射毎の複数の薬剤の画像を取得する。特許文献2に記載された技術では、得られた複数の画像に対して、光の照射方向及び刻印の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を取得し、複数のエッジ画像を合成して、薬剤の識別が行われている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開昭61-228305号公報
【文献】国際公開第2019/039300号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した特許文献1の技術では、異なる波長の光を照射して物品の表面で反射した光を受光している。しかしながら、物品(例えば薬剤)の表面の色によっては、物品の表面に光が吸収されてしまい反射光を適切に受光することができず適切な画像を得られない場合がある。
【0007】
また、上述した特許文献2の技術では、照射方向毎に照射を行い複数の画像を取得する必要があり、効率的な画像の取得が行えない。
【0008】
本発明はこのような事情に鑑みてなされたもので、その目的は、効率的に強調処理がされた薬剤の画像を得ることができる画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラムを提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明の一の態様である画像生成装置は、刻印又は印字が表面に付された薬剤を載置するステージと、互いに異なる複数の波長帯域の光を発光する複数の発光部を有し、発光部はそれぞれ異なる照射方向から薬剤の表面を同時に照らす照明部と、各発光部が有する波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、撮像素子から各波長帯域に対応する薬剤の複数の第1画像を取得する撮像部と、撮像部で取得された複数の第1画像に基づいて、薬剤の表面に付された刻印又は印字を強調する強調処理を施した第2画像を生成する画像生成部と、複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、画像生成部に第2画像を生成させ、複数の第1画像の各々の出力値のうち2つ未満が閾値以上である場合には、画像生成部に第2画像の生成を行わせない制御を行う処理制御部と、を備える。
【0010】
本態様によれば、薬剤の表面が、互いに異なる複数の波長帯域の光により、それぞれ異なる照射方向から同時に照らされ、同時に各波長帯域に対応する薬剤の第1画像が取得される。また、本態様によれば、第2画像の生成を行う前に、第1画像の各々の出力値が判別され、第1画像の各々の出力値のうち2つ以上が閾値以上である場合に、第2画像の生成が行われる。したがって、本態様は、効率的に強調処理がされた薬剤の画像を得ることができる。
【0011】
好ましくは、照明部は、3つ以上の発光部を有し、処理制御部は、複数の第1画像の各々の出力値のうち3つ以上が閾値以上である場合には、画像生成部に第2画像を生成させ、複数の第1画像の各々の出力値のうち3つ未満が閾値以上である場合には、画像生成部に第2画像の生成を行わせない。
【0012】
好ましくは、照明部は、三原色を構成する3つの波長帯域をそれぞれ有する光を発光する3つの発光部を有する。
【0013】
好ましくは、照明部は第1の発光部、第2の発光部及び第3の発光部を有し、第1の発光部と第2の発光部との照射方向は薬剤上で120°に交わり、第1の発光部と第3の発光部との照射方向は薬剤上で120°に交わる。
【0014】
好ましくは、照明部は第1の発光部、第2の発光部及び第3の発光部を有し、第1の発光部、第2の発光部及び第3の発光部は、円孔状に配置される。
【0015】
好ましくは、照明部は第1の発光部、第2の発光部、第3の発光部、第4の発光部を有し、第1の発光部と第2の発光部との照射方向は薬剤上で垂直に交わり、第1の発光部と第4の発光部との照射方向は薬剤上で垂直に交わり、第2の発光部と第3の発光部との照射方向は薬剤上で垂直に交わる。
【0016】
好ましくは、処理制御部は、第1画像の画素値の和、平均値、又は中央値を出力値とする。
【0017】
好ましくは、画像生成部は、照射方向に応じたエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を使用して第2画像を生成する。
【0018】
本発明の他の態様である薬剤識別装置は、上述の画像生成装置で生成された第2画像に基づいて、薬剤を識別する。
【0019】
本発明の他の態様である薬剤表示装置は、上述の画像生成装置で生成された第2画像を表示部に表示する。
【0020】
本発明の他の態様である画像生成方法は、互いに異なる複数の波長帯域の光を発光する複数の発光部がそれぞれ異なる照射方向から、ステージに載置された刻印又は印字が表面に付された薬剤の表面を同時に照らすステップと、各発光部が有する波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、撮像素子から各波長帯域に対応する薬剤の複数の第1画像を取得するステップと、複数の第1画像に基づいて、薬剤の表面に付された刻印又は印字を強調する強調処理を施した第2画像を生成するステップと、複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、第2画像を生成させ、複数の第1画像の各々の出力値のうち2つ未満が閾値以上である場合には、第2画像の生成を行わせない制御を行うステップと、を含む。
【0021】
本発明の他の態様であるプログラムは、互いに異なる複数の波長帯域の光を発光する複数の発光部がそれぞれ異なる照射方向から、ステージに載置された刻印又は印字が表面に付された薬剤の表面を同時に照らすステップと、各発光部が有する波長帯域に対応する分光感度特性を有するフィルタが配列された撮像素子を有し、撮像素子から各波長帯域に対応する薬剤の複数の第1画像を取得するステップと、複数の第1画像に基づいて、薬剤の表面に付された刻印又は印字を強調する強調処理を施した第2画像を生成するステップと、複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、第2画像を生成させ、複数の第1画像の各々の出力値のうち2つ未満が閾値以上である場合には、第2画像の生成を行わせない制御を行うステップと、を含む画像生成工程をコンピュータに実行させる。
【発明の効果】
【0022】
本発明によれば、薬剤の表面が、互いに異なる複数の波長帯域の光により、それぞれ異なる照射方向から同時に照らされ、同時に各波長帯域に対応する薬剤の第1画像が取得される。また、本発明によれば、第2画像の生成を行う前に、第1画像の各々の出力値が判別され、第1画像の各々の出力値のうち2つ以上が閾値以上である場合に、第2画像の生成が行われる。よって、本発明は、効率的に強調処理がされた薬剤の画像を得ることができる。
【図面の簡単な説明】
【0023】
【
図1】
図1は、画像生成装置の構成を示すブロック図である。
【
図2】
図2は、発光部の配置を模式的に示す図である。
【
図3】
図3は、カラーフィルタの分光感度特性に関して説明する図である。
【
図4】
図4は、各波長帯域を有する光の反射に関して説明する図である。
【
図5】
図5は、各波長帯域を有する光の反射に関して説明する図である。
【
図6】
図6は、各波長帯域を有する光の反射に関して説明する図である。
【
図8】
図8は、画像生成部の機能ブロックを示す図である。
【
図11】
図11は、薬剤識別部の機能ブロックを示す図である。
【
図12】
図12は、画像生成方法について説明するフローチャートである。
【
図13】
図13は、カラーフィルタの分光感度特性に関して説明する図である。
【発明を実施するための形態】
【0024】
以下、添付図面にしたがって本発明にかかる画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラムの好ましい実施の形態について説明する。
【0025】
図1は、本発明の薬剤識別装置1の構成を示すブロック図である。薬剤識別装置1は、画像生成装置2を搭載する。画像生成装置2は、ステージ28、照明部10、撮像部12及びCPU21(撮像制御部14、画像生成部16及び処理制御部18)を備える。また、薬剤識別装置1は、薬剤識別部20、薬剤データベース(薬剤DB)26、表示部22及び操作部24を備える。画像生成装置2で生成された薬剤Mの画像を使用して、薬剤識別装置1は薬剤Mの識別を行う。また、薬剤識別装置1は、画像生成装置2で生成された薬剤Mの画像を表示部22に表示する薬剤表示装置としても機能する。
【0026】
照明部10は、ステージ28に載置された薬剤Mの表面を照らす。照明部10は、互いに異なる複数(2以上)の波長帯域の光を発光する複数の発光部を有する。そして、発光部はそれぞれ異なる照射方向から薬剤の表面を同時に照らす。以下の例では、照明部10は、三原色を構成する3つの波長帯域をそれぞれ有する光を発光する3つの発光部を有する(
図2参照)。例えば、3つの発光部は、赤(R)、緑(G)及び青(B)の三原色をそれぞれ発光する。また、3つの発光部は、シアン(C)、マゼンダ(M)及びイエロー(Y)を発光してもよい。なお、発光部の光は、互いに異なる波長帯域を有していれば良く、上述の例の三原色には限定されず、様々な組み合わせを採用することができる。
【0027】
撮像部12は、薬剤Mの第1画像(撮影画像)を取得する。撮像部12は、三原色を構成する3つの波長帯域の各々に対応する3枚の第1画像を同時に取得する。撮像部12に備えられる撮像素子(不図示)には、照明部10の各発光部が有する波長帯域に対応する分光感度特性を有するカラーフィルタ(又はフィルタ)が配列される。例えば、発光部が赤(R)、緑(G)及び青(B)の各波長帯域を有する場合には、カラーフィルタは赤(R)、緑(G)及び青(B)の分光感度特性を有する。そして、カラーフィルタは例えばベイヤー配列によりそれぞれの分光感度特性を有するフィルタが配列されている。
【0028】
CPU21は、撮像制御部14、画像生成部16、処理制御部18及び薬剤識別部20を備える。CPU21は、コンピュータの一部であり、コンピュータに搭載されたメモリに記憶されたプログラムをCPU(Central Processing Unit)21を実行することにより各機能(処理部)を実現する。
【0029】
撮像制御部14は、照明部10及び撮像部12を制御して第1画像の取得を行う。具体的には、撮像制御部14は、薬剤Mが照明部10に照らされている間に、撮像部12に薬剤Mの表面の3枚(赤(R)、緑(G)及び青(B)の各波長帯域に対応する3枚)の第1画像を同時に取得させる。
【0030】
画像生成部16は、第1画像に基づいて第2画像を生成する。画像生成部16は、3枚の第1画像を取得し、表面に付された刻印又は印字を強調する強調処理を施した第2画像を生成する。
【0031】
薬剤識別部20は、画像生成部16で生成された第2画像に基づいて、薬剤を識別する。具体的には、薬剤識別部20は、第2画像と薬剤DB26に登録されている登録薬剤の画像とを照合することにより、薬剤DB26に登録されている複数の登録薬剤のいずれかの登録薬剤であるかを識別する。なお、薬剤DB26には、例えば薬剤識別装置1により薬剤を鑑別する場合には、薬剤の全てが登録薬剤として記憶されても良い。また、薬剤DB26には、薬剤識別装置1により、一包化された薬剤の監査を行う場合には、処方箋で処方された薬剤が登録薬剤として記憶されてもよい。なお、薬剤DB26は、薬剤の名前等の薬剤識別情報と関連付けて薬剤の画像(薬剤の表側及び裏側の薬剤画像)が登録されている。
【0032】
処理制御部18は、撮像部12で取得された第1画像の出力値に応じて、画像生成部16の動作を制御する。具体的には、処理制御部18は、複数の第1画像の各々の出力値のうち2つ以上が閾値以上である場合には、画像生成部16に第2画像を生成させる。一方、処理制御部18は、複数の第1画像の各々の出力値のうち2つ未満が閾値以上である場合には、画像生成部16に第2画像の生成を行わせない制御を行う。
【0033】
薬剤Mの表面の色によっては、発光部の特定の波長帯域の光が吸収されてしまう場合がある。そして、光が吸収されてしまった場合には、その特定の波長帯域の光に対応する第1画像の出力値が低くなる。例えば、特定の波長帯域の光が薬剤の表面に吸収された場合には、第1画像の出力値は0(ゼロ)となる場合がある。そして、第1画像の出力値が十分に得られないと、第1画像において、表面に付された刻印又は印字を強調する強調処理を適切に行えない。このような第1画像を含んで、第2画像を生成した場合には、第2画像において上手く刻印又は印字が強調されていない。したがって、処理制御部18は、第1画像の出力値が閾値以上であるかを判別して、第1画像が出力値以上である場合に画像生成部16を動作させる。
【0034】
また、薬薬剤Mの表面には様々な形の刻印又印字が行われる。したがって、薬剤Mには、可能な限り様々な方向から光を照明して、刻印又は印字を全方位から照らすることが望ましい。ここで処理制御部18の制御により画像生成部16は、最低2つの異なる方向から照射された第1画像により第2画像を生成し、好ましくは3つの異なる方向から照射された第1画像により第2画像を生成し、より好ましくは4つの異なる方向から照射された第1画像により第2画像を生成する。
【0035】
なお、処理制御部18は、第1画像の画素値の和、平均値、又は中央値を出力値として閾値と比較する。閾値は、撮像部12が適切にその波長帯域の光を受光しているか否かの観点より決定される。
【0036】
表示部22はモニタで構成される。表示部22には、第1画像、第2画像及び薬剤識別部20の識別結果Rが表示される。
【0037】
操作部24は、ユーザからの入力を受け付ける。例えば操作部24はマウス又はキーボードで構成される。
【0038】
<第1画像の取得>
先ず、第1画像の取得に関して詳しく説明をする。
【0039】
図2は、照明部10を構成する3つの発光部の配置を模式的に示す図である。なお、薬剤Mが載置されるステージ28は省略されている。
【0040】
図2に示す場合では、照明部10は、第1の発光部10A、第2の発光部10B及び第3の発光部10Cを有する。第1の発光部10Aは波長帯域λaを有する光を発光し、第2の発光部10Bは波長帯域λbを有する光を発光し、第3の発光部10Cは波長帯域λcを有する光を発光する。ここで、波長帯域λaは青(B)の光の波長帯域であり、波長帯域λbは緑(G)の光の波長帯域であり、波長帯域λcは赤(R)の光の波長帯域である。なお、第1の発光部10A、第2の発光部10B及び第3の発光部10Cは、例えばLED光源で構成され、LED点光源を並べたライン光源である。
【0041】
第1の発光部10Aと第2の発光部10Bとの照射方向は薬剤M上で120°に交わり、第1の発光部10Aと第3の発光部10Cとの照射方向は薬剤M上で120°に交わるように第1の発光部10A、第2の発光部10B及び第3の発光部10Cは薬剤Mの回りに配置される。すなわち、
図2におけるX-Y座標では、第1の発光部10Aの照射方向は方向ベクトルV1(
-1、0.5)で表され、第2の発光部10Bの照射方向は方向ベクトルV2(
1、0.5)で表され、第3の発光部10Cの照射方向は方向ベクトルV3(
0、-1)で表される。
【0042】
このように第1の発光部10A、第2の発光部10B及び第3の発光部10Cを配置することで、薬剤Mを均等な方位で照らすことが可能となり、より効率的に薬剤Mの刻印又は印字の強調処理を行うことができる。
【0043】
図3は、撮像部12の撮像素子が有するカラーフィルタの分光感度特性に関して説明する図である。カラーフィルタは、図示するように波長帯域λa(青(B))、波長帯域λb(緑(G))及び波長帯域λc(R)の波長帯域の分光感度を有する。これにより、撮像素子の各フィルタにおいて、波長帯域λa(青(B))、波長帯域λb(緑(G))及び波長帯域λc(赤(R))の各光を受光し、各光に対応する第1画像を同時に取得することが可能である。なお、撮像部12では、波長帯域λa(青(B))、波長帯域λb(緑(G))及び波長帯域λc(赤(R))の各光を受光し、デモザイク処理を含む公知の画像処理を行うことにより、各光に対応する第1画像を出力する。
【0044】
図4から
図6は、波長帯域λaの光、波長帯域λbの光及び波長帯域λcの光が薬剤Mの表面での反射に関して説明する図である。なお、
図4から
図6では、波長帯域λaの光、波長帯域λbの光及び波長帯域λcの光は
図2に示すように、異なる方向から薬剤Mに照射されている。
【0045】
図4は、例えば薬剤Mが白色であり、波長帯域λa、波長帯域λb及び波長帯域λcが反射される場合を示す図である。波長帯域λa、波長帯域λb及び波長帯域λcが反射される場合には、各波長帯域の第1画像の出力値は閾値以上となる。そして、処理制御部18は、3つの第1画像の出力値が閾値以上であるので、その後の処理、すなわち画像生成部16による第2画像の生成を実行させる。
【0046】
図5は、例えば薬剤Mが白色以外の特定の色を有しており、波長帯域λa、波長帯域λb及び波長帯域λcのうち、波長帯域λaのみが反射される場合を示す図である。このように、波長帯域λaのみが反射される場合には、1つの第1画像の出力値が閾値以上であるが、2つの第1画像の出力値は閾値未満となる。したがって、このような場合には、波長帯域λaの第1画像しか適切に取得できないので、画像生成部16による第2画像の生成は行われない。
【0047】
図6に示した場合では、例えば薬剤Mが白色以外の特定の色を有しており、波長帯域λa、波長帯域λb及び波長帯域λcのうち、波長帯域λa及び波長帯域λcが反射される。このように、波長帯域λa及び波長帯域λcが反射される場合には、2つの第1画像の出力値が閾値以上であり、1つの第1画像の出力値は閾値未満となる。したがって、このような場合には、波長帯域λaの第1画像及び波長帯域λcの第1画像が適切に取得できるので、その後の処理、すなわち画像生成部16による第2画像の生成を実行させる。なお、この場合には、画像生成部16は、適切に取得できる波長帯域λaの第1画像及び波長帯域λcの第1画像により第2画像を生成する。
【0048】
図7は、撮像部12で取得された3枚の第1画像を示す図である。なお、
図7に示された3つの第1画像は、
図4で説明をした場合、すなわち3つの第1画像の出力値が閾値以上の場合である。
【0049】
第1画像P1は波長帯域λaに対応し、第1画像P2は波長帯域λbに対応し、第1画像P3は波長帯域λcに対応する。第1画像P1~P3は、各照射方向に伴って輝度ムラが発生している。また、
図7に示す各画像上の「A」は、薬剤Mの表面の刻印を示している。第1画像P1~P3の刻印Aは、薬剤の表面の凹凸形状であり、照明光の照射方向に伴って影の出方が異なるものとなる。
【0050】
<第2画像の生成>
次に、第2画像の生成に関して説明する。第2画像は、画像生成部16により生成される。
【0051】
図8は、画像生成部16の機能ブロックを示す図である。画像生成部16は、エッジ画像合成部32及びエッジ画像生成部34を備える。
【0052】
エッジ画像生成部34は、第1画像(P1~P3)からそれぞれ照明光の照射方向に応じた方向のエッジ抽出フィルタ(例えば、ソーベルフィルタ)を使用し、3つのエッジ画像を生成する。以下にエッジ画像の生成に関して説明する。なお、以下の説明では、説明を簡単にするために、表面の中央に割線Sを有する薬剤Tを用いて説明する。
【0053】
図9は、薬剤Tの中心を通るx-z平面で切断した薬剤Tの断面構造の模式図であり、1画素分のラインのプロファイルを示している。
【0054】
薬剤Tは、直径がDであり、表面には断面がV字状の溝からなる割線Sが形成されている。割線Sの溝の幅はWである。なお、割線Sの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Tの表面における距離をいう。
【0055】
ここで、照射方向が異なる複数の照明により薬剤Tの表面を照らす場合では、割線Sの影の出方が異なる。
【0056】
即ち、照明光LLにより薬剤Tを照明する場合、割線Sの右側の面SRは照明光LLが照射されるが、割線Sの左側の面SLには照明光LLは照射されなくなり、割線Sの左側の面SLに影が発生する。同様に、照明光LLとは反対方向の照明光LRにより薬剤Tを照明する場合、割線Sの左側の面SLは照明光LRが照射されるが、割線Sの右側の面SRには照明光LRは照射されなくなり、割線Sの右側の面SRに影が発生する。
【0057】
図10は、エッジ画像生成部34でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
【0058】
ソーベルフィルタFLは、左方向からの照明光LLが照射された薬剤Tの画像GLからエッジ抽出する場合に使用され、ソーベルフィルタFRは、右方向から照明光LRが照射された薬剤Tの画像GRからエッジ抽出する場合に使用される。
【0059】
図10に示すソーベルフィルタF
L、F
Rのカーネルサイズは、本例ではx軸方向3画素×y軸方向3画素であるが、これに限らず、撮像部12の解像度に依存して変更することが好ましい。また、ソーベルフィルタF
L、F
Rのカーネルサイズは、割線Sの幅W(の画素数)の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、割線Sの溝の幅の画素数が4画素であれば、その半分の2画素より大きいサイズのソーベルフィルタを用いる。割線Sの溝の幅の画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。なお、ソーベルフィルタのフィルタサイズとフィルタ係数の導出方法は、http://sssiii.seesaa.net/article/368842002.htmlに記載されている。
【0060】
エッジ画像生成部34は、上述の説明のように、第1の発光部10A、第2の発光部10B及び第3の発光部10Cの薬剤Mに対する照射方向に応じたソーベルフィルタを使用して、第1画像P1~P3に対応するエッジ画像を生成する。このように、照明方向に応じたソーベルフィルタを使用することにより、適切にエッジ抽出が行われたエッジ画像を得ることができる。
【0061】
なお、エッジ画像生成部34におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。
【0062】
エッジ画像生成部34は、3つの第1画像P1~P3に対してそれぞれ生成した3つのエッジ画像をエッジ画像合成部32に出力する。
【0063】
エッジ画像合成部32の他の入力には、第1画像P1~P3が別途加えられており、エッジ画像合成部32は、例えば、第1画像P1~P3のうちの1つの画像を選択し、選択した1つの画像の輝度ムラを検出し、検出した輝度ムラに基づいて選択した画像の輝度ムラを補正する輝度ムラ補正処理を施すことで、輝度ムラの少ない画像を生成する。そして、エッジ画像合成部32は、この輝度ムラの少ない画像にエッジ画像合成部32により生成された3つのエッジ画像を合成する。
【0064】
これにより、画像生成部16は、照明光による輝度ムラの少ない薬剤の画像に対して、刻印又は印字を強調する強調処理が施された画像(第2画像)Qを生成することができる。
【0065】
以上で説明したように、画像生成装置2によれば、同時に各波長帯域に対応する薬剤Mの第1画像P1~P3が取得され、第2画像Qの生成を行う前に、第1画像P1~P3の各々の出力値が判別され、第1画像の各々の出力値のうち2つ以上が閾値以上である場合に、第2画像Qの生成が行われる。よって、画像生成装置2は、効率的に強調処理がされた薬剤の画像を得ることができる。
【0066】
<薬剤の識別>
次に、薬剤の識別について説明する。薬剤識別装置1は、画像生成装置2で生成された第2画像Qを使用して薬剤Mが薬剤DB26に登録された薬剤のいずれかであるかの識別を行う。
【0067】
図11は、薬剤識別装置1の薬剤識別部20について説明する図である。
【0068】
薬剤識別部20は、薬剤DB26に記憶されている登録薬剤と第2画像との照合を行って、薬剤Mの識別を行う。例えば薬剤識別部20は、第2画像と登録薬剤の画像との刻印又は印字のマッチングをテンプレートマッチングで行い、薬剤Mの識別を行う。そして薬剤識別部20は識別結果Rを出力する。薬剤識別部20は、識別結果Rとして、例えば、薬剤名「A薬剤」、重さ「○○mg」、色「白色」、薬剤画像を出力する。
【0069】
薬剤識別部20は、第2画像Qが刻印又は印字が強調処理されているので、薬剤DB26に登録されている登録薬剤の画像と第2画像Qとの照合を正確に行えることができる。
【0070】
<画像生成方法>
次に、画像生成装置2を使用して、実行される画像生成方法(画像生成工程)について説明する。
図12は、画像生成方法について説明するフローチャートである。
【0071】
先ず、照明部10を構成する第1の発光部10A、第2の発光部10B及び第3の発光部10Cによりステージ28に載置された薬剤Mの表面が照らされる(ステップS10)。その後、撮像部12により、波長帯域λa、波長帯域λb及び波長帯域λcに対応する第1画像が取得される(ステップS11)。次に、処理制御部18により、取得された各第1画像の出力値と閾値とを比較して、第2画像の生成を行うか否かの判定が行われる(ステップS12)。具体的には、処理制御部18は、2つ未満の第1画像の出力値が閾値以上である場合には、後の処理である第2画像の生成を行わせず(ステップS14)、薬剤の画像の生成を終了する。一方、処理制御部18は、2つ以上の第1画像の出力値が閾値以上である場合には、後の処理である第2画像の生成を行わせる(ステップS13)。具体的には、処理制御部18は、画像生成部16に、3枚の第1画像に基づいて、印字又は刻印が強調処理された第2画像を生成させる。
【0072】
上記実施形態において、各種の処理を実行する処理部(processing unit)(例えば撮像制御部14、画像生成部16、処理制御部18及び薬剤識別部20)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0073】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0074】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0075】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【0076】
<その他>
<<発光部に関して>>
照明部10を構成する発光部は、撮像部12に備えられるフィルタの分光感度特性に応じて、波長帯域を設定することが可能である。
【0077】
図13は、撮像素子に備えられるフィルタの分光感度特性の例に関して説明する図である。
【0078】
図13の曲線51で示される分光感度特性を示すカラーフィルタを備える場合には、例えばドミナント波長λxとドミナント波長λx+ΔのLED(Light Emitting Diode)の光源を使用して発光部を作成することができる。
【0079】
図14及び
図15は、発光部を概念的に示す図である。
図14及び
図15は、ドミナント波長λxのLED点光源α、ドミナント波長λx+ΔのLED点光源βを基板53に規則的に配列することにより発光部55を作成している。
図14に示した発光部55は、基板53にLED点光源αとLED点光源βが横方向に一列に配置されている。また、縦方向には、LED点光源αとLED点光源βを上下に配置している。
図15に示した発光部55は、基板53にLED点光源αとLED点光源βが横方向に交互に一列に配置されている。また、縦方向には、LED点光源αとLED点光源βが交互に上下になるように配置されている。
【0080】
なお、
図14及び
図15では、二種類のドミナント波長のLED点光源を使用して作成した発光部55について説明をしたが、発光部を構成するドミナント波長の種類は二種類に限られず、三種以上のドミナント波長のLED点光源を組み合わせることが可能である。
【0081】
<<発光部の配置>>
発光部は、薬剤Mを全方位的に照らす観点で様々な形態で配置される。
図16は、発光部の配置の他の例を示す図である。
【0082】
図16に示す場合では、波長帯域λa有する光の第1の発光部10A、波長帯域λb有する光の第2の発光部10B及び波長帯域λc有する光の第3の発光部10Cが円孔状に配置される。このように各発光部を配置することにより、薬剤Mの刻印Aを全方位から照らすことができるので、より効率的な強調処理を行うことができる。
【0083】
<<第4の発光部>>
上述した例では、3つの波長帯域をそれぞれ有する発光部を有する照明部10に関して説明したが、これに限定されるものではない。例えば、三原色を構成する3つの波長帯域に、追加の発光部を設けてもよい。
【0084】
図17は、発光部の配置を模式的に示す図である。
図17に示す場合では、照明部10は、第1の発光部10A、第2の発光部10B、第3の発光部10C及び第4の発光部10Dを有する。第1の発光部10Aは波長帯域λaを有する光を発光し、第2の発光部10Bは波長帯域λbを有する光を発光し、第3の発光部10Cは波長帯域λcを有する光を発光する。波長帯域λa、波長帯域λb及び波長帯域λcは
図2で説明したように三原色を構成する。また、第4の発光部10Dは、波長帯域λdを有する光を発光する。波長帯域λdは、例えば波長帯域λa+λb+λcで構成される白色光の波長帯域を有する。この場合例えば、第1の発光部10A、第2の発光部10B、第3の発光部10Cを同時に発光し、それとは別に、第4の発光部10Dを発光させてもよい。
【0085】
また他の例においては、波長帯域λdは黄(Y)の波長帯域を有する。なお、この場合は、第1の発光部10A、第2の発光部10B、第3の発光部10C及び第4の発光部10Dは、同時に発光させる。
【0086】
図17に示すように、第1の発光部10Aと第2の発光部10Bとの照射方向は垂直に交わり、第1の発光部10Aと第4の発光部10Dとの照射方向は垂直に交わる。第3の発光部10Cと第2の発光部10Bとの照射方向は垂直に交わり、第3の発光部10Cと第4の発光部10Dとの照射方向は垂直に交わる。このように、第1の発光部10A、第2の発光部10B、第3の発光部10C及び第4の発光部10Dを配置することにより、薬剤Mを四方から照らすことができ、様々な形の刻印又は印字を有する薬剤に応じて強調処理を行うことができる。
【0087】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0088】
1 :薬剤識別装置
2 :画像生成装置
10 :照明部
10A :第1の発光部
10B :第2の発光部
10C :第3の発光部
12 :撮像部
14 :撮像制御部
16 :画像生成部
18 :処理制御部
20 :薬剤識別部
21 :CPU
22 :表示部
24 :操作部
28 :ステージ
26 :薬剤データベース(薬剤DB)
32 :エッジ画像合成部
34 :エッジ画像生成部
M :薬剤
P1 :第1画像
P2 :第1画像
P3 :第1画像
Q :第2画像