IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルムRIファーマ株式会社の特許一覧

特許7146012薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム、記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-22
(45)【発行日】2022-10-03
(54)【発明の名称】薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム、記録媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220926BHJP
【FI】
G06T7/00 610Z
【請求項の数】 13
(21)【出願番号】P 2021066372
(22)【出願日】2021-04-09
(62)【分割の表示】P 2019538069の分割
【原出願日】2018-08-09
(65)【公開番号】P2021119480
(43)【公開日】2021-08-12
【審査請求日】2021-04-09
(31)【優先権主張番号】P 2017159559
(32)【優先日】2017-08-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】岩見 一央
【審査官】松浦 功
(56)【参考文献】
【文献】特開2015-068765(JP,A)
【文献】特開2013-088680(JP,A)
【文献】特開2010-004141(JP,A)
【文献】特開2005-137936(JP,A)
【文献】特開2014-067342(JP,A)
【文献】特開2014-190700(JP,A)
【文献】特開2012-108752(JP,A)
【文献】特開2016-015093(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/194
A61J 3/00 - 3/10
G06T 1/00
G06T 5/00 - 5/50
G06V 10/00 -20/90
(57)【特許請求の範囲】
【請求項1】
刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得部と、
前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、
前記複数のエッジ画像を合成して合成画像を生成する画像合成部と、
を備えた画像処理装置。
【請求項2】
前記照射方向に応じた方向とは、前記照射方向の前記表面の平面視における方向を含む請求項1に記載の画像処理装置。
【請求項3】
前記照射方向に応じた方向とは、前記照射方向の前記表面の平面視における方向と45度傾斜する方向と、前記照射方向の前記表面の平面視における方向と-45度傾斜する方向と、を含む請求項2に記載の画像処理装置。
【請求項4】
前記取得部は、前記表面への光の照射方向が第1方向、第2方向、第3方向、及び第4方向である前記薬剤の4枚の画像を取得し、
前記第2方向とは前記第1方向と前記表面の平面視において対向する方向であり、前記第3方向とは前記第1方向と前記表面の平面視において直交する方向であり、前記第4方向とは前記第3方向と前記表面の平面視において対向する方向である請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
刻印が表面に付された薬剤を載置するステージと、
前記表面への光の照射方向がそれぞれ異なる複数の光源を有する照射部と、
前記薬剤の前記表面に前記複数の光源によりそれぞれ光が照射された前記薬剤をそれぞれ撮影した複数の画像を取得する撮影部と、
前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、
前記複数のエッジ画像を合成して合成画像を生成する画像合成部と、
を備えた薬剤識別装置。
【請求項6】
前記照射部は、第1方向に光を照射する第1光源と、第2方向に光を照射する第2光源と、第3方向に光を照射する第3光源と、第4方向に光を照射する第4光源と、
を備え、
前記第2方向とは前記表面の平面視において前記第1方向と対向する方向であり、前記第3方向とは前記表面の平面視において前記第1方向と直交する方向であり、前記第4方向とは前記表面の平面視において前記第3方向と対向する方向である請求項5に記載の薬剤識別装置。
【請求項7】
前記照射部は、第5方向に光を照射する第5光源と、第6方向に光を照射する第6光源と、第7方向に光を照射する第7光源と、第8方向に光を照射する第8光源と、
を備え、
前記第6方向とは前記表面の平面視において前記第5方向と対向する方向であり、前記第7方向とは前記表面の平面視において前記第5方向と直交する方向であり、前記第8方向とは前記表面の平面視において前記第7方向と対向する方向であり、
前記ステージは光透過性を有する材料で構成され、
前記第1光源、第2光源、第3光源、及び第4光源は前記ステージの一方の面側に配置され、
前記第5光源、第6光源、第7光源、及び第8光源は前記ステージの一方の面側とは異なる他方の面側に配置される請求項6に記載の薬剤識別装置。
【請求項8】
更に、表示画像生成部を備え、
前記表示画像生成部は、前記合成画像から前記合成画像に対応する薬剤領域画像を引き算した差分画像である強調した表示画像を生成する、請求項5から7のいずれか1項に記載の薬剤識別装置。
【請求項9】
前記表示画像生成部は、前記薬剤領域画像のノイズ低減処理及び鮮鋭化処理を行う、請求項8に記載の薬剤識別装置。
【請求項10】
刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得工程と、
前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成工程と、
前記複数のエッジ画像を合成して合成画像を生成する画像合成工程と、
を備えた画像処理方法。
【請求項11】
刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得機能と、
前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、
前記複数のエッジ画像を合成して合成画像を生成する画像合成機能と、
をコンピュータに実行させるためのプログラム。
【請求項12】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得機能と、
前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、
前記複数のエッジ画像を合成して合成画像を生成する画像合成機能と、
をコンピュータに実行させる記録媒体。
【請求項13】
請求項8又は9に記載の薬剤識別装置を備えた薬剤を検査する薬剤検査支援装置において、
薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、前記撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、
前記検査する薬剤の一覧表であって、前記薬剤の薬剤マスタ画像と、前記差分画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、
を備えた薬剤検査支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤に付された刻印を読み取る薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
薬剤を撮影した撮影画像から薬剤の種類を識別する装置が知られている。例えば、薬剤を照明し、照明された薬剤を撮影し、得られた撮影画像の薬剤領域と薬剤の種類毎に予め登録されたマスタ画像とを照合することにより、薬剤の種類を識別することができる。
【0003】
特許文献1には、物体に設けられた刻印表示に異なる方向から光を照射する複数の照明手段と、刻印表示を撮像する撮像手段と、撮像手段で得た照明の異なる複数の各画像情報を合成して合成画像を得る画像合成手段と、この合成画像から刻印表示の内容を読み取る読み取り手段とが備えられて成る刻印表示読み取り装置が記載されている。
【0004】
特許文献1の装置によれば、対象物の撮影面を明瞭にし、色ムラ及び反射ムラにより刻印のS/N(Signal to Noise)比が悪化することを改善することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2002-334323号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の装置では、刻印以外の情報を低減させることができない。このため、特許文献1に記載の装置を薬剤の識別に適用すると、薬剤が有する斑模様等が読み取られてしまう。このように、斑模様等の刻印以外の情報が薬剤の情報として得られると、マスタ画像との照合を適切に行うことができないという問題点がある。
【0007】
本発明はこのような事情に鑑みてなされたもので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために画像処理装置の一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得部と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、複数のエッジ画像を合成して合成画像を生成する画像合成部と、を備えた。
【0009】
本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0010】
エッジ画像生成部は、刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタを用いて複数のエッジ画像を生成することが好ましい。このようなサイズのエッジ抽出フィルタを用いることで、光の照射方向に依存しない表面の模様等は相対的に信号が低下するので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0011】
照射方向に応じた方向とは、照射方向の表面の平面視における方向を含むことが好ましい。これにより、複数のエッジ画像を適切に生成することができる。
【0012】
照射方向に応じた方向とは、照射方向の表面の平面視における方向と45度傾斜する方向と、照射方向の表面の平面視における方向と-45度傾斜する方向と、を含むことが好ましい。これにより、複数のエッジ画像を適切に生成することができる。
【0013】
取得部は、表面への光の照射方向が第1方向、第2方向、第3方向、及び第4方向である薬剤の4枚の画像を取得し、第2方向とは第1方向と表面の平面視において対向する方向であり、第3方向とは第1方向と表面の平面視において直交する方向であり、第4方向とは第3方向と表面の平面視において対向する方向であることが好ましい。直交する4方向から光を照射した画像を用いることで、適切な合成画像を生成することができる。
【0014】
上記目的を達成するために薬剤識別装置の一の態様は、刻印が表面に付された薬剤を載置するステージと、表面への光の照射方向がそれぞれ異なる複数の光源を有する照射部と、薬剤の表面に複数の光源によりそれぞれ光が照射された薬剤をそれぞれ撮影した複数の画像を取得する撮影部と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、複数のエッジ画像を合成して合成画像を生成する画像合成部と、を備えた。
【0015】
本態様によれば、刻印が表面に付された薬剤をステージに載置し、表面への光の照射方向がそれぞれ異なる複数の光源により薬剤の表面にそれぞれ光を照射し、薬剤を撮影した複数の画像を取得し、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0016】
照射部は、第1方向に光を照射する第1光源と、第2方向に光を照射する第2光源と、第3方向に光を照射する第3光源と、第4方向に光を照射する第4光源と、を備え、第2方向とは表面の平面視において第1方向と対向する方向であり、第3方向とは表面の平面視において第1方向と直交する方向であり、第4方向とは表面の平面視において第3方向と対向する方向であることが好ましい。直交する4方向から光を照射して画像を取得することで、適切な合成画像を生成することができる。
【0017】
照射部は、第5方向に光を照射する第5光源と、第6方向に光を照射する第6光源と、第7方向に光を照射する第7光源と、第8方向に光を照射する第8光源と、を備え、第6方向とは表面の平面視において第5方向と対向する方向であり、第7方向とは表面の平面視において第5方向と直交する方向であり、第8方向とは表面の平面視において第7方向と対向する方向であり、ステージは光透過性を有する材料で構成され、第1光源、第2光源、第3光源、及び第4光源はステージの一方の面側に配置され、第5光源、第6光源、第7光源、及び第8光源はステージの一方の面側とは異なる他方の面側に配置されることが好ましい。薬剤の刻印がステージの上面及び下面のいずれに配置された場合であっても、直交する4方向から光を照射して画像を取得することができ、適切な合成画像を生成することができる。
【0018】
上記目的を達成するために画像処理方法の一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得工程と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成工程と、複数のエッジ画像を合成して合成画像を生成する画像合成工程と、を備えた。
【0019】
本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0020】
上記目的を達成するためにプログラムの一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得機能と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、複数のエッジ画像を合成して合成画像を生成する画像合成機能と、をコンピュータに実行させる。
【0021】
本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0022】
上記目的を達成するために薬剤検査支援装置の一の態様は、薬剤を検査する薬剤検査支援装置において、薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、検査する薬剤の一覧表であって、薬剤マスタ画像と、撮影画像における各薬剤と判別された薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、を備えた。
【0023】
本態様によれば、薬剤の薬剤マスタ画像と、撮影画像における薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示するようにしたので、識別情報が刻印であっても印字であっても、識別情報をユーザに適切に認識させることができる。
【発明の効果】
【0024】
本発明によれば、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出することができる。
【図面の簡単な説明】
【0025】
図1】薬剤識別装置の上面図
図2】薬剤識別装置の側面図
図3】薬剤識別装置の内部構成を示すブロック図
図4】全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像の一例を示す図
図5】全方向補正画像、左補正画像、右補正画像、上補正画像、及び下補正画像を示す図
図6】全方向補正画像、左補正画像、右補正画像、上補正画像、及び下補正画像の識別情報の領域を示す図
図7】薬剤識別装置の斜視図
図8】薬剤識別装置の上面図
図9】薬剤識別装置の上面図
図10】薬剤識別装置の側面図
図11】薬剤識別装置の上面図
図12】薬剤識別装置の側面図
図13】薬剤識別装置の内部構成を示すブロック図
図14】錠剤のxy平面視の中心を通るx軸方向の断面構造の模式図
図15】錠剤の左入射画像のxy平面視の中心を通るx軸方向の輝度プロファイルを示す図
図16】錠剤の右入射画像のxy平面視の中心を通るx軸方向の輝度プロファイルを示す図
図17】錠剤の合成画像の輝度プロファイルを示す図
図18】左方向のソーベルフィルタ及び右方向のソーベルフィルタを示す図
図19図15に示すプロファイルの微分プロファイルを示す図
図20図15に示すプロファイルの微分プロファイルを示す図
図21図19及び図20に示すプロファイルの合成プロファイルを示す図
図22】上入射画像、右入射画像、左入射画像、及び下入射画像の一例と、各画像の輝度値のレンジとを示す図
図23】輝度値のレンジを調整後の上入射画像、右入射画像、左入射画像、及び下入射画像の一例と、調整後の輝度値のレンジを示す図
図24】上方向のソーベルフィルタ、右上方向のソーベルフィルタ、左上方向のソーベルフィルタ、下方向のソーベルフィルタ、右下方向のソーベルフィルタ、及び左下方向のソーベルフィルタを示す図
図25】上方向エッジ画像、右方向エッジ画像、左方向エッジ画像、及び下方向エッジ画像の一例を示す図
図26】合成画像の一例と、輝度値のレンジを示す図
図27】薬剤識別装置の内部構成を示すブロック図
図28】錠剤が包装された複数の薬包が連続する薬包帯を示す図
図29】薬剤識別方法の処理の一例を示すフローチャート
図30】薬剤検査支援装置の内部構成を示すブロック図
図31】薬剤検査支援方法の処理を示すフローチャート
図32】一覧表を示す図
図33】比較例の一覧表を示す図
【発明を実施するための形態】
【0026】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0027】
<第1の実施形態>
薬剤(錠剤)の表面には、薬剤の種別を識別するための識別情報が付されている。この識別情報は、一般に、刻印又は印字(印刷)によって付される。したがって、この識別情報が刻印及び印字のいずれで付されたかを判別することができれば、薬剤の照合プロセスの候補を減らすことができる。
【0028】
第1~第3の実施形態に係る薬剤識別装置は、表面に付された薬剤の識別情報が、刻印及び印字のいずれにより付されたかを判定する。
【0029】
なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
【0030】
また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
【0031】
〔薬剤識別装置の構成〕
図1は、第1の実施形態に係る薬剤識別装置100(画像処理装置の一例)の上面図であり、図2は薬剤識別装置100の側面図である。
【0032】
図1及び図2に示すように、薬剤識別装置100は、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。なお、図1においては、カメラ120及びカメラ122の図示を省略している。
【0033】
ステージ102は、xy平面(水平面)に平行な載置面102A及び裏面102Bを有する板状部材である。ステージ102は、光透過性を有する材料によって構成されている。ここでは、x軸方向に130mm、y軸方向に80mmの大きさを有している。ステージ102の載置面102Aには、錠剤T(薬剤の一例)が載置される。錠剤Tのうち、載置面102Aに接している面を下面、下面の反対面を上面とすると、錠剤Tの上面及び下面の少なくとも一方には、錠剤Tの識別情報Iが刻印又は印字により付されている。ここでは、錠剤Tは分包紙に包まれていないが、透明又は半透明の分包紙に包まれた状態で載置されてもよい。
【0034】
第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、それぞれバー状(線状)のLED(Light Emitting Diode)光源である。第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、不図示の支持部により支持され、それぞれz軸方向に対して傾斜した方向からステージ102に向かって可視光の照明光を照射する。ここでは、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の点灯時の輝度は、それぞれ同一である。
【0035】
第1光源104は、ステージ102からz軸方向の一方側(図2において上側)に一定量離れた位置であって、載置面102Aのx軸方向の一方側(図1において左側)の位置に、y軸方向に平行に配置されている。第1光源104は、ステージ102に向けて第1方向に照明光を照射する。
【0036】
第2光源106は、ステージ102からz軸方向の一方側に一定量離れた位置であって、x軸方向の他方側(図1において右側)の位置に、y軸方向に平行に配置されている。第2光源106は、ステージ102に向けて第2方向に照明光を照射する。第2方向は、xy平面視(表面の平面視の一例)において第1方向と対向する方向である。
【0037】
第3光源108は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の一方側(図1において上側)の位置に、x軸方向に平行に配置されている。第3光源108は、ステージ102に向けて第3方向に照明光を照射する。第3方向は、xy平面視において第1方向と直交する方向である。
【0038】
第4光源110は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の他方側(図1において下側)の位置に、x軸方向に平行に配置されている。第4光源110は、ステージ102に向けて第4方向に照明光を照射する。第4方向は、xy平面視において第3方向と対向する方向である。
【0039】
第5光源112は、ステージ102からz軸方向の他方側(図2において下側)に一定量離れた位置であって、x軸方向の一方側の位置に、y軸方向に平行に配置されている。第5光源112は、ステージ102に向けて第5方向に照明光を照射する。第5方向は、xy平面視において第1方向と同じ方向である。
【0040】
第6光源114は、ステージ102からz軸方向の他方側に一定量離れた位置であって、x軸方向の他方側の位置に、y軸方向に平行に配置されている。第6光源114は、ステージ102に向けて第6方向に照明光を照射する。第6方向は、xy平面視において第5方向と対向する方向である。
【0041】
第7光源116は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の一方側の位置に、x軸方向に平行に配置されている。第7光源116は、ステージ102に向けて第7方向に照明光を照射する。第7方向は、xy平面視において第5方向と直交する方向である。
【0042】
第8光源118は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の他方側の位置に、x軸方向に平行に配置されている。第8光源118は、ステージ102に向けて第8方向に照明光を照射する。第8方向は、xy平面視において第7方向と対向する方向である。
【0043】
カメラ120及びカメラ122は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ120及びカメラ122は、それぞれ不図示のレンズ及び撮像素子を備えている。
【0044】
カメラ120は、ステージ102からz軸方向の一方側に一定量離れた位置に設けられている。カメラ120は、光軸をz軸方向に平行にして載置面102Aに向けて配置されている。カメラ122は、ステージ102からz軸方向の他方側に一定量離れた位置に設けられている。カメラ122は、光軸をz軸方向に平行にして裏面102Bに向けて配置されている。カメラ120の光軸及びカメラ122の光軸は、ステージ102を介して対向している。
【0045】
図3は、薬剤識別装置100の内部構成を示すブロック図である。薬剤識別装置100は、取得部124、画像比較部130、及び判定部136を備えている。
【0046】
取得部124は、前述のカメラ120及びカメラ122の他、照射部126及び撮影制御部128を含んで構成される。
【0047】
照射部126は複数の光源を有している。ここでは、照射部126は、前述の第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118を備えている。
【0048】
撮影制御部128は、照射部126の各光源に対して、点灯及び消灯をそれぞれ制御する。
【0049】
また、撮影制御部128は、カメラ120及びカメラ122を制御する。カメラ120及びカメラ122は、撮影制御部128の制御に従って、錠剤Tの表面に複数の光源によりそれぞれ光が照射された錠剤Tをそれぞれ撮影し、複数の撮影画像を取得する。
【0050】
なお、取得部124は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Tの表面への光の照射方向がそれぞれ異なる錠剤Tの複数の画像を取得する構成としてもよい。
【0051】
画像比較部130は、取得部124が取得した複数の撮影画像をそれぞれ比較する。画像比較部130は、画像処理部132、及び相関度検出部134を備えている。
【0052】
画像処理部132は、取得部124が取得した複数の撮影画像に対してそれぞれ輝度ムラ補正処理、及びノイズ低減処理等の画像処理を施す。相関度検出部134は、画像処理部132により画像処理が施された各画像同士の相関度を評価する。
【0053】
判定部136は、画像比較部130の比較結果に応じて錠剤Tの識別情報Iが刻印及び印字のいずれにより付されたかを判定する。ここでは、相関度検出部134によって検出された相関度と、予め定められた閾値とを比較して判定する。なお、判定部136は、錠剤Tの表面に刻印が付されているか否かを判定してもよい。
【0054】
〔画像処理方法〕
第1の実施形態に係る画像処理方法について説明する。ここでは、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されているものとする。すなわち、識別情報Iは錠剤Tの上面に配置されている。また、錠剤Tには、照射部126の光源による照明光以外の光は照射されない環境であることが好ましい。
【0055】
まず、撮影制御部128は、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の全てを点灯し、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
【0056】
次に、撮影制御部128は、第1光源104及び第5光源112を点灯し、その他の光源を消灯し、第1光源104及び第5光源112により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の左入射画像及び下面の左入射画像を取得する。
【0057】
次に、撮影制御部128は、第2光源106及び第6光源114を点灯し、その他の光源を消灯し、第2光源106及び第6光源114により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の右入射画像及び下面の右入射画像を取得する。
【0058】
続いて、撮影制御部128は、第3光源108及び第7光源116を点灯し、その他の光源を消灯し、第3光源108及び第7光源116により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の上入射画像及び下面の上入射画像を取得する。
【0059】
さらに、撮影制御部128は、第4光源110及び第8光源118を点灯し、その他の光源を消灯し、第4光源110及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の下入射画像及び下面の下入射画像を取得する(取得工程の一例、取得機能の一例)。
【0060】
このように撮影された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像は、画像比較部130に入力される。
【0061】
画像比較部130の画像処理部132は、入力された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像から、識別情報Iが撮影されている画像を抽出する。ここでは、識別情報Iは鉛直方向の上側に向けられているため、識別情報Iはカメラ120によって撮影されている。図4は、取得部124において取得された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像のうち、カメラ120によって撮影された錠剤Tの上面の全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1の一例を示す図である。なお、識別情報Iが鉛直方向の下側に向けている場合は、識別情報Iはカメラ122によって撮影される。また、ステージ102に複数の錠剤Tが載置され、複数の錠剤Tが撮影された場合は、各画像から所望の錠剤Tの領域を抽出してもよい。
【0062】
画像処理部132は、全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1にそれぞれ輝度ムラ補正処理を施し、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2を生成する。
【0063】
この輝度ムラ補正処理は、例えば全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1を、全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
【0064】
図5は、画像処理部132において輝度ムラ補正処理が施された全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2を示す図である。
【0065】
また、画像処理部132は、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2に、それぞれノイズ低減処理を施してもよい。
【0066】
このノイズ低減処理は、例えばメディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含む処理を施す。
【0067】
なお、画像処理部132は、輝度ムラ補正処理前の全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1に、それぞれノイズ低減処理を施してもよい。
【0068】
続いて、画像比較部130の相関度検出部134は、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2をそれぞれ比較し、各画像の識別情報Iの領域(刻印又は印字領域の一例)の相関度を検出する(画像比較工程の一例、画像比較機能の一例)。本実施形態に係る相関度は、比較した画像の相関が大きいほど値が高くなる指標である。相関度は、例えば、ゼロ平均正規化相互相関マッチング等のテンプレートマッチングを用いて検出する。
【0069】
図6は、識別情報Iが印字Pにより付されている場合の全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2の識別情報Iの領域と、識別情報Iが刻印Sにより付されている場合の全方向補正画像GA3、左補正画像GL3、右補正画像GR3、上補正画像GU3、及び下補正画像GD3の識別情報Iの領域との一例を示す図である。
【0070】
図6に示すように、識別情報Iが印字Pにより付されている場合は、照明光の照射方向に依存せずに識別情報Iの輪郭が保存される。したがって、画像間の相関度が相対的に高くなる。一方、識別情報Iが刻印Sで付されている場合は、刻印は照明光の照射方向に依存して影の位置が異なるために、識別情報Iの輪郭は照射方向によって大きく異なる。したがって、画像間の相関度が相対的に低くなる。
【0071】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する(判定工程の一例、判定機能の一例)。
【0072】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
【0073】
本実施形態では、4方向から照明光を照射することで、4枚の各方向入射画像及び1枚の全方向入射画像を取得したが、2方向から照明光を照射することで、2枚の各方向の入射画像及び1枚の両方向入射画像を取得してもよい。なお、3方向以上から照明光を照射することで、3枚以上の各方向の入射画像及び1枚の全方向入射画像を取得することが好ましい。
【0074】
<第2の実施形態>
〔薬剤識別装置の構成〕
図7は、第2の実施形態に係る薬剤識別装置140の斜視図であり、図8は薬剤識別装置140の上面図である。なお、図1及び図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0075】
図7及び図8に示すように、薬剤識別装置140は、ステージ102、カメラ120、カメラ122、載置面側ドーム照明142及び裏面側ドーム照明148を備えている。なお、図8においては、カメラ120、カメラ122、及び裏面側ドーム照明148の図示を省略している。
【0076】
載置面側ドーム照明142は、ステージ102からz軸方向の一方側(載置面102A側)に一定量離れた位置に、不図示の支持部により支持されている。載置面側ドーム照明142は、光源保持部144及び複数の点光源146を含んで構成されている。光源保持部144は、複数の点光源146を保持する保持部材である。光源保持部144は光透過性を有する材料によって形成されている。光源保持部144は略ドーム形状に形成されている。
【0077】
光源保持部144の鉛直方向の上側には、光源保持部144の内部を露呈させる開口窓144Aが形成されている。開口窓144Aの鉛直方向の上方には、カメラ120が配置されている。これにより、カメラ120によって開口窓144Aを介して光源保持部144内の錠剤Tを撮影することができる。光源保持部144内の錠剤Tとは、ステージ102に載置され、かつ光源保持部144の内側に位置する錠剤Tをいう。
【0078】
点光源146は、LED光源が用いられる。点光源146は、光源保持部144の外側面の下段部及び上段部のそれぞれの周方向に沿って等間隔に8個取り付けられている。これら16個の点光源146は、光源保持部144内の錠剤Tに向けて照明光を照射する。
【0079】
裏面側ドーム照明148は、ステージ102からz軸方向の他方側(裏面102B側)に一定量離れた位置に、不図示の支持部により支持されている。裏面側ドーム照明148は、光源保持部150及び複数の点光源152を含んで構成されている。光源保持部150は、載置面側ドーム照明142の光源保持部144と同様に構成されている。
【0080】
光源保持部150の鉛直方向の下側には、光源保持部150の内部を露呈させる開口窓150Aが形成されている。開口窓150Aの鉛直方向の下方には、カメラ122が配置されている。これにより、カメラ122によって開口窓150Aを介して光源保持部150内の錠剤Tを撮影することができる。光源保持部150内の錠剤Tとは、ステージ102に載置され、かつ光源保持部150の内側に位置する錠剤Tをいう。
【0081】
点光源152の構成及び配置は、載置面側ドーム照明142の点光源146と同様である。ここでは、複数の点光源146及び複数の点光源152の点灯時の輝度は、それぞれ同一である。
【0082】
また、薬剤識別装置140の内部構成を示すブロック図は、図3に示した薬剤識別装置100のブロック図と同様であり、点光源146及び点光源152が照射部126に含まれる。
【0083】
このように構成された薬剤識別装置140は、載置面側ドーム照明142の各点光源146、及び裏面側ドーム照明148の各点光源152のそれぞれの点灯及び消灯を制御することにより、光源保持部144内の錠剤Tに任意の照射方向から照明光を照射することができる。
【0084】
〔画像処理方法〕
第2の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0085】
まず、薬剤識別装置140の撮影制御部128は、載置面側ドーム照明142の複数の点光源146、及び裏面側ドーム照明148の各点光源152を全て点灯する。これにより、複数の点光源146は、錠剤Tの表面(上面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。また、複数の点光源152は、錠剤Tの表面(下面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。
【0086】
また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
【0087】
次に、撮影制御部128は、載置面側ドーム照明142の複数の点光源146のうち1つの点光源146を点灯し、残りを消灯する。同様に、裏面側ドーム照明148の複数の点光源152のうち1つの点光源152を点灯し、残りを消灯する。このように、点光源146及び点光源152は、錠剤Tの表面に垂直な方向に対して傾斜した一方向から光を照射する。
【0088】
そして、撮影制御部128は、カメラ120及びカメラ122により錠剤Tを撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。全方向入射画像及び一方向入射画像は、画像比較部130に入力される。
【0089】
画像比較部130の画像処理部132は、入力された全方向入射画像及び一方向入射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された全方向入射画像及び一方向入射画像を抽出する。また、画像処理部132は、抽出した全方向入射画像及び一方向入射画像にそれぞれ輝度ムラ補正処理を施し、全方向補正画像及び一方向補正画像を生成する。
【0090】
続いて、画像比較部130の相関度検出部134は、全方向補正画像及び一方向補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
【0091】
識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、全方向補正画像(全方向入射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
【0092】
一方、識別情報Iが印字によって付されている場合は、全方向補正画像(全方向入射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
【0093】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
【0094】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
【0095】
なお、薬剤識別装置140によれば、載置面側ドーム照明142の点光源146、及び裏面側ドーム照明148の点光源152のそれぞれの点灯及び消灯を制御することにより、第1の実施形態の同様の全方向(4方向)入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像を取得することも可能である。
【0096】
<第3の実施形態>
〔薬剤識別装置の構成〕
図9は、第3の実施形態に係る薬剤識別装置160の上面図であり、図10は薬剤識別装置160の側面図である。なお、図1及び図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0097】
図9及び図10に示すように、薬剤識別装置160は、ステージ102、第1光源104、第5光源112、カメラ120、カメラ122、第1落射照明162、及び第2落射照明168を備えている。なお、図9においては、カメラ120、カメラ122、及び第2落射照明168の図示を省略している。
【0098】
第1落射照明162は、ステージ102とカメラ120との間であって、カメラ120の光軸上に配置され、不図示の支持部により支持されている。第1落射照明162は、光源164及びハーフミラー166を備えている。
【0099】
光源164は、LED光源が用いられる。ハーフミラー166は、光源164から射出された照明光を、カメラ120の光軸と一致する方向に反射させる。また、ハーフミラー166は、ステージ102から戻ってきた反射光を透過させ、カメラ120に入射させる。このように、第1落射照明162は、カメラ120の光軸と同軸の落射照明光をステージ102の載置面102Aに向けて照射する。
【0100】
また、第2落射照明168は、ステージ102とカメラ122との間であって、カメラ122の光軸上に、不図示の支持部により支持されている。第2落射照明168は、光源170及びハーフミラー172を備えている。
【0101】
光源170は、LED光源が用いられる。ハーフミラー172は、光源170から射出された照明光を、カメラ122の光軸と一致する方向に反射させる。また、ハーフミラー172は、ステージ102から戻ってきた反射光を透過させ、カメラ122に入射させる。このように、第2落射照明168は、カメラ122の光軸と同軸の落射照明光をステージ102の裏面102Bに向けて照射する。
【0102】
また、薬剤識別装置160の内部構成を示すブロック図は、図3に示した薬剤識別装置100のブロック図と同様であり、光源164及び光源170が照射部126に含まれる。
【0103】
このように構成された薬剤識別装置160は、第1光源104及び第5光源112により、それぞれ錠剤Tの表面に対して傾斜した一方向から照明光を照射することができる。また、第1落射照明162及び第2落射照明168により、それぞれ錠剤Tの表面に対して落射方向(垂直方向)から照明光を照射することができる。
【0104】
〔画像処理方法〕
第3の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0105】
まず、薬剤識別装置160の撮影制御部128は、第1光源104及び第5光源112を点灯し、第1落射照明162及び第2落射照明168を消灯する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。
【0106】
次に、撮影制御部128は、第1落射照明162及び第2落射照明168を点灯し、第1光源104及び第5光源112を消灯する。そして、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の落射画像及び下面の落射画像を取得する。一方向入射画像及び落射画像は、画像比較部130に入力される。
【0107】
画像比較部130の画像処理部132は、入力された一方向入射画像及び落射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された一方向入射画像及び落射画像を抽出する。また、画像処理部132は、抽出した一方向入射画像及び落射画像にそれぞれ輝度ムラ補正処理を施し、一方向補正画像及び落射補正画像を生成する。
【0108】
続いて、画像比較部130の相関度検出部134は、一方向補正画像及び落射補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
【0109】
識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、落射補正画像(落射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
【0110】
一方、識別情報Iが印字によって付されている場合は、落射補正画像(落射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
【0111】
相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
【0112】
以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、照合の演算処理の負荷を低減させることができる。
【0113】
<第4の実施形態>
錠剤の刻印及び割線を抽出すると、錠剤の照合のロバスト性が向上する。照合において局所特徴量又はテンプレートマッチング等の画像同士の比較をする場合、及びOCR(Optical Character Recognition)等の文字認識をする場合においても同様である。
【0114】
ロバスト性が低下する原因は、いかなる場合においても比較の対象となる画像同士が異なっているためである。特に、光源と刻印及び割線との位置関係が成り行きで決定される場合に、刻印及び割線の画像間の差は顕著となる。これは、光源と刻印及び割線の位置関係に依存して、溝の影の発生の様子が異なるためである。
【0115】
第4~第5の実施形態に係る薬剤識別装置は、光の照射方向と刻印の影が発生する方向との関係を利用して、光の照射方向に応じたエッジ抽出フィルタ処理を行って錠剤の溝部分のみを抽出する。これにより、光源と刻印の位置関係が成り行きで決定される場合であっても、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する。
【0116】
〔薬剤識別装置の構成〕
図11は、第4の実施形態に係る薬剤識別装置180の上面図であり、図12は薬剤識別装置180の側面図である。薬剤識別装置180の外観上の構成は、図1及び図2に示した薬剤識別装置100の構成と共通であり、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。ここでは、ステージ102の位置A及び位置Bに、それぞれ1つの錠剤Tが載置されている例を示している。
【0117】
錠剤Tは、それぞれ直径がDであり、表面には断面がV字状の溝からなる割線である刻印Sが形成されている。刻印Sの溝の幅はWである。なお、刻印Sの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、錠剤Tの表面における距離をいう。図11に示す例では、錠剤Tは、刻印Sを鉛直方向の上側に向けて、かつ刻印Sをy軸方向に平行にして、ステージ102に載置されている。
【0118】
図13は、薬剤識別装置180の内部構成を示すブロック図である。なお、図3に示したブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤識別装置180は、取得部124、エッジ画像生成部182、及び画像合成部184を備えている。
【0119】
取得部124は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する。本実施形態では、カメラ120及びカメラ122により、360dpi(dot per inch)の解像度の画像を取得する。
【0120】
エッジ画像生成部182は、取得部124において取得した複数の画像の各画像に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成する。
【0121】
画像合成部184は、エッジ画像生成部182において生成した複数のエッジ画像を合成して合成画像を生成する。
【0122】
〔光源と刻印との位置関係による影の発生の違い〕
ここで、光源と刻印(割線)との位置関係による影の発生の違いについて説明する。
【0123】
図14は、図11に示した錠剤Tのxy平面視の中心を通るx軸方向の断面構造の模式図であり、1画素分のラインのプロファイルを示している。
【0124】
ここで、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、ステージ102に載置された錠剤Tに第1光源104から図14に示す照明光Lを照射する。そして、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。
【0125】
図15に示すプロファイルPPALは、位置Aに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、図15に示すプロファイルPPBLは、位置Bに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。図15において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。図15に示すように、錠剤Tの表面の部分は照明光Lが照射されることによって輝度が相対的に高くなる。また、刻印Sの図14における右側の面Sにも照明光Lが照射されるため、面Sの部分は輝度が相対的に高くなる。一方、刻印Sの図14における左側の面Sには照明光Lが照射されないため、影が発生し、面Sの部分は輝度が相対的に低くなる。
【0126】
さらに、位置Aの方が位置Bよりも第1光源104との距離が近い。したがって、第1光源104による照明光Lは、位置Bの方が位置Aよりも弱い。このため、プロファイルPPBLは、図15に示すプロファイルPPALよりも全体的に輝度が低い。
【0127】
続いて、撮影制御部128は、照射部126の光源のうち第2光源106のみを点灯して、ステージ102に載置された錠剤Tに第2光源106から図14に示す照明光Lを照射する。そして、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
【0128】
図16に示すプロファイルPPARは、位置Aに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、図16に示すプロファイルPPBRは、位置Bに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。図16において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。図16に示すように、錠剤Tの表面の部分は照明光Lが照射されることによって輝度が相対的に高くなる。また、刻印Sの図14における左側の面Sにも照明光Lが照射されるため、面Sの部分は輝度が相対的に高くなる。一方、刻印Sの図14における右側の面Sには照明光Lが照射されないため、影が発生し、面Sの部分は輝度が相対的に低くなる。
【0129】
さらに、位置Bの方が位置Aよりも第2光源106との距離が近い。したがって、第2光源106による照明光Lは、位置Aの方が位置Bよりも弱い。このため、プロファイルPPARは、プロファイルPPBRよりも全体的に輝度が低い。
【0130】
図17に示すプロファイルPPAWは、位置Aの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Aは、第1光源104との距離が相対的に近く、第2光源106との距離が相対的に遠い。このため、プロファイルPPAWは、刻印Sの面Sの位置と面Sの位置とで輝度が異なる値になっている。
【0131】
また、図17に示すプロファイルPPBWは、位置Bの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Bは、第1光源104との距離と第2光源106との距離が等しい。このため、プロファイルPPBWは、面Sの位置と面Sの位置とで輝度が等しい値になっている。
【0132】
このように、錠剤Tの撮影画像は、光源と刻印との位置関係によって輝度プロファイルが異なることがわかる。その結果として異なる影の画像が得られるため、画像の照合の際のロバスト性が低下する。
【0133】
また、輝度プロファイル同士を比較しても相関が低下する。このため、2値化処理、ノイズ低減処理、及びエッジ抽出処理等を行っても、左入射画像及び右入射画像の合成画像に適用した場合、それぞれ位置による閾値が異なり、少ないパラメータで刻印部分のみを抽出することは困難である。
【0134】
ここでは、撮影画像から輝度プロファイルを抽出した例を説明したが、輝度プロファイルだけでなく、RGB(Red Green Blue)の画像、及びRGB単色の画像においても同様の問題が発生する。また、CIE(Commission Internationale de l'Eclairage:国際照明委員会)XYZ表色系、CIELuv(L* u* v* )表色系、HSV(Hue, Saturation, Value)色空間、LCH(Light,Color,Hue)色空間に変換した画像であっても同様である。
【0135】
〔画像処理方法〕
錠剤Tの表面に付された刻印Sを抽出する第4の実施形態に係る画像処理方法について説明する。
【0136】
前述したように、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。また、照射部126の光源のうち第2光源106のみを点灯して、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
【0137】
このように取得した位置Aの錠剤T及び位置Bの錠剤Tの左入射画像及び右入射画像は、エッジ画像生成部182に入力される。
【0138】
エッジ画像生成部182は、入力された左入射画像及び右入射画像に対して、照射方向に応じた方向のエッジ抽出フィルタをそれぞれ用いて左エッジ画像及び右エッジ画像を生成する。ここでは、エッジ抽出フィルタとして、刻印Sの溝の幅(の画素数)の半分より大きいサイズのソーベルフィルタを用いる。例えば、刻印Sの溝の幅の画素数が4画素であれば、その半分の2画素より大きいサイズ(x軸方向3画素×y軸方向3画素等)のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。
【0139】
なお、エッジ抽出フィルタ処理としては、ソーベルフィルタ処理、ラプラシアンフィルタ処理、及びキャニーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
【0140】
また、照射方向に応じた方向とは、ここでは照射方向のxy平面視における方向である。すなわち、第1光源104からの照明光の照射方向のxy平面視における方向は、図11において左から右に向かう方向(右方向)であり、第2光源106からの照明光の照射方向のxy平面視における方向は、図11において右から左に向かう方向(左方向)である。
【0141】
図18は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、左方向のソーベルフィルタF、及び右方向のソーベルフィルタFを示す図である。本実施形態では左入射画像及び右入射画像の解像度が360dpiであり、x軸方向3画素×y軸方向3画素、x軸方向5画素×y軸方向5画素、又はx軸方向7画素×y軸方向7画素等のサイズが刻印Sの溝の画素数の半分に相当する。解像度が異なる場合は、刻印Sの溝の幅の画素数の半分より大きいサイズのフィルタを適宜選択すればよい。ここでは、x軸方向3画素×y軸方向3画素のソーベルフィルタを用いる。
【0142】
エッジ画像生成部182は、位置Aの錠剤Tの左入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、左エッジ画像を生成する。図19に示すプロファイルPEALは、図15に示すプロファイルPPALの微分プロファイルであり、位置Aの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0143】
また、エッジ画像生成部182は、位置Bの錠剤Tの左入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、左エッジ画像を生成する。図19に示すプロファイルPEBLは、図15に示すプロファイルPPBLの微分プロファイルであり、位置Bの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0144】
同様に、エッジ画像生成部182は、位置Aの錠剤Tの右入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、右エッジ画像を生成する。図20に示すプロファイルPEARは、図16に示すプロファイルPPARの微分プロファイルであり、位置Aの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0145】
さらに、エッジ画像生成部182は、位置Bの錠剤Tの右入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、右エッジ画像を生成する。図20に示すプロファイルPEBRは、図16に示すプロファイルPPBRの微分プロファイルであり、位置Bの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0146】
最後に、画像合成部184は、左エッジ画像及び右エッジ画像を合成して合成画像を生成する。
【0147】
図21に示すプロファイルPCAは、プロファイルPEAL及びプロファイルPEARの合成プロファイルであり、位置Aの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0148】
また、図21に示すプロファイルPCBは、プロファイルPEBL及びプロファイルPEBRの合成プロファイルであり、位置Bの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
【0149】
図21に示すように、合成画像の輝度プロファイルは、図17に示した輝度プロファイルと比較し、刻印Sの部分のS/N比(signal-to-noise ratio)が高くなっている。
【0150】
このように、エッジを抽出することで、照明の方向に依存しない(影が出ない)模様等は相対的に信号が低下するので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
【0151】
<第5の実施形態>
第4の実施形態では、錠剤Tの表面への光の照射方向がそれぞれ異なる2枚の画像である左入射画像及び右入射画像を用いた例を説明したが、光の照射方向は3方向以上あることが好ましい。本実施形態では、光の照射方向を4方向として4枚の画像を用いた例を説明する。
【0152】
〔画像処理方法〕
ここでは、薬剤識別装置180のステージ102の載置面102Aに、刻印Sを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
【0153】
まず、撮影制御部128は、錠剤Tの上面及び下面の上入射画像、右入射画像、左入射画像、及び下入射画像を取得する(取得工程の一例)。
【0154】
すなわち、撮影制御部128は、照射部126の各光源のうち第3光源108及び第7光源116のみを点灯し、カメラ120及びカメラ122により、錠剤Tの上面及び下面の上入射画像を取得する。同様に、撮影制御部128は、照射部126の各光源のうち第2光源106及び第6光源114のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の右入射画像を取得し、照射部126の各光源のうち第1光源104及び第5光源112のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の左入射画像を取得し、照射部126の各光源のうち第4光源110及び第8光源118のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の下入射画像を取得する。
【0155】
このように取得した上入射画像、右入射画像、左入射画像、及び下入射画像は、エッジ画像生成部182に入力される。
【0156】
エッジ画像生成部182は、入力された上入射画像、右入射画像、左入射画像、及び下入射画像から、刻印Sが撮影されている画像を抽出する。ここでは、刻印Sはカメラ120によって撮影されている。図22は、取得部124において取得された上入射画像、右入射画像、左入射画像、及び下入射画像のうち、カメラ120によって撮影された上面の上入射画像GU11、右入射画像GR11、左入射画像GL11、及び下入射画像GD11の一例と、各画像の輝度値のレンジとを示す図である。
【0157】
続いて、エッジ画像生成部182は、上入射画像GU11、右入射画像GR11、左入射画像GL11、及び下入射画像GD11の輝度値のレンジを刻印Sが視認できるレンジに調整する。図23は、輝度値のレンジを調整後の上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12の一例と、調整後の輝度値のレンジを示す図である。
【0158】
ここで、エッジ画像生成部182は、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12にそれぞれ輝度ムラ補正処理を施してもよい。この輝度ムラ補正処理は、例えば上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12を、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
【0159】
次に、エッジ画像生成部182は、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印Sの溝の幅の画素数に応じたサイズのエッジ抽出フィルタをそれぞれ用いてエッジ画像を生成する。ここでは、第4の実施形態と同様に、エッジ抽出フィルタとして、刻印Sの溝の幅の画素数の半分より大きいサイズのソーベルフィルタを用いる。
【0160】
本実施形態では、照射方向に応じた方向とは、照明光の照射方向のxy平面視における方向と、照射方向のxy平面視における方向とxy平面視において45度傾斜する方向と、照射方向のxy平面視における方向とxy平面視において-45度傾斜する方向と、を含む。これは、照射部126の各光源による照明光が完全な平行光ではないためと、各照射方向に対して傾斜する方向の刻印を検出するためである。
【0161】
なお、第4の実施形態と同様に、照射方向に応じた方向を、照射方向のxy平面視における方向のみとすることも可能である。
【0162】
図24は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、上方向のソーベルフィルタF、右上方向のソーベルフィルタFUR、左上方向のソーベルフィルタFUL、下方向のソーベルフィルタF、右下方向のソーベルフィルタFDR、及び左下方向のソーベルフィルタFDLを示す図である。また、図18に示した左方向のソーベルフィルタF、及び右方向のソーベルフィルタFも用いる。
【0163】
エッジ画像生成部182は、上入射画像GU12に対して上方向のソーベルフィルタFを用いてエッジ画像を生成し、右上方向のソーベルフィルタFURを用いてエッジ画像を生成し、及び左上方向のソーベルフィルタFULを用いてエッジ画像を生成し、この3つのエッジ画像を加算して上方向エッジ画像GU13を生成する。
【0164】
同様に、エッジ画像生成部182は、右入射画像GR12に対して右方向のソーベルフィルタF、右上方向のソーベルフィルタFUR、及び右下方向のソーベルフィルタFDRを用いて右方向エッジ画像GR13を生成する。
【0165】
また、エッジ画像生成部182は、左入射画像GL12に対して左方向のソーベルフィルタF、左上方向のソーベルフィルタFUL、及び左下方向のソーベルフィルタFDLを用いて左方向エッジ画像GL13を生成する。
【0166】
さらに、エッジ画像生成部182は、下入射画像GD12に対して下方向のソーベルフィルタF、右下方向のソーベルフィルタFDR、及び左下方向のソーベルフィルタFDLを用いて下方向エッジ画像GD13を生成する(エッジ画像生成工程の一例、エッジ画像生成機能の一例)。
【0167】
図25は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13の一例を示す図である。図25に示すように、各エッジ画像は、抽出されたエッジ部分の輝度が高く(白色に)表現される。
【0168】
エッジ画像生成部182は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13にノイズ低減処理(平滑化処理)をそれぞれ施してもよい。ノイズ低減処理としては、メディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
【0169】
このように生成された上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13は、画像合成部184に入力される。
【0170】
画像合成部184は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13を加算して合成画像Gを生成する(画像合成工程の一例、画像合成機能の一例)。図26は、合成画像Gの一例と、輝度値のレンジを示す図である。図26に示すように、合成画像Gは輝度値のレンジが拡大され、刻印Sの部分の輝度が相対的に高くなっている。このため、照明の方向に依存しない(影が出ない)模様及び傷等の刻印Sの部分以外の輝度が相対的に低くなり、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の階調情報が残らない。
【0171】
このように、模様等の刻印S以外の情報を低減させることができるので、刻印S以外の情報が錠剤Tの情報として得られることがない。したがって、刻印Sを精度よく抽出し、マスタ画像との照合を適切に行うことができる。
【0172】
なお、画像合成部184は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13を乗算して合成画像Gを生成してもよい。合成方法は、マスタ画像との照合方法に応じて適宜選択することができる。
【0173】
以上のように、光源及び刻印の位置関係が成り行きで決定される場合であっても、錠剤Tの表面に付された刻印Sを適切に抽出することができる。これにより、錠剤の照合のロバスト性を向上させることができる。
【0174】
ここでは、照明光の照射方向を4方向とした例を説明したが、5方向以上であってもよい。照明光の照射方向が多ければ多いほど検出精度が高くなる。照射方向の数は、必要な検出精度と演算処理時間等から適宜決定すればよい。
【0175】
刻印を精度よく抽出する第4~第5の実施形態は、第1~第3の実施形態において識別情報が刻印によって付されたと判別された場合に実施することが好適である。第1~第3の実施形態において識別情報が印字によって付されたと判別された場合は、撮影画像から印字を精度よく抽出するためのノイズ低減処理及び鮮鋭化処理を行うことが考えられる。
【0176】
<第6の実施形態>
第1~第3の実施形態の識別情報が刻印及び印字のいずれによって付されたかを判別する構成、及び第4~第5の実施形態の刻印を抽出する構成を、以下に説明する薬剤識別装置及び薬剤検査支援装置に適用することも可能である。
【0177】
〔薬剤識別装置の構成〕
図27は、第6の実施形態に係る薬剤識別装置10の内部構成を示すブロック図である。薬剤識別装置10は、包装された薬剤を照明する照明部12と、照明部12によって照明された薬剤を撮影する撮影部14と、ユーザに対する薬剤の処方を示す処方情報を取得する処方情報取得部16と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部18と、記憶部18に記憶されたプログラムに従って各種の処理を行う処理部20と、画像表示可能な表示部22と、ユーザから操作を受け付ける操作部24と、を含んで構成される。
【0178】
薬剤の「包装」には一包化が含まれる。「一包化」とは、処方(調剤)された薬剤を一回の服用ごとに分包(パッケージ)することをいう。処方内容に依って、一つの包材に種類が異なる複数薬剤がパッケージされる場合、一つの包材に同一種類の複数薬剤がパッケージされる場合、及び一つの包材に薬剤が一個だけパッケージされる場合がある。一包化される薬剤の形態は、例えば、錠剤、カプセル剤が挙げられるが、特に限定されない。また、包材は、例えば、紙、プラスティックが挙げられるが、特に限定されない。また、「分包」(あるいは「包装」)は、一回の服用ごとに分包する場合に限定されず、薬剤が包材によって包装されている場合であればよい。
【0179】
照明部12は、光源を含んで構成される。照明部12の光源としては、ここまで説明した第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118のうち少なくとも1つを適用することができる。載置面側ドーム照明142、裏面側ドーム照明148、第1落射照明162、及び第2落射照明168を用いてもよい。
【0180】
撮影部14は、カメラを含んで構成される。撮影部14のカメラとしては、ここまで説明したカメラ120及びカメラ122の少なくとも一方を適用することができる。
【0181】
処方情報取得部16は、例えば、処方箋に記載された文字を光学的に読み取ることにより、処方情報を取得する。処方箋に付与されたバーコード(又は二次元コード)を読み取ることにより、処方情報を取得してもよい。また、医師がコンピュータ装置で入力した処方情報を、通信により取得してもよい。
【0182】
記憶部18は、一時的記憶デバイスと、非一時的記憶デバイスとによって構成される薬剤データベースである。記憶部18は、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する。
【0183】
処理部20は、例えばCPU(Central Processing Unit)によって構成される。処理部20は、記憶部18に記憶されたマスタ画像を更新する機能を有する。処理部20は、後述する特定の条件が満たされた場合、撮影部14によって得られた撮影画像を用いて記憶部18に記憶されたマスタ画像を更新するマスタ更新処理を行う。
【0184】
処理部20は、照明部12の照明を制御する照明制御部32と、撮影部14の撮影を制御する撮影制御部34と、撮影部14によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部35と、撮影部14によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部36と、撮影部14によって薬剤を撮影して得られた撮影画像の薬剤領域と記憶部18に記憶されたマスタ画像とを照合する照合部42と、薬剤位置取得部35によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部44と、更新判定部44によってマスタ画像を更新すると判定された場合、マスタ画像生成部36によって生成されたマスタ画像を記憶部18に登録する登録部46と、表示部22の表示を制御する表示制御部48と、を含んで構成されている。
【0185】
マスタ画像と撮影画像のうちの薬剤領域との相関度を示す相関値、あるいは薬剤領域間の相関値を算出する相関値算出部49と、基準位置を設定する基準位置設定部50とを、設けてもよい。
【0186】
処理部20の照明制御部32及び撮影制御部34として、これまで説明した撮影制御部128を適用することができる。また、薬剤位置取得部35として、これまで説明した画像比較部130及びエッジ画像生成部182を適用することができる。
【0187】
〔薬包〕
図28は、薬剤である錠剤Tが包装された複数の薬包TPが連続する薬包帯PBを示す図である。薬包帯PBはx軸方向に沿って搬送させることが可能である。錠剤Tには、刻印又は印字により、錠剤Tの種類を示す識別情報が付されている。ここでは、各錠剤Tに、「L」、「M」、又は「N」と刻印されている例を示している。
【0188】
薬包TPの包材は、両面とも透明(半透明を含む、以下同じ)が、好ましい。薬包TPの包材の片面に、印字又はマット加工が、施されていてもよい。
【0189】
連続した薬包TPは、一つの薬包TPのx軸方向におけるサイズごとに、搬送可能である。一つの薬包TPごとに、薬包TPの位置を検出可能であってもよい。
【0190】
なお、本実施形態は、薬包TPが搬送される場合に限定されない。薬包TPが載置台等に載置されるだけの場合であってもよい。
【0191】
図29は、第6の実施形態に係る薬剤識別方法の処理の一例を示すフローチャートである。この処理は、薬剤識別装置10の処理部20を構成するCPUによって、プログラムに従い実行される。
【0192】
まず、処方情報取得部16によって、処方情報を取得する(ステップS2)。
【0193】
次に、照明部12によって、分包された薬剤を照明する(ステップS4)。また、撮影部14によって、照明部12によって照明された薬剤を撮影する(ステップS6)。薬剤位置取得部35によって薬剤位置を取得し、かつマスタ画像生成部36によって撮影画像から薬剤領域を抽出する(ステップS8)。
【0194】
続いて、照合部42によって、記憶部18に記憶されたマスタ画像と撮影画像の薬剤領域とを照合する(ステップS10)。
【0195】
抽出した薬剤領域から、識別情報が刻印及び印字のいずれで付されたかを判別して照合プロセスの候補を減らすために、第1~第3の実施形態の手法を適用することができる。
【0196】
また、抽出した薬剤領域の刻印を精度よく抽出するために、第4~第5の実施形態で説明した手法を用いることができる。
【0197】
次に、記憶部18にマスタ画像が非登録の薬剤であるか否かを判定し(ステップS12)、マスタ画像が非登録の薬剤である場合(ステップS12でYESの場合)、さらに一包目であるか否かを判定する(ステップS14)。マスタ画像が非登録かつ一包目である場合(ステップS14でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS16)。
【0198】
マスタ画像が登録された薬剤である場合(ステップS12でNOの場合)、更新判定部44によって、撮影範囲の基準位置(例えば中心位置)と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する(ステップS18)。
【0199】
マスタ画像を更新すると判定された場合、(ステップS18でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS20)。
【0200】
薬包内に他の薬剤が有るか否かを判定し(ステップS22)、薬包内の他の薬剤が有る場合(ステップS22でYESの場合)、ステップS10に戻って、薬包内の他の薬剤に対する照合処理が行われる。
【0201】
薬包の全ての薬剤に対し薬剤認識処理を行って薬包内に他に薬剤が無い場合(ステップS22でNOの場合)、他に薬包が有るか否かを判定し(ステップS24)、他の薬包が有る場合にはステップS4に戻る。
【0202】
なお、更新判定部44は、複数の薬剤が一つの薬包に含まれている場合、薬剤間の間隔に基づいて、マスタ画像を更新するか否かを判定するようにしてもよい。つまり、刻印の場合、隣接する位置に大きな薬剤が存在すると影が出難くなる場合があるので、周囲に他の薬剤が無い場合に、マスタ画像を更新すると判定することが好ましい。例えば、薬剤間の距離が閾値未満(あるいは閾値以下)である場合、撮影画像に刻印の影が出難くなるので、マスタ画像を更新しないと判定する。
【0203】
前述の説明では、主として薬剤の刻印を認識する場合を例に説明したが、薬剤に印字された文字又は記号を認識してもよい。
【0204】
<第7の実施形態>
第7の実施形態に係る薬剤検査支援装置は、処方データに基づいて調剤され、分包袋(薬包)に分包される薬剤を検査し、薬剤の一覧表を表示する。
【0205】
〔薬剤検査支援装置の構成〕
図30は、第7の実施形態に係る薬剤検査支援装置11の内部構成を示すブロック図である。なお、図27に示した薬剤識別装置10と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0206】
照合部42は、薬剤判別部に相当する。照合部42は、記憶部18に記憶されたマスタ画像(薬剤マスタ画像の一例)と、撮影部14において撮影した撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する。
【0207】
薬剤検査支援装置11は、一覧作成部52を備えている。一覧作成部52は、分包袋に分包される薬剤(検査する薬剤の一例)の一覧表を作成する。一覧作成部52は、撮影部14から分包袋に分包された薬剤の画像を取得する。ここでは、マスタ画像生成部36によって撮影画像から抽出された薬剤領域である薬剤領域画像を取得する。また、一覧作成部52は、照合部42に適用された画像合成部184から分包袋に分包された薬剤の合成画像を取得する。さらに、一覧作成部52は、処方データに基づいて調剤され得る薬剤のマスタ画像を記憶部18から取得する。
【0208】
一覧作成部52は、表示画像生成部54、及び回転部56を備えている。
【0209】
表示画像生成部54は、刻印が付された薬剤について、合成画像からその合成画像に対応する薬剤領域画像を引き算した差分画像を生成する。この差分画像は、薬剤の刻印部分を強調した表示画像となる。また、表示画像生成部54は、印字が付された薬剤について、薬剤領域画像についてノイズ低減処理及び鮮鋭化処理を行った画像を表示画像として生成する。
【0210】
回転部56は、表示画像を回転させることで、表示画像とその表示画像に対応するマスタ画像との刻印部分又は印字部分を同じ向きに揃える。
【0211】
〔薬剤検査支援方法の処理〕
薬剤検査支援装置11による薬剤検査支援方法について説明する。図31は薬剤検査支援方法の処理を示すフローチャートである。ステップS2~S24の処理は、図29に示したフローチャートと同様である。
【0212】
ステップS24において、全ての薬包について処理が行われたと判定されると、ステップS26に移行する。ステップS26では、一覧作成部52において一覧表を作成し、作成した一覧表を表示部22に表示する。
【0213】
図32は、表示部22に表示された一覧表Lを示す図である。ここでは13袋の分包袋に、薬剤A、薬剤B及び薬剤Cがそれぞれ1つずつ分包される例を示している。一覧表Lは、調剤されるべき薬剤のマスタ画像の表示画像を表示する列E、及び各分包袋に分包される薬剤の表示画像を表示する列E~E13を有している。
【0214】
各列E~E13は、薬剤Aの表側の表示画像を表示する行F、薬剤Aの裏側の表示画像を表示する行F、薬剤Bの表側の表示画像を表示する行F、薬剤Bの裏側の表示画像を表示する行F、薬剤Cの表側の表示画像を表示する行F、及び薬剤Cの裏側の表示画像を表示する行Fに分割されている。
【0215】
各列E~E13の各行F~Fに、それぞれの位置に対応する表示画像が表示される。ここで表示される薬剤の表示画像とマスタ画像の表示画像とは、回転部56により刻印部分又は印字部分が同じ向きに揃えられている。
【0216】
図32に示すように、調剤されるべき薬剤のマスタ画像と、各薬剤の薬剤領域画像とを、位置を揃えてかつ刻印部分及び印字部分を強調した一覧表を表示するため、ユーザの認識しやすい表示を行うことができる。なお、ここでは刻印部分及び印字部分を強調したが、刻印部分及び印字部分の一方を強調した一覧表を表示してもよい。いずれの場合も、刻印部分もしくは印字部分を強調した一覧表の概念に含まれる。
【0217】
図33は比較例の一覧表Lを示す図である。図33に示す一覧表Lは、マスタ画像と薬剤領域画像とを刻印部分及び印字部分の強調を行わずに表示している。薬剤領域画像は、光源と刻印部分の位置関係に依存して見え方が異なる。このため、一覧表Lは視認性が悪い。
【0218】
本実施形態では、薬剤の刻印部分を強調した表示画像として、合成画像から薬剤領域画像を引き算した差分画像を用いたが、薬剤の刻印部分のユーザの視認性を高める方法であれば、一覧表に表示する表示画像は差分画像に限定されるものではない。
【0219】
本実施形態では、分包袋に分包した薬剤を検査する例について説明したが、薬剤検査支援装置11は、シャーレに載置した薬剤、又はステージに直接載置した薬剤を検査することも可能である。しかしながら、分包袋に分包した薬剤の検査が、操作性の点で便利で好ましい。
【0220】
なお、薬剤の検査には監査と鑑別とがある。本実施形態では処方データに基づいて調剤された薬剤の監査を支援する例について説明したが、薬剤検査支援装置11は薬剤の鑑別の支援に適用することも可能である。薬剤の鑑別とは、薬剤の外観からその薬剤を特定することである。薬剤の鑑別により、例えば入院患者の持参薬を判別することができる。
【0221】
<その他>
上記の画像処理方法は、コンピュータに取得機能、エッジ画像生成機能、画像合成機能、画像比較機能、及び判定機能を実現させるためのプログラムとして構成し、このプログラムを記憶したCD-ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
【0222】
ここまで説明した実施形態において、例えば、撮影制御部128、画像比較部130、画像処理部132、相関度検出部134、判定部136、エッジ画像生成部182、及び画像合成部184等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0223】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
【0224】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0225】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【0226】
10 薬剤識別装置
11 薬剤検査支援装置
12 照明部
14 撮影部
16 処方情報取得部
18 記憶部
20 処理部
22 表示部
24 操作部
32 照明制御部
34 撮影制御部
35 薬剤位置取得部
36 マスタ画像生成部
42 照合部
44 更新判定部
46 登録部
48 表示制御部
49 相関値算出部
50 基準位置設定部
52 一覧作成部
54 表示画像生成部
56 回転部
100 薬剤識別装置
102 ステージ
102A 載置面
102B 裏面
104 第1光源
106 第2光源
108 第3光源
110 第4光源
112 第5光源
114 第6光源
116 第7光源
118 第8光源
120 カメラ
122 カメラ
124 取得部
126 照射部
128 撮影制御部
130 画像比較部
132 画像処理部
134 相関度検出部
136 判定部
140 薬剤識別装置
142 載置面側ドーム照明
144 光源保持部
144A 開口窓
146 点光源
148 裏面側ドーム照明
150 光源保持部
150A 開口窓
152 点光源
160 薬剤識別装置
162 第1落射照明
164 光源
166 ハーフミラー
168 第2落射照明
170 光源
172 ハーフミラー
180 薬剤識別装置
182 エッジ画像生成部
184 画像合成部
~E13
~F
ソーベルフィルタ
DL ソーベルフィルタ
DR ソーベルフィルタ
ソーベルフィルタ
ソーベルフィルタ
ソーベルフィルタ
UL ソーベルフィルタ
UR ソーベルフィルタ
A1 全方向入射画像
A2 全方向補正画像
A3 全方向補正画像
合成画像
D1 下入射画像
D11 下入射画像
D12 下入射画像
D13 下方向エッジ画像
D2 下補正画像
D3 下補正画像
L1 左入射画像
L11 左入射画像
L12 左入射画像
L13 左方向エッジ画像
L2 左補正画像
L3 左補正画像
R1 右入射画像
R11 右入射画像
R12 右入射画像
R13 右方向エッジ画像
R2 右補正画像
R3 右補正画像
U1 上入射画像
U11 上入射画像
U12 上入射画像
U13 上方向エッジ画像
U2 上補正画像
U3 上補正画像
I 識別情報
一覧表
一覧表
照明光
照明光
P 印字
PB 薬包帯
CA プロファイル
EAL プロファイル
EAR プロファイル
EBL プロファイル
EBR プロファイル
PAL プロファイル
PAR プロファイル
PAW プロファイル
PBL プロファイル
PBR プロファイル
PBW プロファイル
S 刻印


T 錠剤
TP 薬包
S2~S26 薬剤識別方法の処理のステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33