(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-14
(45)【発行日】2024-08-22
(54)【発明の名称】種類判別装置
(51)【国際特許分類】
A61J 3/00 20060101AFI20240815BHJP
【FI】
A61J3/00 310Z
(21)【出願番号】P 2023168701
(22)【出願日】2023-09-28
(62)【分割の表示】P 2019224015の分割
【原出願日】2019-12-11
【審査請求日】2023-10-24
(31)【優先権主張番号】P 2018246003
(32)【優先日】2018-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】592246705
【氏名又は名称】株式会社湯山製作所
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】阿部 剛
(72)【発明者】
【氏名】北村 直樹
【審査官】立花 啓
(56)【参考文献】
【文献】国際公開第2018/190394(WO,A1)
【文献】米国特許出願公開第2017/0103195(US,A1)
【文献】国際公開第2018/173649(WO,A1)
【文献】特開2016-015093(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61J 3/00
(57)【特許請求の範囲】
【請求項1】
薬剤の照合用のマスタデータを用いて
、対象薬剤を撮像した撮像画像から、前記対象薬剤の種類を判別する種類判別装置であって、
前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、
前記撮像画像から生成された、前記対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する判別部と、
前記判別部が前記対象薬剤の種類の判別に成功したときに、当該判別に使用された
、前記対象薬剤の特徴を示す複数のデータのうち、前記対象薬剤の色を示す判別成功色データを、新たな前記マスタ色データとするマスタ更新部と、を備
えることを特徴とする種類判別装置。
【請求項2】
前記マスタ更新部は、種類判別の平均処理時間が所定時間以上となった場合に、前記マスタ色データの更新を行う、ことを特徴とする請求項1に記載の種類判別装置。
【請求項3】
前記マスタ更新部は、種類判別の失敗頻度が閾値以上となった場合に、前記マスタ色データの更新を行う、ことを特徴とする請求項1に記載の種類判別装置。
【請求項4】
前記マスタ更新部は、前回の更新から所定期間経過したときに、前記マスタ色データの更新を行う、ことを特徴とする請求項1に記載の種類判別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、薬剤の種類を自動で判別する種類判別装置等に関する。
【背景技術】
【0002】
従来、返品された複数種類の薬剤は、薬剤師または医師の手により種類毎に仕分けられていた。返品される薬剤は、様々な患者に処方される、または処方された調剤後の薬剤である。そのため、1患者単位の処方箋情報に基づいて、調剤機器等に予め薬種単位でまとめられた薬種群(薬剤カセット)から、一服用時期単位毎に、(1種または複数種の)薬剤(錠剤)を取りまとめる(分包する)調剤業務に比べて、複数の患者に処方された薬剤がまとめて返品される薬剤の種類は非常に多い。そのため、返品された薬剤を自動的に仕分けて、再利用することの有用性は高い。なお、一服用時期用に調剤される薬剤は、一般に2~3種類程度であり、多くても10種類程度である。
【0003】
なお、仕分け業務にかかる時間、手間、または仕分け間違い(薬剤カセットへの戻し間違い)による誤投与のリスクを避けるため、返品された薬剤を、そのまま廃棄する薬局または病院(正確には院内薬剤部)も存在している。
【0004】
特許文献1には、返品されたアンプルまたはバイアルを自動的に認識して格納する薬剤仕分装置が開示されている。この薬剤仕分装置は、アンプルまたはバイアルの向き及び姿勢と、アンプルまたはバイアルの性状(例:形状、大きさ、種類及び使用期限)とを認識する。そして、認識されたアンプルまたはバイアルの大きさに応じて格納時に個々のアンプルまたはバイアルに設定される格納領域と、個々のアンプルまたはバイアルの識別情報とを関連付けて、アンプルまたはバイアルを個別に配置し、それによって個別のアンプルまたはバイアルを取り出し可能に格納する。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第2015/170761号(2015年11月12日公開)
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1での返品対象は、アンプルまたはバイアルであり、錠剤またはカプセル等の、容器等に収容されていない薬剤、または包装等が施されていない薬剤自体ではない。そのため、特許文献1では、このような薬剤(例:錠剤またはカプセル)そのものを識別し、自動的に仕分けることについてまでは想定されていない。薬剤の自動仕分けを行う薬剤仕分装置を実現しようとした場合、予め種類が既知の薬剤について、その外観の特徴を示すマスタデータを作成して記憶しておき、そのマスタデータを用いて仕分け対象の薬剤の種類の判別を行うことが考えられる。なお、マスタデータとの照合に用いる、仕分け対象の薬剤の外観の特徴は、該薬剤を撮像した画像を解析することで特定すればよい。
【0007】
しかしながら、同じ薬剤を撮像した場合であっても、撮像装置や撮像環境が変われば、得られる画像に差異が生じ得る。また、撮像装置や撮像環境を同じにしたとしても、装置(撮像装置のみならず照明装置等の周辺装置も含む)の経時劣化により、得られる画像に差異が生じ得る。つまり、撮像によって得られる画像は、マスタデータの作成時に想定していたものから変化する可能性があり、このような変化が生じた場合、種類の判別に要する時間が増加する等の支障が生じる可能性がある。
【0008】
本発明の一態様は、薬剤を撮像した画像とマスタデータとを用いた薬剤の種類の判別において、撮像によって得られる画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる種類判別装置等を実現することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係る種類判別装置は、薬剤の照合用のマスタデータを用いて、種類不明の対象薬剤を撮像した撮像画像から、前記対象薬剤の種類を判別する種類判別装置であって、前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、前記撮像画像から生成された、前記対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する判別部と、前記判別部が前記対象薬剤の種類の判別に成功したときに、当該判別に使用された、前記対象薬剤の色を示す判別成功色データを、新たな前記マスタ色データとするマスタ更新部と、を備える。
【発明の効果】
【0010】
本発明の一態様によれば、判別成功色データを新たなマスタ色データとするので、対象薬剤の撮像によって得られる画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる。なお、「適切に」とは、必ずしも種類の判別精度が高いことを意味しない。例えば、適正な時間で種類の判別ができることも「適切に」の範疇に含まれる。
【図面の簡単な説明】
【0011】
【
図1】薬剤仕分装置の全体構成を示すブロック図である。
【
図2】薬剤仕分装置の構成例を示す図であり、(a)は薬剤仕分装置の斜視図であり、(b)は、薬剤仕分領域の基本構成を示す斜視図である。
【
図3】(a)および(b)は、撮像ユニットの全体構成を示す斜視図であり、(c)は、薬剤載置台の一例を示す斜視図である。
【
図4】(a)および(b)は、撮像ユニットの旋回について説明するための図である。
【
図5】薬剤データベースの更新方法を説明する図である。
【
図6】色スコアの算出式における重みの更新方法を説明する図である。
【
図7】判別成功色データを記憶する処理の一例を示すフローチャートである。
【
図8】薬剤データベースを更新する処理の一例を示すフローチャートである。
【
図9】色スコアの算出式における重みを更新する処理の一例を示すフローチャートである。
【
図10】本発明の実施形態2に係る薬剤仕分装置が備える制御部の要部構成の一例を示すブロック図である。
【
図11】情報処理装置の要部構成の一例を示すブロック図である。
【
図13】閾値が相違することにより類似性の判定精度に相違が生じた例を示す図である。
【
図14】識別器を構築する処理の一例を示すフローチャートである。
【
図15】識別器を構築する処理の具体例を示す図である。
【
図16】マークの一致判定処理の一例を示すフローチャートである。
【
図17】マークの一致判定の具体例を示す図である。
【発明を実施するための形態】
【0012】
〔実施形態1〕
〔薬剤仕分装置1の概要〕
まず、薬剤仕分装置1の概要について
図1および
図2を用いて説明する。
図1は、薬剤仕分装置1の全体構成を示すブロック図である。
図2は、薬剤仕分装置1の構成例を示す図であり、(a)は薬剤仕分装置1の斜視図であり、(b)は、薬剤仕分領域2の基本構成を示す斜視図である。
図1、並びに、
図2の(a)および(b)に示すように、薬剤仕分装置1は、薬剤仕分領域2、タッチパネル3、印刷出力部4、および分包機構6を備える。
【0013】
薬剤仕分装置1は、複数種類の薬剤のそれぞれについて撮像し、撮像の結果得られた画像に基づき薬剤の種類を判別し、種類毎に薬剤を仕分ける。具体的には、薬剤仕分領域2においてこの処理が行われる。薬剤仕分領域2(薬剤仕分装置1の内部構成)については後述する。なお、種類毎に仕分けられた薬剤は、ユーザによる目視鑑査が行われた後、分包されたり、薬剤棚または分包機へと返却されたりする。
【0014】
本実施形態では、複数種類の薬剤は、容器等に収容されていない薬剤、または包装等が施されていない薬剤であり、その一例として、錠剤またはカプセルであるものとして説明する。また、複数種類の薬剤が返品された薬剤であるものとして説明する。薬剤の返品としては、薬局または病院における採用薬が当該薬局または病院にて「返品薬」として返品される場合と、当該薬局または病院において、当該採用薬以外に、他の薬局または病院で発行された薬剤も含み得る「持参薬」が返品される場合とが含まれる。換言すれば、返品される薬剤という概念には、上記「返品薬」および「持参薬」の少なくともいずれかが含まれる。薬剤仕分装置1は、薬剤が返品された後、撮像から仕分までの処理を自動的に行うことが可能である。
【0015】
タッチパネル3は、操作部31にて各種ユーザ入力を受け付けるとともに、表示部32にて各種画像(例:薬剤仕分の推移を示す画像、目視鑑査用の画像)を表示する。
【0016】
印刷出力部4は、目視鑑査後のユーザ入力に従って、目視鑑査後の薬剤に関する薬剤データ(例:薬剤名、製造元または成分を示すデータ)を表すジャーナルを印字する。薬剤データには、薬剤固有の画像を示す画像データが含まれていてもよい。
【0017】
分包機構6は仕分けられた薬剤を分包する。分包機構6はオプション機構である。分包機構6が薬剤仕分装置1に備えられる場合、返品された薬剤の仕分から、目視鑑査を経た後の分包までの処理を、薬剤仕分装置1で一括して行うことが可能となる。特に、搬送・仕分ユニット12により分包機構6へ薬剤が投入される場合には、目視鑑査を除き、上記仕分から分包までの処理を自動で行うことができる。
【0018】
分包機構6としては、従来から用いられている錠剤分包機または散薬分包機の分包部を採用することが可能である。この場合、例えば、同一薬種毎に仕分けられた仕分カップ141内の薬剤を、一包または複数包に分包することができる。
【0019】
また、薬剤仕分装置1は、第1RFID(Radio Frequency Identifier)リーダ・ライタユニット5を備えている。第1RFIDリーダ・ライタユニット5は、
図2の(b)に示すように、台座19の、薬剤の取出し側に設けられている。
【0020】
第1RFIDリーダ・ライタユニット5は、第2収容部14の各仕分カップ141の底部に設けられたRFIDタグ(不図示)に記憶された、各仕分カップ141に格納された薬剤に関するデータを読取る。当該データとしては、例えば、格納された薬剤の個数、薬剤データ、および撮像ユニット13が取得した画像データが挙げられる。当該データは、目視鑑査によって決定された薬剤データ(目視鑑査後の薬剤データ)を含んでもよい。また、上記RFIDタグに目視鑑査後の薬剤データを書込んでもよい。目視鑑査後の薬剤データは、対応する仕分カップ141に格納された薬剤を、(1)分包機構6、もしくは薬剤仕分装置1とは異なる分包機で分包する時、または(2)薬剤棚へ返却する時に用いられる。また、
図2の(a)に示すように、薬剤仕分装置1は、薬剤の取出し側を開閉可能とする開閉シャッター51と開閉扉52とを備えている。
【0021】
〔薬剤仕分領域2の基本構成〕
次に、
図1および
図2の(b)を用いて、薬剤仕分領域2の基本構成(薬剤仕分装置1の内部構成)について説明する。
【0022】
図1および
図2の(b)に示すように、薬剤仕分領域2は、ハードウェアとして主に、第1収容部11、搬送・仕分ユニット12(仕分部)、撮像ユニット13、第2収容部14、待機トレイ15、回収トレイ16、薬剤投入口17および第2RFIDリーダ・ライタユニット18を備える。そして、搬送・仕分ユニット12を除く各部材は台座19に設けられている。搬送・仕分ユニット12、撮像ユニット13、および第2RFIDリーダ・ライタユニット18の主要機能については、後述の各処理の説明において詳細に説明する。
【0023】
第1収容部11は、ユーザによって返品された複数種類の薬剤を混在した状態で収容する。本実施例では、第1収容部11は、複数の収容部に分割されている。この場合、例えば、1つの収容部に収容された薬剤の全てが搬送・仕分ユニット12によって搬送されると、当該収容部に隣接する収容部に収容された薬剤が搬送対象となる。また、第1収容部11がZ軸(円柱形状の中心)に対して回動可能に設けられてもよい。この場合、コンピュータ(種類判別装置)60の制御部60aは、例えば1つの収容部が空になったタイミングで、搬送・仕分ユニット12が薬剤を取得しやすいように第1収容部11を回動させてもよい。
【0024】
第2収容部14は、薬剤を種類毎に仕分けられた状態で収容する複数の仕分カップ141を備える。制御部60aは、撮像ユニット13で撮像された薬剤の画像に基づき薬剤の種類を判別し、その判別結果に基づき当該薬剤を格納する仕分カップ141を決定する。当該薬剤は、その決定された仕分カップ141に搬送・仕分ユニット12により搬送され、格納される。
【0025】
待機トレイ15は、薬剤が仮置きされる収容部である。例えば、仕分カップ141の全てに薬剤が格納されている場合に、制御部60aによりそれら以外の種類であると判別された薬剤が、待機トレイ15に仮置きされる。この場合、仕分カップ141から薬剤が取り除かれた後、待機トレイ15から当該仕分カップ141に搬送されてもよい。
【0026】
また、本実施形態では、待機トレイ15には、薬剤であると推定された推定薬剤(後述)が仮置きされても構わない。推定薬剤が仮置きされた場合、制御部60aの判別結果に応じて、第2収容部14の所定領域に搬送される。
【0027】
回収トレイ16は、制御部60aにより種類が判別できなかった物(例:薬剤以外の異物)を格納する収容部である。薬剤以外の異物としては、例えば、PTP(Press Through Pack)シートの破片が挙げられる。PTPシートの破片は、薬剤の返品時に第1収容部11に混入する可能性がある。また、制御部60aは、薬剤データベースに廃棄する薬剤として登録されている薬剤、またはユーザが廃棄することを所望する薬剤(例:製造日の古い薬剤)についても、回収トレイ16に格納する。
【0028】
薬剤投入口17は、薬剤仕分装置1に分包機構6が備えられている場合に、第2収容部14に格納された薬剤を、搬送・仕分ユニット12により分包機構6へ搬送するためのものである。当然ながら、薬剤仕分装置1に分包機構6が備えられていない場合には、薬剤投入口17は不要な構成である。
【0029】
また、
図1に示すように、薬剤仕分装置1の上記各部材(ハードウェア)を統括して制御するコンピュータ60を備える。コンピュータ60は、制御部60aと記憶部80を備えている。そして、制御部60aには、搬送制御部61、仕分制御部62、撮像制御部63、判別部64、判別成否判定部65、操作入力部66、表示制御部67、RFID制御部68、印刷出力制御部69、登録部70、マスタ更新部71、および重み更新部(評価情報更新部)72が含まれる。搬送制御部61、仕分制御部62、撮像制御部63、判別部64、判別成否判定部65、マスタ更新部71、および重み更新部72については、後述の各処理の説明において詳細に説明する。記憶部80に予め記憶されているか、あるいは記憶される各情報についても後述する。
【0030】
操作入力部66および表示制御部67は、それぞれタッチパネル3の操作部31および表示部32を制御する。RFID制御部68は、第1RFIDリーダ・ライタユニット5および第2RFIDリーダ・ライタユニット18を制御する。印刷出力制御部69は、操作入力部66が受け付けたユーザ入力に従って、印刷出力部4を制御する。なお、薬剤仕分装置1が分包機構6を備える場合には、制御部60aは、分包機構6を制御する分包制御部を備えることとなる。
【0031】
登録部70は、判別部64によって画像データに対応する薬剤データが存在しないと判定された薬剤に関する薬剤データを、薬剤データベース81に登録する。具体的には、登録部70は、判別部64により対応する薬剤データが存在しないと判定された薬剤について、当該薬剤の撮像画像82と、ユーザにより特定された薬剤データとを紐付けて薬剤データベース81に登録する。
【0032】
また、コンピュータ60は記憶部80を備える。記憶部80には、複数種類の薬剤に関する薬剤データを管理する薬剤データベース(薬剤マスタ)81が予め記憶されていると共に、薬剤仕分装置1による仕分けが行われるにつれて、撮像画像82および判別成功色データ83が記憶される。撮像画像82は、第1カメラ131が撮像した画像である。なお、記憶部80に記憶された各種データは、記憶部80にて管理されていなくてもよく、例えば外部装置で管理されてもよい。この場合、制御部60aは、上記各種データを、必要に応じて、インターネット等の通信回線を通じて当該外部装置から取得してもよい。また、薬剤データベースは、新たな薬剤データが追加されることにより、更新されてもよい。
【0033】
〔薬剤仕分装置1における処理の概要〕
薬剤仕分装置1では、搬送・仕分ユニット12が、第1収容部11に返品された各薬剤を撮像ユニット13まで搬送する。搬送された各薬剤を順次撮像ユニット13が撮像する。制御部60aは、撮像された画像に基づき各薬剤の種類を判別するとともに、判別した各薬剤の第2収容部14における仕分位置を決定する。搬送・仕分ユニット12は、決定された仕分位置に各薬剤を搬送する。そして、第2収容部14に格納された薬剤についての情報は、仕分カップ141のRFIDタグに書き込まれたり、記憶部80に記憶されたり、タッチパネル3に表示されたりする。また、薬剤の仕分が完了した後、または仕分の途中において、ユーザがタッチパネル3を操作することで、目視鑑査、分包等の処理が行われる。以降、各処理について具体的に説明する。
【0034】
〔撮像ユニット13への薬剤搬送処理〕
まず、第1収容部11から撮像ユニット13への薬剤搬送処理について、
図1および
図2の(a)を用いて説明する。
【0035】
具体的には、搬送・仕分ユニット12は、第1収容部11に収容された薬剤を、撮像ユニット13が薬剤を受け入れる受入領域Ar1(
図3の(b)参照)まで搬送させる。搬送制御部61は、搬送・仕分ユニット12による当該搬送処理を制御する。
【0036】
搬送・仕分ユニット12は、第2カメラ121、吸着・シャッター機構122、および搬送機構123を備える。
【0037】
第2カメラ121は、搬送対象とする薬剤を特定するために、第1収容部11を逐次撮像する。撮像制御部63は、第2カメラ121の撮像処理を制御する。第2カメラ121は、搬送・仕分ユニット12の(具体的には、少なくとも吸着・シャッター機構122を含む筐体の)、台座19と対向する側の端部に設けられる。第2カメラ121は、後述の吸着機構の先端部に設けられてもよい。撮像制御部63は、撮像された画像を解析して、当該画像に薬剤が含まれるか否かを判定する。搬送制御部61は、薬剤が含まれると判定された場合には、例えば、上記先端部を第1収容部11に近づけ、そのとき撮像された画像に含まれる薬剤を搬送対象の薬剤として特定する。
【0038】
吸着・シャッター機構122は、搬送対象として特定された薬剤を吸着する吸着機構と、吸着機構が吸着した薬剤が落下することを防止するシャッター機構とを含む。吸着機構はZ軸方向に移動可能に設けられる。シャッター機構は上記端部の前方に、XY平面と略平行に移動可能に設けられる。
【0039】
吸着機構は、薬剤取得時に、上記端部から延伸して、その先端部において、特定された薬剤を吸着した後、上記端部の位置まで戻る。この状態において、搬送制御部61は、上記端部と対向する位置にシャッター機構を移動させ、薬剤搬送中、シャッター機構の位置を維持する(閉状態とする)。搬送制御部61は、受入領域Ar1に配置された薬剤保持機構133の薬剤載置台133a(
図3の(b)参照)と対向する位置まで吸着・シャッター機構122を移動させると、シャッター機構を上記端部と対向しない位置に移動させる(開状態とする)。そして、吸着機構を上記端部から延伸させた後、吸着状態を解除することにより、薬剤載置台133aに薬剤を載置する。
【0040】
搬送機構123は、搬送制御部61の制御を受けて、X軸およびY軸方向に吸着・シャッター機構122を移動させる。この搬送機構123により、第1収容部11上での搬送対象となる薬剤の探索時の吸着・シャッター機構122の動き、または第1収容部11から薬剤載置台133aまでの薬剤搬送が可能となる。また、薬剤仕分処理においても、薬剤載置台133aから、第2収容部14、待機トレイ15または回収トレイ16への薬剤搬送が可能となる。なお、薬剤仕分処理では、仕分制御部62が、受入領域Ar1に配置された薬剤を、判別部64による判別結果に基づき、仕分ユニット12を制御して、第2収容部14の所定の仕分カップ141または待機トレイ15まで搬送する。
【0041】
〔薬剤撮像処理〕
次に、撮像ユニット13による薬剤撮像処理について、
図1、
図2の(b)、
図3および
図4を用いて説明する。
図3の(a)および(b)は、撮像ユニット13の全体構成を示す斜視図であり、
図3の(c)は、薬剤載置台133aの一例を示す斜視図である。
図4の(a)および(b)は、撮像ユニット13の旋回について説明するための図である。上記薬剤撮像処理は、主として、撮像ユニット13および撮像制御部63により行われる。
【0042】
具体的には、撮像ユニット13は、薬剤載置台133aに載置され、
図3の(b)に示す撮像対象となる薬剤を配置する配置領域Ar2(撮像領域)に配置された薬剤を撮像する。撮像制御部63は、撮像ユニット13による当該撮像処理と、第1カメラ131および照明器134の旋回移動と、薬剤保持機構133の移動とを制御する。撮像ユニット13は、
図1および
図3に示すように、第1カメラ131(撮像部)、回転機構132(回動部)、薬剤保持機構133(薬剤載置台、移動機構)、および照明器134(紫外光照射部、可視光照射部)を備える。
【0043】
第1カメラ131は、後述の判別部64において薬剤の種類を判別するために、第1カメラ131と対向する配置領域Ar2に配置された薬剤を撮像する。薬剤保持機構133は、薬剤を保持する機構であり、
図3の(a)および(b)に示すように、薬剤載置台(シャーレ)133aと、旋回機構133b(移動機構)と、薬剤載置台133aおよび旋回機構133bを接続する軸部133cとを備える。薬剤載置台133aは、撮像対象となる薬剤を載置するものである。旋回機構133bは、薬剤載置台133aを移動させるものであり、具体的には、薬剤載置台133aをXY平面に対して旋回させるとともに、軸部133cを、軸部133cの周方向に旋回させる。
【0044】
撮像制御部63は、薬剤載置台133aに第1収容部11から搬送された薬剤が載置されると、旋回機構133bを駆動し、当該薬剤載置台133aを受入領域Ar1から配置領域Ar2へと移動させる。その後、少なくとも第1カメラ131および照明器134を制御して、配置領域Ar2に配置された薬剤を撮像する。撮像した画像は記憶部80に撮像画像82として記憶される。撮像制御部63は、例えば撮像が完了した後に、旋回機構133bを駆動し、撮像された薬剤が載置された薬剤載置台133aを配置領域Ar2から受入領域Ar1へと移動させる。
【0045】
本実施形態では、薬剤載置台133aは軸部133cの先端部(端部)に2つ設けられている。旋回機構133bは、軸部133cを旋回させることにより、一方の薬剤載置台133aを配置領域Ar2に配置したとき、他方の薬剤載置台133aを受入領域Ar1に配置する。配置領域Ar2での薬剤撮像時に、搬送・仕分ユニット12により、受入領域Ar1に存在する薬剤載置台133aに、第1収容部11から薬剤を搬送しておくことで、連続的な薬剤の撮像処理が可能となる。なお、当該薬剤載置台133aは、第2収容部14への薬剤仕分処理後等、薬剤が載置されていない状態であることが前提である。
【0046】
また、本実施形態では、薬剤載置台133aは透明性を有する。そのため、第1カメラ131は、薬剤載置台133aに載置された薬剤を、薬剤載置台133aを通して多方面から撮像できる。
【0047】
また、
図3の(c)に示すように、薬剤載置台133aは底部が凹んだ状態の断面略V字形状であってもよい。また、
図3の(b)および
図4に示すように、薬剤載置台133aが受入領域Ar1および配置領域Ar2に配置されている場合、断面略V字形状の溝方向(軸部133cの延伸方向)は、回転機構132による撮像機構(後述)の旋回軸Ayに対して略平行である。また、薬剤載置台133aの底部は、鋭角なV字形状ではなくてよい。
図3の(c)に示すように、底部は、底面部133aaと、底面部133aaの対向する2箇所から傾斜した傾斜面部133abとを備えていてもよい。底部の形状は、薬剤載置台133aの裏側から見ても(撮像しても)、薬剤の刻印またはプリントが示す情報(刻印情報または印字情報)を認識できる程度で、かつ薬剤が固定される程度の形状であればよい。
【0048】
薬剤がカプセルまたは変形錠(例:ラグビーボール形)の場合、薬剤載置台133aの底部が平坦であれば、XY平面上で薬剤の向きがそろわずに、鮮明な薬剤の画像(刻印情報または印字情報)を取得することが困難になる可能性がある。断面略V字形状であれば、最下端部にカプセルまたは変形錠が嵌合され、当該薬剤を固定できる。そのため、鮮明な薬剤の画像が取得しやすくなる。なお、錠剤の場合には、例えば、軸部133cを軸部133cの周方向に旋回させることで、薬剤載置台133aの平面部分(傾斜面部133ab)を第1カメラ131に対向させることで、当該薬剤を確実に動かないようにしてもよい。
【0049】
その他、旋回機構133bは、薬剤載置台133aを振動させる(小さく動かす、ゆする)ことも可能である。この場合、例えば、薬剤載置台133aに載置されたカプセルに振動を与えて転がすことで、カプセルのプリントが付された部分を所定の方向に向かせることができる(例:当該部分を、後述の初期位置に配置された第1カメラ131と対向させることができる)。また、上記振動により、例えば円筒状(底部が円形状)の錠剤が上記平面部分に立った状態で載置されたとしても、錠剤を横に倒す(錠剤の底部が当該平面部分に対向するように配置する)ことができる。
【0050】
照明器134は、撮像制御部63の制御により、薬剤の撮像時に、薬剤に照射される光を出射する。照明器134は、
図3の(a)に示すように、薬剤に可視光を照射する可視光照射部(第1照射部134aおよび第2照射部134b)と、薬剤に紫外光を照射する紫外光照射部134cとを備える。
【0051】
第1照射部134aおよび第2照射部134bは、可視光として白色光を薬剤に照射する。第1照射部134aはバー形状の可視光源(バー照明)であり、第2照射部134bはリング形状の可視光源(リング照明)である。第1カメラ131は、第1照射部134aまたは第2照射部134bから出射され、薬剤で反射した可視光を受光することにより、可視光に基づく画像(可視光画像)を取得する。撮像制御部63は、第1カメラ131が取得した可視光画像を示す画像データを撮像画像82として記憶部80に記憶する。
【0052】
紫外光照射部134cは、薬剤に紫外光(例:365nm以上410nm以下のピーク波長を有する光)を照射することで、薬剤に含まれる成分を励起させる。これにより、薬剤から蛍光(例:410nm以上800nm以下のピーク波長を有する光)が取り出される。第1カメラ131は、薬剤から発せられた蛍光を受光することにより、紫外光に基づく画像(紫外光画像)を取得する。撮像制御部63は、第1カメラ131が取得した紫外光画像を示す画像データを撮像画像82として記憶部80に記憶する。
【0053】
回転機構132は、
図3および
図4に示すように、撮像対象となる薬剤が配置される配置領域Ar2(当該位置に配置された薬剤載置台133a)の周囲を旋回するように第1カメラ131を回動させる。第1カメラ131は、回転機構132が回動させた複数の位置から、配置領域Ar2に配置された薬剤を撮像する。具体的には、第1カメラ131および照明器134を含む撮像機構を、配置領域Ar2の周囲を旋回するように回動させる。そのため、配置領域Ar2に対する第1カメラ131および照明器134の位置関係を維持したまま、第1カメラ131が複数の方向から薬剤を撮像できる。
【0054】
回転機構132は、
図3の(a)に示すように、撮像機構駆動部132aと動力伝達機構132bとを含む。撮像機構駆動部132aは、撮像機構を配置領域Ar2の周囲を旋回させるための動力を発生する。動力伝達機構132bは、撮像機構駆動部132aが発生させた動力を撮像機構へと伝達する。撮像機構駆動部132aは、撮像制御部63の制御により駆動し、配置領域Ar2の周囲における撮像機構の位置を変更する。
【0055】
回転機構132は、撮像機構を、初期位置と、初期位置と対向する位置との間において旋回させる。初期位置とは、配置領域Ar2に対して略垂直方向の位置であって、配置領域Ar2の上方の位置である。初期位置と対向する位置とは、配置領域Ar2に対して略垂直方向の位置であって、配置領域Ar2の下方の位置である。また、当該位置は、第1カメラ131が配置領域Ar2に存在する薬剤載置台133aの底部と対向する位置であるともいえる。
【0056】
図4に示すように、配置領域Ar2の中心を通りZ軸と平行な軸を軸Ax0とし、配置領域Ar2の中心および撮像機構の中心を通る軸を軸Ax1とする。また、軸Ax0と軸Ax1とのなす角をθとする。本実施形態では、回転機構132は、撮像機構を、θ=0°(初期位置)、45°、135°および180°の位置のいずれかに配置する。なお、
図4の(a)は撮像機構がθ=0°の位置にある場合を示し、
図4の(b)は撮像機構が初期位置から旋回してθ=45°の位置にある場合を示す。
【0057】
このように、撮像機構を配置領域Ar2の周囲を旋回させることにより、薬剤を配置領域Ar2に固定した状態で、複数の方向から薬剤を撮像できる。また、薬剤載置台133aをゆすっても薬剤(錠剤)が立っている場合であっても、斜め方向(θ=45°または135°)からの撮像で、薬剤に付された刻印等が示す情報を取得できる。
【0058】
なお、撮像機構を固定し薬剤を回動させることで複数の方向から当該薬剤を撮像してもよい。
【0059】
(撮像位置制御)
次に、撮像機構の位置制御の一例について説明する。撮像制御部63は、まず撮像機構を初期位置にセットし、第1カメラ131に、当該初期位置おいて配置領域Ar2に配置された薬剤を撮像させる。このとき、第1カメラ131は、第1照射部134aおよび第2照射部134bからの可視光に基づく可視光画像(2つの可視光画像)を取得するとともに、紫外光照射部134cからの紫外光に基づく紫外光画像を取得する。
【0060】
次に、撮像制御部63は、撮像機構を初期位置とは対向する位置にセットし、第1カメラ131に、当該位置において配置領域Ar2に配置された薬剤を撮像させ、2つの可視光画像および紫外光画像を取得する。判別部64は、これら6つの画像を解析することにより、薬剤の種類を判別する。薬剤の種類を1つに特定できなかった場合、撮像制御部63は、θ=45°および135°の位置において、第1照射部134aおよび第2照射部134bから可視光を出射させ、第1カメラ131に薬剤を撮像させる。判別部64は、このときの可視光画像を解析して薬剤の種類を判別する。
【0061】
上記に限らず、撮像機構の位置制御は種々の方法が挙げられる。例えば、初期位置と対向する位置から撮像した後、初期位置から撮像を行ってもよい。また、θ=45°の位置から撮像したときの可視光画像に基づく薬剤の判別処理を行い、薬剤の種類を1つに特定できなかった場合にのみθ=135°の位置から撮像したときの可視光画像を取得してもよい。また、初期位置および初期位置と対向する位置において紫外光画像のみを取得し、当該紫外光画像に基づく薬剤の判別処理を行った後、当該位置における可視光画像を取得してもよい。また、全ての位置において可視光画像および紫外光画像を取得してもよい。
【0062】
〔画像処理・判別処理〕
次に、撮像ユニット13により撮像された画像に対する画像処理と、画像処理の結果に基づく薬剤の判別処理について、
図1を用いて説明する。上記画像処理は、主として撮像制御部63により行われ、上記判別処理は、主として判別部64により行われる。
【0063】
判別部64は、第1カメラ131により撮像された薬剤の画像に基づき、薬剤の種類を判別する。具体的には、判別部64は、第1照射部134aまたは第2照射部134bから可視光が照射された状態で撮像された薬剤の撮像結果(可視光画像)に基づき、薬剤の種類を判別する。また、判別部64は、紫外光が照射された状態で撮像された薬剤の撮像結果(紫外光画像)に基づき、薬剤の種類を判別する。
【0064】
判別部64は、可視光画像および/または紫外光画像のそれぞれにおいて画像解析を実行することにより、当該画像に含まれる薬剤の特徴を抽出する。薬剤の特徴としては、例えば、大きさ、形状、刻印、プリント、割線、代表色(刻印またはプリントが付された領域の色)が挙げられる。OCR(Optical Character Recognition)等を行った場合には、薬剤の特徴として、刻印またはプリントにより表された薬剤名(例:識別コード)または製造元を示す識別情報(薬剤を識別する識別情報)、使用期限等のその他の情報が抽出される。また、紫外光画像の場合には、薬剤の特徴として、画像中の薬剤における代表色が挙げられる。判別部64は、抽出した各薬剤の特徴を示す情報を、薬剤の撮像画像82に紐づけて記憶部80に記憶する。なお、薬剤の特徴抽出は、公知の技術により行われてもよい。
【0065】
抽出した薬剤の特徴には、上述のように画像中の薬剤の代表色が含まれている。以下では、この代表色を示すデータを色データ(薬剤の色を示すデータ)と呼ぶ。色データには、可視光画像から生成されたものと、紫外光画像から生成されたものとが含まれる。なお、以下の説明では、特に断らない限り、単に「色データ」と記載した場合には、可視光画像から生成された色データと、紫外光画像から生成された色データの両方を指す。色データは、薬剤を撮像した画像における所定領域(薬剤が写っている領域の少なくとも一部、典型的には刻印またはプリントが付された領域)の色を示すデータである。例えば、当該領域に含まれる各画素のRGB値の平均値を色データとしてもよい。
【0066】
判別部64は、各薬剤の特徴を薬剤データベース81と照合することにより薬剤の種類を判別する。詳細は後述するが、判別部64は、色データに基づいて、薬剤データベースの中から、撮像された薬剤に関する薬剤データの候補を順位づけする。その後、判別部64は、上記順位に従って、他の特徴に基づく種類の判別を行う。
【0067】
また、判別部64は、パターンマッチング等を用いて抽出した薬剤の特徴(対象特徴)が薬剤データベースに無い場合であっても、対象特徴の少なくとも一部に基づき薬剤(錠剤またはカプセル)であると推定される場合には、薬剤の種類を推定薬剤として判別する。この場合、推定薬剤も、第2収容部14または待機トレイ15への仕分け対象とすることができる。本実施形態では、推定薬剤は、まず待機トレイ15へ仮置きされても構わない。
【0068】
このように、判別部64は、予め登録された複数種類の薬剤に関する薬剤データ(薬剤データベース81)の中に、第1カメラ131によって撮像された撮像画像82に対応する薬剤データが存在するか否かを判定している。
【0069】
判別部64は、薬剤の種類の判別結果を仕分制御部62に出力する。例えば、薬剤の種類を1つに特定できた場合、または所定数以内の候補数に絞込んだ場合には、当該薬剤に関する薬剤データを判別結果として出力する。この場合、判別部64は、当該薬剤に関する薬剤データを、当該薬剤の撮像画像82に紐づけて記憶部80に記憶する。
【0070】
判別部64は、薬剤の種類を推定薬剤として判別した場合には、薬剤の特徴(推定薬剤として推定された物の特徴)を判別結果として出力する。一方、判別部64は、薬剤データベースに廃棄する薬剤として登録された薬剤であると判別した場合、または第1収容部11に収容された物が薬剤以外の異物であると判別した場合、仕分対象外の薬剤である旨を判別結果として出力する。
【0071】
〔判別成否判定〕
判別成否判定部65は、判別部64が薬剤の種類の判別に成功したか否かを判定する。例えば、判別成否判定部65は、判別部64が薬剤の種類を一意に判別することができた場合(薬剤の種類を1つに絞り込むことができた場合)に、判別成功と判定してもよい。また、例えば、判別成否判定部65は、判別部64の判定結果に従って仕分けられた薬剤の鑑査結果に基づいて上記判定を行ってもよい。鑑査は、仕分けられた薬剤そのものを鑑査員(例えば医師や薬剤師等)が目視することによって行ってもよいし、仕分けられた薬剤の画像を例えばタッチパネル3の表示部32に表示させ、表示された画像を鑑査員が目視することによって行ってもよい。また、鑑査結果は、例えば鑑査員がタッチパネル3の操作部31を操作することによってコンピュータ60に入力されてもよい。
【0072】
また、判別成否判定部65は、判別部64が正しく判別したと判定した場合、判別部64が当該判別に用いた各種データと、判別部64が判別した種類とを紐付けて、判別成功データとして記憶部80に記憶する。本実施形態では、上記判別成功データが、判別部64が上記判別に用いた撮像画像82から生成された色データ(判別成功色データ83)である例を説明する。
【0073】
なお、判別成功データは、色データ以外の各種データ(判別部64が上記判別に用いた、薬剤の特徴を示すデータ)を含んでいてもよいし、判別部64が上記判別に用いた撮像画像82を判別成功データとして記憶してもよい。ただし、撮像画像82を判別成功データとする場合、記憶部80に記憶させるデータ量が多くなるため、本実施形態のように判別成功色データ83を判別成功データとして記憶する構成とすることが好ましい。
【0074】
〔薬剤データベース(マスタデータ)81の更新方法〕
図5に基づいて、薬剤データベース81の更新方法を説明する。
図5は、薬剤データベース81の更新方法を説明する図である。以下説明するように、薬剤データベース81の更新はマスタ更新部71によって行われる。
【0075】
薬剤データベース81には、複数種類の薬剤について、その薬剤に関する薬剤データがそれぞれ薬剤の照合用のマスタデータとして登録されている。また、
図5に示すように、各種類の薬剤のマスタデータには、薬剤の特徴を示すデータの1つとして、当該薬剤の色を示す色データであるマスタ色データが含まれている。具体的には、
図5の薬剤データベース81には、薬剤Aのマスタデータとしてマスタ色データ811aが登録されている。また、同様に、薬剤A、Bのマスタデータとして、マスタ色データ811b、811cがそれぞれ登録されている。なお、マスタ色データにも、可視光画像から生成されたものと、紫外光画像から生成されたものとが含まれる。
【0076】
また、上述のように、記憶部80には判別成功色データ83が記憶される。
図5の例では、薬剤Aについて判別成功色データ83a~83cが記憶されている。つまり、この例では、薬剤仕分装置1が、種類不明の薬剤を薬剤Aであると仕分けし、その仕分けにおける種類の判別結果が正しかったことが過去に少なくとも3回はあったことを想定している。同様に、
図5の例では、薬剤B、Cについて判別成功色データ83d~83eおよび83f~83hがそれぞれ記憶されている。
【0077】
マスタ更新部71は、判別成功色データ83を、新たなマスタ色データとすることにより、薬剤データベース81(より詳細にはマスタデータに含まれるマスタ色データ)を更新する。この更新は各種類の薬剤のそれぞれについて行う。例えば、
図5の例では、マスタ色データ811a~811cがそれぞれ更新される。
【0078】
ここで、更新の際に、一種類の薬剤に対して、複数の判別成功色データ83が紐付けられて記憶されていれば、マスタ更新部71は、最新の(記憶されたタイミングが最も新しい)判別成功色データ83を新たなマスタ色データとすることが好ましい。これにより、撮像条件の変化等によって撮像画像82に写る薬剤の色が変化した場合であっても、適切に種類の判別を行うことが可能になる。なお、新たなマスタ色データを追加した後、更新前のマスタ色データ811a~811cは削除(言い換えれば上書き更新)してもよいし、記憶した状態のまま維持してもよい。
【0079】
〔色スコアの算出方法〕
判別部64は、仕分けの対象薬剤を撮像した撮像画像82(以下、対象画像と呼ぶ)から生成された色データである対象色データとマスタ色データとの類似度を示す色スコアを算出する。なお、1つの対象画像には可視光画像と紫外光画像とが含まれる。色スコアの算出式(類似度評価情報)は、例えば下記のような算出式であってもよい。
【0080】
(色スコア)=(可視光画像におけるRGB値の類似度)×w1
+(可視光画像におけるCIELab値の類似度)×w2
+(紫外光画像におけるRGB値の類似度)×w3
+(紫外光画像におけるCIELab値の類似度)×w4
上記算出式におけるw1~w4は重みであり、w1~w4の和は例えば1であるが、w1~w4の和が1未満の値あるいは1より大きい値となっても構わない。重みw1~w4の値を適切に調整することによって、対象色データとマスタ色データとの類似度をより正確に反映させた色スコアを算出することができる。例えば、ある薬剤のマスタ色データにおいて、その薬剤を可視光で撮像した画像に基づくCIELab値がその薬剤の色の特徴を的確に反映したものとなっている場合がある。このような場合、w2が他の重みよりも相対的に大きくなっていれば、算出される色スコアは、薬剤の色の特徴を的確に反映した、可視光撮像画像に基づくCIELab値の類似度の影響を強く受ける。よって、w2を他の重みよりも相対的に大きくした上記算出式を用いることにより、実際の類似度を正確に反映させた色スコアを算出することができる。詳細は後述するが、実際の類似度を正確に反映させた色スコアを算出することができる状態が維持されるように、w1~w4は重み更新部72によって随時更新される。w1~w4の初期値は適宜定めておけばよい。
【0081】
なお、上記算出式におけるRGB値とは、薬剤を撮像した画像における所定領域(薬剤が写っている領域の少なくとも一部)の色をR値、G値、およびB値の組み合わせで表した値であり、典型的には当該領域に含まれる各画素のRGB値の平均値である。また、RGB値の類似度とは、対象画像のRGB値と、マスタ色データが示すRGB値との類似度である。RGB値の類似度の算出方法は特に限定されない。例えば、対象画像のRGB値とマスタ色データが示すRGB値とをそれぞれ三次元ベクトルとみなし、それら2つのベクトル間の距離を類似度としてもよい。なお、上記算出式では、RGB値の類似度とCIELab値の類似度とを加算するので、これらの類似度は例えば0~1の数値範囲となるように規格化しておく。
【0082】
また、上記算出式におけるCIELab値とは、薬剤を撮像した画像における所定領域(薬剤が写っている領域の少なくとも一部)の色をCIELab色空間におけるL*値、a*値、およびb*値の組み合わせで表した値である。CIELab値は、RGB値をまずXYZ色空間における値に変換し、その値をさらにCIELab色空間における値に変換することにより算出することができる。CIELab値の類似度は、上述したRGB値の類似度と同様にして算出することができる。
【0083】
〔色スコアによる順位づけ〕
薬剤データベース81には各種類の薬剤のマスタ色データが登録されている。判別部64は、これらのマスタ色データのそれぞれについて、上述のようにして対象色データとの色スコアを算出する。そして、判別部64は、算出した色スコアの高い順に、各種類の薬剤のマスタデータを順位づけする。この後、判別部64は、順位の高いマスタデータから順に、対象画像との照合を行う。つまり、判別部64は、対象色データと、各種類の薬剤に対応するマスタ色データのそれぞれとの類似度を示す色スコアを算出すると共に、該色スコアの順に、対象画像の特徴を示す情報とマスタデータとの照合を行って対象薬剤の種類を判別する。照合においては、例えばマスタデータに含まれる刻印情報(薬剤の刻印の内容を示す情報)と、対象画像からOCR等によって読み取った刻印情報との照合等が行われ、対象薬剤の種類が特定される。
【0084】
このような順位づけを行う理由としては、一般に、薬剤には色が類似したものが多い点が挙げられる。つまり、対象色データとの色スコアが同程度の値となるマスタ色データが複数生じることもあり、また、対象色データとの色スコアが最も高いマスタ色データの薬剤が、対象薬剤とは異なる薬剤であることもある。このため、色スコアのみで対象薬剤の種類を一意に特定することは一般に難しい。
【0085】
そこで、判別部64は、色スコアをマスタデータとの照合における順位づけに用いている。色データは、刻印情報等の読み取りと比べて、簡易かつ短時間の情報処理によって生成できるから、色スコアの算出および照合も簡易に短時間で行うことが可能である。よって、色スコアによる順位づけを行うことにより、順位づけを行うことなくマスタデータとの照合を行う場合と比べて、短時間で照合を完了することが可能になる。また、以下説明するように、重み更新部72が色スコアの算出式の重みを適切に更新するので、例えば対象薬剤が薬剤Aであった場合には、薬剤Aのマスタ色データの順位が高くなりやすい。よって、マスタデータとの照合をより短時間で完了させることが可能になる。
【0086】
〔色スコアの算出式における重みの更新方法〕
図6に基づいて、上述した色スコアの算出式における重み(w
1~w
4)の更新方法について説明する。
図6は、色スコアの算出式における重みの更新方法を説明する図である。以下説明するように、色スコアの算出式における重みの更新は重み更新部72によって行われる。
【0087】
重みの更新には、複数の判別成功色データ83を用いる。
図6の例では、薬剤A~Zのそれぞれに複数の判別成功色データ83が紐付けられている。重み更新部72は、これらの判別成功色データ83を訓練データとして、確率的勾配降下法により、色スコアの算出式における重みを最適なものに更新する。確率的勾配降下法を用いることにより、最適ではない局所解を抜けて、最適解に到達することが期待できる。
【0088】
具体的には、まず、重み更新部72は、判別成功色データ83から所定数のミニバッチデータを作成する。この作成において、各ミニバッチデータには、全種類の薬剤について少なくとも1つの判別成功色データ83が含まれるようにし、かつ、各ミニバッチデータに含まれる判別成功色データ83の数が所定範囲内に収まるようにする。
【0089】
図6には、薬剤A~Zのそれぞれについて1つの判別成功色データ83が含まれるn個のミニバッチデータB1~Bnを記載している。nは、薬剤データベース81に登録されている薬剤の種類数や、前回の重みの更新後の経過時間等に応じて決定すればよく、例えば40程度であってもよい。なお、1つの判別成功色データ83を複数のミニバッチデータに含めてもよい。
【0090】
次に、重み更新部72は、作成したミニバッチデータを用いて、確率的勾配降下法により、重み(w1~w4)を更新する。更新後の重みが、更新前の重みよりも妥当な値となっているか否かは、当該更新後の重みを用いて算出した色スコアから判定することができる。例えば、各種類の薬剤のマスタ色データと判別成功色データ83とについて、色スコアをそれぞれ算出して、その色スコアの順位から判定することもできる。
【0091】
例えば、
図6の例では、薬剤A~Zの26種類の薬剤についてマスタ色データが登録されている。そして、ミニバッチデータBnには、薬剤Aの判別成功色データ83bが含まれている。このミニバッチデータBnを用いた重みの更新においては、薬剤Aのマスタ色データと判別成功色データ83bとについて算出した色スコアの順位が高くなるように重みを更新すればよい。具体的な計算内容については以下で説明するが、この更新においては、可視光RGB値の重み(w
1)を+scaleする。なお、+scaleは、重みの変化量(正の数)である。同様に、他の重み(w
2~w
4)についても+scaleする。このように、確率的勾配降下法では、各重みを所定の変化量(+scale)ずつ変化させながら、最適な重みを探索する演算を行う。
【0092】
具体的には、上記演算には勾配平均を用いる。勾配平均は、例えば下記の数式で算出することができる。なお、下記の数式におけるZは1つのミニバッチデータに含まれる判別成功色データ83の数である。また、Σは、1つのミニバッチデータにおける1番目の判別成功色データ83からZ番目の判別成功色データ83までの和を表す。また、平均順位は、各ミニバッチデータに含まれる判別成功色データ83から算出した順位を、全てのミニバッチデータで平均した値である。なお、順位づけの方法は「色スコアによる順位づけ」で上述したとおりであるから説明は繰り返さない。
【0093】
(勾配平均)={Σ(重みをずらした後の平均順位-重みをずらす前の平均順位)/重みの変化量}/Z
そして、重み更新部72は、下記の数式により重みを更新する。なお、学習率は適宜設定すればよい。
【0094】
(更新後の重み)=(現在の重み)-(学習率×勾配平均)
〔判別成功色データ83を記憶する処理の流れ〕
図7に基づいて判別成功色データ83を記憶する処理の流れを説明する。
図7は、判別成功色データ83を記憶する処理の一例を示すフローチャートである。なお、
図7では、種類不明の対象薬剤の撮像が行われて、記憶部80に撮像画像82が記憶された後の処理の流れを示している。
【0095】
まず、判別部64は、対象画像から対象色データを生成する(S1)。続いて、判別部64は、S1で生成した対象色データと、薬剤データベース81に登録されているマスタ色データのそれぞれとの類似度を示す色スコアを算出する(S2)。そして、判別部64は、マスタデータとの照合順を、S2で算出した色スコアの高い順とし(S3)、その照合順で照合を行い(S4)、対象薬剤の種類を判別する(S5)。
【0096】
次に、S5にて対象薬剤の種類の判別に成功したことを受け、判別成否判定部65は、S1で生成された対象色データをS5で判別された種類の薬剤の判別成功色データ83として記憶部80に記憶し、
図7の処理は終了する。
【0097】
〔薬剤データベース81を更新する処理の流れ〕
図8に基づいて薬剤データベース81を更新する処理の流れを説明する。
図8は、薬剤データベース81を更新する処理の一例を示すフローチャートである。
【0098】
まず、マスタ更新部71は、薬剤データベース81を更新するか否か、より詳細には薬剤データベース81に含まれるマスタ色データを更新するか否かを判定する(S11)。マスタ色データの更新条件は特に限定されない。例えば、コンピュータ60の動作終了時(例えば一日の終り)に更新するようにしてもよい。また、例えば、所定期間(例えば1日)毎に更新の要否を問い合わせるメッセージをユーザに提示し、そのメッセージに対して、更新する旨のユーザ入力が行われたときにマスタ色データを更新してもよい。また、例えば、直近数回の種類判別の平均処理時間(撮像後、判別結果が出るまでの時間)が所定時間以上であること、撮像リトライの発生頻度が閾値以上であること(種類判別の失敗頻度が閾値以上であること)等を条件としてもよい。この他にも、例えば、前回の更新から所定期間(例えば30日)経過したことを条件として、マスタ色データを更新してもよい。
【0099】
S12では、マスタ更新部71は、記憶部80に記憶されている判別成功色データ83のうち、最新の(記憶されたタイミングが最も新しい)判別成功色データ83を取得する。そして、S13では、マスタ更新部71は、S12で取得した判別成功色データ83を、新たなマスタ色データとして薬剤データベース81に追加する。これにより、
図8の処理は終了する。なお、S12およびS13の処理は、少なくとも一種類の薬剤について行えばよく、例えば薬剤データベース81に登録されている全種類の薬剤について行ってもよいし、一部の種類の薬剤について行ってもよい。
【0100】
このように、判別部64は、対象画像から生成された、対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する(
図7のS5)。そして、マスタ更新部71は、判別部64が対象薬剤の種類の判別に成功したときに、当該判別に使用された判別成功色データ83を、新たなマスタ色データとする(
図8のS13)。
【0101】
したがって、薬剤仕分装置1によれば、対象薬剤の撮像によって得られる対象画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる。これにより、例えば薬剤仕分装置1をある薬局に導入した場合に、デフォルトのマスタデータを、その薬局における撮像条件に適合したものに更新することができる。また、薬剤仕分装置1の導入後に、撮像装置や照明装置等の経時劣化によって、撮像画像の色味が変化した場合にも、適切に種類の判別を行うことができる状態を維持することができる。
【0102】
〔色スコアの算出式における重みを更新する処理の流れ〕
図9に基づいて色スコアの算出式における重みを更新する処理の流れを説明する。
図9は、色スコアの算出式における重みを更新する処理の一例を示すフローチャートである。なお、
図9の処理を行う条件は特に限定されない。例えば、薬剤仕分装置1が日時更新の要否を問い合わせるメッセージをユーザに提示し、そのメッセージに対して日時更新を行う旨のユーザ操作が行われた場合に、日時更新を行う前に
図9の処理を開始してもよい。なお、日時更新は、
図9の処理が終了次第行われる。また、例えば、前回の重みの更新から所定期間(例えば30日)経過したことを条件として
図9の処理を開始してもよいし、所定数の判別成功色データ83が蓄積されたことを条件として
図9の処理を開始してもよい。また、マスタ色データの更新が行われたときには、更新後のマスタ色データに対して、現行の重みが適切な値となっていない可能性があるため、マスタ色データの更新が行われたことを条件として
図9の処理を開始してもよい。
【0103】
まず、重み更新部72は、記憶部80に記憶されている所定期間の判別成功色データ83を取得する(S21)。例えば、上記所定期間が30日間であれば、重み更新部72は、直近30日に記憶された全ての判別成功色データ83を取得する。そして、重み更新部72は、S21で取得した判別成功色データ83からミニバッチデータを作成し(S22)、作成したミニバッチデータを用いて色スコアの算出式における重みを最適化する(S23)。
【0104】
なお、S23では、過去に重みが更新されていた場合であっても、更新後の重み値ではなく、重みの初期値から最適化演算を行うことが好ましい。これにより、最適化後の重み値が、重みの初期値からかけ離れた値となりにくくすることができるので、安定した最適化が可能になる。
【0105】
次に、重み更新部72は、S23で算出した重み(最適化した重み)が、現行の重み(過去に更新が行われている場合には直近の更新後の重み)よりも高精度な値となっているか否かを判定する(S24)。なお、重みの精度の評価は、その重みを適用した算出式によって算出された色スコアに基づいて行えばよい。例えば、重み更新部72は、S21で取得した判別成功色データ83の一部または全部について色スコアを算出して色スコアの順位を求め、平均順位が高くなっているか否かにより、重みが高精度な値となっているか否かを判定してもよい。なお、色スコアの順位とは、ある薬剤の判別成功色データ83と各種類の薬剤のマスタ色データとで算出した各色スコアのうち、上記ある薬剤の判別成功色データ83と当該ある薬剤の判別成功色データ83とで算出した色スコアの順位である。
【0106】
S24において高精度な値となっていると判定された場合(S24でYES)、S25の処理に進み、重み更新部72は、現行の重みの代わりにS23で算出した重みを適用する。これにより、以後の仕分けにおいては更新後の重みが使用される。一方、高精度な値となっていないと判定された場合(S24でNO)、
図9の処理は終了する。つまり、この場合には重みは更新されず、以後の仕分けにおいては現行の重みが引き続き使用される。
【0107】
以上のように、重み更新部72は、複数の判別成功色データ83を訓練データとして取得し(S21)、取得した訓練データを用いて色スコアの算出式(より詳細には色スコアの算出式における重みw1~w4)を更新する(S25)。したがって、薬剤仕分装置1によれば、対象薬剤の撮像によって得られる対象画像が、マスタデータの作成時に想定していたものから変化した場合であっても、またマスタ色データが更新された後であっても、適切な重み値を用いて算出した適切な色スコアに基づき、適切に種類の判別を行うことができる。
【0108】
〔変形例〕
上記実施形態では、ミニバッチを用いた確率的勾配降下法により重みを更新する例を示したが、重みの更新には他のアルゴリズムを適用することもできる。例えば、ミニバッチを用いない確率的勾配降下法を用いてもよいし、局所解の問題を考慮する必要がなければ、通常の勾配降下法を用いてもよい。また、勾配降下法以外の最適化アルゴリズムを適用することもできる。
【0109】
また、薬剤データベース81の更新処理と重みの更新処理の少なくとも何れかを、薬剤仕分装置1の外部の情報処理装置(コンピュータ)に実行させてもよい。この場合、当該情報処理装置を薬剤仕分装置1と通信可能な状態としておくことにより、情報処理装置から、薬剤仕分装置1が使用する薬剤データベース81と色スコアの算出式における重みを更新することができる。
【0110】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0111】
〔薬剤仕分装置の構成〕
図10は、本実施形態に係る薬剤仕分装置1が備える制御部60bの要部構成の一例を示すブロック図である。なお、
図10では、本実施形態に特徴的な構成を中心に図示しているが、制御部60bには
図1に示した制御部60aに含まれる他のブロックも含まれていてもよい。
【0112】
制御部60bには、マーク検出部73と類似性判定部74と一致判定部75と判別部64とが含まれている。また、類似性判定部74には、741-1から741-nまでのn個の識別器が含まれている。なお、nは2以上の整数である。また、各識別器を区別する必要がないときには、単に識別器741と記載する。
【0113】
本実施形態の薬剤仕分装置1も、実施形態1の薬剤仕分装置1と同様に、種類不明の対象薬剤を撮像した撮像画像から、その対象薬剤の種類を判別する。そして、この判別は実施形態1と同様に判別部64が行う。本実施形態では、判別部64の判定材料の1つとして、対象薬剤のマークが薬剤の照合用のマスタデータに登録されている登録マークと一致するか否かを複数の識別器741を用いて判定する点で実施形態1と相違している。
【0114】
より詳細には、マーク検出部73は、対象薬剤に形成されたマークを撮像画像から検出する。続いて、類似性判定部74が、マーク検出部73が検出した検出マークと、薬剤の照合用のマスタデータに登録されている登録マークとの類似性を、複数の識別器741により判定する。そして、一致判定部75は、各識別器741による判定の結果に基づいて検出マークと登録マークとが一致するか判定する。
【0115】
上記の構成によれば、複数の識別器741による類似性の判定結果に基づいて検出マークと登録マークとが一致するか判定する。したがって、マークの一致判定の精度を高めることが可能になる。そして、判別部64は、マーク検出部73の判定結果に基づいて対象薬剤の種類を判別するので、マークを的確に考慮して対象薬剤の種類判別の精度を高めることができる。
【0116】
一般に、薬剤に形成されたマークは、その形状がバリエーションに富んでいるため、OCR(optical character reader)等による識別は難しい。また、マークが薬剤の表面を彫り込むことにより形成される場合には、撮像時の薬剤への光の当たり方により撮像画像へのマークの写り方が変わるため、一致判定の精度を上げることが難しかった。しかし、上記の構成によれば、薬剤の表面を彫り込むことにより形成されたマークについても、高精度に一致判定を行うことが可能である。
【0117】
〔情報処理装置の構成〕
上述の類似性判定部74と一致判定部75は、情報処理装置100によって構築される。ここでは、情報処理装置100の構成を
図11に基づいて説明する。
図11は、情報処理装置100の要部構成の一例を示すブロック図である。
【0118】
情報処理装置100は、情報処理装置100の各部を統括して制御する制御部110と、情報処理装置100が使用する各種データを記憶する記憶部150を備えている。また、情報処理装置100は、情報処理装置100に対する入力を受け付ける入力部130、および情報処理装置100がデータを出力するための出力部140を備えている。
【0119】
制御部110には、識別器群生成部111、判定領域設定部112、類似性判定部113、評価部114、選抜部115、重み設定部116、信頼度算出部117、および識別器構築部118が含まれている。また、記憶部150には、識別器DB(データベース)151、登録マークDB152、および学習用DB153が記憶されている。
【0120】
識別器群生成部111は、類似性判定部113が類似性の判定に使用する識別器群を生成する。具体的には、識別器群生成部111は、識別器DB151に格納されている識別器が類似性判定に用いる閾値のバリエーションを増やすことにより、1131-1から1131-NまでのN個の識別器からなる識別器群を生成する。この識別器群により類似性判定部113が構成される。なお、Nは2以上の整数である。また、各識別器を区別する必要がないときには、単に識別器1131と記載する。
【0121】
判定領域設定部112は、撮像画像における検出マークが写っている領域を区分して、類似性判定部113が類似性の判定を行う対象となる判定領域を複数設定する。判定領域の設定については
図12に基づいて後述する。
【0122】
類似性判定部113は、識別器群生成部111が生成した識別器群に含まれる各識別器1131を用いて、登録マークDB152に格納されている登録マーク画像に写る登録マークと学習用DB153に含まれる各テスト画像に写るマークとの類似性の判定を行う。上述のように、この判定は、判定領域設定部112が設定した判定領域毎に行う。なお、テスト画像の詳細は
図12に基づいて後述する。
【0123】
評価部114は、類似性判定部113に含まれる各識別器1131による類似性の判定結果を評価する。評価手法は、各識別器1131の類似性の判定精度に応じた評価値を算出できるものであればよい。本実施形態では、評価部114が、各識別器1131のエラー率を算出する例を説明する。エラー率は、類似性の判定を行った総回数に対する判定結果が誤りであった回数の割合を示す数値であり、エラー率が低いほど類似性の判定精度は高いといえる。
【0124】
選抜部115は、識別器群生成部111が生成した識別器群、すなわち類似性判定部113に含まれる識別器1131の中から、評価部114が評価した類似性の判定精度に基づいて複数の識別器を選抜する。また、選抜部115は、この選抜において、重み設定部116が設定した重みを考慮する。
【0125】
重み設定部116は、各識別器1131による類似性の判定対象となる各テスト画像に重みを設定する。重みの設定方法および重みを考慮した識別器の選抜方法については、
図14に基づいて後述する。
【0126】
信頼度算出部117は、選抜部115が選抜した各識別器の信頼度を算出する。詳細は後述するが、この信頼度は、薬剤仕分装置1による一致判定で用いられる。また、信頼度の算出方法についても後述する。
【0127】
識別器構築部118は、選抜部115が選抜した複数の識別器を用いて、検出マークと登録マークとが一致するか否かを判定するための識別器を構築する。そして、薬剤仕分装置1は、識別器構築部118が構築した識別器を用いて一致判定を行う。
【0128】
識別器DB151には、薬剤の撮像画像から検出された検出マークと、薬剤の照合用のマスタデータに登録されている登録マークとの類似性を判定する識別器が格納されている。上述のように、識別器群生成部111が識別器DB151に格納されている識別器の閾値のバリエーションを増やし、これにより選抜部115による選抜の対象となる識別器群が生成される。このため、識別器DB151には、少なくとも1種類の識別器が格納されていればよい。ただし、複数種類の識別器が格納されていれば、複数種類の識別器から選抜された識別器からなる、より判定精度の高い識別器を構築し得るため好ましい。識別器DB151に格納されている識別器の具体例は後述する。
【0129】
登録マークDB152には、実施形態1の薬剤データベース81に薬剤の照合用のマスタデータとして登録されている、登録マークが写っている画像である登録マーク画像が格納されている。登録マーク画像は、薬剤データベース81に格納されているマスタ画像812からマークが写っている部分を切り出すことによって生成されたものであってもよい。
【0130】
学習用DB153には、上述のように、各識別器1131の類似性の判定精度の評価に用いるテスト画像が格納されている。テスト画像の詳細は
図12に基づいて後述する。
【0131】
以上のように、情報処理装置100は、撮像画像から検出された検出マークと登録マークとの類似性を判定する識別器1131-1~1131-Nの中から、類似性の判定精度に基づいて複数の識別器を選抜する選抜部115を備えている。また、情報処理装置100は、選抜部115が選抜した複数の識別器を用いて、検出マークと登録マークとが一致するか否かを判定するための識別器を構築する識別器構築部118を備えている。
【0132】
上記の構成によれば、類似性の判定精度に基づいて選抜された複数の識別器による判定結果に基づいて検出マークと登録マークとが一致するかを判定するための識別器を構築することができる。そして、本実施形態の薬剤仕分装置1は、このようにして構築された識別器を用いることにより、マークの一致判定を高精度に行うことが可能になり、その判定結果に基づく対象薬剤の種類判別も高精度に行うことが可能になる。
【0133】
〔判定領域の設定〕
図12は、判定領域の設定例を示す図である。より詳細には、
図12には、マスタ画像812から登録マークのマスタデータである登録マーク画像1521を生成し、この登録マーク画像1521にA2-1からA2-MまでのM個の判定領域を設定した例を示している。
【0134】
図12に示すマスタ画像812においては、錠剤T1が写っていると共に、錠剤T1の表面部分にマークT11と番号T12が写っている。登録マーク画像1521は、このようなマスタ画像812からマークが写っている領域A1を検出し、この部分を切り出すことにより生成される。切り出した画像はそのまま登録マーク画像1521としてもよいし、所定サイズに拡大あるいは縮小する等の処理を行った上で登録マーク画像1521としてもよい。登録マーク画像1521は、登録マークDB152に格納される。
【0135】
判定領域設定部112は、登録マーク画像1521に複数の判定領域を設定する。
図12の例では、A2-1からA2-MまでのM個の判定領域を設定している。なお、Mは2以上の整数である。また、各判定領域を区別する必要がないときには、単に判定領域A2と記載する。
【0136】
判定領域設定部112は、登録マーク画像1521の全画像領域が、少なくとも何れかの判定領域A2に含まれるように判定領域を設定することが好ましい。また、
図12の例における判定領域A2-1とA2-2のように、判定領域設定部112は、一部が重畳するように判定領域を設定してもよい。また、判定領域設定部112は、判定領域A2-1とA2-Mのようにサイズの異なる判定領域を設定してもよいし、形状の異なる判定領域を設定してもよい。
【0137】
判定領域2Aの個数および各判定領域2Aのサイズは特に限定されない。ただし、識別器1131による類否判定に支障が出ない程度のサイズおよび個数、つまり各判定領域2Aにマークの特徴が表れる程度のサイズおよび個数とすることが好ましい。一例として、判定領域設定部112は、数百個の判定領域A2を設定してもよい。
【0138】
なお、判定領域設定部112は、自動で判定領域2Aを設定してもよい。例えば、判定領域設定部112は、所定サイズの判定領域2Aを所定の方向に所定の距離だけずらしながら登録マーク画像1521の全画像領域をカバーする複数の判定領域2Aを設定してもよい。また、判定領域設定部112は、例えば、入力部130を介したユーザの入力に従って各判定領域2Aを設定してもよい。
【0139】
また、判定領域設定部112は、テスト画像に対しても登録マーク画像1521と同じ判定領域A2を設定する。テスト画像は、登録マーク画像1521との類似性判定の対象となる画像であり、学習用DB153に格納されている。
【0140】
学習用DB153に格納されているテスト画像には、登録マーク画像1521に写るマークと同一のマークが写ったテスト画像1531と、登録マーク画像1521に写るマークとは異なるマークが写ったテスト画像1532がそれぞれ複数含まれている。テスト画像1531および1532は、類似性の判定が容易なものから、困難なものまで、できるだけバリエーションに富んだものを用意することが好ましい。これにより、薬剤の多様な撮像画像についてマークの一致判定を高精度に行うことが可能になる。
【0141】
類似性判定部113は、登録マーク画像1521とテスト画像の類似性の判定を、上述のようにして設定された各判定領域のそれぞれについて行う。具体的には、類似性判定部113は、登録マーク画像1521の判定領域A2-1と、テスト画像1531の判定領域A2-1との類似性を判定する。また、類似性判定部113は、テスト画像1532についても同様の判定を行う。そして、類似性判定部113は、判定領域A2-2からA2-Mについても同様に、登録マーク画像1521とテスト画像1531、ならびに、登録マーク画像1521とテスト画像1532の類似性の判定を行う。
【0142】
そして、選抜部115は、複数の判定領域のそれぞれにおける類似性の判定精度に基づいて複数の識別器を選抜する。これにより、各判定領域における判定精度の高い識別器が選抜され、選抜されたそれらの識別器によりマークの一致判定を行うための識別器が構築される。このようにして構築された識別器では、例えば、マークの形状の特徴が表れた判定領域については形状の判定精度が高い識別器で判定し、マークの色の特徴が表れた判定領域については色の判定精度が高い識別器で判定する、といった適材適所の判定が可能である。
【0143】
また、このようにして構築された識別器を用いる薬剤仕分装置1の類似性判定部74は、撮像画像の検出マークが写っている領域を区分した複数の判定領域のそれぞれについて、当該判定領域に応じた識別器により類似性の判定を行う。これにより、領域の違いを考慮した高精度な判定を行うことが可能になる。
【0144】
〔使用する識別器〕
上述のように、薬剤仕分装置1の類似性判定部74は、複数の識別器741により類似性の判定を行う。この類似性判定部74は、類似性の判定方法が異なる複数種類の識別器により検出マークと登録マークとの類似性の判定を行ってもよい。この構成によれば、複数の判定方法を考慮してマークの一致判定を行うので、1種類の判定方法で類似性の判定を行う場合と比べて、当該判定の精度を高めることが可能になる。
【0145】
また、複数種類の識別器を用いる場合、それらの識別器の中には、色の類似性を判定する識別器と、形状の類似性を判定する識別器とが含まれている、ことが好ましい。この構成によれば、色の類似性と形状の類似性の両方を考慮してマークの一致判定を行うので、判定の精度を高めることが可能になる。
【0146】
ここで、識別器741は、情報処理装置100の類似性判定部113に含まれる識別器1131-1~1131-Nの中から選抜されたものであり、これらの識別器1131は識別器DB151に格納されている識別器が基になっている。
【0147】
よって、この基になる識別器を複数種類とし、その中に、色の類似性を判定する識別器と、形状の類似性を判定する識別器とを含めておけば、薬剤仕分装置1において上述のような効果が期待できる。
【0148】
また、薬剤によっては色による類似性の判定が難しいものも存在するが、そのような薬剤については、色の類似性を判定する識別器の判定精度が低くなるため、そのような識別器は選抜され難い。よって、識別器DB151に色の類似性を判定する識別器を含めておいても、色による類似性の判定が難しい薬剤の類似性の判定には、色の類似性を判定する識別器を用いないようにすることができる。
【0149】
形状の類似性を判定する識別器としては、例えば、類似性の判定対象となる画像について下記のような値を算出して、算出した値と所定の閾値とを比較することにより、類似か非類似かを判定する識別器を用いることもできる。
【0150】
(1)HOG(Histograms of Oriented Gradients)特徴量の距離
(2)Average Hash法により算出したHash値の距離
(3)Perceptual Hash法により算出したHash値の距離
(4)HSV(H:Hue、S:Saturation・Chroma、V:Value・Brightness)変換により生成したS成分画像でのHOG特徴量の距離
(5)先鋭化した画像の特徴点抽出(ORB:Oriented FAST and Rotated BRIEF)により得た特徴の類似度
(6)ソーベルフィルタリングした画像から特徴点抽出アルゴリズムであるAKAZEにより得た特徴量の類似度
(7)グラディエントフィルタリングした画像から特徴点抽出アルゴリズムであるAKAZEにより得た特徴量の類似度
(8)数字等が写る画像からその数字等の特徴ベクトルを出力するように学習した畳み込みニューラルネットワークに類似性の判定対象となる各画像を入力して得た各特徴ベクトル間の距離
また、色の類似性を判定する識別器としては、例えば、HSV変換画像の平均色距離を算出して、算出した値と所定の閾値とを比較することにより、類似か非類似かを判定する識別器を用いることもできる。
【0151】
〔閾値の相違による類似性の判定精度の相違〕
上述のように、識別器群生成部111は、閾値が異なる識別器群を生成する。ここでは、閾値の相違による類似性の判定精度の相違について
図13に基づいて説明する。
図13は、閾値が相違することにより類似性の判定精度に相違が生じた例を示す図である。
【0152】
この例では、登録マーク画像1521における領域A2とテスト画像における同領域との類似度を、識別器DB151に格納されている識別器の1つである第1識別器と、該第1識別器の閾値をより大きい値に変更した第2識別器とで判定している。テスト画像には、登録マーク画像1521に写るマークと同一のマークが写るテスト画像A~Cと、非同一のマークが写るテスト画像a~cが含まれている。
【0153】
第1識別器と第2識別器は、類似と非類似の判定閾値が異なるだけで、同じ識別器であるから、これらの識別器が算出する、登録マーク画像1521とテスト画像の類似度は同じ値である。
図13の例では、テスト画像Aが登録マーク画像1521との類似度が最も高く、以下類似度の高い順に、テスト画像B、a、b、C、cと続く結果となっている。
【0154】
第1識別器と第2識別器は、算出した上記類似度が閾値以上であれば類似、閾値未満であれば非類似との判定結果を出力する。この例では、第1識別器の判定結果は、テスト画像A、B、a、bは登録マーク画像1521と類似しており、テスト画像C、cは登録マーク画像1521と類似していない、となっている。これら6つの結果のうち、テスト画像a、b、Cについての判定結果は誤判定であるから、第1識別器のエラー率は3/6である。
【0155】
一方、第2識別器の判定結果は、テスト画像A、B、aは登録マーク画像1521と類似しており、テスト画像b、C、cは登録マーク画像1521と類似していない、となっている。これら6つの結果のうち、テスト画像a、Cについての判定結果は誤判定であるから、第2識別器のエラー率は2/6である。
【0156】
これら第1識別器と第2識別器のように、同じ値の類似度を算出する識別器であっても、類似性の判定に用いる閾値の値が変われば、判定精度が変化し得る。よって、類似性判定に用いる閾値のバリエーションを増やすことにより、登録マーク画像1521の類似性の判定に適した識別器を含む識別器群を生成することができる。
【0157】
なお、識別器群生成部111が各識別器に設定する閾値を決定する方法、および閾値のバリエーションの数は、特に限定されない。バリエーションを多くする程、最適な閾値の識別器を含む識別器群を構築できる可能性が高くなるが、その分、最終的な識別器の構築までに要する演算量が増大する。このため、許容できる演算量と求められる判定精度等に基づいて閾値の決定方法および閾値のバリエーションの数を設定すればよい。例えば、識別器群生成部111は、各識別器の出力値の範囲を複数に等分する各値を閾値に設定してもよい。例えば、識別器群生成部111は、出力値の範囲を10等分する9つの値を閾値に設定してもよい。これにより、1つの識別器に9つのバリエーションを持たせることができる。
【0158】
〔識別器を構築する処理の流れ〕
図14および
図15に基づいて、情報処理装置100が識別器を構築する処理(情報処理方法)の流れを説明する。
図14は、識別器を構築する処理の一例を示すフローチャートである。また、
図15は、識別器を構築する処理の具体例を示す図である。
【0159】
図14の処理を開始する前に、識別器群生成部111は、識別器DB151に格納されている識別器の閾値のバリエーションを増やすことにより識別器群を生成している。また、判定領域設定部112は、判定領域を設定している。
【0160】
上記識別器群について、
図15の例では、識別器群生成部111は、識別器DB151に格納されているm種類(mは自然数)の識別器の閾値のバリエーションをそれぞれ増やすことにより、識別器1131-1から1131-NまでのN個の識別器を含む識別器群を生成している。
【0161】
また、
図15の例では、判定領域設定部112は、A2-1からA2-MまでのM個の判定領域を設定している。上述のように、判定領域A2-1~A2-Mは、登録マーク画像1521とテスト画像1531および1532との類似性の判定に用いられる。
【0162】
図14のS31では、類似性判定部113が、識別器群生成部111が生成した上述の識別器群に含まれる各識別器を用いて、登録マークDB152に格納されている登録マークと、学習用DB153に格納されているテスト画像1531および1532との類似性の判定を行う。この判定は、判定領域設定部112が設定した判定領域のそれぞれについて行われる。
【0163】
例えば、
図15の例では、M個の判定領域が設定されているから、1つの識別器による判定は、1つのテスト画像につきM回行われる。また、識別器は合計でN個あるから、1つのテスト画像につき合計でM×N回の判定が行われる。
【0164】
S32では、評価部114が、S31で行われた各判定の判定精度を評価する。上述のように、評価部114は、エラー率を算出することにより判定精度を評価してもよい。また、この評価には、重み設定部116が各テスト画像に設定した重みが考慮される。以下説明するように、S32~S36の処理は所定回数繰り返されるが、初回の評価では各テスト画像の重みは初期値(全てのテスト画像の重みは同一)とする。
【0165】
S33では、選抜部115が、S32で評価された識別器の中から、当該評価の結果に基づいて識別器を選抜する。例えば、選抜部115は、エラー率が最も低かった1つの識別器を選抜してもよい。なお、この際に、選抜部115は、選抜した識別器と、その識別器の判定領域とを対応付けておく。
【0166】
S34では、信頼度算出部117が、S33で選抜された識別器の信頼度を算出する。例えば、信頼度算出部117は、下記の数式により信頼度を算出してもよい。なお、下記の数式において、「ln」は、logeである。
【0167】
(信頼度)=1/2・ln[{1-(エラー率)}/(エラー率)]
S35では、識別器構築部118が、学習が終了したか否かを判定する。例えば、識別器構築部118は、S32~S36の処理の繰り返し回数が所定数に達していれば学習が終了したと判定し、所定回数に達していなければ学習は終了していないと判定してもよい。S35で学習が終了したと判定された場合(S35でYES)にはS37の処理に進み、終了していないと判定された場合(S35でNO)にはS36の処理に進む。
【0168】
S36では、重み設定部116が、テスト画像の重みを更新する。この更新において、重み設定部116は、直近のS33の処理で選抜された識別器が誤判定したテスト画像の重みが、同識別器が正しく判定したテスト画像の重みよりも大きくなるように更新する。
【0169】
S36の後、処理はS32に戻り、評価部114が、更新後の重みを用いて、S31で行われた各判定の判定精度を再評価する。この再評価では、直近のS33の処理で選抜された識別器が誤判定したテスト画像の重みが相対的に大きくなっているので、このテスト画像の判定精度が高い識別器の評価が相対的に高くなる。
【0170】
よって、続くS33では、前回選抜された識別器が誤判定したテスト画像の判定精度が高い識別器が選抜されやすくなる。このような繰り返し処理により、互いに欠点を補い合う識別器を順次選抜することができる。
【0171】
S37では、識別器構築部118が、これまでの繰り返し処理によって選抜された識別器を用いて、検出マークと登録マークとが一致するかを判定するための識別器を構築する。例えば、識別器構築部118は、選抜された識別器の出力値に当該識別器の信頼度で重みを付けた値を、選抜された全識別器について合計した値(以下、一致度と呼ぶ)を出力する識別器を構築してもよい。
【0172】
また、識別器構築部118は、上記一致度の閾値を設定する。閾値は、構築した上記識別器の判定精度が少なくとも許容下限値以上となるように設定すればよい。例えば、識別器構築部118は、構築した上記識別器により算出された、登録マーク画像に写る登録マークと、複数のテスト画像1531および1532に写るマークとの一致度を取得してもよい。そして、識別器構築部118は、取得した一致度の平均と分散から一致度の標準偏差σを算出し、この標準偏差σを基準に上記閾値を設定してもよい。例えば、識別器構築部118は、閾値を5σとしたときに、構築した上記識別器の誤判定率が許容下限値以上となる場合に、閾値を5σとしてもよい。
【0173】
識別器が構築されることにより、図示の処理は終了となる。なお、S37で構築した識別器は、記憶部150に記憶してもよいし、出力部140に出力させてもよい。また、情報処理装置100と薬剤仕分装置1が通信機能を備えている場合、情報処理装置100は、該通信機能により薬剤仕分装置1に構築した識別器を送信してもよい。
【0174】
薬剤仕分装置1の類似性判定部74に含まれる複数の識別器741は、以上のように、登録マークの画像と他のマークの画像とを含むテスト画像群についての類似性の判定精度に基づいて選抜された識別器である。この構成によれば、テスト画像群についての類似性の判定精度に基づいて選抜された識別器による類似性の判定結果に基づいてマークの一致判定を行うので、高精度な判定を行うことが可能になる。
【0175】
〔構築した識別器を用いたマークの一致判定処理の流れ〕
図16および
図17に基づいて、上述のようにして構築した識別器を用いた、薬剤仕分装置1によるマークの一致判定処理(判定方法)の流れを説明する。
図16は、マークの一致判定処理の一例を示すフローチャートである。また、
図17は、マークの一致判定の具体例を示す図である。
【0176】
S41では、マーク検出部73が、対象薬剤を撮像した撮像画像82から、当該対象薬剤に形成されたマークを検出する。
図17の例では、撮像画像82には、表面にマークT11と番号T12が記された錠剤T1が写っている。この例では、マーク検出部73は、マークT11を検出して、検出したマークT11が写る矩形状の領域A1を撮像画像82から切り出して所定サイズに変更し、マーク画像84を生成している。なお、所定サイズは、登録マーク画像1521と同じサイズである。
【0177】
S42では、類似性判定部74が、S41で検出された検出マークと登録マークとの類似性を、複数の識別器741により判定する。
図17の例では、類似性判定部74は、識別器741-1から741-mのそれぞれを用いて、マーク画像84に写る検出マークと、登録マーク画像1521に写る登録マークとの類似性を判定する。
【0178】
なお、この判定は、各識別器741に対応付けられた判定領域A2毎に行う。例えば、識別器741-1に対応付けられた判定領域がA2-1であり、識別器741-2に対応付けられた判定領域がA2-5であったとする。この場合、識別器741-1を用いた判定は判定領域A2-1について行い、識別器741-2を用いた判定は判定領域A2-5について行う。
【0179】
S43では、一致判定部75が、S42の判定結果に基づいて判定用スコアを算出する。
図17の例では、各識別器741は、類似していることを示す判定結果である「1」または非類似であることを示す判定結果である「-1」を出力している。そして、一致判定部75は、上記判定結果にその判定を行った識別器741の信頼度を乗じて足し合わせることにより、判定用スコアを算出している。
【0180】
S44では、一致判定部75は、S43で算出した判定用スコアが閾値以上であるか否かにより、S41で検出された検出マークと登録マークとが一致するか否かを判定する。このように、一致判定部75は、各識別器741による判定の結果に、各識別器741の信頼度に応じた重み付けを行った上で、検出マークと登録マークとが一致するか判定する。これにより、各識別器741の信頼度をマークの一致判定に反映させることができるので、高精度な判定を行うことが可能になる。
【0181】
最後に、S45では、一致判定部75は、S45の判定結果を判別部64に出力し、これにより
図16の処理は終了する。なお、S44の判定結果が一致していないという結果であった場合、類似性の判定対象の登録マークを変更して、再度S42~S44の処理を行ってもよい。そして、S44の判定結果が一致しているとの結果となるまでこれらの処理を繰り返してもよい。
【0182】
図16の処理の終了後、S45の判定結果を受信した判別部64は、マーク検出部73の判定結果と、対象薬剤の色や形状、番号等のその他の検出結果や判定結果に基づいて、対象薬剤の種類を判別する。
【0183】
〔ソフトウェアによる実現例〕
薬剤仕分装置1の制御ブロック(特に、制御部60aおよび60bに含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0184】
後者の場合、薬剤仕分装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0185】
同様に、情報処理装置100の制御ブロック(特に制御部110に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよい。そして、これら制御ブロックは、上述のようにしてソフトウェアによって実現してもよい。
【0186】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0187】
1 薬剤仕分装置
60 コンピュータ(種類判別装置)
64 判別部
71 マスタ更新部
72 重み更新部(評価情報更新部)
81 薬剤データベース
82 撮像画像
811a、811b マスタ色データ
73 マーク検出部
74 類似性判定部
741 識別器
75 一致判定部
100 情報処理装置
115 選抜部
118 識別器構築部