特許 6497856 錠剤識別装置およびその方法、並びに、分包錠剤監査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6497856

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】錠剤識別装置およびその方法、並びに、分包錠剤監査装置

(51)【国際特許分類】

   G16H 20/10 20180101AFI20190401BHJP

   G16H 40/60 20180101ALI20190401BHJP

   G06T 7/00 20170101ALI20190401BHJP

   A61J 3/00 20060101ALI20190401BHJP

   B65B 65/08 20060101ALI20190401BHJP

【ＦＩ】

   G16H20/10

   G16H40/60

   G06T7/00 300D

   G06T7/00 300F

   A61J3/00 310E

   A61J3/00 310F

   B65B65/08

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2014-137976(P2014-137976)

(22)【出願日】2014年7月3日

(65)【公開番号】特開2016-15093(P2016-15093A)

(43)【公開日】2016年1月28日

【審査請求日】2017年5月15日

(73)【特許権者】

【識別番号】397050545

【氏名又は名称】アレイ株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】松本 剛

【審査官】 加舎 理紅子

(56)【参考文献】

【文献】 特開平０７−２５４０６７（ＪＰ，Ａ）

【文献】 特開２０１０−１１７３３１（ＪＰ，Ａ）

【文献】 特開平０６−００６７９６（ＪＰ，Ａ）

【文献】 特開２００８−０１８２３０（ＪＰ，Ａ）

【文献】 特開２０１３−１４４１００（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２８００７５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１６Ｈ １０／００ − ８０／００

Ａ６１Ｊ ３／００

Ｂ６５Ｂ ６５／０８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

錠剤を撮影した画像データから錠剤画像を切り出す切出手段と、
パターン認識を行って、前記錠剤画像に写った錠剤の候補とその確度を示す認識結果を生成する認識手段と、
前記認識結果に含まれる高い確度を有する候補に対応するテンプレート画像と前記錠剤画像のマッチングを行い、前記テンプレート画像と前記錠剤画像のマッチング度合いを前記高い確度を有する候補の類似度として前記認識結果に付加するマッチング手段と、
前記認識結果に含まれる高い類似度を有する候補の錠剤情報に含まれる錠剤の形状、サイズ、及び、色情報と、前記錠剤画像から取得した錠剤の形状、サイズ、及び、色情報とに基づくスクリーニングを行って、前記錠剤画像に写った錠剤の錠剤名を識別する識別手段とを有する錠剤識別装置。

【請求項2】

さらに、前記錠剤を撮像エリアに搬送したことを示す信号を受信すると、撮像装置と照明を制御して、前記撮像エリアを上方から撮影した画像データおよび前記撮像エリアを下方から撮影した画像データを前記切出手段に供給する画像入力手段を有する請求項１に記載された錠剤識別装置。

【請求項3】

前記画像データには複数の錠剤画像が含まれ、前記切出手段は前記複数の錠剤画像をそれぞれ切り出し、
前記錠剤画像ごとに、前記認識手段が前記パターン認識と前記認識結果の生成を行い、前記マッチング手段が前記マッチングと前記類似度の付加を行い、前記識別手段が前記スクリーニングと前記錠剤名の識別を行う請求項１または請求項２に記載された錠剤識別装置。

【請求項4】

前記マッチング手段は、前記錠剤画像と前記テンプレート画像にぼかし処理を施し、前記ぼかし処理後のテンプレート画像の明るさを前記ぼかし処理後の錠剤画像に近付ける調整処理を行って、前記マッチングを行う請求項１から請求項３の何れか一項に記載された錠剤識別装置。

【請求項5】

前記識別手段は、識別対象の錠剤の種類に対応する数のカウンタを有し、前記識別した錠剤名に基づき、前記画像データに写った錠剤の種類ごとの数をカウントする請求項１から請求項４の何れか一項に記載された錠剤識別装置。

【請求項6】

分包される錠剤の処方データを入力する入力手段と、
前記分包される錠剤に関する錠剤名とその数を示す識別結果を請求項５に記載された錠剤識別装置から入力して、前記識別結果が示す錠剤名とその数が、前記処方データが示す錠剤名とその数に一致するか否かを判定する監査手段と、
前記監査手段の判定結果を出力する出力手段とを有する分包錠剤監査装置。

【請求項7】

切出手段が、錠剤を撮影した画像データから錠剤画像を切り出し、
認識手段が、パターン認識を行って、前記錠剤画像に写った錠剤の候補とその確度を示す認識結果を生成し、
マッチング手段が、前記認識結果に含まれる高い確度を有する候補に対応するテンプレート画像と前記錠剤画像のマッチングを行い、前記テンプレート画像と前記錠剤画像のマッチング度合いを前記高い確度を有する候補の類似度として前記認識結果に付加し、
識別手段が、前記認識結果に含まれる高い類似度を有する候補の錠剤情報に含まれる錠剤の形状、サイズ、及び、色情報と、前記錠剤画像から取得した錠剤の形状、サイズ、及び、色情報とに基づくスクリーニングを行って、前記錠剤画像に写った錠剤の錠剤名を識別する錠剤識別方法。

【請求項8】

コンピュータを請求項１から請求項６の何れか一項に記載された装置の各手段として機能させるためのプログラム。

【請求項9】

請求項８に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、錠剤の識別および分包される錠剤の監査に関する。

【背景技術】

【0002】

平成18年9月の厚生労働省医薬食品局安全対策課長通知「医療用医薬品へのバーコード表示の実施について」（薬食安発第0915001号）により、医薬品の製造販売業者に対して医療用医薬品へのバーコードの表示が求められるようになった。その目的はトレーサビリティを確保するとともに機械的に製品を識別して、医薬品の取り違えによる医療事故の防止を図ることにある。

【0003】

製薬会社から出荷状態の錠剤は、シート状に多数の錠剤が梱包されている。処方箋に従い、出荷状態のまま錠剤を患者に提供すると、患者は、一度に服用すべき錠剤の種類や数を判別し難い場合がある。そこで、一度に服用すべき錠剤を分包し、分包ごとに患者名、用法、日付などの情報などを印刷して提供するための錠剤分包装置が存在する。

【0004】

しかし、分包された錠剤について、医療事故防止のために、多くの施設において目視による識別と監査が行われている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平11-206855号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、錠剤を短時間かつ正確に識別することを目的とする。さらに、分包される錠剤の監査を支援または自動化することを他の目的とする。

【課題を解決するための手段】

【0007】

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

【0008】

本発明にかかる錠剤識別は、錠剤を撮影した画像データから錠剤画像を切り出し、パターン認識を行って、前記錠剤画像に写った錠剤の候補とその確度を示す認識結果を生成し、前記認識結果に含まれる高い確度を有する候補に対応するテンプレート画像と前記錠剤画像のマッチングを行い、前記テンプレート画像と前記錠剤画像のマッチング度合いを前記高い確度を有する候補の類似度として前記認識結果に付加し、前記認識結果に含まれる高い類似度を有する候補の錠剤情報に含まれる錠剤の形状、サイズ、及び、色情報と、前記錠剤画像から取得した錠剤の形状、サイズ、及び、色情報とに基づくスクリーニングを行って、前記錠剤画像に写った錠剤の錠剤名を識別する。

【発明の効果】

【0009】

本発明によれば、錠剤を短時間かつ正確に識別することができる。さらに、分包される錠剤の監査を支援または自動化することができる。

【図面の簡単な説明】

【0010】

【図1】錠剤分包装置と錠剤識別装置の関係を示す概観図。

【図2】錠剤識別装置の構成例を示すブロック図。

【図3】監査モードにおいて錠剤画像切出部に入力される画像および錠剤画像の一例を示す図。

【図4】学習モードが指示された場合に錠剤識別装置が実行する処理を示すフローチャート。

【図5A】監査モードが指示された場合に錠剤識別装置が実行する処理を示すフローチャート。

【図5B】監査モードが指示された場合に錠剤識別装置が実行する処理を示すフローチャート。

【図6】刻印または印刷の色が薄い認識用画像が、色が薄いテンプレート画像とマッチし易くなる傾向を説明する図。

【図7】ぼかし処理を行う理由を説明する図。

【発明を実施するための形態】

【0011】

以下、本発明にかかる実施例の錠剤認識装置およびその方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。

【0012】

［装置の構成］
図1は錠剤分包装置10と錠剤識別装置11の関係を示す概観図である。なお、錠剤分包装置11の詳細な構成は、例えば特許文献1などに記載されているので、ここではその説明を省略する。

【0013】

錠剤分包装置10は、錠剤の処方を示す処方データが入力されると、錠剤が分別収納されている錠剤収納部101から処方データが示す錠剤名と数の錠剤をホッパ102に落下させる。処方データには、例えば、一週間に亘り朝、昼、晩それぞれにおいて服用する各錠剤の錠剤名と数が指定されている。錠剤分包装置10は、一回に服用すべき錠剤をまとめて一袋に収納するように、錠剤収納部101から錠剤を落下させる。なお、一回に服用すべき錠剤が一種類、一錠の場合もあり、その場合、落下される錠剤は一錠である。

【0014】

錠剤収納部101から落下された錠剤は、ホッパ102によってターンテーブル103（またはコンベアのような搬送部）上の、シャッタ105が閉じた状態の錠剤載置部104に導かれる。錠剤分包装置10は、錠剤の落下を完了すると、ターンテーブル103を回転させて、錠剤識別装置11に接続されたカメラ12Fと12Rの撮像エリアに錠剤を搬送する。そして、当該分包の処方データとともに錠剤を撮像エリアに搬送した旨を示す搬送信号を錠剤識別装置11に送信する。

【0015】

錠剤識別装置11は、錠剤分包装置10から搬送信号を受信すると、錠剤載置部104の上方の照明13Fを点灯してカメラ12Fによって錠剤載置部104の上方から撮像エリアのカラー画像（以下、表画像）を撮影し、照明13Fを消灯する。次に、錠剤載置部104の下方の照明13Rを点灯してカメラ12Rによって錠剤載置部104の下方から撮像エリアのカラー画像（以下、裏画像）を撮影し、照明13Rを消灯する。これらの撮像によって得られた表画像と裏画像の画像データに基づき、錠剤識別装置11は、各錠剤の識別を行うが、詳細は後述する。

【0016】

少なくとも撮像エリアに入るターンテーブル103の表面および錠剤載置部104の側面は光を反射しないことが望ましく、例えばマットブラックに塗装される。一方、錠剤載置部104の底面を構成するシャッタ105は、カメラ12Rによって錠剤載置部104の下方から撮像を行うために無色透明な材質である。

【0017】

また、図には示さないが、撮影用の照明13F、13Rは、錠剤の刻印が鮮明になるように、撮像エリアの斜め上方向の複数箇所および斜め下方向の複数箇所に配置される。また、シャッタ105および錠剤表面からの正反射光を除去する必要がある場合は、照明13F、13Rとカメラ12F、12Rにはそれぞれ偏光フィルタが取り付けられる。

【0018】

錠剤識別装置11は、画像データから識別した各錠剤の錠剤名および数と処方データを比較する。そして、各錠剤の錠剤名および数が、受信した処方データに一致する場合は監査合格を示す監査信号を錠剤分包装置10に送信し、各錠剤の錠剤名または数が処方データに一致しない場合は監査不合格を示す監査信号を錠剤分包装置10に送信する。

【0019】

監査合格を示す監査信号を受信した場合、錠剤分包装置10は、ターンテーブル103を回転させて、分包エリアに錠剤を搬送してシャッタ105を開き、錠剤をホッパ106に落下させる。錠剤は、ホッパ106によって例えば包装袋107に導かれ、錠剤の分包が行われる。一方、監査不合格を示す監査信号を受信した場合、錠剤分包装置10は、例えば、警報を発するなどしてエラーの発生を報知し、分包動作を停止する。

【0020】

［錠剤識別装置］
錠剤識別装置11は、錠剤の学習機能、識別機能を実現するソフトウェアをコンピュータ装置に供給することで実現される。つまり、コンピュータ装置のCPUが、RAMをワークメモリとして、例えばHDDやSSDなどの格納部に格納された上記ソフトウェアを実行することで、下記の錠剤識別装置11の機能および処理構成が実現される。さらに、監査機能を実現するソフトウェアをコンピュータ装置に供給することで分包錠剤監査装置が実現されるが、以下では、錠剤識別装置11において監査機能も実行されるとして説明を行う。

【0021】

図2は錠剤識別装置11の構成例を示すブロック図である。

【0022】

入出力部201は、錠剤分包装置10との間で通信を行うための例えばUSBなどのシリアルバスインタフェイスである。入出力部201は、錠剤分包装置10から動作モード、錠剤情報、処方データ、搬送信号などを受信し、監査信号などを錠剤分包装置10に送信する。錠剤情報には、錠剤名（例えば「ＸＹＺ錠5mg」）、錠剤の形状情報（円形または円柱、楕円形または楕円体など）、サイズ情報（直径、長径と短径など）が含まれる。

【0023】

画像入力部202は、入出力部201から搬送信号が入力されると、カメラ12F、12Rと照明13F、13Rを制御して、撮像エリアを撮影した表画像と裏画像の画像データを入力し、それら画像データを錠剤画像切出部203に供給する。

【0024】

●錠剤画像切出部
錠剤画像切出部203は、入力した画像データから、錠剤が写った領域を切り出し、動作モードに従って切り出した画像（以下、錠剤画像）を錠剤情報格納部204、学習部205、パターン認識部206に出力する。錠剤画像は、表画像から切り出された画像と裏画像から切り出された画像のペアであるが、以下では説明を容易にするため、一つの画像として説明する場合がある。また、表画像と裏画像が略同時に撮影されるため、予めカメラ12Fの撮像エリアと、カメラ12Rの撮像エリアを一致させておくことで、ペアにすべき錠剤画像を容易に決定することができる。

【0025】

動作モードが学習モードを示す場合、画像入力部202が入力する画像データは錠剤分包装置10に追加される錠剤の画像を示す。従って、錠剤画像切出部203は、錠剤画像を錠剤情報格納部204と学習部205に出力する。また、動作モードが監査モードを示す場合、画像入力部202が入力する画像データは分包される錠剤の画像を示す。従って、錠剤画像切出部203は、錠剤画像をパターン認識部206に出力する。

【0026】

学習モードにおいては、一種類の錠剤の錠剤情報が入力され、撮像エリアに搬送される錠剤は一錠であり、錠剤画像切出部203が切り出す錠剤画像は一錠分である。学習モードにおいて複数の錠剤画像を切り出した場合、錠剤画像切出部203は、その旨を示すエラー信号を入出力部201に出力して、錠剤画像の出力を行わない。一方、監査モードにおいては、分包される一つまたは複数の錠剤が撮像エリアに搬送され、錠剤画像切出部203は、一錠分または複数錠分の錠剤画像を切り出す。

【0027】

図3により監査モードにおいて錠剤画像切出部203に入力される画像および錠剤画像の一例を示す。なお、図3(a)には表画像（または裏画像）の例を示し、図3(b)(c)(d)には錠剤画像の一面分の画像例を示す。

【0028】

錠剤画像切出部203は、図3(a)に示す画像を入力し、コントラスト強調により入力画像の背景領域と錠剤領域の分離を図り、ハフ変換などを用いて各錠剤の輪郭線を検出する。続いて、検出した輪郭線の位置と大きさを微調整するために、輪郭線の位置と輪郭線の包含面積を少しずつ変えて、輪郭線を背景領域と錠剤領域の境界に重ねる。そして、輪郭線が包含する領域を錠剤画像として切り出す。

【0029】

錠剤画像切出部203は、さらに、錠剤画像の向きを揃えるために錠剤画像を回転処理する。つまり、錠剤画像の刻印部分や印刷部分は、他の領域よりも輝度が低い領域であり、当該領域の画素値（例えばRGB値）のG値を、錠剤画像のX軸となす角度θが0度から180度までの直線上に射影する。そして、射影された値が最小の直線の角度がθr度の場合、錠剤画像を-θr度回転する。このようにして、図3(b)(c)(d)に示す錠剤画像が得られる。

【0030】

●学習部と錠剤情報格納部
学習部205は、錠剤画像と錠剤情報を入力すると、当該錠剤画像と錠剤情報を認識辞書格納部208に追加する。そして、認識辞書格納部208に格納された錠剤画像と錠剤情報についてパターン認識による教師つき学習を行い、学習結果を認識辞書格納部208に格納する。学習部205が用いる分類器としては、サポートベクタマシン(SVM)、決定木、単純ベイズ分類器、ランダムフォーレスト、人工ニューラルネットワークなどが利用可能である。

【0031】

錠剤情報格納部204は、錠剤画像と錠剤情報を入力すると、当該錠剤画像を錠剤情報が含む錠剤名に関連付けてテンプレート画像格納部211に格納する。さらに、錠剤情報格納部204は、錠剤画像の色情報を取得し、当該色情報を含めた錠剤情報を錠剤情報格納部214に格納する。なお、色情報は、錠剤画像の代表的な例えばRGB値である。なお、錠剤情報格納部204は、錠剤画像から錠剤の形状情報およびサイズ情報を取得して、それら情報を錠剤情報に含めることもできる。

【0032】

入出力部201が入力する錠剤情報に、製薬会社が提供する錠剤画像を含めることができる。テンプレート画像および色情報の取得には、撮像エリアにおいて撮影された錠剤画像を利用することが好ましいが、錠剤情報が含む錠剤画像をテンプレート画像および色情報の取得に利用することができる。

【0033】

また、後述する画像マッチング部209において、錠剤画像切出部203が切り出した錠剤画像と、錠剤情報が含む製薬会社提供の錠剤画像のマッチングを行うことができる。そして、両画像の類似度が低い場合は、その旨を示すエラー信号を入出力部201に出力して、学習モードの処理を停止する。このようなチェック機能を用意すれば、錠剤を学習する際に誤った錠剤の供給、誤った錠剤情報の入力、撮影に関する問題によって行われる不適切な学習を防ぐことができる。

【0034】

●パターン認識部
監査モードにおいて、パターン認識部206は、錠剤画像が入力されると、錠剤画像ごとに、パターン認識を行い、認識結果を画像マッチング部209に出力する。錠剤画像ごとの認識結果には、錠剤名の複数の候補と、各候補の確からしさ（確度、0-1の数値）がリストされている。

【0035】

パターン認識部206の処理手順は次のようになる。まず、小さなごみ画像を除去する処理、露出状態に左右されずに全体の明るさを一定にする正規化処理、例えば48×48画素の画像に縮小する処理などを錠剤画像に施して認識用画像を生成する。そして、辞書設定部207によって設定される辞書を用いる学習済みの分類器によってパターン認識を行う。

【0036】

●画像マッチング部
画像マッチング部209は、パターン認識部206から、錠剤画像ごとに、錠剤画像とその認識結果が入力されると、所定の閾値以上の確度を有する候補（以下、高確度候補）のテンプレート画像をテンプレート画像設定部210を介して取得する。そして、取得した各テンプレート画像と錠剤画像のマッチングを行い、マッチング度合いを対応する高確度候補の類似度（0-1の数値）として付加した認識結果を錠剤識別部212に出力する。なお、マッチングが行われなかった候補の類似度は初期値（最低値の0）のままである。

【0037】

画像マッチング部209の処理手順は次のようになる。まず、小さなごみ画像を除去する処理、後述するヒストグラムの調整を可能にするためのぼかし処理、上記の正規化処理、テンプレート画像のサイズに合わせる変倍処理などを錠剤画像に施して認識用画像を生成する。

【0038】

次に、各テンプレート画像と認識用画像のマッチングが行われる。認識用画像の縦位置、横位置、縦方向の長さ、横方向の長さ、回転角度の五つのパラメータを少しずつ変化させて認識用画像を変形し、変形ごとに、認識用画像とテンプレート画像の距離を差分画像のノルムとして算出する。距離の算出においては、両画像の画素値（例えばG値）のヒストグラムの形状を近付けるようにテンプレート画像の各画素の明るさを調整する。そして、次式により、両画像の対応する画素の値からL1距離またはL2距離を算出し、L1距離またはL2距離の極小値dを求める。
L1 = Σ(|Rs - Rt| + |Gs - Gt| + |Bs - Bt|)；
または
L2 = Σ√{(Rs - Rt)² + (Gs - Gt)² + (Bs - Bt)²}； …(1)
ここで、RsGsBsは認識用画像の画素値、
RtGtBtはテンプレート画像の画素値、
Σ演算は画素数分。

【0039】

上記のぼかし処理およびテンプレート画像の明るさ調整は、刻印または印刷部分の色が濃い（面積が大きい）画像同士、あるいは、刻印または印刷部分の色が薄い（面積が小さい）画像同士のマッチング度合いが高まる問題を防ぐための処理である。詳細は後述する。極小値dが得られると、比果対象のテンプレート画像の画素値の総和Dで除算した値d/Dを当該テンプレート画像に対する認識用画像の距離（類似度）とする。なお、距離が小さいほど両画像の類似度は高い。

【0040】

画像マッチング部209は、錠剤画像ごとに、上記の類似度の算出を各高確度候補のテンプレート画像について行い、錠剤画像ごとの認識結果を出力する。

【0041】

●錠剤識別部と錠剤監査部
錠剤識別部212は、画像マッチング部209から、錠剤画像ごとに、錠剤画像とその認識結果を入力すると、所定の閾値以上の類似度を有する候補（以下、高類似度候補）の錠剤情報を錠剤情報設定部213を介して取得する。また、錠剤画像から形状情報と色情報を取得する。そして、取得した錠剤情報が含む形状情報、サイズ情報、色情報と、錠剤画像から取得した形状情報と色情報に基づき高類似度候補を絞り込むスクリーニングを行う。その結果、形状、サイズ、色情報が同一または少なくとも近似する高類似度候補の中で、類似度が最大の候補の錠剤名が、錠剤画像に対応する錠剤名に決定される。

【0042】

錠剤識別部212は、すべての錠剤画像に対する認識結果が入力されるまで錠剤名の決定を繰り返し、すべての錠剤画像に対応する錠剤名が決定すると、錠剤名と各錠剤の数を示す識別結果を錠剤監査部215に出力する。なお、錠剤の数は錠剤数カウンタ216によってカウントされるが、その詳細は後述する。

【0043】

高類似度候補がない錠剤画像が少なくとも一つある場合、あるいは、すべての高類似度候補について形状、サイズ、色の何れかが近似しない錠剤画像が少なくとも一つある場合、錠剤識別部212は、その旨を示すエラー信号を入出力部201に出力する。この場合、監査モードの処理は停止される。

【0044】

錠剤監査部215は、錠剤識別部212から識別結果が入力されると、当該識別結果が示す錠剤名と各錠剤の数が、入出力部201から入力される処方データが示す錠剤名と各錠剤の数に一致するか否かを判定する。そして、その判定結果を示す監査信号を入出力部201に出力する。入出力部201は、エラー信号または監査信号が入力されると、当該信号を錠剤分布装置10に送信する。

【0045】

●ぼかし処理と明るさの調整
ここで、画像マッチング部209が実行するぼかし処理およびテンプレート画像の明るさ調整処理について詳細に説明する。図6は刻印または印刷の色が薄い認識用画像が、色が薄いテンプレート画像とマッチし易くなる傾向を説明する図である。

【0046】

図6において、認識用画像601は印刷の色が薄い画像に相当し、認識用画像601に対応する錠剤は、その表面の色（以下、下地色）が暗く、下地色よりは明るいが下地色との色の差が小さい色（以下、印刷色）によって識別コードが印刷されている。逆に、下地色が明るく、印刷色が下地色よりは暗いが下地色との色の差が小さい場合も、色の薄い画像に相当する。なお、この意味での色が薄い、濃いはテンプレート画像についても同様である。

【0047】

認識用画像601について、色が濃いテンプレート画像602と色が薄いテンプレート画像603との間でマッチングが行われる。そして、認識用画像601とテンプレート画像602の間の差分絶対値を示す差分画像604と、認識用画像601とテンプレート画像603の間の差分絶対値を示す差分画像605が得られる。テンプレート画像602に対しては、識別コードの形状が完全に一致する一方、識別コード部分の明るさの差が大きいため、大きな値を有する差分画像604が得られる。他方、テンプレート画像603に対しては、識別コードの形状が異なるが、差分として残る部分の値が小さく、差分画像605のL1ノルム（画像601と603のL1距離）は、差分画像604のL1ノルム（画像601と602のL1距離）よりも小さくなる。その結果、認識用画像601は、色が薄いテンプレート画像603とマッチし易くなる。

【0048】

画像マッチング部209は、上記の問題を避けてマッチングを行うために、テンプレート画像の明るさのヒストグラムを認識用画像の明るさのヒストグラムに近付ける処理を行う。つまり、明るさの閾値Rth_iを0（Rth₀）から明るさの最大値（例えば255、Rth₂₅₅）まで変化させながら、認識用画像において明るさが閾値Rth_i以下の画素数と、テンプレート画像において明るさが閾値Tth_i以下の画素数ができるだけ等しくなる閾値Tth_iを計算する。そして、前回の閾値Rth_i-1に対して計算された閾値をTth_i-1とすると、テンプレート画像の「Tth_i-1＜明るさ≦Tth_i」である画素の明るさをRth_iに変更する。なお、閾値Rth_iのステップは「1」に限らず、処理時間を考慮して「5」や「10」などにしてもよい。上記のアルゴリズムにおいて、テンプレート画像が色々な明るさを有する画素を偏りなく有する方がヒストグラムの一致を図り易い。そのため、明るさを調整する前に、テンプレート画像にガウスぼかしなどのぼかし処理を施す。

【0049】

第二に、認識用画像の識別コードの位置とテンプレート画像の識別コードの位置が大きくずれている場合、認識用画像の位置を少し変化させてもマッチング度合いの変化がなく、認識用画像の変形方向が分からない問題がある。図7はぼかし処理を行う理由を説明する図である。

【0050】

図7(a)は、ぼかし処理を施していない状態の認識用画像の識別コードとテンプレート画像の識別コードの関係を示し、両識別コードの形状は同一であるが、位置ずれがある。図7(a)に示す状態で、認識用画像を上、下、左または右に一画素分移動しても差分画像のL1ノルムは変化せず、認識用画像の変形方向が分からない。他方、図7(b)はぼかし処理を施した状態の認識用画像の識別コードとテンプレート画像の識別コードの関係を示す。この場合、ぼかしによって識別コードの領域が拡大し、量識別コードの重畳領域が生じる。その結果、認識用画像を上または右へ一画素分移動すると差分画像のL1ノルムが減少し、認識用画像の変形方向を知ることができる。

【0051】

［学習モードの処理］
図4は学習モードが指示された場合に錠剤識別装置11が実行する処理を示すフローチャートである。なお、図4は一種類の錠剤を追加する学習モードの処理を示している。

【0052】

画像入力部202は、搬送信号の入力を待機し(S101)、搬送信号が入力されるとカメラ12F、12Rと照明13F、13Rを制御して撮像エリアを撮影した表画像と裏画像の画像データを入力する(S102)。画像データが入力されると、錠剤画像切出部203は、錠剤画像を切り出し(S103)、切り出した錠剤画像が一錠分か否かを判定する(S104)。複数の錠剤画像が切り出された場合、または、錠剤画像が切り出されなかった場合、学習モードの処理はエラー終了する(S105)。

【0053】

一錠分の錠剤画像が切り出された場合、錠剤画像と錠剤情報を入力した学習部205は、当該錠剤画像と錠剤情報を認識辞書格納部208に追加して、認識辞書格納部208に格納された錠剤画像と錠剤情報の学習を行う(S106)。また、錠剤画像と錠剤情報を入力した錠剤情報格納部204は、テンプレート画像の格納(S107)、および、色情報の取得と錠剤情報の格納を行い(S108)、学習モードの処理が終了する。なお、ステップS106からS107の処理の順番は任意であり、並列処理として行われてもよい。

【0054】

［監査モードの処理］
図5A、図5Bは監査モードが指示された場合に錠剤識別装置11が実行する処理を示すフローチャートである。なお、図5A、図5Bは一分包分の処理を示し、分包が複数回の行われる場合は図5A、図5Bに示す処理が繰り返される。

【0055】

画像入力部202は、搬送信号の入力を待機し(S201)、搬送信号が入力されるとカメラ12F、12Rと照明13F、13Rを制御して撮像エリアを撮影した表画像と裏画像の画像データを入力する(S202)。画像データが入力されると、錠剤画像切出部203は、錠剤画像を切り出し(S203)、錠剤画像を切り出したか否かを判定する(S204)。錠剤画像が切り出されなかった場合、学習モードの処理はエラー終了する(S221)。

【0056】

次に、パターン認識部206は、錠剤画像切出部203から錠剤画像を入力し、パターン認識を行って当該錠剤画像の認識結果を出力する(S205)。そして、すべての錠剤画像に対してパターン認識を行ったか否かを判定し(S206)、パターン認識が未了の錠剤画像があれば処理をステップS205に戻して、すべての錠剤画像に対するパターン認識が終了するまでステップS205の処理を繰り返す。

【0057】

次に、画像マッチング部209は、パターン認識部206から錠剤画像とその認識結果を入力するし、認識結果に含まれる高確度候補のテンプレート画像と錠剤画像のマッチングを行って(S207)、当該候補の類似度を認識結果に付加する(S208)。そして、すべての高確度候補についてマッチングを行ったか否かを判定する(S209)。マッチングが未了の高確度候補があれば処理をステップS207に戻して、すべての高確度候補についてマッチングが終了するまでステップS207とS208の処理を繰り返す。

【0058】

錠剤画像の高確度候補すべてについてマッチングが終了すると、画像マッチング部209は、すべての錠剤画像についてマッチングを行ったか否かを判定する(S210)。マッチングが未了の錠剤画像があれば処理をステップS207に戻して、すべての錠剤画像のマッチングが終了するまでステップS207からS209の処理を繰り返す。

【0059】

次に、錠剤識別部212は、各錠剤名に対応する錠剤数カウンタ216を0に初期化する(S211)。なお、錠剤数カウンタ216は、錠剤情報格納部214に格納された錠剤情報の数分（言い替えれば識別対象の錠剤の種類の数分）錠剤情報設定部213によって用意されている。続いて、錠剤識別部212は、画像マッチング部209から錠剤画像とその認識結果を入力し、認識結果に高類似度候補が含まれるか否かを判定する(S212)。認識結果に高類似度候補が含まれない場合、監査モードの処理はエラー終了する(S221)。

【0060】

認識結果に高類似度候補が含まれる場合、錠剤識別部212は、高類似度候補の錠剤情報と錠剤画像から取得した形状、サイズ、色情報に基づくスクリーニングを行い(S213)、錠剤画像に対応する錠剤名の決定が可能か否かを判定する(S214)。すべての高類似度候補について、錠剤画像の形状、サイズ、色の何れかが近似しない場合、つまり錠剤名の決定が不可能な場合、監査モードの処理はエラー終了する(S221)。

【0061】

錠剤名の決定が可能な場合、錠剤識別部212は、当該錠剤画像の錠剤名を決定し、決定した錠剤名に対応する錠剤数カウンタ216のカウント値をインクリメントする(S215)。そして、すべての錠剤画像について錠剤名の決定を行ったか否かを判定し(S216)。錠剤名の決定が未了の錠剤画像があれば処理をステップS212に戻して、すべての錠剤画像について錠剤名の決定を行うまでステップS212からS215の処理を繰り返す。

【0062】

すべての錠剤画像について錠剤名の決定を行うと、錠剤識別部212は、カウント値が1以上の錠剤数カウンタ216に対応する錠剤名とそのカウント値（錠剤の数）を識別結果として出力する(S217)。

【0063】

次に、錠剤監査部215は、錠剤識別部212から識別結果を入力し、入出力部201から処方データを入力して、識別結果が示す錠剤名と各錠剤の数が、処方データが示す錠剤名と各錠剤の数に一致するか否かを判定する(S218)。一致する場合は監査合格を示す監査信号を入出力部201に出力し(S219)、一致しない場合は監査不合格を示す監査信号を入出力部201に出力する(S220)。以上で、一分包分の監査モードの処理が終了する。

【0064】

パターン認識のための学習には比較的多い計算量を必要とするが、学習後のパターン認識は高速に行うことが可能であり、錠剤の識別にパターン認識を適用すれば短時間に複数の錠剤を識別することができる。ただし、類似する錠剤が複数ある場合、パターン認識によれば、候補の確からしさが同程度になり、完全には錠剤を特定できない場合がある。

【0065】

別の識別方法として、すべての種類の錠剤についてテンプレート画像を用意し、錠剤画像と個々のテンプレート画像を比較するマッチング手法がある。しかし、テンプレート画像とのマッチングは大きな計算量を必要とする上、登録された錠剤すべてのテンプレート画像とのマッチングが必要になる。そのため、マッチングによって錠剤を識別しようとすれば、毎回、膨大な計算量が発生し、短時間に識別を行うことは難しい。

【0066】

これに対して、本発明の識別方法によれば、一分包分の錠剤を撮影した画像データから各錠剤の錠剤画像を切り出す。そして、錠剤画像ごとに、学習済みの分類器によるパターン認識、テンプレート画像とのマッチング、錠剤情報に基づくスクリーニングの三段階の絞り込みを行って、錠剤画像に対応する錠剤名を決定し、錠剤数をカウントする。言い替えれば、パターン認識によって絞り込んだ錠剤の候補のテンプレート画像とのマッチングを行うだけで済み、計算量を低減して短時間かつ正確な識別を行うことができる。従って、錠剤の短時間かつ正確な識別が可能になり、分包される錠剤の監査を支援または自動化することができる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】