特許 7125510 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-16

(45)【発行日】2022-08-24

(54)【発明の名称】薬剤識別装置、薬剤識別方法及び薬剤識別プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220817BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 300F

【請求項の数】 18

(21)【出願番号】P 2020558221

(86)(22)【出願日】2019-10-31

(86)【国際出願番号】 JP2019042857

(87)【国際公開番号】W WO2020105395

(87)【国際公開日】2020-05-28

【審査請求日】2021-06-03

(31)【優先権主張番号】P 2018218309

(32)【優先日】2018-11-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000149837

【氏名又は名称】富士フイルム富山化学株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】岩見 一央

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１５－０６８７６５（ＪＰ，Ａ）

【文献】特開２０１８－０２７２４２（ＪＰ，Ａ）

【文献】特開２０１７－１３８６９３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７３６４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する画像取得部と、
前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する画像処理部と、
前記第２画像の特徴量を演算する特徴量演算部と、
前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備え、
前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される、薬剤識別装置。

【請求項2】

前記画像処理部は、前記複数の第１画像からそれぞれ前記照射方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を前記薬剤の画像に合成して前記第２画像を生成する請求項１に記載の薬剤識別装置。

【請求項3】

新規の登録薬剤に対応する前記第２画像を０度から３６０度の範囲内で順次回転させる回転処理部を含み、
前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記第２画像を学習用の入力画像とする請求項１又は２に記載の薬剤識別装置。

【請求項4】

前記第２画像は、３チャンネルのカラー画像からなり、
前記畳み込みニューラルネットワークは、前記３チャンネルのカラー画像からなる画像セットを入力画像とする請求項１から３のいずれか１項に記載の薬剤識別装置。

【請求項5】

前記複数の第１画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含み、
前記画像処理部は、前記ステージの上方から撮影した複数の画像及び前記ステージの下方から撮影した複数の画像に基づいてそれぞれ前記第２画像を生成する請求項１から４のいずれか１項に記載の薬剤識別装置。

【請求項6】

薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する画像取得部と、
前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する特徴量演算部と、
前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備え、
前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記複数の第１画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される、薬剤識別装置。

【請求項7】

新規の登録薬剤に対応する前記画像セットを０度から３６０度の範囲内で順次回転させる回転処理部を含み、
前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記画像セットを学習用の入力画像とする請求項６に記載の薬剤識別装置。

【請求項8】

前記複数の第１画像の各画像は、それぞれ３チャンネルのカラー画像からなり、
前記畳み込みニューラルネットワークは、前記複数の第１画像の各画像が前記３チャンネルのカラー画像からなる画像セットを入力画像とする請求項６又は７に記載の薬剤識別装置。

【請求項9】

前記複数の第１画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含む請求項６から８のいずれか１項に記載の薬剤識別装置。

【請求項10】

前記推論部により推論した推論結果を視認可能に出力する出力部を備えた請求項１から９のいずれか１項に記載の薬剤識別装置。

【請求項11】

前記出力部は、前記推論結果に基づいて識別対象の前記薬剤が、前記登録薬剤のうちの最も近い登録薬剤の薬剤識別情報を視認可能に出力し、又は前記登録薬剤のうちの最も近い登録薬剤から近い順に複数の登録薬剤の薬剤識別情報を視認可能に出力する請求項１０に記載の薬剤識別装置。

【請求項12】

前記画像取得部は、
識別対象の前記薬剤が載置されるステージと、
前記ステージに載置された前記薬剤の表面への光の照射方向がそれぞれ異なる複数の光源を有し、前記複数の光源を順次切り換えて点灯する照明部と、
前記複数の光源を順次切り換えて点灯することにより、前記薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤をそれぞれ撮影する撮影部と、からなる請求項１から１１のいずれか１項に記載の薬剤識別装置。

【請求項13】

画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得するステップと、
画像処理部が、前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成するステップと、
特徴量演算部が、前記第２画像の特徴量を演算するステップと、
推論部が、前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含み、
前記特徴量を演算するステップ及び前記推論するステップは、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行される、薬剤識別方法。

【請求項14】

画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得するステップと、
特徴量演算部が、前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算するステップと、
推論部が、前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含み、
前記特徴量を演算するステップ及び前記推論するステップは、前記登録薬剤に対応する前記複数の第１画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行される、薬剤識別方法。

【請求項15】

コンピュータにより、以下の機能を実現させる薬剤識別プログラムであって、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する機能と、
前記第２画像の特徴量を演算する機能と、
前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を実現させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実現させる薬剤識別プログラム。

【請求項16】

コンピュータにより、以下の機能を実現させる薬剤識別プログラムであって、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する機能と、
前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を実現させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記複数の第１画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実現させる薬剤識別プログラム。

【請求項17】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された薬剤識別プログラムがコンピュータによって読み取られた場合に、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する機能と、
前記第２画像の特徴量を演算する機能と、
前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を含む薬剤識別機能をコンピュータに実行させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行させる記録媒体。

【請求項18】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された薬剤識別プログラムがコンピュータによって読み取られた場合に、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する機能と、
前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を含む薬剤識別機能をコンピュータに実行させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記複数の第１画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行させる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は薬剤識別装置、薬剤識別方法及び薬剤識別プログラムに係り、特に薬剤監査、薬剤鑑別の対象の薬剤を機械学習により識別する技術に関する。

【背景技術】

【0002】

特許文献１には、第１識別工程と第２識別工程とにより、錠剤を精度よく識別する錠剤識別方法が記載されている。

【0003】

特許文献１に記載の錠剤識別方法は、服用１回分の錠剤が分包された分包紙を撮像し、撮像した画像から錠剤に対応する錠剤領域をそれぞれ切り出す。第１識別工程は、切り出した錠剤領域それぞれの寸法および色を、錠剤の形状および色に関するモデル情報と照合することによって、錠剤それぞれの種別を識別する。第２識別工程は、錠剤の画像を含んだ学習用データを用いた機械学習が実行されることで生成された学習モデルに基づいて少なくとも、種別は異なるが特徴量の類似する類似錠剤についての種別を識別する。

【0004】

この錠剤識別方法は、錠剤の形状および色に関するモデル情報と照合する第１識別工程により錠剤の識別ができなかった場合に、学習済みの学習モデルに基づいて種別は異なるが特徴量の類似する類似錠剤についての種別を識別する。尚、特許文献１には、第１識別工程により錠剤の識別ができなかったか否かに関わらず、第２識別工程により錠剤の識別を行うようにしてもよい記載がある。また、特許文献１の請求項９には、機械学習のアルゴリズムは、ディープラーニングである記載がある。

【0005】

特許文献２には、識別対象の物品（錠剤）の画像を入力し、錠剤の銘柄識別を行う物品識別システムが記載されている。このシステムの動作は、辞書作成のための学習フェーズと、識別を行う識別フェーズとに分けられており、学習フェーズでは、例えば銘柄毎に多数個の錠剤サンプルをカメラで撮影し、その実写画像を用いて学習部が辞書を作成する。識別フェーズでは、識別対象の錠剤をカメラで撮影し、その実写画像と辞書を用いて識別部が錠剤の銘柄を識別する。

【0006】

また、学習フェーズでは、学習サンプルの濃淡値ベクトルに対して主成分分析を施して固有値及び固有ベクトルを求め、これら固有値及び固有ベクトルを用いて濃淡値ベクトルを有意な主成分ベクトルに変換し、この主成分ベクトルを参照ベクトルとし、識別フェーズでは、識別対象物品の濃淡値ベクトルを主成分ベクトルに変換し、この主成分ベクトルに基づき参照ベクトルを参照して識別を行っている。尚、物品の濃淡特徴が濃淡値ベクトルによく反映されるように、前処理として実写画像（カラー画像）をグレイ画像に変換している。

【0007】

また、特許文献３には、錠剤を撮影した錠剤画像のパターン識別を行って、錠剤画像に写った錠剤の候補とその確度を示す識別結果を生成し、識別結果に含まれる高い確度を有する候補に対応するテンプレート画像と錠剤画像とのマッチングを行い、マッチング度合いを高い確度を有する候補の類似度として識別結果に付加する錠剤識別装置が記載されている。また、マッチングの際、ロバスト性を高める為に、ぼかし処理等の前処理を行う記載がある。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１８－２７２４２号公報

【文献】特開平７－２８７７５３号公報

【文献】特開２０１６－１５０９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

薬剤の識別には刻印、印字が用いられる。刻印は薬剤表面の凹凸形状であり、薬剤を撮影した画像に現れる刻印の影は、周囲の照明条件に大きく左右される。例えば、同じ薬剤であっても照明との相対位置から影の出方が異なる。その為、機械学習に必要な教師データを準備する際には、錠剤の向き、複数の光源がある場合はそれぞれの光源からの薬剤の表面への光の照射方向に応じた画像が必要となる。

【0010】

特許文献１に記載の第２識別工程は、錠剤のサンプル画像群を学習用データとして使用して学習させた学習済みの学習モデルにより、識別対象の錠剤の特徴量に類似する類似錠剤についての種別を識別するが、特許文献１には、機械学習のアルゴリズム（例えば、ディープラーニング）については公知のため、詳細な説明は省略されている。

【0011】

また、特許文献１には、白色光源によるカラー画像と、赤色光のバックライト光源の透過光によるバックライト画像との２種類を撮影する記載があるが、これらの２種類の画像は、錠剤の刻印（刻印の影）を良好に取得するための画像ではない。

【0012】

一方、特許文献２には、物品（錠剤）の濃淡特徴が濃淡値ベクトルによく反映されるように、前処理として実写画像（カラー画像）をグレイ画像に変換し、輝度値を積極的に用いる記載がある。錠剤の識別には、刻印、印字（識別コード情報）が重要であるが、輝度値を用いても識別コード情報のロバスト性向上には繋がりにくい。

【0013】

また、特許文献３には、テンプレートマッチングを行う際に、錠剤画像とテンプレート画像にぼかし処理を施し、ぼかし処理後のテンプレート画像の明るさをぼかし処理後の錠剤画像に近付ける調整処理を行う記載がある。しかし、ぼかし処理は高周波ノイズを低減する効果はあるが、同時に錠剤の識別に必要な識別コード情報も低下させるという問題がある。

【0014】

本発明はこのような事情に鑑みてなされたもので、機械学習により薬剤を識別する際の教師データ数を大幅に削減することが可能な薬剤識別装置、薬剤識別方法及び薬剤識別プログラムを提供することを目的とする。

【課題を解決するための手段】

【0015】

上記目的を達成するために本発明の一の態様に係る薬剤識別装置は、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する画像取得部と、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成する画像処理部と、第２画像の特徴量を演算する特徴量演算部と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備える。

【0016】

本発明の一の態様によれば、薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施し（前処理を行い）、第２画像を生成する。前処理された第２画像は、薬剤に付された刻印又は印字が強調され、かつ薬剤に付された刻印又は印字と、複数の第１画像に対する光の照射方向との関係に依存しない規格化された画像となる。

【0017】

そして、前処理された第２画像の特徴量を演算し、第２画像の特徴量に基づいて識別対象の薬剤が登録薬剤のうちのいずれに近いかを推論する。登録薬剤も規格化された第２画像を使用して機械学習することで、教師データ数を大幅に削減することが可能である。

【0018】

本発明の他の態様に係る薬剤識別装置において、画像処理部は、複数の第１画像からそれぞれ照射方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を薬剤の画像に合成して第２画像を生成することが好ましい。

【0019】

本発明の更に他の態様に係る薬剤識別装置において、特徴量演算部及び推論部は、登録薬剤に対応する第２画像と登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。

【0020】

本発明の更に他の態様に係る薬剤識別装置において、新規の登録薬剤に対応する第２画像を０度から３６０度の範囲内で順次回転させる回転処理部を含み、畳み込みニューラルネットワークは、新規の登録薬剤を登録する場合、回転処理部により順次回転した回転位置毎の第２画像を学習用の入力画像とすることが好ましい。

【0021】

本発明の更に他の態様に係る薬剤識別装置において、第２画像は、３チャンネルのカラー画像からなり、畳み込みニューラルネットワークは、３チャンネルのカラー画像からなる画像セットを入力画像とすることが好ましい。これにより、薬剤の色情報も薬剤の識別に使用され、より適切な推論結果を得ることができる。

【0022】

本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像は、ステージに載置された薬剤をステージの上方から撮影した複数の画像と、ステージの下方から撮影した複数の画像とを含み、画像処理部は、ステージの上方から撮影した複数の画像及びステージの下方から撮影した複数の画像に基づいてそれぞれ第２画像を生成することが好ましい。

【0023】

本発明の更に他の態様に係る薬剤識別装置は、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する画像取得部と、複数の第１画像に基づいて複数の第１画像の特徴量を演算する特徴量演算部と、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備える。

【0024】

薬剤を識別する際に、薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像を１つの画像セットとして使用する。尚、複数の第１画像は、薬剤の表面への光の照射方向がそれぞれ異なるが、その他の撮影条件は同じである。

【0025】

そして、複数の第１画像の特徴量を演算し、複数の第１画像の特徴量に基づいて識別対象の薬剤が登録薬剤のうちのいずれに近いかを推論する。登録薬剤も薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像（画像セット）を使用して機械学習することで、教師データ数を大幅に削減することが可能である。

【0026】

本発明の更に他の態様に係る薬剤識別装置において、特徴量演算部及び推論部は、登録薬剤に対応する複数の第１画像からなる画像セットと登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。

【0027】

本発明の更に他の態様に係る薬剤識別装置において、新規の登録薬剤に対応する画像セットを０度から３６０度の範囲内で順次回転させる回転処理部を含み、畳み込みニューラルネットワークは、新規の登録薬剤を登録する場合、回転処理部により順次回転した回転位置毎の画像セットを学習用の入力画像とすることが好ましい。

【0028】

本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像の各画像は、それぞれ３チャンネルのカラー画像からなり、畳み込みニューラルネットワークは、複数の第１画像の各画像が３チャンネルのカラー画像からなる画像セットを入力画像とすることが好ましい。

【0029】

本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像は、ステージに載置された薬剤をステージの上方から撮影した複数の画像と、ステージの下方から撮影した複数の画像とを含むことが好ましい。

【0030】

本発明の更に他の態様に係る薬剤識別装置において、推論部により推論した推論結果を視認可能に出力する出力部を備えることが好ましい。

【0031】

本発明の更に他の態様に係る薬剤識別装置において、出力部は、推論結果に基づいて識別対象の薬剤が、登録薬剤のうちの最も近い登録薬剤の薬剤識別情報を視認可能に出力し、又は登録薬剤のうちの最も近い登録薬剤から近い順に複数の登録薬剤の薬剤識別情報を視認可能に出力することが好ましい。

【0032】

本発明の更に他の態様に係る薬剤識別装置において、画像取得部は、識別対象の薬剤が載置されるステージと、ステージに載置された薬剤の表面への光の照射方向がそれぞれ異なる複数の光源を有し、複数の光源を順次切り換えて点灯する照明部と、複数の光源を順次切り換えて点灯することにより、薬剤の表面への光の照射方向がそれぞれ異なる薬剤をそれぞれ撮影する撮影部と、からなることが好ましい。

【0033】

本発明の更に他の態様に係る薬剤識別方法は、画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得するステップと、画像処理部が、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成するステップと、特徴量演算部が、第２画像の特徴量を演算するステップと、推論部が、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含む。

【0034】

本発明の更に他の態様に係る薬剤識別方法は、画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得するステップと、特徴量演算部が、複数の第１画像に基づいて複数の第１画像の特徴量を演算するステップと、推論部が、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含む。

【0035】

本発明の更に他の態様に係る薬剤識別プログラムは、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する機能と、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成する機能と、第２画像の特徴量を演算する機能と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、をコンピュータにより実現させるプログラムである。

【0036】

本発明の更に他の態様に係る薬剤識別プログラムは、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する機能と、複数の第１画像に基づいて複数の第１画像の特徴量を演算する機能と、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、をコンピュータにより実現させるプログラムである。

【発明の効果】

【0037】

本発明によれば、薬剤と照明光源との相対位置関係に依存しない薬剤の画像を使用することで、機械学習により薬剤を識別する際の教師データ数を大幅に削減することができ、特に薬剤表面に刻印又は印字が付された薬剤が、登録された薬剤のうちのいずれに近いかを良好に推論することができる。

【図面の簡単な説明】

【0038】

【図1】図１は、第１実施形態に係る薬剤識別装置の電気的な内部構成を示すブロック図である。

【図2】図２は、図１に示した画像取得部の内部構成を示すブロック図である。

【図3】図３は、カメラ及び照明部を使用して分包袋の画像を取得する様子を示す側面図である。

【図4】図４は、カメラ及び照明部を使用して分包袋の画像を取得する様子を示す平面図である。

【図5】図５は、分包袋ＴＰ内の１つの薬剤の照明条件が異なる５つの画像を示す図である。

【図6】図６は、主として図１に示した画像処理部の具体的な構成を示すブロック図である。

【図7】図７は、薬剤の中心を通るｘ－ｙ平面で切断した薬剤の断面構造の模式図である。

【図8】図８は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。

【図9】図９は、第１実施形態の薬剤識別装置による薬剤の識別処理の概要を示す図である。

【図10】図１０は、主として図１に示した識別器（ＣＮＮ）を含む学習装置の主要な機能を示す機能ブロック図である

【図11】図１１は、第２実施形態に係る薬剤識別装置の電気的な内部構成を示すブロック図である。

【図12】図１２は、本発明に係る薬剤識別方法の第１実施形態を示すフローチャートである。

【図13】図１３は、本発明に係る薬剤識別方法の第２実施形態を示すフローチャートである。

【発明を実施するための形態】

【0039】

以下、添付図面に従って本発明に係る薬剤識別装置、薬剤識別方法及び薬剤識別プログラムの好ましい実施形態について説明する。

【0040】

＜薬剤識別装置の第１実施形態＞
薬剤（錠剤）の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字（印刷）によって付される。したがって、この識別コード情報を利用することで、薬剤の識別力を向上させることができる。

【0041】

ここで、薬剤に付された刻印とは、薬剤の表面に陥没領域である溝を形成することによって識別コード情報が形成されたものをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。

【0042】

また、薬剤に付された印字とは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別コード情報が形成されたものをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。

【0043】

図１は、第１実施形態に係る薬剤識別装置１０－１の電気的な内部構成を示すブロック図である。

【0044】

図１に示す薬剤識別装置１０－１は、主として画像取得部２０と、画像処理部３０と、特徴量演算部４２及び推論部４４として機能する識別器（本例では、畳み込みニューラルネットワーク（ＣＮＮ： Convolutional Neural Network））４０とから構成されている。

【0045】

画像取得部２０は、図２に示すように薬剤を撮影する２台のカメラ（撮影部）２２Ａ，２２Ｂと、複数の光源を有する照明部２４と、カメラ２２Ａ，２２Ｂ及び照明部２４を制御する撮影制御部２６とから構成されている。

【0046】

図３は、カメラ２２Ａ，２２Ｂ及び照明部２４を使用して分包袋の画像を取得する様子を示す側面図であり、図４はその平面図である。

【0047】

分包袋ＴＰが連続して構成される薬包帯ＰＢは、ステージ２１上に載置され、順次搬送される。ステージ２１は、ｘｙ平面（水平面）に平行な載置面及び裏面を有する板状部材である。ステージ２１は、光透過性を有する材料によって構成されている。ここでは、ステージ２１は、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。

【0048】

分包袋ＴＰには、それぞれ調剤された１回に服用する複数の薬剤が分包されている。照明部２４の複数の光源は、薬包帯ＰＢの上側（図３の＋ｚ方向側）及び下側（図３の－ｚ方向側）に、それぞれ４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄが配置される。尚、図３においては薬包帯ＰＢの上側及び下側の光源２４Ｕ及び２４Ｄの図示を、図４においては薬包帯ＰＢの下側の４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄの図示を、それぞれ省略している。

【0049】

薬包帯ＰＢの上側の４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄは、ｘｙ平面視において，それぞれ図４の＋ｘ方向、－ｘ方向、－ｙ方向及び、＋ｙ方向に斜め上方向から光を照射する。即ち、光源２４Ｌの照明方向は、ｘｙ平面視において光源２４Ｒの照明方向と対向する方向であり、光源２４Ｕの照明方向は、ｘｙ平面視において光源２４Ｌ，２４Ｒの照明方向と直交する方向であり、光源２４Ｄの照明方向と対向する方向である。

【0050】

薬包帯ＰＢの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄについても、同様に配置されている。これにより、照明部２４は、分包袋ＴＰ（に分包された薬剤）の表側及び裏側に光を照射する。

【0051】

カメラ２２Ａ及びカメラ２２Ｂは、デジタルカメラにより構成される。図３に示すように、カメラ２２Ａは薬包帯ＰＢの上側に、カメラ２２Ｂは薬包帯ＰＢの下側に配置される。カメラ２２Ａ及びカメラ２２Ｂは、分包袋ＴＰ（に分包された薬剤）の表側及び裏側を撮影する。

【0052】

分包袋ＴＰ（薬包帯ＰＢ）は、図示しない搬送機構により図４の＋ｘ方向（薬包帯ＰＢの長手方向）に搬送される。撮影の際には、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄによって分包袋ＴＰの上側が、分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄによって分包袋ＴＰの下側が、それぞれ４方向から照明される。尚、分包袋ＴＰには、撮影の際には照明部２４から照射される光以外の光は照射されないことが好ましい。

【0053】

図４に示すように、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄのそれぞれと、カメラ２２Ａの撮影光軸ＰＡとの間隔（ｄ１、ｄ２、ｄ３、ｄ４）は同じである。つまり、複数の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄと撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄのそれぞれとカメラ２２Ｂについても、同様に配置されている。

【0054】

図２に戻って、分包袋ＴＰの上側を撮影する場合、撮影制御部２６は、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させ、カメラ２２Ａにより各照明方向から照明された４つの画像を撮影させ、また、上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて、均一に（全方向から）照明された１つの画像を撮影させる。分包袋ＴＰの下側を撮影する場合、撮影制御部２６は、分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，２４Ｄ、及び下側のカメラ２２Ｂを上記と同様に制御する。

【0055】

図５は、分包袋ＴＰ内の１つの薬剤（薬剤の一例）の照明条件が異なる５つの画像（第１画像）を示す図である。

【0056】

図５において、４つの画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、薬剤の上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させ、カメラ２２Ａより撮影された画像であり、画像ＧＡは、上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させ、カメラ２２Ａより撮影された画像である。

【0057】

図５に示す４つの画像ＧＬ，ＧＲ，ＧＵ及びＧＤには、それぞれ照明方向に伴って輝度ムラが発生している。また、図５に示す各画像上の「Ａ」は、刻印Ｓを示しているが、画像ＧＬ，ＧＲ，ＧＵ及びＧＤの刻印Ｓは、薬剤の表面の凹凸形状であり、後述するように照明方向に伴って、刻印Ｓの影の出方が異なるものとなる。

【0058】

一方、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡには輝度ムラは発生しないが、刻印Ｓの影が出にくいため、刻印Ｓは不明瞭になる。

【0059】

尚、図５上では、刻印Ｓの影の出方や刻印Ｓが明瞭か不明瞭かは図示されていない。

【0060】

また、図５に示した５枚の画像は、薬剤の上側のカメラ２２Ａにより撮影されたものでれる薬剤の表裏が不定であり、また、薬剤の表側と裏側とで異なる刻印が付される場合があるからである。

【0061】

図６は、主として図１に示した画像処理部３０の具体的な構成を示すブロック図である。

【0062】

図６に示す画像処理部３０は、画像切り出し部３２、エッジ画像合成部３４、及びエッジ画像生成部３６から構成されている。

【0063】

画像取得部２０（図２）により取得された分包袋ＴＰを撮影した画像（本例では、表側の５枚の画像、及び裏側の５枚の画像の合計１０枚の画像）は、画像切り出し部３２に加えられる。

【0064】

画像切り出し部３２は、分包袋ＴＰの画像から分包袋ＴＰに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像（第１画像）を生成する。薬剤画像の切り出しは、薬剤の外形を検出し、薬剤の外形にしたがって切り出すことが好ましい。本例では、１つの薬剤について、１０枚の薬剤画像が切り出される。

【0065】

いま、１０枚の薬剤画像のうちの薬剤の上側のカメラ２２Ａにより撮影された５枚の薬剤画像を、図５に示した画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，及び画像ＧＡとして、以下の画像処理について説明する。

【0066】

４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡ（輝度ムラがない画像）は、画像切り出し部３２からエッジ画像合成部３４に加えられ、照明方向に伴って刻印Ｓの影の出方が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤは、それぞれエッジ画像生成部３６に加えられる。

【0067】

エッジ画像生成部３６は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤからそれぞれ照射方向に応じた方向のエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、４つのエッジ画像を生成する。

【0068】

図７は、薬剤Ｔの中心を通るｘ－ｙ平面で切断した薬剤Ｔの断面構造の模式図であり、１画素分のラインのプロファイルを示している。

【0069】

図７上の薬剤Ｔは、直径がＤであり、表面には断面がＶ字状の溝からなる割線である刻印Ｓが形成されている。刻印Ｓの溝の幅はＷである。尚、刻印Ｓの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Ｔの表面における距離をいう。

【0070】

ここで、照明部２４の光源２４Ｌのみを点灯し、照明光ＬＬにより薬剤Ｔを照明する場合と、照明部２４の光源２４Ｒのみを点灯し、照明光ＬＲにより薬剤Ｔを照明する場合とでは、刻印Ｓの影の出方が異なる。

【0071】

即ち、照明光ＬＬにより薬剤Ｔを照明する場合、刻印Ｓの右側の面ＳＲは照明光ＬＬが照射されるが、刻印Ｓの左側の面ＳＬには照明光ＬＬは照射されなくなり、刻印Ｓの左側の面ＳＬに影が発生する。同様に、照明光ＬＬとは反対方向の照明光ＬＲにより薬剤Ｔを照明する場合、刻印Ｓの左側の面ＳＬは照明光ＬＲが照射されるが、刻印Ｓの右側の面ＳＲには照明光ＬＲは照射されなくなり、刻印Ｓの右側の面ＳＲに影が発生する。

【0072】

図８は、エッジ画像生成部３６でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。

【0073】

ソーベルフィルタＦＬは、左方向からの照明光ＬＬが照射された薬剤Ｔの画像ＧＬからエッジ抽出する場合に使用され、ソーベルフィルタＦＲは、右方向から照明光ＬＲが照射された薬剤Ｔの画像ＧＲからエッジ抽出する場合に使用される。

【0074】

図８に示すソーベルフィルタＦＬ、ＦＲのカーネルサイズは、刻印Ｓの幅Ｗ（の画素数）の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Ｓの溝の幅の画素数が４画素であれば、その半分の２画素より大きいサイズ（ｘ軸方向３画素×ｙ軸方向３画素等）のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。

【0075】

エッジ画像生成部３６は、画像ＧＬ、ＧＲに対してそれぞれソーベルフィルタＦＬ、ＦＲを使用し、画像ＧＬ、ＧＲに対応するエッジ画像を生成する。また、エッジ画像生成部３６は、上方向からの照明光が照射された薬剤Ｔの画像ＧＵ、及び下方向からの照明光が照射された薬剤Ｔの画像ＧＤに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。

【0076】

尚、エッジ画像合成部３４におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。

【0077】

エッジ画像生成部３６により４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ生成された４つのエッジ画像は、エッジ画像合成部３４に出力される。エッジ画像合成部３４の他の入力には、輝度ムラがない画像ＧＡ（刻印Ｓの影の少ない画像）が加えられており、エッジ画像合成部３４は、画像ＧＡに４つのエッジ画像を合成する。

【0078】

これにより、画像処理部３０は、薬剤の画像（画像ＧＡ）に対して、刻印を強調する強調処理が施された画像（第２画像）を生成することができる。

【0079】

画像処理部３０は、１０枚の薬剤画像のうちの薬剤の下側のカメラ２２Ｂにより撮影された５枚の薬剤画像に基づいて、刻印を強調する強調処理が薬剤の画像に対して施された画像（第２画像）も生成することは言うまでもない。

【0080】

また、本例では、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡ（輝度ムラがない画像）を、エッジ画像が合成される画像として使用するが、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのいずれか１つ又は複数の画像に輝度ムラ補正処理を施し、画像ＧＡに代る画像としてもよい。輝度ムラ補正処理は、例えば、輝度ムラを有する画像を、その画像にガウシアンフィルタ処理を施した画像で除算することで行うことができる。この場合、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡは取得しなくてもよい。

【0081】

上記のようにして刻印を強調する強調処理が施された薬剤の画像は、薬剤がステージ２１のいずれの位置にあっても（薬剤と複数の光源との相対位置関係に依存せずに）同様な画像となり、薬剤の位置に対するロバスト性の高い画像となる。

【0082】

図９は、第１実施形態の薬剤識別装置１０－１による薬剤の識別処理の概要を示す図である。

【0083】

照明部２４による照明条件を変更して分包袋内の薬剤を複数回撮影し、撮影された画像に含まれる薬剤が何であるかを推論する。

【0084】

符号２３Ａは、カメラ２２Ａにより撮影された分包袋の表画像であり、符号２３Ｂは、カメラ２２Ｂにより撮影された分包袋の裏画像である。図９上では、表画像２３Ａ及び裏画像２３Ｂは、１枚ずつ示されているが、前述したように照明部２４による照明条件を変更して５枚ずつ撮影されている。

【0085】

分包袋の表画像２３Ａ及び裏画像２３Ｂから識別対象の薬剤の画像を１つずつ切り出す。尚、薬剤は分包紙に包まれていても包まれていなくてもよい。

【0086】

符号２５Ａ及び２５Ｂは、それぞれ全方向の光源を点灯させて撮影された表画像２３Ａ及び裏画像２３Ｂから切り出された薬剤画像であり、符号２７Ａ及び２７Ｂは、薬剤画像２５Ａ及び２５Ｂに対して、刻印を強調する強調処理を施した薬剤画像である。

【0087】

刻印を強調する強調処理は、前述したように照明の照射方向を変えて撮影した４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤから、それぞれ照射方向に応じた方向のエッジ抽出フィルタを使用して４つのエッジ画像を生成し、４つのエッジ画像を薬剤画像２５Ａ、２５Ｂに合成する処理である。

【0088】

そして、表側の薬剤画像２７Ａ及び裏側の薬剤画像２７Ｂに基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論する。推論には深層学習(classification)を利用する。本例では、ＣＮＮ４０により推論するが、その詳細については後述する。

【0089】

推論結果は、表示器、プリンタ等の出力部により視認可能に出力する。

【0090】

推論結果として、登録された薬剤の情報（薬剤識別情報と薬剤画像等）を、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank3,…）に出力することができる。また、最も近い１つの薬剤の情報、又は予め設定された上位の複数の薬剤の情報を出力することができる。

【0091】

図１０は、主として図１に示した識別器（ＣＮＮ）４０を含む学習装置の主要な機能を示す機能ブロック図である。

【0092】

図１０に示す学習装置は、識別対象の薬剤が、登録された薬剤（登録薬剤）のうちのいずれの登録薬剤に近いかを分類するものであり、登録薬剤毎に対応する教師データにより事前に学習し、又は追加する登録薬剤に対応する教師データにより追加の学習が可能である。

【0093】

ここで、登録薬剤に対応する教師データは、例えば、登録薬剤を撮影した画像について刻印又は印字を強調する強調処理が施された（前処理された）表側及び裏側の薬剤画像２７Ａ、２７Ｂ（図９参照）と、その登録薬剤の名前等の正解データ５０である。尚、学習に使用した、又は使用する教師データは、データベースに保存しておくことが好ましい。

【0094】

学習装置は、登録薬剤の教師データを構成する表側及び裏側の薬剤画像２７Ａ、２７Ｂを入力画像とし、正解データが得られるように学習することにより、任意の薬剤の入力画像に基づいてその任意の薬剤が登録薬剤のうちのいずれの登録薬剤に近いかを分類する学習モデルを生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）４０を構築する。

【0095】

図１０に示す学習装置は、主としてＣＮＮ４０と、損失値算出部５２と、パラメータ制御部５４と、から構成される。

【0096】

ＣＮＮ４０は、前処理後の表側及び裏側の薬剤画像２７Ａ、２７Ｂを入力画像とするとき、その薬剤画像２７Ａ、２７Ｂの特徴量を抽出（演算）する特徴量演算部４２と、演算した特徴量に基づいて入力画像に対応する薬剤が登録薬剤のうちのいずれに近いかを推論する推論部４４として機能する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。

【0097】

ＣＮＮ４０は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから登録薬剤毎に学習を行う学習済みモデルに変化しうる。

【0098】

このＣＮＮ４０は、入力層４０Ａと、畳み込み層４６Ａ１、正規化層４６Ｂ１、活性化関数による活性化処理部４６Ｃ１、プーリング層４６Ｄ１から構成される複数セット（本例では、６セット）、及び全結合層４６Ｅ１を有する中間層４０Ｂと、出力層４０Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

【0099】

ＣＮＮ４０の構造は、図１０に例示するものに限らず、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。

【0100】

ＣＮＮ４０の入力層４０Ａには、識別対象の薬剤画像（又は学習用の教師データ）である入力画像が入力される。この入力画像は、刻印を強調処理した前処理後の表側及び裏側の薬剤画像２７Ａ、２７Ｂである。本例では、薬剤画像は、ＲＧＢ（Red Green Blue）のカラー画像であるため、薬剤画像２７Ａ、２７Ｂは、それぞれ３枚のＲ、Ｇ、Ｂ画像であり、合計６枚の画像セットが入力画像である。即ち、画像セットは、６チャンネルの画像である。

【0101】

畳み込み層４６Ａ１～４６Ａ６は、画像からのエッジ抽出等の特徴抽出の役割を担う部分である。畳み込み層４６Ａ１～４６Ａ６は、入力層４０Ａから入力した画像セットや前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得するもので、画像からのエッジ抽出等の特徴抽出の役割を担う。

【0102】

１番目の畳み込み層４６Ａ１は、画像セットとフィルタとの畳み込み演算を行う。ここで、画像セットが６チャンネル（６枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×６のフィルタになる。

【0103】

５×５×６のフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。したがって、Ｎ個のフィルタを使用すると、Ｎチャンネルの「特徴マップ」を生成することができる。

【0104】

２番目の畳み込み層４６Ａ２（図示せず）で使用されるフィルタは、例えばサイズ３のフィルタの場合、フィルタサイズは、３×３×Ｎのフィルタになる。

【0105】

正規化層４６Ｂ１～４６Ｂ６は、入力画像に対して輝度やコントラスト等の正規化を行う部分であり、入力画像だけでなく、ＣＮＮ４０の途中経過の「特徴マップ」に対しても正規化を行う。

【0106】

活性化処理部４６Ｃ１～４６Ｃ６は、活性化関数（例えば、ステップ関数、シグモイド関数、ソフトマックス関数)により入力信号を処理する部分であり、次の層に渡す値を整えるような役割を果たす。

【0107】

プーリング層４６Ｄ１は、畳み込み層４６Ａ１（本例では、活性化処理部４６Ｃ１）から出力された特徴マップを縮小して新たな特徴マップとする。「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

【0108】

推論部４４として機能する１つ又は複数の全結合層４６Ｅ１は、前の層の全てのノード（本例では、活性化処理部４６Ｃ６から出力される特徴マップ）と重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数を増加させると、特徴量空間の分割数が増加し、特徴変数の数も増加する。

【0109】

推論部４４として機能する出力層４０Ｃは、全結合層４６Ｅ１からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれの領域（本例ではそれぞれの薬剤）に正しく分類される確率を最大化する（最尤推定法）ことによって分類を行う。尚、最終段の全結合層を出力層と呼ぶこともある。

【0110】

出力層４０Ｃから出力される推論結果は、学習を行う場合には損失値算出部５２に加えられ、学習済みのＣＮＮ４０にて撮影された薬剤（入力画像）が、登録薬剤のうちのいずれに近いかを推論する場合には出力部６０に加えられる。

【0111】

＜学習時＞
学習前のＣＮＮ４０の各畳み込み層４６Ａ１～４６Ａ６に適用されるフィルタの係数、全結合層４６Ｅ１におけるエッジの重み等のパラメータは、任意の初期値がセットされる。なお、公知の画像の分類等に使用されているＣＮＮのパラメータ等を適用してもよい。

【0112】

損失値算出部５２には、ＣＮＮ４０の出力層４０Ｃから出力される推論結果と、入力画像（薬剤画像２７Ａ、２７Ｂ）に対する正解データ（薬剤画像２７Ａ、２７Ｂに対応する薬剤の薬剤識別情報）とが加えられ、損失値算出部５２は、推論結果と正解データとを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。

【0113】

正解データである薬剤識別情報としては、薬剤を一意に特定する薬剤名、商品名、略称又はこれらの組合せを含む。

【0114】

パラメータ制御部５４は、損失値算出部５２により算出された損失値を元に、誤差逆伝播法によりＣＮＮ４０のパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。

【0115】

このパラメータの調整処理を繰り返し行い、ＣＮＮ４０の出力と教師データである正解データとの差が小さくなるまで繰り返し学習を行う。

【0116】

１つの薬剤に対して学習を行う場合、入力画像を０度から３６０度の範囲内で一定の角度（例えば、１度）ずつ順次回転させ、一定の角度回転させる毎（回転位置毎）に上記の学習を繰り返す。入力画像である薬剤画像２７Ａ、２７Ｂは、画像処理にて回転させる公知の回転処理部により回転させることができる。

【0117】

また、同じ種類の複数の薬剤について、複数の画像セットを取得し、複数の画像セットの各画像セットをそれぞれ入力画像として使用することが好ましい。薬剤に僅かな相違点（刻印の欠け等）があっても、それに影響されない学習を行うためである。尚、登録しようとする１つの薬剤について、１つの画像セットのみを使用して学習してもよい。

【0118】

このようにして、識別対象とする全ての薬剤について、学習を行う。新規に登録しようとする「薬剤」、及び学習済みの「薬剤」は、以下「登録薬剤」ともいう。

【0119】

本実施形態によれば、薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された画像であって、薬剤と照明光源との相対位置関係に依存しない薬剤の画像（前処理された薬剤画像２７Ａ、２７Ｂ）を生成し、生成した薬剤画像２７Ａ、２７Ｂを教師データとして機械学習に使用するようにしたため、複数の光源からの距離（ステージ２１上の薬剤の位置）に応じた多数の薬剤画像を準備する必要がなく、教師データ数を大幅に削減することができる。また、回転処理部による画像処理により薬剤画像２７Ａ、２７Ｂを回転させるため、薬剤の向きが異なる薬剤画像の撮影を行う必要もない。

【0120】

＜薬剤の識別時＞
学習済みのＣＮＮ４０は、薬剤の識別器として機能し得る。

【0121】

学習済みのＣＮＮ４０を使用して識別対象の薬剤を識別する場合、画像取得部２０（図１、図２）により識別対象の薬剤の撮影（本例では、分包袋ＴＰの上方及び下方からの撮影）を行う。分包袋ＴＰの上方から撮影を行う場合、分包袋ＴＰの上方の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次切り換えて点灯させて撮影した４つの画像と、上方の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影した１つの画像とを取得する。分包袋ＴＰの下方から撮影を行う場合も同様に行う。

【0122】

図６に示した画像処理部３０の画像切り出し部３２は、分包袋ＴＰを撮影した画像（本例では、表側の５枚の画像、及び裏側の５枚の画像の合計１０枚の画像）から、複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。

【0123】

画像処理部３０のエッジ画像合成部３４は、画像切り出し部３２により切り出された４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤ（図５）からそれぞれ照射方向に応じた方向のエッジ抽出フィルタを使用し、４つのエッジ画像を生成する。

【0124】

画像処理部３０のエッジ画像合成部３４は、光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影した輝度ムラがない表画像２３Ａに４つのエッジ画像を合成し、刻印を強調する強調処理が施された薬剤画像２７Ａを生成する。同様に、輝度ムラがない裏画像２３Ｂに４つのエッジ画像を合成し、刻印を強調する強調処理が施された薬剤画像２７Ｂを生成する（図９参照）。

【0125】

このようにして生成した薬剤画像２７Ａ、２７Ｂは、学習済みのＣＮＮ４０に入力画像として入力される。

【0126】

学習済みのＣＮＮ４０は、表側の薬剤画像２７Ａ及び裏側の薬剤画像２７Ｂに基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論し、推論結果は、表示器、プリンタ等の出力部６０により視認可能に出力され、又は電子的に記録可能な電子データとして出力される。

【0127】

推論結果は、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank3,…）に、登録薬剤の情報（薬剤識別情報と薬剤画像等）やその確率として出力することができる。

【0128】

ユーザは、出力部６０から出力される推論結果を、識別対象の薬剤を監査、鑑別する際の支援情報として使用することができる。

【0129】

尚、識別器として機能するＣＮＮは、図１０に示したように学習装置を構成するＣＮＮ４０に限らず、学習済みのＣＮＮ４０からパラメータを取得し、取得したパラメータが設定された他のＣＮＮを、薬剤の識別時に使用するものでもよい。

【0130】

＜薬剤識別装置の第２実施形態＞
図１１は、第２実施形態に係る薬剤識別装置１０－２の電気的な内部構成を示すブロック図である。

【0131】

図１１に示す薬剤識別装置１０－２は、主として画像取得部２０と、画像処理部３１と、特徴量演算部４３及び推論部４４として機能する識別器（本例では、ＣＮＮ）４１とから構成されている。

【0132】

図１１に示す第２実施形態の薬剤識別装置１０－２は、主として第１実施形態の薬剤識別装置１０－１の画像処理部３０が行っている前処理を行わない点で、第１実施形態の薬剤識別装置１０－１と相違する。具体的には、第２実施形態の薬剤識別装置１０－２は、画像処理部３１及びＣＮＮ４１が、第１実施形態の薬剤識別装置１０－１の画像処理部３０及びＣＮＮ４０と相違する。

【0133】

薬剤識別装置１０－２の画像取得部２０は、第１実施形態の薬剤識別装置１０－１の画像取得部２０（図２）と共通するため、その詳細な説明は省略する。

【0134】

尚、第２実施形態の薬剤識別装置１０－２では、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像は使用せず、光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させて撮影した、上方及び下方からの４つの画像（合計８つの画像）を使用するものとして説明する。

【0135】

画像処理部３１は、第１実施形態の薬剤識別装置１０－１の画像処理部３０（図６）に含まれる画像切り出し部３２を備え、前処理を行うためのエッジ画像合成部３４及びエッジ画像生成部３６を備えていない。

【0136】

画像処理部３１は、画像取得部２０にて取得された８つの画像から、分包袋ＴＰに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。したがって、１つの薬剤について、上方から撮影された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤと、下方から撮影された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤの合計８つの薬剤画像を切り出す（図５参照）。

【0137】

ＣＮＮ４１は、画像処理部３１により切り出された８つの薬剤画像を入力画像とする。尚、薬剤画像は、ＲＧＢのカラー画像（ＲＧＢの３チャンネルの画像）であるため、ＣＮＮ４１の入力画像は、８つの薬剤画像とＲＧＢの３チャンネルの画像との積である、合計２４枚の画像セットが入力画像となる。即ち、画像セットは、２４チャンネルの画像である。

【0138】

ＣＮＮ４１の特徴量演算部４３及び推論部４５は、図１０に示した第１実施形態のＣＮＮ４０の特徴量演算部４２及び推論部４４と同様の機能を有するが、主として特徴量演算部４３の入力層は、２４チャンネルの画像セットを入力画像として入力し、また、特徴量演算部４３の中間層の１番目の畳み込み層は、２４チャンネルの画像セットに対応するフィルタを有する点で相違する。

【0139】

即ち、１番目の畳み込み層は、画像セットとフィルタとの畳み込み演算を行う部分である。ここで、画像セットが２４チャンネル（２４枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×２４のフィルタになる。

【0140】

ＣＮＮ４１による学習フェーズでの処理及び識別フェーズでの処理は、図１０を使用して説明した第１実施形態のＣＮＮ４０と共通するため、その詳細な説明は省略する。

【0141】

第２実施形態の薬剤識別装置１０－２は、１つの画像セットの枚数が多くなるものの、その画像セットを取得するための画像取得部２０は、第１実施形態の薬剤識別装置１０－１のものと同等である。

【0142】

また、第２実施形態の薬剤識別装置１０－２は、複数の光源を順次点灯させて撮影した複数の画像セット（本例では、照射方向が異なる４枚の薬剤画像）を教師データとして機械学習に使用することで、複数の光源からの距離に応じた多数の薬剤画像を準備する必要がなく、第１実施形態の薬剤識別装置１０－１と同様に教師データ数を大幅に削減することができる。

【0143】

［薬剤識別方法］
図１２は、本発明に係る薬剤識別方法の第１実施形態を示すフローチャートであり、図１から図１０に示した薬剤識別装置１０－１の各部の処理手順に関して示している。

【0144】

図１２において、画像取得部２０及び画像切り出し部３２により、それぞれ照明方向が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤと、全方向から照明された画像ＧＡとを取得する（ステップＳ１０、図５）。尚、上方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡと、下方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡとを取得する。

【0145】

続いて、エッジ画像合成部３４により、それぞれ照射方向に応じた方向のエッジ抽出フィルタを使用し、上方及び下方から照明された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤから各画像に対応するエッジ画像を生成する（ステップＳ１２）。

【0146】

エッジ画像合成部３４は、全方向から照明されたムラのない画像ＧＡにエッジ画像を合成し、合成画像を生成する（ステップＳ１４）。これにより、合成画像は、薬剤の画像（画像ＧＡ）に対して刻印が強調された画像として生成される。

【0147】

次に、生成された合成画像は、学習済みのＣＮＮ４０の入力画像として入力される。ＣＮＮ４０の特徴量演算部４２として機能する部分は、入力画像から入力画像の特徴量を演算（抽出）して特徴マップを生成し（ステップＳ１６）、ＣＮＮ４０の推論部４４として機能する部分は、入力画像の特徴量を示す特徴マップから、入力画像に対応する薬剤が、登録薬剤のうちのいずれに近い特徴を有するかを推論する（ステップＳ１８）。

【0148】

入力画像の入力に対してＣＮＮ４０から出力される推論結果は、出力部６０から視認可能に出力され、又は電子的に記録可能な電子データとして出力される（ステップＳ２０）。

【0149】

図１３は、本発明に係る薬剤識別方法の第２実施形態を示すフローチャートであり、図１１に示した薬剤識別装置１０－２の各部の処理手順に関して示している。

【0150】

図１３において、画像取得部２０により、それぞれ照明方向が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤを取得する（ステップＳ１０）。尚、上方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡと、下方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡとの合計８枚の画像を取得する。

【0151】

ＣＮＮ４１（図１１）の特徴量演算部として機能する部分は、画像取得部２０が取得した画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡを入力画像として入力し、入力画像の特徴量を演算して特徴マップを生成する（ステップＳ３０）。この場合、入力画像である薬剤画像は、合計８枚の画像であり、薬剤画像は、ＲＧＢの３チャンネルの画像であるため、２４（＝８×３）チャンネルの画像セットがＣＮＮ４１の入力画像となる。

【0152】

ＣＮＮ４１の推論部として機能する部分は、入力画像の特徴量を示す特徴マップから、入力画像に対応する薬剤が、登録薬剤のうちのいずれに近い特徴を有するかを推論する（ステップＳ１８）。

【0153】

入力画像の入力に対してＣＮＮ４１から出力される推論結果は、出力部６０から視認可能に出力され、又は電子的に記録可能な電子データとして出力される（ステップＳ２０）。

【0154】

［その他］
本実施形態では、特徴量演算部及び推論部として機能するＣＮＮを例に説明したが、識別器は、ＣＮＮに限らず、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習モデルでもよい。

【0155】

また、薬剤識別装置のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0156】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0157】

また、本発明は、コンピュータにインストールされることにより、本発明に係る薬剤識別装置として機能させる薬剤識別プログラム、及びこの薬剤識別プログラムが記録された記録媒体を含む。

【0158】

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0159】

１０－１、１０－２ 薬剤識別装置
２０ 画像取得部
２１ ステージ
２２Ａ、２２Ｂ カメラ
２３Ａ 表画像
２３Ｂ 裏画像
２４ 照明部
２４Ｄ 光源
２４Ｌ 光源
２４Ｒ 光源
２４Ｕ 光源
２５Ａ、２５Ｂ、２７Ａ、２７Ｂ 薬剤画像
２６ 撮影制御部
３０ 画像処理部
３１ 画像処理部
３２ 画像切り出し部
３４ エッジ画像合成部
３６ エッジ画像生成部
４０、４１ ＣＮＮ
４０Ａ 入力層
４０Ｂ 中間層
４０Ｃ 出力層
４２、４３ 特徴量演算部
４４、４５ 推論部
４６Ａ１ 畳み込み層
４６Ｂ１ 正規化層
４６Ｃ１ 活性化処理部
４６Ｄ１ プーリング層
４６Ｅ１ 全結合層
５０ 正解データ
５２ 損失値算出部
５４ パラメータ制御部
６０ 出力部
ＦＬ、ＦＲ ソーベルフィルタ
ＧＡ 画像
ＧＤ 画像
ＧＬ 画像
ＧＲ 画像
ＧＵ 画像
ＬＬ 照明光
ＬＲ 照明光
ＰＡ 撮影光軸
ＰＢ 薬包帯
Ｓ 刻印
Ｓ１０～Ｓ３０ ステップ
Ｔ 薬剤
ＴＰ 分包袋

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】