特許 6491776 錠剤認識又は識別システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6491776

(24)【登録日】2019年3月8日

(45)【発行日】2019年3月27日

(54)【発明の名称】錠剤認識又は識別システム及び方法

(51)【国際特許分類】

   A61J 3/06 20060101AFI20190318BHJP

   A61J 3/00 20060101ALI20190318BHJP

   G06T 7/00 20170101ALI20190318BHJP

【ＦＩ】

   A61J3/06 R

   A61J3/00 310F

   G06T7/00 300G

【請求項の数】3

【全頁数】19

(21)【出願番号】特願2018-76671(P2018-76671)

(22)【出願日】2018年4月12日

【審査請求日】2018年4月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】503219721

【氏名又は名称】株式会社Ｗｉｎｄｙ

(73)【特許権者】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(74)【代理人】

【識別番号】100094581

【弁理士】

【氏名又は名称】鯨田 雅信

(72)【発明者】

【氏名】稲葉 洋

(72)【発明者】

【氏名】恒吉 和幸

(72)【発明者】

【氏名】中村 行延

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１７−１９４４１３（ＪＰ，Ａ）

【文献】 特開２０１５−１３３０４９（ＪＰ，Ａ）

【文献】 特開２００１−１３４７６２（ＪＰ，Ａ）

【文献】 特開２０１７−０９３６５４（ＪＰ，Ａ）

【文献】 特開２０１４−０２９６０８（ＪＰ，Ａ）

【文献】 特表２０１５−５３５１０８（ＪＰ，Ａ）

【文献】 特開平０８−１６８９４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ａ６１Ｊ ３／００ − ３／１０

(57)【特許請求の範囲】

【請求項1】

複数の錠剤（錠剤はカプセル剤を含む）について、予め、複数の各錠剤の刻印（刻印とは、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう）のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を含む特徴情報を記録した薬剤データベースと、
識別又は分類の対象とされた或る錠剤の画像を取得する錠剤画像取得部と、
前記取得された或る錠剤の画像から、当該錠剤中に表示された刻印のエッジの画像又は画素を抽出する刻印エッジ画像等抽出部と、
前記抽出された刻印のエッジの画像又は画素から、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、当該刻印のエッジ画素の当該錠剤の中心に対する位置に関するヒストグラムを取得する刻印エッジ位置情報取得部と、
前記識別又は分類の対象とされた或る錠剤の種類又は銘柄を識別又は分類するために、前記刻印エッジ位置情報取得部により取得された、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を、前記薬剤データベースに記録された複数の各錠剤中の各刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報と比較又は照合する刻印エッジ位置情報比較部と、を備えた錠剤認識識別システム。

【請求項2】

前記刻印エッジ位置情報取得部は、前記識別又は分類の対象とされた或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、階級が当該錠剤の中心からの距離により複数に分割された領域で度数が前記各領域におけるエッジ画素の割合とするヒストグラムを取得するものであることを特徴とする請求項１に記載の錠剤認識識別システム。

【請求項3】

複数の錠剤（錠剤はカプセル剤を含む）について、予め、複数の各錠剤の刻印（刻印とは、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう）のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を含む特徴情報を記録した薬剤データベースを備えておき、
識別又は分類の対象とされた或る錠剤の画像を取得する錠剤画像取得ステップと、
前記取得された或る錠剤の画像から、当該錠剤中に表示された刻印のエッジの画像又は画素を抽出する刻印エッジ画像等抽出ステップと、
前記抽出された刻印のエッジの画像又は画素から、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、当該刻印のエッジ画素の当該錠剤の中心に対する位置に関するヒストグラムを取得する刻印エッジ位置情報取得ステップと、
前記識別又は分類の対象とされた或る錠剤の種類又は銘柄を識別又は分類するために、前記刻印エッジ位置情報取得ステップにおいて取得された、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を、前記薬剤データベースに記録された複数の各錠剤中の各刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報と比較又は照合する刻印エッジ位置情報比較ステップと、を含む錠剤認識識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、個々の錠剤（錠剤はカプセル剤を含む。以下同じ）から得られる情報、例えば各錠剤の刻印（刻印は、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう。以下同じ）に関する情報などに基づいて、認識等の対象とされた個々の錠剤を認識、識別又は分類することができる錠剤の認識又は識別等のためのシステム及び方法に関する。

【背景技術】

【0002】

近年、調剤薬局などにおいて残薬の扱いが問題となっている。残薬とは、処方された薬を飲み忘れたり飲み残したりして余った薬のことである。残薬には、金銭面と健康面からの二つの問題が指摘されている（ＮＨＫ解説委員室、”くらし解説「”残薬”をどう減らす？」”、ｈｔｔｐ：／／ｗｗｗ．ｎｈｋ．ｏｒ．ｊｐ／ｋａｉｓｅｔｓｕｂｌｏｇ／７００／２１７１４９．ｈｔｍｌ（２０１７年９月１３日閲覧））。まず金銭面に関しては、残薬は金額に換算すると年間およそ数百億円とも一千億円とも言われ、医療費高騰の一因となっている。次に健康面に関しては、残薬は飲む必要がある薬を飲まなかったものであるから病状が改善しない恐れが高くなり、それだけでなく追加の処方を必要としてさらなる残薬を生んでしまう。このような残薬に関しては、現在、調剤薬局が残薬を回収・分類し、再利用しようとする動きがあるが、現状では調剤薬局が残薬の回収、分類、再処方を人手で行っているため、薬剤師などの労動負担につながっている。

【0003】

また、残薬の問題とは別に、薬剤を服用している患者が病院等へ入院する際には、病院等は、服薬中の薬剤を確認するため薬剤を回収して分類しなければならない。そして、薬剤の処方・調剤には、同種の調剤を金属プレートで１錠ずつ小分けにするＰＴＰ調剤と、服用時点毎の薬剤を１つのパックにして処方する一包化調剤との２種類がある。現状では、薬剤を服用中の患者が病院等へ入院する際には、当該服用中の薬剤の認識、識別及び分類を人手で行わざるを得ず、薬剤師や医者の労働負荷に繋がっている。特に上記の一包化調剤の場合で薬剤を特定する処方箋などが無くなっているような場合は、ＰＴＰ調剤に比べ分類に多くの作業時間がかかってしまう。このように、近年、薬剤の認識、識別及び分類の自動化に対する強い需要が生まれている。

【0004】

最近では、アメリカ国立衛生研究所がＰｉｌｌ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅという薬画像認識を行う大会を開催する（Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅｓ ｏｆ Ｈｅａｌｔｈ、”Ｐｉｌｌ Ｉｍａｇｅ ＲｅｃｏｇｎｉｔｉｏｎＣｈａｌｌｅｎｇｅ”、ｈｔｔｐｓ：／／ｐｉｒ．ｎｌｍ．ｎｉｈ．ｇｏｖ／ｃｈａｌｌｅｎｇｅ／（２０１７年１０月６日閲覧））など、前述のようなコンピュータ技術による薬剤の認識、識別及び分類に対する需要の高まりは、世界的に見られるところである。

【0005】

ところで、薬剤の認識、識別及び分類に関する研究は、これまでにもいくつか報告されている。例えば、株式会社つくば研究支援センターら（株式会社つくば研究支援センター、”３次元画像認識による自動錠剤識別器と錠剤識別技術の開発”、ｈｔｔｐ：／／ｗｗｗ．ｃｈｕｓｈｏ．ｍｅｔｉ．ｇｏ．ｊｐ／ｋｅｉｅｉ／ｓａｐｏｉｎ／ｐｏｒｔａｌ／ｓｅｉｋａ／２０１０／２２１３０８０１０９５．ｐｄｆ（２０１８年１月１０日閲覧））により、ＰＴＰ包装や一包化包装をしたままでのパッケージを認識する研究が行われているが、これはパッケージの認識に関する研究に止まり、錠剤本体のみの情報を用いて錠剤の認識及び分類を行うことを目指すものではなかった。

【0006】

これに対し、村井ら（村井貴昭ら、”処方薬剤の画像識別に関する研究”情報科学技術フォーラム講演論文、１１（３）、１８３−１８４、２０１２）は、錠剤の画像識別に関する研究を行っており、特に刻印が形成された錠剤については、形状特徴、色特徴、及び刻印の特徴を用いて識別するようにし、刻印の識別については、錠剤画像を極座標変換し、テンプレートマッチングを行う方法を採用している。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】村井貴昭，森本雅和，藤井健作，”処方薬剤の画像識別に関する研究”，情報科学技術フォーラム講演論文集，Ｖｏｌ．１１．Ｎｏ．３，ｐｐ．１８３−１８４，２０１２−０９−０４

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上記のような従来の刻印識別方法を採用した錠剤識別方法においてては、個々の錠剤に対する高い識別率が得られないため調剤薬局や医療機関での実用化には耐えられないという問題があった。

【0009】

本発明はこのような従来技術の問題点に着目して為されたものであって、個々の錠剤（カプセル剤を含む）から得られる情報、例えば各錠剤の刻印（掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう）に関する情報などに基づいて、調剤薬局や医療機関での実用化に耐え得る程度の高い識別率をもって、認識等の対象とされた個々の錠剤を認識、識別又は分類することができる錠剤の認識、識別又は分類のためのシステム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明による錠剤認識識別システムは、複数の錠剤（錠剤はカプセル剤を含む）について、予め、複数の各錠剤の刻印（刻印とは、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう）のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を含む特徴情報を記録した薬剤データベースと、識別又は分類の対象とされた或る錠剤の画像を取得する錠剤画像取得部と、前記取得された或る錠剤の画像から、当該錠剤中に表示された刻印のエッジの画像又は画素を抽出する刻印エッジ画像等抽出部と、前記抽出された刻印のエッジの画像又は画素から、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を取得する刻印エッジ位置情報取得部と、前記識別又は分類の対象とされた或る錠剤の種類又は銘柄を識別又は分類するために、前記刻印エッジ位置情報取得部により取得された、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を、前記薬剤データベースに記録された複数の各錠剤中の各刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報と比較又は照合する刻印エッジ位置情報比較部とを備えたものである。

【0011】

本発明による錠剤認識識別システムにおいては、前記刻印エッジ位置情報取得部は、前記識別又は分類の対象とされた或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、当該刻印のエッジ画素の当該錠剤の中心に対する位置に関するヒストグラムを取得するものである。

【0012】

本発明による錠剤認識識別システムにおいては、前記刻印エッジ位置情報取得部は、前記識別又は分類の対象とされた或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、階級が当該錠剤の中心からの距離により複数に分割された領域で度数が前記各領域におけるエッジ画素の割合とするヒストグラムを取得するものであってもよい。

【0013】

また、本発明による錠剤認識識別方法は、複数の錠剤（錠剤はカプセル剤を含む）について、予め、複数の各錠剤の刻印（刻印とは、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう）のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を含む特徴情報を記録した薬剤データベースを備えておき、識別又は分類の対象とされた或る錠剤の画像を取得する錠剤画像取得ステップと、前記取得された或る錠剤の画像から、当該錠剤中に表示された刻印のエッジの画像又は画素を抽出する刻印エッジ画像等抽出ステップと、前記抽出された刻印のエッジの画像又は画素から、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報として、当該刻印のエッジ画素の当該錠剤の中心に対する位置に関するヒストグラムを取得する刻印エッジ位置情報取得ステップと、前記識別又は分類の対象とされた或る錠剤の種類又は銘柄を識別又は分類するために、前記刻印エッジ位置情報取得ステップにおいて取得された、前記或る錠剤中の刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報を、前記薬剤データベースに記録された複数の各錠剤中の各刻印のエッジ画素の当該錠剤における位置に関する刻印エッジ位置情報と比較又は照合する刻印エッジ位置情報比較ステップとを含むものである。

【0014】

さらに、本明細書においては、複数の錠剤（錠剤はカプセル剤を含む。以下同じ）について、予め、各錠剤の刻印（刻印は、掘り込み又は印刷等の方法により錠剤に表示された文字、数字、記号又は図形をいう。以下同じ）のエッジ画素の勾配に関する情報を含む特徴情報を記録した薬剤データベースと、認識又は識別の対象となる個々の錠剤の画像を取得する錠剤画像取得部と、前記取得された錠剤画像から、当該錠剤に表示された刻印のエッジの画像又は画素を抽出する刻印エッジ画像等抽出部と、前記抽出された刻印のエッジの画像又は画素から、当該刻印のエッジ画素の勾配に関する情報を取得する刻印エッジ勾配情報取得部と、前記取得された錠剤画像から、当該錠剤に関する前記刻印のエッジ画素の勾配に関する情報以外の特徴情報を取得する錠剤特徴情報取得部と、前記刻印エッジ勾配情報取得部により取得された当該錠剤の刻印のエッジ画素の勾配に関する情報、及び前記錠剤特徴情報取得部により取得された当該錠剤に関する前記刻印のエッジ画素の勾配に関する情報以外の特徴情報と、前記薬剤データベースに記録された前記各錠剤の刻印のエッジ画素の勾配に関する情報を含む特徴情報とを比較又は照合し、前記認識又は識別の対象とされた錠剤を認識、識別又は分類する錠剤識別部とを備えた錠剤認識識別システムについても、開示している。

【0015】

さらにまた、本明細書においては、前記刻印エッジ勾配情報取得部が、前記刻印のエッジ画素の勾配に関する情報として、当該刻印のエッジ画素の勾配の方向の頻度に関するヒストグラムを取得するものであるような錠剤認識識別システムについても、開示している。

【0016】

さらにまた、本明細書においては、前記刻印エッジ勾配情報取得部が、前記刻印のエッジ画素の勾配に関する情報として、当該刻印のエッジ画素の勾配の方向の頻度に関する、階級が角度区間で度数が前記各角度区間におけるエッジ画素の割合とするヒストグラムを取得するものであるような錠剤認識識別システムについても、開示している。

【発明の効果】

【0017】

本発明においては、識別等の対象とされた錠剤について、当該錠剤に表示された刻印のエッジ画素の勾配に関する情報、例えば当該刻印のエッジ画素の勾配の方向の頻度に関するヒストグラムに係る情報、さらに例えば、当該刻印のエッジ画素の勾配の方向の頻度に関する、階級が角度区間で度数が前記各角度区間におけるエッジ画素の割合とするヒストグラムに係る情報を、当該錠剤の特徴情報の少なくとも一部として取得し、上記の刻印のエッジ画素の勾配に関する情報を含む当該錠剤の特徴情報と、予め薬剤データベースに記録された複数の各錠剤の特徴情報とを比較又は照合することにより、識別等の対象とされた錠剤を有効に認識、識別又は分類できるようにした。よって、本発明によれば、個々の錠剤（カプセル剤を含む）に表示された刻印（印刷等で表示された記号・図形等を含む）のエッジ情報などに基づいて、調剤薬局や医療機関での実用化に耐え得る程度の高い識別率をもって、識別等の対象とされた錠剤の認識、識別又は分類を行うことができるようになった。

【0018】

また、本発明においては、識別等の対象とされた錠剤について、当該錠剤における刻印のエッジ画素の位置に関する情報、例えば当該刻印のエッジ画素の錠剤上の位置に関するヒストグラムに係る情報、さらに例えば、当該刻印のエッジ画素の錠剤上の位置に関する、階級が当該錠剤の中心からの距離により複数に分割された領域で度数が前記各領域におけるエッジ画素の割合とするヒストグラムに係る情報を、当該錠剤の特徴情報の少なくとも一部として取得し、当該錠剤における刻印のエッジ画素の位置に関する情報を含む当該錠剤の特徴情報と、予め薬剤データベースに記録された複数の各錠剤の特徴情報とを比較又は照合することにより、識別等の対象とされた錠剤を有効に認識、識別又は分類できるようにした。よって、本発明によれば、個々の錠剤（カプセル剤を含む）に表示された刻印（印刷等で表示された記号・図形等を含む）のエッジ情報などに基づいて、調剤薬局や医療機関での実用化に耐え得る程度の高い識別率をもって、識別等の対象とされた錠剤の認識、識別又は分類を行うことができるようになった。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係る錠剤の認識及び識別方法における錠剤の入力画像の一例を示す図である。

【図2】本実施形態において錠剤の画像を取得するための装置の一例を示す図である。

【図3A】錠剤の薬品名と特徴情報とを互いに対応づける薬剤データベースの作成の流れを示すフローチャートである。

【図3B】各錠剤の認識及び識別の流れを示すフローチャートを示す図である。

【図4】（ａ）は二値化処理前の錠剤画像を示す図、（ｂ）は二値化処理後の錠剤画像を示す図である。

【図5】スキャナで読み取った錠剤の画像から側面画像を除去するときの動作及び原理を示す図である。

【図6】（ａ）は側面画像を除去する前の錠剤画像を示す図、（ｂ）は側面画像を除去した後の錠剤画像を示す図である。

【図7】錠剤が写った画像から刻印のエッジを抽出するための微分フィルタを示す図である。

【図8】（ａ）は錠剤の入力画像を示す図、（ｂ）は（ａ）の入力画像から刻印中のエッジ画素のみを抽出した結果としてのエッジ画像を示す図である。

【図9】（ａ）は刻印のエッジ勾配の方向ヒストグラムを示す図、（ｂ）は刻印のエッジ勾配の向きを揃えた方向ヒストグラムを示す図である。

【図10】錠剤画像中の刻印のエッジ画素の位置に関するヒストグラムの作成動作を説明するための図である。

【図11】錠剤画像中の刻印のエッジ画素の位置に関するヒストグラムの一例を示す図である。

【図12】薬剤データベースの作成のために使用する錠剤画像の一例を示す図である。

【図13】薬剤データベースに保存されている１錠分の錠剤の特徴に関する値を示す図である。

【図14】識別及び分類の対象となる錠剤の画像の一例を示す図である。

【図15】本発明者が本実施形態の有効性を確認するために行った実験に使用したテストデータ１の一例を示す図である。

【図16】本発明者が本実施形態の有効性を確認するために行った他の実験に使用したテストデータ２の一例を示す図である。

【図17】データ１を用いた実験において色特徴の比較の時に候補から除外されてしまったため正しく分類されなかった錠剤の例を示す図である。

【図18】データ２を用いた実験において色特徴の比較の時に候補から除外されてしまったため正しく分類されなかった錠剤の例を示す図である。

【図19】（ａ）、（ｂ）及び（ｃ）はいずれも大きさ及び色ともに互いに酷似した錠剤の画像であり、（ａ）及び（ｃ）は、データ２を用いた実験において正しく分類されなかった、大きさ及び色ともに互いに酷似した錠剤を示す図である。

【図20】スキャン時に錠剤の刻印の画像がぼやけてしまい刻印の特徴量を適切に抽出できなかったために誤分類されたと考えられる錠剤の画像を示す図である。

【図21】（ａ）及び（ｂ）はそれぞれ、本発明者の実験において面積、半径、色及び刻印の特徴（特徴ベクトル）が互いに極めて似ているため逆に分類された、図１９（ａ）及び（ｃ）の各錠剤の特徴ベクトルを示す図である。

【図22】本発明の実施形態に係る錠剤の認識、識別及び分類システムの概略構成を示す概念ブロック図である。

【発明を実施するための形態】

【0020】

１．本実施形態の概要
現在の医療状況においては、形、大きさ及び色などが互いに異なる様々な種類の錠剤（カプセル剤を含む。以下同じ）が製造されている。これらの錠剤の表面には、固有の文字・数字・記号・図形（ロゴ）などが印刷又は彫り込みなどの方法で表示されている（図１参照。本明細書では、上記錠剤の表面に印刷又は彫り込みなどの方法で表示された文字・数字・記号・図形（ロゴ）などを「刻印」と呼んでいる）。そのため、本発明者らは、上記のような錠剤の刻印を含む特徴を認識することにより錠剤を認識、識別及び分類することを目指した。

【0021】

本発明者らが提案する本実施形態に係る錠剤の認識及び識別方法においては、まず、市販のイメージスキャナ（カメラなどでもよい）を用いて複数の認識等の対象となる錠剤を刻印が写るように置いて撮影する（図２参照）。当該錠剤の分類には、事前に実際の薬品名と錠剤の特徴とを対応づける薬剤データベースを構築しておき、認識対象となる錠剤の特徴を数値化してデータベースと照合する。図３Ａでは前記薬剤データベースの作成の流れをフローチャートで、図３Ｂでは錠剤の識別・分類の流れをフローチャートで示している（これらの各フローチャート中に示されている各動作については個別に後述する）。

【0022】

また、図２２は本実施形態に係るシステムの概略構成を示す概念ブロック図である。図２２において、１は予め複数の錠剤に関する薬品名等の特定情報と各錠剤の特徴データとを互いに対応付けて記録した薬剤データベース、２は認識・分類等の対象となる錠剤の画像を取り込むスキャナ又はカメラなどの錠剤画像取得部、３は前記錠剤画像取得部２からの錠剤画像に基づいて各錠剤の刻印（各錠剤に掘り込み又は印刷等の方法で表示された文字、数字、記号又は図形）の特徴ベクトルを取得する刻印特徴ベクトル取得部、４は前記錠剤画像取得部２からの錠剤画像に基づいて各錠剤の色、面積及び直径等の特徴量を取得する錠剤色面積直径等特徴量取得部、５は前記刻印特徴ベクトル取得部３及び前記錠剤色面積直径等特徴量取得部４からの認識対象の錠剤の特徴情報と前記薬剤データベース１からの各錠剤の特徴データとを比較、マッチングして認識対象の錠剤の薬剤名などを識別・特定する比較識別部、６は前記比較識別部５からの識別・分類結果を画面等に出力するディスプレイなどから成る識別分類結果出力部である。

【0023】

また、図２２において、前記刻印特徴ベクトル取得部３は、前記錠剤画像取得部２からの錠剤画像に基づいて刻印のエッジ画素のみを取り出す刻印エッジ画素抽出部７（図４〜図８などに関して後述する）と、前記刻印エッジ画素抽出部７からの刻印エッジ画素に基づいて刻印のエッジ画素の勾配の方向に関するヒストグラムを取得する刻印エッジ画素勾配方向ヒストグラム取得部８（図８及び図９などに関して後述する）と、前記刻印エッジ画素抽出部７からの刻印エッジ画素に基づいて刻印のエッジ画素の位置に関するヒストグラムを取得する刻印エッジ画素位置ヒストグラム取得部９（図８、図１０及び図１１などに関して後述する）とを含んでいる。これらの各要素の動作等はいずれも後の説明で明らかとなる。

【0024】

２．錠剤領域の抽出
本実施形態では、まず、スキャナ（カメラなどでもよい）を用いて複数個の錠剤を撮影し、錠剤の画像を読み込み取得する。そして、この画像をあるしきい値ｓにより０と２５５の値に二値化し、錠剤部分（白の部分）と背景（黒の部分）とを分ける。図４において（ａ）は二値化処理前の錠剤画像を示す図、（ｂ）は二値化処理後の錠剤画像を示す図である。

【0025】

そして、この二値化された画像にラベリング処理を行い、白の部分が連結した画素に同じ番号を割り振る。この番号を各白の部分に割り振り、これらを通し番号とする。次に、各番号の面積（画素数）を数え、ある面積（しきい値ｔ）より小さい連結成分（ノイズ）を削除し、背景画素は０、錠剤部分の画素にはそれぞれの通し番号となる画像を作成する。例えば図４のように画像中に１０個の錠剤があるならば、通し番号は、左上の錠剤から右下へ、１から１０になる。これらの通し番号の各白の部分を錠剤であるとコンピュータに認識させ処理を行う。

【0026】

３．錠剤の側面画像の除去
本実施形態で用いるスキャナは、画質・速度を考慮し、ＣＣＤ方式のものを用いる。そのため、撮影で得られた錠剤画像には、図６（ａ）で示すような錠剤の側面も写り込んでしまう。本実施形態では、各錠剤の平面に表示されている刻印の特定を容易にするため、この側面画像（以下単に「側面」という）を次のような方法で除去し、図６（ｂ）に示すような錠剤平面だけの画像とする。図５に示すように、各側面は、各錠剤平面の画像（側面を含まない画像）の横軸における各中心よりも、画像の中心方向(図５において矢印で示す中心方向)のみに、図６（ａ）のような三日月状の形で現れる（図５の左側及び右側の図でも同様）。そこで、このことを利用して（図６（ａ）では錠剤部分のみをトリミングしてあるため、画像の右側が、画像全体の中心方向である。図５中の図示右側を指す矢印も参照）、錠剤の縦方向の長さを直径とする円とのマスク処理を行うことにより、側面を除去する。図５には前記側面除去の動作原理を示す図を示している。具体的な側面の削除方法を説明する。まず、側面を除去したい錠剤の通し番号の画素において、縦軸における最大画素と最小画素の距離を直径とする（図５参照）。そして、錠剤の縦軸における最小画素と、横軸における側面が現れていない側（図５において図示の中心方向とは反対の側）の最端画素（図５の図示左側の最端画素）との交点（図５における縦軸と前記最端画素を通る横軸との交点）を、錠剤表面（錠剤平面）の中心座標とし（図５参照）、この中心座標から半径距離より遠くにある錠剤の画素（側面部分の画素）を、背景として除去する。

【0027】

４．特徴量
本実施形態では錠剤の認識、識別及び分類を行う際、事前に薬剤データベースに保存してある錠剤特有の特徴量と比較することにより、前記認識、識別及び分類を行う。本実施形態において前記認識、識別及び分類のための薬剤データベースに記録する錠剤の特徴量は、面積、直径、色、刻印のエッジ画素の勾配方向に関するヒストグラム、及び刻印のエッジ画素の位置に関するヒストグラムなどである。また、前記刻印のエッジ画素の勾配方向に関するヒストグラムと前記刻印のエッジ画素の位置に関するヒストグラムとは、多次元の要素を持つ特徴ベクトルとして扱う。本実施形態では、各錠剤について、その特徴量を計算し、データベースへの保存、及びデータベースとの比較を行う。各特徴量の具体的な内容は以下に述べる。

【0028】

４．１ 面積・直径
錠剤には大小様々な大きさのものがあるため、錠剤の面積と直径を用いて比較し錠剤を分類する。具体的には、各錠剤の通し番号の付いた画素の数の合計値を面積、錠剤の縦軸における最大画素と最小画素の間の距離を直径とする（図５など参照）。

【0029】

４．２ 色
錠剤には白だけでなく、オレンジ色や肌色など様々な色の錠剤があるため、色の比較を行う。本実施形態では、例えば、各錠剤の通し番号の付いた画素のＲＧＢ値の各平均値を求め、色の特徴量とする。

【0030】

４．３ 刻印のエッジ画素の勾配方向に関するヒストグラム
錠剤の表面（特に平面）には固有の刻印が刻まれている（印刷等で表示されることもある）ため、それらを認識することにより、錠剤を分類等する。刻印のエッジ画素の勾配方向に関するヒストグラムは、刻印のエッジ画素の勾配の方向がどの向きを向いているか、その出現頻度をヒストグラム化したものである。

【0031】

具体的には、まず、錠剤の刻印部分を抽出する。錠剤が写った画像の全画素について、図７に示す微分フィルタを用いて刻印のエッジを抽出し、その出力値に基づき、各エッジ画素（ｉ、ｊ）に対して次式１及び２を用いて、刻印のエッジ画素の勾配の大きさ及び方向を求める。

【0032】

【数1】

【0033】

【数2】

【0034】

そして、刻印のエッジ画素の勾配の大きさを、あるしきい値ｕにより二値化する。すなわち、勾配の大きさがしきい値ｕ以上の画素（刻印のエッジ画素）を２５５、それ以外（背景）を０とする画像を作成する（図８参照）。なお、錠剤の輪郭の画素も勾配が大きい（しきい値以上の）画素となるが、錠剤の中心座標からある一定以上（半径のｖ％の長さ）より外側にある錠剤の画素は０と処理することで、輪郭の画素を除去する。これらの作業により、刻印画像中のエッジ画素のみを抽出する。図８（ｂ）はこのようにして抽出された刻印のエッジ画像を示す図である。

【0035】

次に、刻印のエッジ勾配の方向に関するヒストグラムを作成する。上記で求めた図８（ｂ）のような刻印のエッジ画素のみを抽出した画像を用いて、錠剤の刻印のエッジ画素部分の勾配の方向の頻度を、階級を角度区間とし、度数を各角度区間に存在するエッジ画素の割合（％。又は個数）とするヒストグラムを求める（例えば図９（ａ）参照）。

【0036】

さらに、例えば円形の錠剤の場合は錠剤は様々な向きを向いている。そのため、錠剤がどの向きを向いていても同一の錠剤と判断できるようにするために、ヒストグラムの度数が一番高い階級を主軸とし、主軸を原点に合わせる。他の階級も同様に主軸が移動した階級分だけヒストグラムをずらし、原点に最大度数の階級がくるように合わせたヒストグラムを作成する（例えば図９（ｂ）参照）。これより、錠剤がどの方向を向いていてもヒストグラムの特徴を合わせることができる。例えば、図９（ａ）に示す刻印のエッジ勾配の方向ヒストグラム中の主軸（区間２８８−３２４を参照）を原点（区間０−３６）の位置にずらし、それに合わせて、区間３２４−３６０の度数を原点の隣の区間３６−７２の位置に、さらに区間０−３６の度数を区間７２−１０８の位置に、以下同様に他の区間においてもずらし、これにより、図９（ｂ）に示すような、原点に最大度数の階級がくるように向きを揃えた方向ヒストグラムを作成する。このような刻印のエッジ勾配の方向に関するヒストグラムを、特徴ベクトルとして用いる。

【0037】

４．４ 刻印のエッジ画素の位置に関するヒストグラム
次に、錠剤固有の刻印の特徴を抽出するため、図８（ｂ）に示すような刻印のエッジ画素のみを抽出した画像を用いて、前記刻印のエッジ画素の位置（例えば当該錠剤上の位置）に関する情報を求める。この刻印のエッジ画素の位置（例えば当該錠剤上の位置）に関する情報としては、例えば、図１０で示すような錠剤の中心から輪郭までを例えば同心円状に数分割したときの各分割（各分割した領域）に存在する刻印のエッジ画素の割合（又は個数）を求め、階級が分割数（各分割した領域）、度数が前記各領域におけるエッジ画素の割合（又は個数）とするヒストグラムを求め、これを特徴ベクトルとして用いる（例えば図１１参照）。

【0038】

５．データベースの作成
前述のように、本実施形態においては、認識・分類等の対象とした錠剤の画像から求めた当該錠剤の特徴に関する情報を、予め作成しておいた薬剤データベース中の各錠剤の特徴に関する情報と比較・照合することにより対象とされた各錠剤の認識・分類等を行うようにしている。ここでは、上記のように事前に用意しておく薬剤データベースの作成手順について説明する（図３Ａのフローチャートも参照）。

【0039】

まず、このデータベースに登録する錠剤を複数錠、スキャナで撮影し、画像を読み込む（例えば図１２参照）。次に、これらの各錠剤の特徴量を計算する。そして、各錠剤の特徴量を平均化したデータを、その錠剤の特徴ベクトルなどとしてデータベースに保存する。データベースには複数個の錠剤から得られたデータの平均値の他に分散値、中央値も保存されている。

【0040】

データベースに保存されている１錠分の錠剤に関する値は、図１３に示すように、通し番号、錠剤名、入力画像に含まれる錠剤数、面積平均、面積母分散、面積中央値、直径平均、直径母分散、直径中央値、Ｒ平均の平均値（ある錠剤中のＲ値の平均値を全錠剤のＲ値の平均で平均化したもの）、Ｒ平均の母分散、Ｒ平均の中央値、Ｇ平均の平均値、Ｇ平均の母分散、Ｇ平均の中央値、Ｂ平均の平均値、Ｂ平均の母分散、Ｂ平均の中央値、Ｒ中央値の平均値、Ｒ中央値の母分散、Ｒ中央値の中央値、Ｇ中央値の平均値、Ｇ中央値の母分散、Ｇ中央値の中央値、Ｂ中央値の平均値、Ｂ中央値の母分散、Ｂ中央値の中央値、刻印のエッジ画素の位置に関するヒストグラム、刻印のエッジ画素の勾配方向に関するヒストグラムなどとなっている。実際のデータベースでは図１３の値が全て１行で書かれているが、図１３では説明のため改行してある。錠剤の分類を行う際は、この平均値を用いて比較をする。

【0041】

６．錠剤の認識・識別の手順
次に、対象とする錠剤の認識、識別及び分類の手順について説明する（図３Ｂのフローチャートも参照）。まず、識別・分類等したい錠剤をスキャナで撮影する（例えば図１４参照）。このときのスキャンする錠剤は、種類、個数ともに制限はない。そして、各錠剤の特徴量を計算する。次に特徴量の比較を行う。特徴量の比較に際しては、まず、データベースに保存されている全ての錠剤の面積、直径、ＲＧＢ値と比較を行い、３つの特徴量全てが平均値±ｗ％以内に当てはまる錠剤を、候補（次に述べる特徴ベクトルに関してデータベースに記録した各錠剤と比較・照合する対象とする候補）として取り上げる。次に、候補に上がった錠剤の特徴ベクトルと比較を行う錠剤の特徴ベクトルとの内積を、次式３を用いて計算する。そして、内積値が最大の錠剤を識別・分類結果とする。

【0042】

【数3】

【0043】

７．実験手法
本発明者は、本実施形態の有効性を確認するために２通りのデータを用いた実験を行った。一つめ（データ１と記す）は、１１種類の錠剤を各１０個ずつ用いてデータベースを作成した後、データベース作成には未使用の錠剤計１０個（一種を除いた）からテストデータ（１枚）を作成し、実験を行った（図１５参照）。もう一つ（データ２と記す）は、同様に２１種（データ１の錠剤１０種に加え新たに１１種）各５錠でデータベースを作成し、テストデータを５枚作成し実験を行った（図１６参照）。

【0044】

本実験で用いたしきい値は、実験で用いた錠剤より、実験的に定めたものを使用した。錠剤領域の抽出を行うための二値化に用いたしきい値ｓは４５、入力画像に含まれる面積の小さい連結成分（ノイズ）除去に用いたしきい値は５００、勾配の大きさの二値化に用いたしきい値ｕは大きさの大きい方から上位２０％の画素、錠剤の輪郭除去に用いたしきい値ｖは７０、データベースとの比較の際に用いたしきい値ｗは５を用いた。また、エッジ画素の方向に関するヒストグラムの区間は３６０度を１０分割した区間、エッジ画素の位置に関するヒストグラムの分割数は１０分割とした。

【0045】

８．実験結果
データ１を用いた実験では、１０種類のうち９種類もの錠剤が正しく分類された。なお図１７に示す錠剤は、色特徴の比較の時に候補（前述した、特徴量の比較に際してデータベースに保存されている全ての錠剤の面積、直径及びＲＧＢ値と比較を行ったときに３つの特徴量全てが平均値±ｗ％以内に当てはまる錠剤として上げられる候補）から除外されてしまったため、分類されなかった。また、データ２を用いた実験結果を下表１に示す。

【0046】

【表1】

【0047】

図１７に示す錠剤については、５枚のテストデータでも、上記のデータ１と同様の理由で分類されなかった。また、図１８に示す錠剤は、２枚のテストデータで上記の色特徴による判定で除外されてしまい、分類されなかった。また、図１９（ａ）及び（ｃ）に示す錠剤も４枚のテストデータで逆に分類された。図２０（ａ）及び（ｂ）に示す錠剤も１枚のテストデータで逆に分類された。上記のように逆に分類されたのは、どちらも、特徴ベクトルの内積値が、正しい錠剤のほうが小さくなってしまったからであった。

【0048】

９．データ１を用いた実験結果からの考察
本実験で認識されなかった錠剤は１１種類の錠剤のうち一つだけ色が白色に近くない色（オレンジ色）であった（図１７参照）。残りの１０種類の錠剤は全て白色に近い色をしておりＲＧＢ値が全て高い値を示していた。そのため分類時の範囲を±５％にするとある程度の範囲が有効になる。しかし、オレンジ色の錠剤ではＲＧＢ値の中のＢ値のみが非常に小さい値を取っていたため±５％の範囲では狭すぎて、上記の候補から外れてしまったと考えられる。この結果、１つの錠剤のみ認識できなかったと推測される。

【0049】

なお、データ２を用いた実験に対して、データ１を用いた実験ではほぼ全ての錠剤が正しく分類された。これは錠剤の種類が少ないため、面積、直径、色が似ていて、さらに刻印の特徴も似ている錠剤が少なかったためであると考えられる。ここで図１９の（ａ）及び（ｂ）はデータ１にもデータ２にも含まれる錠剤で、同（ｃ）はデータ２のみ含まれる錠剤である。図１９の錠剤は全て面積、半径、色はほぼ同じである。図１９の（ａ）及び（ｂ）の錠剤のように面積、半径、色がほとんど同じ錠剤でも、刻印が同（ａ）では中央に線が入っており、同（ｂ）には入っていない。このような明確な刻印の違いがあるため方向ヒストグラムの計算により正しく分類されたと考えられる。

【0050】

１０．データ１を用いた実験結果からの考察
データ２の実験で正しく分類されなかった図１７、１８の錠剤は、前述のように、色に関する問題のために認識できなかったと考えられる。加えて、図１８の錠剤ではＰＴＰ包装されている状態から、取り出し、時間が経つと錠剤の色が変化してしまった。このため、テストデータ作成時に用いた錠剤の色と実験に用いた錠剤の色が大きく異なってしまったことも分類できなかった要因の１つと考えられる。また、テストデータの５種類中４種類において、図１９（ａ）及び（ｃ）の錠剤がどちらも逆に分類されていた。これは面積、半径、色が互いに酷似しており、刻印の特徴（特徴ベクトル）も互いに極めて似ているため（図２１（ａ）及び（ｂ）参照）、今回の実験では認識できなかったと推測される。また、図２０の２つの錠剤は、どちらもスキャン時に錠剤の刻印がぼやけてしまい刻印の特徴量を適切に抽出できなかったために誤分類されたと考えられる。

【0051】

１１．まとめ・今後の展望
以上説明したように、本実施形態においては、前記錠剤画像取得部２（図１参照）が識別等の対象とする錠剤の画像を取得し、前記刻印エッジ画素抽出部７（図１参照）が前記取得された錠剤画像に基づいて刻印エッジ画素を抽出し、（ａ）前記刻印エッジ画素勾配方向ヒストグラム取得部８（図１参照）が、前記抽出された刻印エッジ画素に基づいて、当該錠剤に表示された刻印のエッジ画素の勾配に関する情報、例えば当該刻印のエッジ画素の勾配の方向の頻度に関するヒストグラムに係る情報、より具体的には、当該刻印のエッジ画素の勾配の方向の頻度に関する、階級が角度区間で度数が前記各角度区間におけるエッジ画素の割合とするヒストグラムに係る情報を取得すると共に、（ｂ）前記刻印エッジ画素位置ヒストグラム取得部９（図１参照）が、当該錠剤における刻印のエッジ画素の位置に関する情報、例えば当該刻印のエッジ画素の錠剤上の位置に関するヒストグラムに係る情報、さらに例えば、当該刻印のエッジ画素の錠剤上の位置に関する、階級が当該錠剤の中心からの距離により複数に分割された領域で度数が前記各領域におけるエッジ画素の割合とするヒストグラムに係る情報を取得し、さらに、前記比較識別部５（図１参照）が、上記（ａ）及び（ｂ）に係る特徴ベクトル情報（図１の刻印特徴ベクトル取得部３参照）並びに前記錠剤色面積直径等特徴量取得部４が取得した各錠剤の特徴情報を、前記薬剤データベース１に予め記録された複数の錠剤の特徴情報と比較又は照合することにより、前記識別等の対象とされた錠剤を有効に認識、識別又は分類して出力する（図１の識別分類結果出力部６参照）ようにした。よって、本実施形態によれば、個々の錠剤（カプセル剤を含む）に表示された刻印のエッジ情報などに基づいて、調剤薬局や医療機関での実用化に耐え得る程度の高い識別率をもって、識別等の対象とされた錠剤の認識、識別又は分類を行うことができるようになった。

【0052】

以上のように、本実施形態は、残薬の再利用の効率化などに有用な、錠剤を対象とした画像処理技術に基づく認識、識別及び分類のためのシステム及び方法に係るものであり、錠剤の特徴（面積、直径、色、及び刻印の特徴ベクトルなど）を抽出することによって錠剤を認識、識別及び分類するものである。識別率は約８７％以上が得られたので、ある程度、調剤薬局や医療機関での実用化に耐えられる水準まで到達できた。本発明の範囲内で、データベースとの比較方法を改良したり、色特徴としてＲＧＢ値だけでなく他の色特徴を追加したり、大きさ、色、刻印だけでなく他の特徴を追加したりすることなどの工夫を追加することなどにより、識別率をより高めていくことは理論上容易に可能である。

【0053】

以上、本発明の実施形態について説明したが、本発明は前記の実施形態として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態においては、平面が正円形状の錠剤を対象として認識、識別及び分類を行う例を示したが、本発明はこれに限定されるものではなく、例えば平面が楕円形状の錠剤に対する認識、識別及び分類にも適用することができる（円形は楕円形などを含む概念である）ことはもちろんである。また、前記実施形態においては、表面に掘り込まれた刻印がある錠剤を対象として認識、識別及び分類を行う例を示したが、本発明はこれに限定されるものではなく、表面に印刷その他の様々な方法で表示された文字、数字、記号又は図形（本明細書ではこれらを「刻印」と呼んでいる）を有する錠剤（カプセル錠を含む）に対する認識、識別及び分類にも適用されることはもちろんである。

【符号の説明】

【0054】

１ 薬剤データベース
２ 錠剤画像取得部
３ 刻印特徴ベクトル取得部
４ 錠剤色面積直径等特徴量取得部
５ 比較識別部
６ 識別分類結果出力部
７ 刻印エッジ画素抽出部
８ 刻印エッジ画素勾配方向ヒストグラム取得部
９ 刻印エッジ画素位置ヒストグラム取得部

【要約】

【目的】個々の錠剤から得られる情報に基づいて、調剤薬局や医療機関での実用化に耐え得る程度の高い識別率をもって、個々の錠剤を認識、識別又は分類できる錠剤の認識、識別又は分類システム及び方法を提供する。
【構成】錠剤（カプセル剤を含む）の画像から当該錠剤に表示された刻印のエッジの画像又は画素を抽出し、この刻印のエッジの画像又は画素から、当該刻印のエッジ画素の勾配に関する情報及び／又は当該刻印のエッジ画素の位置に関する情報を取得し、これらを含む識別対象とされた錠剤に関する特徴情報と、予めデータベースに記録された複数の錠剤に関する特徴情報とを比較・照合することにより、前記認識又は識別の対象とされた錠剤を認識、識別又は分類するようにした錠剤識別システム及び方法である。
【選択図】 図３Ｂ

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】