(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-31
(45)【発行日】2024-02-08
(54)【発明の名称】刻印識別装置、刻印識別方法、及び薬剤識別装置
(51)【国際特許分類】
G06T 7/70 20170101AFI20240201BHJP
A61J 3/00 20060101ALI20240201BHJP
【FI】
G06T7/70 B
A61J3/00 310F
A61J3/00 310Z
(21)【出願番号】P 2022537948
(86)(22)【出願日】2021-07-14
(86)【国際出願番号】 JP2021026402
(87)【国際公開番号】W WO2022019185
(87)【国際公開日】2022-01-27
【審査請求日】2023-03-10
(31)【優先権主張番号】P 2020124381
(32)【優先日】2020-07-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】鶴井 弘則
(72)【発明者】
【氏名】東條 雄
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2015-232487(JP,A)
【文献】特開2015-68765(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/70
A61J 3/00
(57)【特許請求の範囲】
【請求項1】
複数の照明方向を切り替えて表面に刻印を有する撮影対象物に照明光を照射する光源と、
前記撮影対象物を撮影するカメラと、
前記照明光を反射する反射部材であって、前記複数の照明方向にそれぞれ対応する複数の反射領域が前記撮影対象物と共に前記カメラで撮影される画像領域内に入るように配置される反射部材と、
プロセッサに実行させるための命令を記憶する少なくとも一つのメモリと、
メモリに記憶された命令を実行する少なくとも一つのプロセッサと、
を備え、
前記プロセッサは、
前記カメラによって前記撮影対象物が撮影された複数の画像を取得し、
前記取得した複数の画像にそれぞれ含まれる前記反射領域の色味に基づいて各画像の撮影時の前記光源の前記照明方向を特定し、
前記取得した複数の画像とそれぞれ特定した前記照明方向とから前記刻印を抽出する刻印識別装置。
【請求項2】
前記カメラは、前記照明方向の切り替えとは非同期で前記撮影対象物を撮影する請求項1に記載の刻印識別装置。
【請求項3】
光透過性を有し、載置面に前記撮影対象物が載置されるステージを備え、
前記光源と前記カメラとは、前記ステージの前記載置面とは反対側に配置される請求項1又は2に記載の刻印識別装置。
【請求項4】
前記反射部材は、前記ステージに配置される請求項3に記載の刻印識別装置。
【請求項5】
前記光源は、前記複数の照明方向にそれぞれ対応する複数の光源を備え、
前記複数の光源は、いずれか1つが点灯することで照明方向を切り替える請求項1から4のいずれか1項に記載の刻印識別装置。
【請求項6】
前記複数の照明方向は、前記カメラの画像領域の平面視において、第1方向と、前記第1方向と対向する第2方向と、前記第1方向と直交する第3方向と、前記第3方向と対向する第4方向と、を含む請求項1から5のいずれか1項に記載の刻印識別装置。
【請求項7】
前記第1方向から前記照明光を照射する第1光源と、
前記第2方向から前記照明光を照射する第2光源と、
前記第3方向から前記照明光を照射する第3光源と、
前記第4方向から前記照明光を照射する第4光源と、
を備え、
前記第1光源、前記第2光源、前記第3光源、及び前記第4光源のうちのいずれか1つが点灯することで照明方向を切り替える請求項6に記載の刻印識別装置。
【請求項8】
前記第1光源、前記第2光源、前記第3光源、及び、前記第4光源との相対的距離において、前記第1光源に相対的に近い位置に配置される第1反射部材と、
前記第2光源に相対的に近い位置に配置される第2反射部材と、
前記第3光源に相対的に近い位置に配置される第3反射部材と、
前記第4光源に相対的に近い位置に配置される第4反射部材と、
を備え、
前記プロセッサは、
前記第1反射部材の色味が相対的に最も明るい場合に前記照明方向を前記第1方向に特定し、
前記第2反射部材の色味が相対的に最も明るい場合に前記照明方向を前記第2方向に特定し、
前記第3反射部材の色味が相対的に最も明るい場合に前記照明方向を前記第3方向に特定し、
前記第4反射部材の色味が相対的に最も明るい場合に前記照明方向を前記第4方向に特定する請求項7に記載の刻印識別装置。
【請求項9】
前記カメラは複数のフレーム画像からなる動画を一定のフレームレートで撮影し、
前記プロセッサは、
前記複数のフレーム画像からそれぞれ照明方向の異なる複数のフレーム画像を選択し、
前記選択したフレーム画像から前記刻印を抽出する請求項1から8のいずれか1項に記載の刻印識別装置。
【請求項10】
請求項1から9のいずれか1項に記載の刻印識別装置を備え、
前記撮影対象物は薬剤であり、
前記プロセッサは、前記抽出した刻印から前記薬剤を特定する薬剤識別装置。
【請求項11】
前記薬剤は、分包袋に収納されている請求項10に記載の薬剤識別装置。
【請求項12】
前記カメラは、携帯端末に搭載されている請求項10又は11に記載の薬剤識別装置。
【請求項13】
複数の照明方向を切り替えて表面に刻印を有する撮影対象物に照明光を照射し、前記撮影対象物と、前記照明光を反射する反射部材であって、前記複数の照明方向にそれぞれ対応する複数の反射領域が前記撮影対象物と共にカメラで撮影される画像領域内に入るように配置される反射部材とを前記カメラによって撮影する撮影工程と、
前記撮影対象物が撮影された複数の画像を取得する画像取得工程と、
前記取得した複数の画像にそれぞれ含まれる前記反射部材の色味に基づいて各画像の撮影時の前記照明方向を特定する照明方向特定工程と、
前記取得した複数の画像とそれぞれ特定した前記照明方向とから前記刻印を抽出する刻印抽出工程と、
を備える刻印識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は刻印識別装置、刻印識別方法、及び薬剤識別装置に係り、特に表面に刻印を有する撮影対象物の撮影画像から刻印を識別する技術に関する。
【背景技術】
【0002】
薬剤が撮影された画像から薬剤に付された刻印を抽出することで薬剤を識別する薬剤識別装置が知られている。刻印を抽出するためには、複数の照明方向からそれぞれ光を照射した複数の画像を解析することが行われる(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、撮影した画像から光源の照明方向を短時間で識別することは開示されていない。
【0005】
本発明はこのような事情に鑑みてなされたもので、画像撮影時の光源の照明方向を、撮影した画像から短時間で識別することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための刻印識別装置の一の態様は、複数の照明方向を切り替えて表面に刻印を有する撮影対象物に照明光を照射する光源と、撮影対象物を撮影するカメラと、照明光を反射する反射部材であって、複数の照明方向にそれぞれ対応する複数の反射領域が撮影対象物と共にカメラで撮影される画像領域内に入るように配置される反射部材と、プロセッサに実行させるための命令を記憶する少なくとも一つのメモリと、メモリに記憶された命令を実行する少なくとも一つのプロセッサと、を備え、プロセッサは、カメラによって撮影対象物が撮影された複数の画像を取得し、取得した複数の画像にそれぞれ含まれる反射領域の色味に基づいて各画像の撮影時の光源の照明方向を特定し、取得した複数の画像とそれぞれ特定した照明方向とから刻印を抽出する刻印識別装置である。
【0007】
本態様によれば、画像撮影時の光源の照明方向を、撮影した画像から短時間で識別することができる。
【0008】
カメラは、照明方向の切り替えとは非同期で撮影対象物を撮影することが汎用性やコストの観点で好ましい。照明方向の切り替えとは非同期で撮影対象物を撮影するカメラを使用する場合に本態様は好適である。
【0009】
光透過性を有し、載置面に撮影対象物が載置されるステージを備え、光源とカメラとは、ステージの載置面とは反対側に配置されることが好ましい。これにより、ステージの載置面とは反対側から撮影対象物に照明光を照射し、撮影することができる。
【0010】
反射部材は、ステージに配置されることが好ましい。これにより、反射部材を適切に配置することができる。
【0011】
光源は、複数の照明方向にそれぞれ対応する複数の光源を備え、複数の光源は、いずれか1つが点灯することで照明方向を切り替えることが好ましい。これにより、照明方向の切り替えを適切に行うことができる。
【0012】
複数の照明方向は、カメラの画像領域の平面視において、第1方向と、第1方向と対向する第2方向と、第1方向と直交する第3方向と、第3方向と対向する第4方向と、を含むことが好ましい。このような4方向から照明光を照射することで、撮影対象物の表面の刻印を適切に抽出することができる。
【0013】
第1方向から照明光を照射する第1光源と、第2方向から照明光を照射する第2光源と、第3方向から照明光を照射する第3光源と、第4方向から照明光を照射する第4光源と、を備え、第1光源、第2光源、第3光源、及び第4光源のうちのいずれか1つが点灯することで照明方向を切り替えることが好ましい。これにより、撮影対象物に照明光を適切に4方向から照射することができる。
【0014】
第1光源、第2光源、第3光源、及び、第4光源との相対的距離において、第1光源に相対的に近い位置に配置される第1反射部材と、第2光源に相対的に近い位置に配置される第2反射部材と、第3光源に相対的に近い位置に配置される第3反射部材と、第4光源に相対的に近い位置に配置される第4反射部材と、を備え、プロセッサは、第1反射部材の色味が相対的に最も明るい場合に照明方向を第1方向に特定し、第2反射部材の色味が相対的に最も明るい場合に照明方向を第2方向に特定し、第3反射部材の色味が相対的に最も明るい場合に照明方向を第3方向に特定し、第4反射部材の色味が相対的に最も明るい場合に照明方向を第4方向に特定することが好ましい。これにより、照明方向を適切に特定することができる。
【0015】
カメラは複数のフレーム画像からなる動画を一定のフレームレートで撮影し、プロセッサは、複数のフレーム画像からそれぞれ照明方向の異なる複数のフレーム画像を選択し、選択したフレーム画像から刻印を抽出することが好ましい。これにより、撮影時間を短縮することができる。
【0016】
上記目的を達成するための薬剤識別装置の一の態様は、上記に記載の刻印識別装置を備え、撮影対象物は薬剤であり、プロセッサは、抽出した刻印から薬剤を特定する薬剤識別装置である。
【0017】
本態様によれば、画像から光源の照明方向を識別して薬剤の刻印を抽出し、薬剤を特定することができる。
【0018】
薬剤は、分包袋に収納されていることが好ましい。本態様は、分包袋に収納された薬剤の識別に好適である。
【0019】
カメラは、携帯端末に搭載されていることが好ましい。本態様は、携帯端末に搭載されているカメラを使用する場合に好適である。
【0020】
上記目的を達成するための刻印識別方法の一の態様は、複数の照明方向を切り替えて表面に刻印を有する撮影対象物に照明光を照射し、撮影対象物と、照明光を反射する反射部材であって、複数の照明方向にそれぞれ対応する複数の反射領域が撮影対象物と共にカメラで撮影される画像領域内に入るように配置される反射部材とをカメラによって撮影する撮影工程と、撮影対象物が撮影された複数の画像を取得する画像取得工程と、取得した複数の画像にそれぞれ含まれる反射部材の色味に基づいて各画像の撮影時の照明方向を特定する照明方向特定工程と、取得した複数の画像とそれぞれ特定した照明方向とから刻印を識別する刻印抽出工程と、を備える刻印識別方法である。
【0021】
本態様によれば、画像撮影時の光源の照明方向を、撮影した画像から短時間で識別することができる。
【発明の効果】
【0022】
本発明によれば、画像撮影時の光源の照明方向を、撮影した画像から短時間で識別することができる。
【図面の簡単な説明】
【0023】
【
図1】
図1は、従来の薬剤識別装置の上面図である。
【
図3】
図3は、薬剤識別装置の内部構成を示すブロック図である。
【
図4】
図4は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図5】
図5は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図6】
図6は、光源と同期している撮影系の画像の取得を示す図である。
【
図7】
図7は、光源と同期していない撮影系の画像の取得を示す図である。
【
図11】
図11は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図12】
図12は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図13】
図13は、薬剤識別装置の画像の取得の時系列を示す図である。
【
図16】
図16は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図17】
図17は、カメラの画像領域と、画像領域に対する照明光の照射とを示す図である。
【
図19】
図19は、薬剤識別方法の処理を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0025】
〔従来の薬剤識別装置の構成〕
図1は、従来の薬剤識別装置10の上面図であり、
図2は、
図1の2-2断面図である。
図1及び
図2に示すように、薬剤識別装置10は、ステージ12と、光源Lと、カメラCとを備える。
【0026】
ステージ12は、XY平面(水平面)に平行な載置面12A及び裏面12Bを有する正方形の板状部材である。ステージ12は、光透過性を有する材料によって構成される。光透過性を有する材料は、例えばガラスである。ステージ12の載置面12Aには、撮影対象物である錠剤T(薬剤の一例)が載置される。錠剤Tのうち、載置面12Aに対向している面(-Z方向に向いている面)には、錠剤Tの識別情報が刻印により付されている。
【0027】
刻印によって付されたとは、錠剤Tの表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
【0028】
光源Lは、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4を含む。第1光源L1、第2光源L2、第3光源L3、及び第4光源L4は、それぞれLED(Light Emitting Diode)光源である。第1光源L1、第2光源L2、第3光源L3、及び第4光源L4は、不図示の支持部材により支持され、それぞれ+Z方向に対して傾斜した方向からステージ12に向かって可視光の照明光を照射する。
【0029】
第1光源L1は、ステージ12から-Z方向(載置面とは反対側の一例)に一定量離れた位置であって、ステージ12の中心から-X方向に一定量離れた位置に配置される。第1光源L1は、ステージ12に向けてXY平面視(画像領域の平面視の一例)において第1方向に照明光を照射する。
【0030】
第2光源L2は、ステージ12から-Z方向に一定量離れた位置であって、ステージ12の中心から+Y方向に一定量離れた位置に配置される。第2光源L2は、ステージ12に向けてXY平面視において第2方向に照明光を照射する。第2方向は、第1方向と直交する方向である。
【0031】
第3光源L3は、ステージ12から-Z方向に一定量離れた位置であって、ステージ12の中心から+X方向に一定量離れた位置に配置される。第3光源L3は、ステージ12に向けてXY平面視において第3方向に照明光を照射する。第3方向は、第1方向と対向する方向である。
【0032】
第4光源L4は、ステージ12から-Z方向に一定量離れた位置であって、ステージ12の中心から-Y方向に一定量離れた位置に配置される。第4光源L4は、ステージ12に向けてXY平面視において第4方向に照明光を照射する。第4方向は、第2方向と対向する方向である。
【0033】
カメラCは、撮影対象物のカラー画像を撮影する撮影装置である。カメラCは、不図示のレンズ及び撮像素子を備え、不図示の支持部材により支持される。カメラCは、ステージ12の中心から-Z方向(載置面とは反対側の一例)に一定量離れた位置に、光軸を+Z方向に向けて配置される。カメラCは、静止画を撮影してもよいし、一定のフレームレートの動画を撮影してもよい。
【0034】
図3は、薬剤識別装置10の内部構成を示すブロック図である。薬剤識別装置10は、光源Lと、カメラCと、PC(Personal Computer)14とを備える。
【0035】
PC14は、汎用のパーソナルコンピュータである。PC14は、プロセッサ16と、メモリ18とを備える。プロセッサ16は、メモリ18に記憶された命令を実行する。メモリ18は、少なくとも1つの記憶素子で構成されており、プロセッサ16に実行させるための命令を記憶する。
【0036】
プロセッサ16のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0037】
プロセッサ16は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。
【0038】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0039】
PC14は、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4のそれぞれの設定と、点灯(ON)及び消灯(OFF)とを制御する。
【0040】
PC14は、カメラCの設定と、撮影開始(ON)及び撮影停止(OFF)とを制御する。PC14は、カメラCが撮影した画像(動画)をカメラCから取得する。
【0041】
PC14は、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4と、カメラCとを制御して、錠剤Tへの光の照明方向がそれぞれ異なる錠剤Tの複数の画像を取得する。
【0042】
〔従来の薬剤識別装置の制御〕
図4と
図5とは、カメラCの画像領域(撮影画角)Aと、画像領域Aに対する照明光の照射とを示す図である。
【0043】
錠剤Tへの光の照明方向がそれぞれ異なる錠剤Tの複数の画像を取得するためには、まず第1光源L1、第2光源L2、第3光源L3、及び第4光源L4のうち、1つ目の光源のみを点灯させてカメラCからカメラ画像を取得する。
図4に示す例では、第1光源L1が点灯し、第2光源L2、第3光源L3、及び第4光源L4が消灯した状態の、カメラCの画像領域Aを示している。
【0044】
同様に、2つ目、3つ目、及び4つ目の光源のみを点灯させて、それぞれの点灯状態におけるカメラ画像を取得する。
図5に示す例では、第2光源L2が点灯し、第1光源L1、第3光源L3、及び第4光源L4が消灯した状態の、カメラCの画像領域Aを示している。
【0045】
このように、カメラCが光源Lの点灯を制御する同期がとれた撮影系であれば、特定の光源Lを点灯した後のカメラCが取得する画像を特定することができる。
【0046】
図6は、光源Lの点灯及び消灯と同期している撮影系の画像の取得を示す図である。
図6では、上から下へ向かう時間の流れに沿ったPC14による制御を処理ブロックで示している。
【0047】
プロセスP1では、PC14は、第2光源L2と、第3光源L3と、第4光源L4とが消灯した状態で第1光源L1を点灯させる。
【0048】
プロセスP2では、PC14は、第1光源L1の出力が安定するまでの一定時間だけ待機する。また、プロセスP3では、PC14は、カメラCによって画像F1を撮影させ、撮影させた画像F1を取得する。
【0049】
続いて、プロセスP4では、PC14は、第1光源L1を消灯させる。また、プロセスP5では、PC14は第2光源L2を点灯させる。以下同様に、カメラCによって画像を撮影させ、撮影させた画像を取得する。
【0050】
以上のような、光源Lの点灯及び消灯と撮影系との同期は、それらが一緒になっている装置でなければできない。すなわち、撮影の露光(イメージセンサが電荷を蓄積する期間)と光源Lの発光とが同期して、発光以外のタイミングでは画像が形成されない、光源Lが光ったタイミング以外ではカメラから画像が発生しないというシステムである必要がある。このように、特別なトリガーインターフェースの付いたカメラCと光源Lとでなければ同期せず、特別なトリガーインターフェースが装備されているものは、産業用などの高額品に限られる。これに対し、薬剤識別装置10は、非同期の構成であることより、特別な撮影システムではなく、より一般的な撮影系、照明系を組み合わせて使用することが可能となる。
【0051】
薬剤識別装置10のように、PC14を介してカメラCの制御及び光源Lの点灯制御をする撮影系の場合、PC14が光源Lの点灯制御を行った時点でカメラCから取得する画像は過去の画像である。このため、点灯制御を行った時点でカメラCが撮影した画像を特定することはできない。したがって、光源Lの点灯制御後に十分な時間を待ってカメラCから画像を取得して特定する必要があり、全体の撮影時間が長くなる。
【0052】
図7は、光源Lの点灯及び消灯が同期していない撮影系の画像の取得を示す図である。
図7は、上から下へ向かう時間の流れに沿ったPC14による制御を処理ブロックで示している。
【0053】
ここでは、カメラCはフレーム画像f*(*は自然数)から構成される動画像を撮影し、撮影したフレーム画像f*をPC14に順次転送する。
図7は、PC14による制御とともに、カメラCで撮影する動画のフレーム画像f*と、PC14が取得するフレーム画像*とを同じ時系列で示している。
【0054】
プロセスP11では、PC14は、カメラCの動画像の撮影を開始させる。カメラCは、フレーム画像f1、f2、f3、…を順次撮影する。カメラCが撮影したフレーム画像f1、f2、f3、…は、遅延時間を持ってPC14に入力される。
図7に示す例では、遅延時間は2フレーム画像分程度である。
【0055】
プロセスP12では、PC14は、第1光源L1を点灯させ、第2光源L2、第3光源L3、及び第4光源L4を消灯させる。ここでは、第1光源L1が点灯後にカメラCによって撮影された画像は、フレーム画像f8以降の画像である。
【0056】
プロセスP13では、PC14はカメラCから入力された複数のフレーム画像f*の中から第1光源L1によって照明光が照射されたフレーム画像を取得する。
【0057】
ここでは、PC14は、フレーム画像f11を取得する。前述のように、第1光源L1が点灯後にカメラCによって撮影された画像はフレーム画像f8以降の画像であるが、PC14はこれを認識することができない。したがって、PC14は、プロセスP12を実行してから第1光源L1の出力が安定するまでの一定時間を経過した後にプロセスP13を実行する。その結果、ここではPC14はフレーム画像f11を取得する。
【0058】
〔薬剤識別装置の構成〕
本実施形態に係る薬剤識別装置20について説明する。
図8は、薬剤識別装置20(刻印識別装置の一例)の上面図であり、
図9は、
図8の9-9断面図である。
図8及び
図9に示すように、薬剤識別装置20は、ステージ12と、光源Lと、カメラCと、反射板Rとを備える。
【0059】
ステージ12の構成は、薬剤識別装置10と同様である。ステージ12の載置面12Aには、錠剤Tが載置される。錠剤Tは、透明又は半透明の分包紙に包まれた状態(分包袋に収納されている状態)でステージ12の載置面12Aに載置されてもよい。
【0060】
光源Lは、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4を含む。第1光源L1、第2光源L2、第3光源L3、及び第4光源L4の構成及び配置は、薬剤識別装置10と同様である。第1光源L1、第2光源L2、第3光源L3、及び第4光源L4の制御は、PC14によって行われる。光源Lは、PC14の制御に依らずに、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4のうちのいずれか1つが点灯し、その他の3つが消灯する動作を順に繰り返してもよい。第1光源L1、第2光源L2、第3光源L3、及び第4光源L4の点灯時の輝度は、それぞれ同一である。
【0061】
反射板Rは、光源Lとステージ12との間に設けられる。反射板Rは、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4を含む。第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4は、それぞれ矩形の板状部材(反射部材の一例)である。ここでは、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4は、それぞれ反射面(反射領域の一例)を-Z方向に向けた状態で、ステージ12の裏面12Bに設けられる。このように、反射板Rを可能な限りステージ12に近づけることで、反射板Rによるステージ12(載置面12A)への影の発生を抑制することができる。
【0062】
なお、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4の反射面の色味は、それぞれ白及び黒の中間色であるグレーであることが好ましい。
【0063】
第1反射板R1(第1反射部材の一例)は、ステージ12の中心から-X方向に一定量離れた位置に配置される。すなわち、第1反射板R1は、第1光源L1に対して、第2反射板R2、第3反射板R3、及び第4反射板R4よりも相対的に近い位置に配置される。
【0064】
第2反射板R2(第2反射部材の一例)は、ステージ12の中心から+Y方向に一定量離れた位置に配置される。すなわち、第2反射板R2は、第2光源L2に対して、第1反射板R1、第3反射板R3、及び第4反射板R4よりも相対的に近い位置に配置される。
【0065】
第3反射板R3(第3反射部材の一例)は、ステージ12の中心から+X方向に一定量離れた位置に配置される。すなわち、第3反射板R3は、第3光源L3に対して、第1反射板R1、第2反射板R2、及び第4反射板R4よりも相対的に近い位置に配置される。
【0066】
第4反射板R4(第4反射部材の一例)は、ステージ12の中心から-Y方向に一定量離れた位置に配置される。すなわち、第4反射板R4は、第4光源L4に対して、第1反射板R1、第2反射板R2、及び第3反射板R3よりも相対的に近い位置に配置される。
【0067】
このように、第1光源L1、第2光源L2、第3光源L3、及び、第4光源L4との相対的距離において、第1反射板R1は第1光源L1に相対的に近い位置に配置され、第2反射板R2は第2光源に相対的に近い位置に配置され、第3反射板R3は第3光源L3に相対的に近い位置に配置され、第4反射板R4は第4光源L4に相対的に近い位置に配置される。
【0068】
カメラCは、電子シャッタ機能を有しており、シャッタ速度(電荷蓄積時間)が調整可能である。カメラCの電子シャッタのシャッタ方式は、ローリングシャッタ方式である。ローリングシャッタ方式では、不図示の撮像素子は、順次読み出し方式により信号読み出しが実行される。順次読み出し方式では、全画素について、先頭画素行から最終画素行まで、1画素行ずつ順に信号読み出しが行われる。
【0069】
図10は、カメラCの画像領域Aを示す図である。
図10に示すように、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4のそれぞれの反射面は、カメラCの画像領域Aに含まれる位置に配置される。すなわち、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4のそれぞれの反射面は、錠剤Tと共にカメラCで撮影される画像領域内に入るように配置される。
【0070】
なお、画像領域Aに対し、識別領域Bが設定される。識別領域Bは、錠剤Tの識別を実施可能な領域である。識別領域Bは、カメラCの画像領域A内にあり、さらに、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4よりも内側をその領域としている。識別領域Bは、画像領域Aから第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4領域を除いた領域であってもよい。
【0071】
薬剤識別装置20の内部構成は、
図3のブロック図に示した薬剤識別装置10の内部構成と同様である。すなわち、薬剤識別装置20は、光源Lの点灯及び消灯とカメラCによる撮影とが非同期で行われる。なお、PC14(
図3参照)は、スマートフォン端末、又はタブレット端末等の携帯端末であってもよい。カメラCは携帯端末に搭載されていてもよい。PC14に代えて、専用のハードウェアを用いてもよい。
【0072】
〔薬剤識別装置の作用〕
薬剤識別装置20は、取得した画像から光源Lの照明方向を特定する。
図11及び
図12は、カメラCの画像領域Aと、画像領域Aに対する照明光の照射とを示す図である。
【0073】
図11は、第1光源L1が点灯し、第2光源L2、第3光源L3、及び第4光源L4が消灯した状態を示している。第1光源L1からの照明光により、第1光源L1に最も近い位置に配置された第1反射板R1の色味が相対的に最も明るく、第1光源L1に最も遠い位置に配置された第3反射板R3の色味が相対的に最も暗い。第2反射板R2及び第4反射板R4の色味は、第1反射板R1の明るさと第3反射板R3の明るさとの間の明るさである。
【0074】
また、
図12は、第2光源L2が点灯し、第1光源L1、第3光源L3、及び第4光源L4が消灯した状態を示している。第2光源L2からの照明光により、第2光源L2に最も近い位置に配置された第2反射板R2の色味が相対的に最も明るく、第2光源L2に最も遠い位置に配置された第4反射板R4の色味が相対的に最も暗い。第1反射板R1及び第3反射板R3の色味は、第2反射板R2の明るさと第4反射板R4の明るさとの間の明るさである。
【0075】
このように、撮影したフレーム画像f*に写った第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4のそれぞれの色味をPC14において解析することで、フレーム画像f*の撮影時の光源Lの照明方向を特定する。すなわち、PC14は、フレーム画像f*から、フレーム画像f*を撮影した際に第1光源L1、第2光源L2、第3光源L3、及び第4光源L4のうちいずれの光源が点灯していたかを判定することができる。
【0076】
ここでは、第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4の反射面の色味をグレーとしたため、照明方向を適切に特定することができる。反射面の色味が白である場合は、反射率が高く、意図した光源のみでなく他の光源が点灯した際にも、反射板の階調が上限に到達し、照明方向を特定することが困難となる。逆に反射面の色味が黒である場合は、光源からの光を反射しにくいため、光源を強く点灯させる必要があり、本態様の撮影に必要な照明強度では照明方向の特定は困難となる。
【0077】
また、ここでは、ステージ12の載置面12Aに撮影対象物として単独の錠剤Tを載置し、錠剤Tを撮影する場合について説明しているが、撮影対象物は分包紙に入った薬剤でもよいし、PTP(Press Through Package)シートに入った薬剤でもよい。
【0078】
〔薬剤識別装置の制御〕
図13は、薬剤識別装置20の画像の取得の時系列を示す図である。
図13は、上から下へ向かう時間の流れに沿ったPC14による制御を処理ブロックで示している。また、
図13は、PC14による制御とともに、カメラCで撮影する動画のフレーム画像f*と、PC14が取得するフレーム画像*とを同じ時系列で示している。
【0079】
プロセスP21では、PC14は、カメラCの動画の撮影を開始させる。カメラCは、フレーム画像f1、f2、f3、…を順次撮影する。カメラCが撮影したフレーム画像f1、f2、f3、…は、遅延時間を持ってPC14に順次入力される。
図13に示す例では、遅延時間は6フレーム画像分程度である。
【0080】
プロセスP22では、PC14は、第1光源L1を点灯させ、第2光源L2、第3光源L3、及び第4光源L4を消灯させる。ここでは、第1光源L1が点灯後にカメラCによって撮影された画像は、フレーム画像f3以降の画像である。
【0081】
プロセスP23では、PC14は、第1光源L1の出力が安定するまでの一定時間だけ待機する。この間も、カメラCからPC14には、撮影したフレーム画像f*が入力される。ここでは、一定時間経過後にカメラCによって撮影された画像は、フレーム画像f10以降の画像である。
【0082】
PC14は、入力されたフレーム画像f*の第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4の色味を解析し、各フレーム画像f*を撮影した際の照明方向を特定する。ここでは、フレーム画像f4以降の画像について解析している。
【0083】
プロセスP24では、PC14は、第1光源L1を消灯させ、第2光源L2を点灯させる。ここでは、第2光源L2が点灯後にカメラCによって撮影された画像は、フレーム画像f11以降の画像である。
【0084】
プロセスP25では、PC14は、第2光源L2の出力が安定するまでの一定時間だけ待機する。この間も、カメラCからPC14には撮影したフレーム画像f*が入力される。ここでは、一定時間経過後にカメラCによって撮影された画像は、フレーム画像f17以降の画像である。PC14は、各フレーム画像f*を撮影した際の照明方向を特定する。
【0085】
プロセスP26では、PC14は、第2光源L2を消灯させ、第3光源L3を点灯させる。ここでは、第3光源L3が点灯後にカメラCによって撮影された画像は、フレーム画像f19以降の画像である。
【0086】
プロセスP27では、PC14は、第3光源L3の出力が安定するまでの一定時間だけ待機する。この間も、カメラCからPC14には撮影したフレーム画像f*が入力される。ここでは、一定時間経過後にカメラCによって撮影された画像は、フレーム画像f25以降の画像である。PC14は、各フレーム画像f*を撮影した際の照明方向を特定する。
【0087】
プロセスP28では、PC14は、第3光源L3を消灯させ、第4光源L4を点灯させる。ここでは、第4光源L4が点灯後にカメラCによって撮影された画像は、フレーム画像f26以降の画像である。
【0088】
プロセスP29では、PC14は、第4光源L4の出力が安定するまでの一定時間だけ待機する。この間も、カメラCからPC14には撮影したフレーム画像f*が入力される。ここでは、一定時間経過後にカメラCによって撮影された画像は、フレーム画像f32以降の画像である。PC14は、各フレーム画像f*を撮影した際の照明方向を特定する。ここでは、フレーム画像f34までの画像について解析している。
【0089】
プロセスP30では、PC14は、第4光源L4を消灯させる。
【0090】
プロセスP31では、PC14は、第1光源L1から照明光を照射した画像、すなわち照明方向が第1方向の画像を選択して取得する。ここでは、一例として、PC14はフレーム画像f11を取得する。
【0091】
プロセスP32では、PC14は、第2光源L2から照明光を照射した画像、すなわち照明方向が第2方向の画像を選択して取得する。ここでは、一例として、PC14はフレーム画像f18を取得する。
【0092】
プロセスP33では、PC14は、第3光源L3から照明光を照射した画像、すなわち照明方向が第3方向の画像を選択して取得する。ここでは、一例として、PC14はフレーム画像f26を取得する。
【0093】
プロセスP34では、PC14は、第4光源L4から照明光を照射した画像、すなわち照明方向が第4方向の画像を選択して取得する。ここでは、一例として、PC14はフレーム画像f33を取得する。
【0094】
以上のように、入力されたフレーム画像f*の第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4の色味を解析することで、各フレーム画像f*を撮影した際の光源Lの照明方向を特定することができる。
【0095】
また、各フレーム画像f*から照明方向を特定することができるので、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4の点灯切り替えを先行で行い、点灯制御とは別に画像識別することで、撮影時間を短縮することができる。
【0096】
ここでは、第1光源L1、第2光源L3、第3光源L3、及び第4光源L4を点灯後、出力が安定するまで待ち時間を有しているが、この安定待ち時間は、点灯応答(照度安定)待ち時間と画像識別後に確定するまでのフレーム数分の時間が必要となる。LED照明であれば点灯応答時間は百ナノ秒オーダーであるため無視できる。また、画像識別後に2フレーム後の画像を取得するとした場合には、安定待ち時間としてカメラCのフレームレート4画像分以上の時間を設定するとよい。カメラCのフレームレートが30fps(Frames per Second)であれば、1フレームあたり33ミリ秒なので4フレームで133ミリ秒となるため、150ミリ秒程度を設定する。
【0097】
〔薬剤識別装置の変形例〕
点灯している光源を特定するための反射板は、4つの照明方向に対応させて4つ配置する態様に限定されない。
【0098】
図14は、薬剤識別装置30(刻印識別装置の一例)の上面図であり、
図15は、
図14の15-15断面図である。なお、薬剤識別装置20と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0099】
図14及び
図15に示すように、薬剤識別装置30は、第1反射板R11と、第2反射板R12とを備える。
【0100】
第1反射板R11及び第2反射板R12は、それぞれステージ12の一辺に対応する長さを有する矩形の板状部材である。第1反射板R11及び第2反射板R12は、それぞれ-Z方向に反射面を向けて、ステージ12の裏面12Bに設けられる。
【0101】
第1反射板R11は、一端に第1領域R11Aを有し、他端に第2領域R11Bを有する。第1反射板R11は、ステージ12の中心から-X方向に一定量離れた位置に、ステージ12の一辺に沿って配置される。すなわち、第1反射板R11は、第1光源L1に対して第2反射板R12よりも相対的に近い位置に配置される。
【0102】
また、第1領域R11Aは、第2光源L2に対して第2領域R11Bよりも相対的に近い位置に配置される。一方、第2領域R11Bは、第4光源L4に対して第1領域R11Aよりも相対的に近い位置に配置される。
【0103】
第2反射板R12は、一端に第1領域R12Aを有し、他端に第2領域R12Bを有する。第2反射板R12は、ステージ12の中心から+X方向に一定量離れた位置に、ステージ12の一辺に沿って配置される。すなわち、第2反射板R12は、第2光源L2に対して第1反射板R11よりも相対的に近い位置に配置される。
【0104】
また、第1領域R12Aは、第2光源L2に対して第2領域R12Bよりも相対的に近い位置に配置される。一方、第2領域R12Bは、第4光源L4に対して第1領域R12Aよりも相対的に近い位置に配置される。
【0105】
図16と
図17とは、カメラCの画像領域Aと、画像領域Aに対する照明光の照射とを示す図である。
【0106】
図16は、第1光源L1が点灯し、第2光源L2、第3光源L3、及び第4光源L4が消灯した状態を示している。第1光源L1からの照明光により、第1反射板R11の第1領域R11A及び第2領域R11Bの色味は相対的に明るく、第2反射板R12の第1領域R12A及び第2領域R12Bの色味は相対的に暗い。
【0107】
また、
図17は、第2光源L2が点灯し、第1光源L1、第3光源L3、及び第4光源L4が消灯した状態を示している。第2光源L2からの照明光により、第1反射板R11は、第2光源L2に近い第1領域R11Aの色味が相対的に明るく、第4光源L4に近い第2領域R11Bの色味が相対的に暗い。また、第2光源L2からの照明光により、第2反射板R12は、第2光源L2に近い第1領域R12Aの色味が相対的に明るく、第4光源L4に近い第2領域R12Bの色味が相対的に暗い。
【0108】
このように、撮影したフレーム画像f*に写った第1反射板R11、及び第2反射板R12の各領域のそれぞれの色味をPC14において解析することで、点灯している光源方向を識別することができる。したがって、反射板は、複数の照明方向にそれぞれ対応する複数の反射領域を有していればよい。
【0109】
また、第1反射板R11及び第2反射板R12は、ステージ12の載置面12Aに設けられてもよい。
図18は、薬剤識別装置40の断面図である。
【0110】
図18に示すように、薬剤識別装置40は外装フレームFLを備えている。外装フレームFLは、ステージ12を水平に支持する。第1反射板R11及び第2反射板R12は、シート状の樹脂で構成される。第1反射板R11及び第2反射板R12の形状は、薬剤識別装置30と同様である。
【0111】
外装フレームFLのステージ12と接する面には、第1反射板R11及び第2反射板R12が挿入される掘り込みが設けられる。第1反射板R11及び第2反射板R12は、反射面をステージ12の載置面12Aに向けて外装フレームFLの掘り込みに挿入され、ステージ12との間に挟み込まれる。
【0112】
このように構成することで、第1反射板R11及び第2反射板R12の反射面を-Z方向に向けることが可能となる。
【0113】
〔薬剤識別方法〕
本実施形態に係る薬剤識別方法について説明する。
図19は、薬剤識別方法の処理を示すフローチャートである。
【0114】
ここでは、ステージ12の載置面12Aに、刻印を-Z方向に向けて錠剤Tが載置されているものとする。また、錠剤Tには、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4による照明光以外の光は照射されない環境であることが好ましい。
【0115】
ステップS1では、プロセッサ16は、第1光源L1、第2光源L2、第3光源L3、及び第4光源L4を制御し、順に1つのみ点灯させることで、複数の照明方向を切り替えて錠剤Tに照明光を照射させる。
【0116】
ステップS2(撮影工程の一例)では、プロセッサ16は、照明方向の切り替えとは非同期で、カメラCによって第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4を含めてステージ12に載置された錠剤Tを撮影させる。ここでは、カメラCは、動画を撮影する。
【0117】
ステップS3(画像取得工程の一例)では、プロセッサ16は、カメラCが撮影した動画の各フレーム画像をカメラCから取得する。
【0118】
ステップS4(照明方向特定工程の一例)では、プロセッサ16は、ステップS2において撮影した複数の画像にそれぞれ含まれる第1反射板R1、第2反射板R2、第3反射板R3、及び第4反射板R4の色味に基づいて各画像の光源Lによる照明方向を特定する。
【0119】
ステップS5(刻印抽出工程の一例)では、プロセッサ16は、ステップS2において取得した複数の画像とステップS3においてそれぞれ特定した複数の画像の照明方向とから、錠剤Tの刻印を抽出する。錠剤Tの刻印の抽出処理は、各画像の識別領域Bについて行われる。
【0120】
例えば、プロセッサ16は、照明方向と刻印の影が発生する方向との関係を利用して、照明方向に応じたエッジ抽出フィルタ処理を行って画像領域Aのうち識別領域Bから錠剤Tの溝部分のみを抽出する。また、プロセッサ16は、抽出した溝部分の形状から刻印の識別情報を識別する。
【0121】
ステップS6では、プロセッサ16は、ステップS5において識別した錠剤Tの識別情報から、錠剤Tの種類を識別する。プロセッサ16は、刻印マスタ画像とのテンプレートマッチング、又は学習済み機械学習モデルによって錠剤Tの種類を識別してもよい。プロセッサ16は、PC14に設けられた不図示の通信手段により薬剤データベースにアクセスして錠剤Tの種類を識別してもよい。プロセッサ16は、錠剤Tの画像から、錠剤Tの形状、大きさ、及び色を特定し、特定した形状、大きさ、及び色情報を錠剤Tの種類の識別に使用してもよい。
【0122】
薬剤識別方法のステップS1~ステップS5の処理は、刻印識別方法に相当する。刻印識別方法によれば、薬剤(錠剤)以外の刻印を識別することも可能である。
【0123】
〔その他〕
ここでは、4方向の光源方向の画像を取得するために4つの光源を使用した例を説明したが、単一の光源を移動させて4方向の光源方向から照明光を照射してもよいし、単一の光源に対してステージ12を回転させることで4方向の光源方向から照明光を照射してもよい。このような照明方法であっても、反射板の色味を解析することで光源方向を識別することができる。
【0124】
また、ここでは画像に写った反射板の色味を解析する例を説明したが、光源方向を識別することができればよく、例えば画像に写った反射板の濃度を解析してもよい。
【0125】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【0126】
10…薬剤識別装置
12…ステージ
12A…載置面
12B…裏面
14…PC(Personal Computer)
16…プロセッサ
18…メモリ
20…薬剤識別装置
30…薬剤識別装置
40…薬剤識別装置
A…画像領域
B…識別領域
C…カメラ
FL…外装フレーム
F1…画像
f*…フレーム画像
L…光源
L1…第1光源
L2…第2光源
L3…第3光源
L4…第4光源
P1~P5…画像取得の各プロセス
P11~P13…画像取得の各プロセス
P21~P34…画像取得の各プロセス
R1…第1反射板
R2…第2反射板
R3…第3反射板
R4…第4反射板
R11…第1反射板
R11A…第1領域
R11B…第2領域
R12…第2反射板
R12A…第1領域
R12B…第2領域
S1~S5…薬剤識別方法の各ステップ
T…錠剤