(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-04
(45)【発行日】2022-11-14
(54)【発明の名称】学習データ作成装置及び方法、並びに機械学習装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221107BHJP
G06N 20/00 20190101ALI20221107BHJP
G03B 15/00 20210101ALI20221107BHJP
G03B 15/02 20210101ALI20221107BHJP
【FI】
G06T7/00 350B
G06N20/00 130
G03B15/00 H
G03B15/00 U
G03B15/02 G
(21)【出願番号】P 2019154362
(22)【出願日】2019-08-27
【審査請求日】2021-07-21
(73)【特許権者】
【識別番号】000149837
【氏名又は名称】富士フイルム富山化学株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】狩野 喬俊
【審査官】真木 健彦
(56)【参考文献】
【文献】特開2019-121252(JP,A)
【文献】特開2015-068765(JP,A)
【文献】特開2015-232477(JP,A)
【文献】特開2015-215330(JP,A)
【文献】国際公開第2019/044439(WO,A1)
【文献】国際公開第2018/048507(WO,A1)
【文献】特開2020-162802(JP,A)
【文献】特開2018-027242(JP,A)
【文献】本田 崇幸 他,近赤外フラッシュを伴うRGB/NIR単板撮像による低照度カラー画像の超解像,情報処理学会 研究報告 オーディオビジュアル複合情報処理(AVM) 2018-AVM-103 [online],日本,情報処理学会,2018年11月22日,CS2018-83, IE2018-62 (2018-11)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G01N 21/00
G01B 11/00
A61B 5/00
A61B 6/00
G06N 20/00
G03B 15/00
G03B 15/02
(57)【特許請求の範囲】
【請求項1】
刻印又は印字が付加された薬剤を第1撮影方法で撮影して第1画像を取得する第1画像取得部と、
前記
薬剤を前記第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得する第2画像取得部と、
前記第1画像と前記第2画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備え、
前記第2画像取得部は、前記第2撮影方法で撮影された複数の画像であって、前記薬剤への照明の入射方向が異なる複数の画像から、前記薬剤に付加された刻印又は印字が強調された前記第2画像を生成する画像処理部を含み、
前記記憶制御部は、前記第1画像を前記学習器の入力データとし、前記第2画像を前記学習器の正解データとして前記記憶部に記憶させる、
学習データ作成装置。
【請求項2】
前記画像処理部は、前記複数の画像から前記
薬剤に付加された刻印又は印字が強調された複数のエッジ画像を生成し、前記生成した前記複数のエッジ画像を合成した合成画像を前記第2画像として生成する、請求項
1に記載の学習データ作成装置。
【請求項3】
前記画像処理部は、前記複数の画像を入力画像とし、前記
薬剤に付加された刻印又は印字が強調された画像を認識結果として出力する学習済み認識器を含み、前記複数の画像を前記認識器に入力し、前記認識器の認識結果を前記第2画像として生成する、請求項
1に記載の学習データ作成装置。
【請求項4】
前記第1撮影方法と前記第2撮影方法とは、前記
薬剤に対する照明方法が異なる請求項
1に記載の学習データ作成装置。
【請求項5】
前記第1撮影方法の照明方法は、前記
薬剤に対して全方向から光を入射させ、
前記第2撮影方法の照明方法は、前記
薬剤に対する入射方向が異なる複数の光を順次入射させる請求項
4に記載の学習データ作成装置。
【請求項6】
前記第1画像取得部及び前記第2画像取得部は、前記
薬剤の周囲の配置された複数の照明光源と、前記複数の照明光源の点灯を制御する照明制御部とを含み、
前記照明制御部は、前記第1撮影方法の照明方法として前記複数の照明光源を同時に点灯させ、前記第2撮影方法の照明方法として前記複数の照明光源を順次点灯させる請求項
5に記載の学習データ作成装置。
【請求項7】
前記複数の照明光源は、前記
薬剤の前方、後方、右方及び左方のうち少なくとも2箇所に配置されたものである請求項
6に記載の学習データ作成装置。
【請求項8】
前記第1画像取得部及び前記第2画像取得部は、前記
薬剤を撮影するカメラ部と、前記カメラ部を制御するカメラ制御部と、画像処理部とを含み、
前記カメラ制御部は、前記第1撮影方法の照明方法により前記
薬剤が照明されると、前記カメラ部により前記
薬剤を撮影させ、前記第2撮影方法の照明方法により前記
薬剤が順次照明されると、前記順次照明される毎に前記
薬剤を撮影させ、
前記画像処理部は、前記順次照明される毎に前記カメラ部により撮影された複数の画像を画像処理して前記第2画像を生成する請求項
5から
7のいずれか1項に記載の学習データ作成装置。
【請求項9】
前記第1画像取得部及び前記第2画像取得部は、前記
薬剤の周囲の配置された複数の照明光源であって、それぞれ波長帯域が異なる複数の光を前記
薬剤に照射する複数の照明光源と、前記波長帯域が異なる複数の光にそれぞれ感度を有する複数種類の画素を備えたカメラ部とを含み、
前記
第1画像取得部は、前記複数の照明光源により照明された前記
薬剤を前記カメラ部により撮影して前記第1画像を取得し、
前記
第2画像取得部は、前記複数の照明光源により照明された前記
薬剤を前記カメラ部により撮影し、前記複数種類の画素に対応して複数の画像を取得
する、
請求項
1に記載の学習データ作成装置。
【請求項10】
刻印が付加された薬剤を第1撮影方法で撮影して第1画像を取得する第1画像取得部と、
前記
薬剤を前記第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得する第2画像取得部と、
前記第1画像と前記第2画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備え、
前記第2画像取得部は、前記
薬剤の3次元情報を取得する3次元情報取得部と、画像処理部とを含み、
前記画像処理部は、前記3次元情報取得部により取得された前記
薬剤の3次元情報に基づいて前記
薬剤の刻印を抽出し、前記
薬剤の刻印を強調した前記第2画像を生成
し、
前記記憶制御部は、前記第1画像を前記学習器の入力データとし、前記第2画像を前記学習器の正解データとして前記記憶部に記憶させる、
学習データ作成装置。
【請求項11】
学習器と、
請求項1から
10のいずれか1項に記載の学習データ作成装置の前記記憶部に記憶された学習データを使用し、前記組を構成する第1画像を前記学習器を機械学習させる場合の入力画像とし、前記組を構成する第2画像を正解データとして前記学習器を機械学習させる学習制御部と、
を備えた機械学習装置。
【請求項12】
第1画像取得部が、
刻印又は印字が付加された薬剤を第1撮影方法で撮影して第1画像を取得するステップと、
第2画像取得部が、前記
薬剤を前記第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得するステップと、
記憶制御部が、前記第1画像と前記第2画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させるステップと、を含み、
前記第2画像を取得するステップは、前記第2撮影方法で撮影された複数の画像であって、前記薬剤への照明の入射方向が異なる複数の画像から、前記薬剤に付加された刻印又は印字が強調された前記第2画像を生成し、
前記記憶部に記憶させるステップは、前記第1画像を前記学習器の入力データとし、前記第2画像を前記学習器の正解データとして前記記憶部に記憶させる、
学習データ作成方法。
【請求項13】
学習制御部が、請求項
12に記載の学習データ作成方法により作成され、前記記憶部に記憶された学習データを使用し、前記組を構成する第1画像を学習器を機械学習させる場合の入力画像とし、前記組を構成する第2画像を正解データとして学習器を機械学習させるステップを含む機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は学習データ作成装置及び方法、並びに機械学習装置及び方法に係り、特に学習器を機械学習させる学習データを効率よく作成する技術に関する。
【背景技術】
【0002】
従来、学習データを作成する画像出力装置として、特許文献1に記載のものがある。
【0003】
特許文献1に記載の画像出力装置は、対象物を第1の方向から撮影した第1の画像と、対象物を第2の方向から撮影した第2の画像とを取得し、これらの第1の画像と第2の画像とを所定の位置関係で一の画像内に含む合成画像を生成する。
【0004】
特許文献1に記載の画像出力装置は、上記のようにして生成した合成画像を、機械学習可能な又は学習結果として得られた学習器の入力データとすることで、対象物を複数方向から撮影した画像の情報を用いた機械学習を可能にし、又は対象物の評価結果を得ることができるようにしている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に画像出力装置は、学習器への入力データとして合成画像を作成するものの、「教師あり学習」させる場合の「学習に使われる出力の正解データ」を作成するものではない。
【0007】
「教師あり学習」を行う場合、「学習に使用される入力データ」と「学習に使われる出力の正解データ」との組からなる学習データを準備する必要があるが、特許文献1には、正解データの作成方法については記載されていない。一般に学習データの作成に際し、正解データの作成に時間と労力がかかるが、特許文献1に記載の発明はこのような課題を解決していない。
【0008】
本発明はこのような事情に鑑みてなされたもので、学習器を「教師あり学習」させる学習データを効率よく作成し、学習器を機械学習させることができる学習データ作成装置及び方法、並びに機械学習装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために本発明の一の態様に係る学習データ作成装置は、被写体を第1撮影方法で撮影して第1画像を取得する第1画像取得部と、被写体を第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得する第2画像取得部と、第1画像と第2画像とを組とし、組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備える。
【0010】
本発明の一の態様によれば、例えば、第1画像取得部に取得した第1画像を学習器への入力データとし、第2画像取得部に取得した第2画像を学習器に対する正解データとすることができる。これにより、第1画像と第2画像の組を効率よく作成することができる。
【0011】
本発明の他の態様に係る学習データ作成装置において、第2画像取得部は、第2撮影方法で撮影された画像を画像処理して第2画像を生成する画像処理部を含み、記憶制御部は、第1画像を学習器の入力データとし、第2画像を学習器の正解データとして記憶部に記憶させることが好ましい。
【0012】
本発明の更に他の態様に係る学習データ作成装置において、第2撮影方法で撮影された画像は、被写体への照明の入射方向が異なる複数の画像であり、画像処理部は、複数の画像から被写体に付加された刻印又は印字が強調された第2画像を生成することが好ましい
本発明の更に他の態様に係る学習データ作成装置において、画像処理部は、複数の画像から被写体に付加された刻印又は印字が強調された複数のエッジ画像を生成し、生成した複数のエッジ画像を合成した合成画像を第2画像として生成することが好ましい。
【0013】
本発明の更に他の態様に係る学習データ作成装置において、画像処理部は、複数の画像を入力画像とし、被写体に付加された刻印又は印字が強調された画像を認識結果として出力する学習済み認識器を含み、複数の画像を認識器に入力し、認識器の認識結果を第2画像として生成することが好ましい。
【0014】
本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印又は印字が付加された薬剤であることが好ましい。
【0015】
本発明の更に他の態様に係る学習データ作成装置において、第1撮影方法と第2撮影方法とは、被写体に対する照明方法が異なることが好ましい。
【0016】
本発明の更に他の態様に係る学習データ作成装置において、第1撮影方法の照明方法は、被写体に対して全方向から光を入射させ、第2撮影方法の照明方法は、被写体に対する入射方向が異なる複数の光を順次入射させることが好ましい。
【0017】
本発明の更に他の態様に係る学習データ作成装置において、第1画像取得部及び第2画像取得部は、被写体の周囲の配置された複数の照明光源と、複数の照明光源の点灯を制御する照明制御部とを含み、照明制御部は、第1撮影方法の照明方法として複数の照明光源を同時に点灯させ、第2撮影方法の照明方法として複数の照明光源を順次点灯させることが好ましい。
【0018】
本発明の更に他の態様に係る学習データ作成装置において、複数の照明光源は、被写体の前方、後方、右方及び左方のうち少なくとも2箇所に配置されたものであることが好ましい。
【0019】
本発明の更に他の態様に係る学習データ作成装置において、第1画像取得部及び第2画像取得部は、被写体を撮影するカメラ部と、カメラ部を制御するカメラ制御部と、画像処理部とを含み、カメラ制御部は、第1撮影方法の照明方法により被写体が照明されると、カメラ部により被写体を撮影させ、第2撮影方法の照明方法により被写体が順次照明されると、順次照明される毎に被写体を撮影させ、画像処理部は、順次照明される毎にカメラ部により撮影された複数の画像を画像処理して第2画像を生成することが好ましい。
【0020】
本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印又は印字が付加され、画像処理部は、被写体に付加された刻印又は印字を強調する画像処理を実施し、刻印又は印字を強調した第2画像を生成することが好ましい。
【0021】
本発明の更に他の態様に係る学習データ作成装置において、第1画像取得部及び第2画像取得部は、被写体の周囲の配置された複数の照明光源であって、それぞれ波長帯域が異なる複数の光を被写体に照射する複数の照明光源と、波長帯域が異なる複数の光にそれぞれ感度を有する複数種類の画素を備えたカメラ部とを含み、第1撮影方法は、複数の照明光源により照明された被写体をカメラ部により撮影して第1画像を取得し、第2撮影方法は、複数の照明光源により照明された被写体をカメラ部により撮影し、複数種類の画素に対応して複数の画像を取得し、第2画像取得部は、複数の画像を画像処理して第2画像を取得することが好ましい。
【0022】
本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印が付加され、第2画像取得部は、被写体の3次元情報を取得する3次元情報取得部と、画像処理部とを含み、画像処理部は、3次元情報取得部により取得された被写体の3次元情報に基づいて被写体の刻印を抽出し、被写体の刻印を強調した第2画像を生成することが好ましい。
【0023】
本発明の更に他の態様に係る学習データ作成装置において、第1撮影方法と第2撮影方法とは、それぞれ異なる撮影モダリティを使用して被写体を撮影する撮影方法であることが好ましい。
【0024】
本発明の更に他の態様に係る学習データ作成装置において、第1撮影方法及び第2撮影方法のうちの一方の撮影方法は、CT装置を使用して被写体を撮影する撮影方法であり、第1撮影方法及び第2撮影方法のうちの他方の撮影方法は、MRI装置を使用して被写体を撮影する撮影方法であることが好ましい。
【0025】
本発明の更に他の態様に係る機械学習装置は、学習器と、上記の学習データ作成装置の記憶部に記憶された学習データを使用し、組を構成する第1画像を学習器を機械学習させる場合の入力画像とし、組を構成する第2画像を正解データとして学習器を機械学習させる学習制御部と、を備える。
【0026】
本発明の更に他の態様に係る機械学習装置は、被写体を第1撮影方法で撮影して第1画像を取得する第1画像取得部と、被写体を第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得する第2画像取得部と、学習器と、第1画像と第2画像とを組として、学習器を機械学習させる学習制御部と、を備える。
【0027】
本発明の更に他の態様に係る学習データ作成方法は、第1画像取得部が、被写体を第1撮影方法で撮影して第1画像を取得するステップと、第2画像取得部が、被写体を第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得するステップと、記憶制御部が、第1画像と第2画像とを組とし、組を学習器の学習データとして記憶部に記憶させるステップと、を含む。
【0028】
本発明の更に他の態様に係る学習データ作成方法において、被写体は、刻印又は印字が付加された薬剤であることが好ましい。
【0029】
本発明の更に他の態様に係る学習データ作成方法において、第1撮影方法と第2撮影方法とは、被写体に対する照明方法が異なることが好ましい。
【0030】
本発明の更に他の態様に係る機械学習方法は、学習制御部が、上記の学習データ作成方法により作成され、記憶部に記憶された学習データを使用し、組を構成する第1画像を学習器を機械学習させる場合の入力画像とし、組を構成する第2画像を正解データとして学習器を機械学習させるステップを含む。
【0031】
本発明の更に他の態様に係る機械学習方法は、第1画像取得部が、被写体を第1撮影方法で撮影して第1画像を取得するステップと、第2画像取得部が、被写体を第1撮影方法とは異なる第2撮影方法で撮影して第2画像を取得するステップと、学習制御部が、第1画像と第2画像とを組として、学習器を機械学習させるステップと、を含む。
【発明の効果】
【0032】
本発明によれば、学習器を「教師あり学習」させる学習データを効率よく自動で作成することができる。
【図面の簡単な説明】
【0033】
【
図1】
図1は、本発明に係る機械学習装置の概略構成を示すブロック図である。
【
図2】
図2は、
図1に示した学習データ作成装置の第1実施形態の要部ブロック図である。
【
図3】
図3は、カメラ部及び照明光源を使用して、分包袋の画像を取得する様子を示す側面図である。
【
図4】
図4は、カメラ部及び照明光源を使用して、分包袋の画像を取得する様子を示す平面図である。
【
図5】
図5は、分包袋内の1つの薬剤の照明方向が異なる5枚の画像を示す図である。
【
図6】
図6は、主として
図2に示した画像処理部の具体的な構成を示すブロック図である。
【
図7】
図7は、分包袋の画像から1つの薬剤の領域を切り出した薬剤画像の一例を示す図である。
【
図8】
図8は、薬剤の中心を通るx-y平面で切断した薬剤の断面構造の模式図である。
【
図9】
図9は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
【
図10】
図10は、記憶部に記憶された第1画像、第2画像の複数組の学習データセットのイメージ図である。
【
図11】
図11は、
図1に示した学習データ作成装置の第2実施形態の要部を示す図である。
【
図12】
図12は、
図1に示した学習データ作成装置の第2実施形態に使用されるカメラ部のカラーイメージセンサの分光感度を示す図である。
【
図13】
図13は、
図1に示した学習データ作成装置の第3実施形態の要部を示す図である。
【
図14】
図14は、本発明に係る機械学習方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【0034】
以下、添付図面に従って本発明に係る学習データ作成装置及び方法、並びに機械学習装置及び方法の好ましい実施形態について説明する。
【0035】
[機械学習装置の構成]
図1は、本発明に係る機械学習装置の概略構成を示すブロック図である。
【0036】
図1に示す機械学習装置10は、学習データ作成装置10Aと学習器50とを含み、学習器50は、学習データ作成装置10Aにより作成された学習データセットにより機械学習を行う。
【0037】
学習データ作成装置10Aは、第1画像取得部20A及び第2画像取得部20Bを含む画像取得部20と、記憶制御部40とから構成されている。
【0038】
第1画像取得部20Aは、被写体を第1撮影方法で撮影して第1画像25を取得する部分であり、第2画像取得部20Bは、同じ被写体を第2撮影方法で撮影して第2画像27を取得する部分である。尚、第1画像取得部20Aによる第1撮影方法、及び第2画像取得部20Bによる第2撮影方法の詳細については後述する。
【0039】
第1画像取得部20Aにより取得された第1画像25、及び第2画像取得部20Bにより取得された第2画像27は、それぞれ記憶制御部40に出力される。
【0040】
記憶制御部40は、入力する第1画像25と第2画像27とを組とし、記憶部42に記憶させる。記憶部42は、学習データ作成装置10Aに内蔵されたハードディスク装置等のメディアでもよいし、学習データ作成装置10Aに着脱自在なリムーバブルメディアでもよい。
【0041】
ここで、第1画像25と第2画像27の組は、学習器50による機械学習時に、第1画像25と第2画像27のうちのいずれか一方の画像(本例では、第1画像25)は、学習器50の学習に使用される入力データとし、他方の画像(本例では第2画像27)を学習器50の学習に使用される正解データとすることができる。
【0042】
記憶制御部40は、複数の被写体の各被写体に対して、それぞれ第1画像25と第2画像27とを取得し、第1画像25と第2画像27の複数組の学習データセットを、記憶部42に記憶させる。
【0043】
学習器50の学習制御部52は、記憶部42に記憶させた学習データセットに基づいて学習器50を機械学習させることができる。
【0044】
第1画像を入力画像とし、第2画像を認識結果として出力する学習器50としては、畳み込みニューラルネットワーク(CNN: Convolutional Neural Network))で構成されるものが考えられ、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。
【0045】
学習データセットを使用し、学習制御部52により学習器50を「教師あり学習」させる方法は周知であるため、ここでは学習器50の学習方法の説明は省略する。
【0046】
学習済みの学習器(認識器)50は、任意の被写体の画像(例えば、第1画像25に相当する画像)を入力すると、任意の被写体を第2撮影方法で撮影して取得される第2画像27と同等の画像を認識結果として出力する。
【0047】
これにより、任意の被写体を第2撮影方法で撮影して取得される第2画像27と同等の画像(認識結果)を、任意の被写体を第2撮影方法で撮影することなく取得することができる。
【0048】
<学習データ作成装置の第1実施形態>
図2は、
図1に示した学習データ作成装置10Aの第1実施形態の要部ブロック図であり、特に画像取得部20に関して示している。
【0049】
本例の被写体は、刻印又は印字が付加された薬剤であり、
図2に示す画像取得部20は、薬剤を撮影するカメラ部22と、薬剤を照明する照明光源24と、カメラ部22及び照明光源24を制御する制御部26と、画像処理部30とから構成されている。
【0050】
図3及び
図4は、カメラ部22(22A、22B)、及び照明光源24(24F,24B,24R,24L)を使用して、分包袋TPの画像を取得する様子を示す側面図及び平面図である。
【0051】
分包袋TPが連続して構成される薬包帯PBは、ステージ21上に載置され、順次搬送される。ステージ21は、xy平面(水平面)に平行な載置面及び裏面を有する板状部材である。ステージ21は、光透過性を有する材料によって構成されている。ここでは、ステージ21は、x軸方向に130mm、y軸方向に80mmの大きさを有している。
【0052】
分包袋TPには、それぞれ調剤された1回に服用する複数の薬剤が分包されている。照明光源24の複数の照明光源24F,24B,24R,24Lは、薬包帯PBの上側(
図3の+z方向側)及び下側(
図3の-z方向側)に、それぞれ前方、後方、右方及び左方の4つの照明光源24F,24B,24R,及び24Lが配置される。尚、
図3においては薬包帯PBの右方及び左方の照明光源24R及び24Lの図示を、
図4においては薬包帯PBの下側の4つの照明光源24F,24B,24R,及び24Lの図示を、それぞれ省略している。
【0053】
薬包帯PBの上側の4つの照明光源24F,24B,24R,及び24Lは、xy平面視において,それぞれ
図4の-x方向、+x方向、+y方向及び、-y方向に斜め上方向から光を照射する。即ち、照明光源24Fの照明方向は、xy平面視において照明光源24Bの照明方向と対向する方向であり、照明光源24Rの照明方向は、xy平面視において照明光源24F,24Bの照明方向と直交する方向であり、照明光源24Lの照明方向と対向する方向である。
【0054】
薬包帯PBの下側の照明光源24F,24B,24R,及び24Lについても、同様に配置されている。これにより、照明光源24は、分包袋TP(に分包された薬剤)の表側及び裏側に光を照射する。
【0055】
カメラ部22(2台のカメラ部22A、22B)は、デジタルカメラにより構成される。
図3に示すように、一方のカメラ部22Aは薬包帯PBの上側に、他方のカメラ部22Bは薬包帯PBの下側に配置される。カメラ部22A及びカメラ部22Bは、分包袋TP(に分包された薬剤)の表側及び裏側を撮影する。
【0056】
分包袋TP(薬包帯PB)は、図示しない搬送機構により
図4の+x方向(薬包帯PBの長手方向)に搬送される。撮影の際には、分包袋TPの上側の照明光源24F,24B,24R,及び24Lによって分包袋TPの上側が、分包袋TPの下側の照明光源24F,24B,24R,及び24Lによって分包袋TPの下側が、それぞれ前後左右の4方向から照明される。尚、分包袋TPには、撮影の際には照明光源24から照射される光以外の光は照射されないことが好ましい。
【0057】
図4に示すように、分包袋TPの上側の照明光源24F,24B,24R,及び24Lのそれぞれと、カメラ部22Aの撮影光軸PAとの間隔(d1、d2、d3、d4)は同じである。つまり、複数の照明光源24F,24B,24R,及び24Lと撮影光軸PAとが等間隔(d1=d2=d3=d4)である。分包袋TPの下側の照明光源24F,24B,24R,及び24Lのそれぞれとカメラ部22Bについても、同様に配置されている。
【0058】
図2に戻って、制御部26は、カメラ部22A,22Bを制御するカメラ制御部と、照明光源24を制御する照明制御部とを含み、分包袋TPの上側を撮影する場合、照明制御部は、分包袋TPの上側の照明光源24F,24B,24R,及び24Lを順次点灯させ、分包袋TPをそれぞれ異なる方向から順次照明する。カメラ制御部は、各照明方向から照明された分包袋TPを、順次照明される毎にカメラ部22Aにより撮影させる。
【0059】
また、制御部26の照明制御部は、上側の照明光源24F,24B,24R,及び24Lを同時に点灯させ、均一に(全方向から)照明させ、カメラ制御部は、均一に(全方向から)照明された分包袋TPをカメラ部22Aにより撮影させる。
【0060】
分包袋TPの下側を撮影する場合、制御部26は、分包袋TPの下側の照明光源24F,24B,24R,24L、及び下側のカメラ部22Bを上記と同様に制御する。
【0061】
図5は、分包袋TP内の1つの薬剤(薬剤の一例)への照明方向が異なる5枚の画像を示す図である。
【0062】
図5において、4枚の画像G
F,G
B,G
R及びG
Lは、薬剤の上側の照明光源24F,24B,24R,及び24Lを順次点灯させ、カメラ部22Aより撮影された画像であり、画像G
Aは、上側の照明光源24F,24B,24R,及び24Lを同時に点灯させ、カメラ部22Aより撮影された画像である。
【0063】
図5に示す4枚の画像G
F,G
B,G
R及びG
Lには、それぞれ照明方向に伴って輝度ムラが発生している。また、
図5に示す各画像上の「A」は、刻印Sを示しているが、画像G
F,G
B,G
L及びG
Rの刻印Sは、薬剤の表面の凹凸形状であり、後述するように照明方向に伴って、刻印Sの影の出方が異なるものとなる。
【0064】
一方、4つの照明光源24F,24B,24R,24Lを同時に点灯させて撮影された画像G
Aには輝度ムラは発生しないが、刻印Sの影が出にくいため、刻印Sは不明瞭になる。尚、
図5上では、刻印Sの影の出方や刻印Sが明瞭か不明瞭かは図示されていない。
【0065】
図6は、主として
図2に示した画像処理部30の具体的な構成を示すブロック図である。
【0066】
図6に示す画像処理部30は、画像切り出し部32及びエッジ画像生成部34から構成されている。
【0067】
カメラ部22A、22Bにより取得された分包袋TPを撮影した画像(本例では、表側の5枚の画像、及び裏側の5枚の画像の合計10枚の画像)は、画像切り出し部32に加えられる。
【0068】
画像切り出し部32は、分包袋TPの画像から分包袋TPに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。
【0069】
図7は、分包袋TPの画像から1つの薬剤の領域を切り出した薬剤画像の一例を示す図である。
【0070】
薬剤画像の切り出しは、薬剤の外形を検出し、薬剤の外形にしたがって切り出すことが好ましい。
図7に示す例では、分包袋TPの画像から薬剤の外形が内接する矩形領域を切り出している。このようにして、1つの薬剤について、10枚の薬剤画像が切り出される。
【0071】
尚、
図7に示す薬剤画像は、全方向から光を入射させて撮影した分包袋TPの画像から切り出した、輝度ムラのない画像である。
【0072】
以下、10枚の薬剤画像のうちの薬剤の上側のカメラ部22Aにより撮影された5枚の薬剤画像を、
図5に示した画像G
F,G
B,G
R、G
L及びG
Aとして、これらの画像に対する画像処理について説明する。
【0073】
図6に示す画像切り出し部32により切り出された画像G
Aは、被写体(薬剤)に対して全方向から光を入射させて薬剤を撮影した、輝度ムラのない画像であり、本例では、この画像G
Aが、第1撮影方法により撮影された第1画像25として出力される。即ち、第1撮影方法は、薬剤を均一に照明(全方向から薬剤を照明)する照明方法にて撮影する撮影方法であり、第1撮影方法により撮影された画像G
Aを第1画像25とする。
【0074】
また、画像切り出し部32により切り出された5枚の画像GF,GB,GR、GL及びGAのうちの照明方向に伴って刻印Sの影の出方が異なる4枚の画像GF,GB,GR、GLは、エッジ画像生成部34に加えられる。
【0075】
エッジ画像生成部34は、4枚の画像GF,GB,GR、GLからそれぞれ照明方向に応じた方向のエッジ抽出フィルタ(例えば、ソーベルフィルタ)を使用し、4枚のエッジ画像を生成する。
【0076】
図8は、薬剤Tの中心を通るx-y平面で切断した薬剤Tの断面構造の模式図であり、1画素分のラインのプロファイルを示している。
【0077】
図8上の薬剤Tは、直径がDであり、表面には断面がV字状の溝からなる割線である刻印Sが形成されている。刻印Sの溝の幅はWである。尚、刻印Sの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Tの表面における距離をいう。
【0078】
ここで、照明光源24の照明光源24Fのみを点灯し、照明光LFにより薬剤Tを照明する場合と、照明光源24の照明光源24Bのみを点灯し、照明光LBにより薬剤Tを照明する場合とでは、刻印Sの影の出方が異なる。
【0079】
即ち、照明光LFにより薬剤Tを照明する場合、刻印Sの左側(後方側)の面SBは照明光LFが照射されるが、刻印Sの右側(前方側)の面SFには照明光LFは照射されなくなり、刻印Sの右側の面SFに影が発生する。同様に、照明光LFとは反対方向の照明光LBにより薬剤Tを照明する場合、刻印Sの右側の面SFは照明光LBが照射されるが、刻印Sの左側の面SBには照明光LBは照射されなくなり、刻印Sの左側の面SBに影が発生する。
【0080】
図9は、エッジ画像生成部34でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
【0081】
ソーベルフィルタF
Fは、
図8上の右方向(前方)からの照明光L
Fが照射された薬剤Tの画像G
Fからエッジ抽出する場合に使用され、ソーベルフィルタF
Bは、
図8上の左方向(後方)から照明光L
Bが照射された薬剤Tの画像G
Bからエッジ抽出する場合に使用される。
【0082】
図9に示すソーベルフィルタF
F、F
Bのカーネルサイズは、刻印Sの幅W(の画素数)の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Sの溝の幅の画素数が4画素であれば、その半分の2画素より大きいサイズ(x軸方向3画素×y軸方向3画素等)のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。
【0083】
エッジ画像生成部34は、画像GF、GBに対してそれぞれソーベルフィルタFF、FBを使用し、画像GF、GBに対応するエッジ画像を生成する。また、エッジ画像生成部34は、右方向からの照明光が照射された薬剤Tの画像GR、及び左方向からの照明光が照射された薬剤Tの画像GLに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。
【0084】
尚、エッジ画像生成部34におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。
【0085】
エッジ画像生成部34は、4枚の画像GF,GB,GR,及びGLに対してそれぞれエッジ画像を生成し、生成した4枚のエッジ画像を合成した合成画像を第2画像27として出力する。この第2画像27は、薬剤に付加された刻印Sを強調した画像である。
【0086】
このように画像取得部20の第1画像取得部20Aは、薬剤を均一に照明(全方向から薬剤を照明)する照明方法にて照明された薬剤を撮影する方法(第1撮影方法)により第1画像25(画像GA)を取得する。
【0087】
一方、画像取得部20の第2画像取得部20Bは、第1撮影方法とは異なる第2撮影方法で撮影した第2画像を取得する。即ち、第2画像取得部20Bは、薬剤に対する入射方向が異なる複数の光(前後左右の光)を順次入射させて撮影し、4枚の画像GF,GB,GL、GR及びGAを取得し、薬剤に付加された刻印を強調する画像処理を実施し、刻印を強調した第2画像27を取得する。
【0088】
画像処理部30は、10枚の薬剤画像のうちの薬剤の下側のカメラ部22Bにより撮影された5枚の薬剤画像に基づいて、第1画像25及び第2画像27を取得することは言うまでもない。
【0089】
画像処理部30から出力される第1画像25及び第2画像27は、
図1に示した記憶制御部40に加えられる。
【0090】
記憶制御部40は、前述したように第1画像25と第2画像27とを組とし、この組を学習器50の学習データとして記憶部42に記憶させる。
【0091】
尚、本例の照明光源24は、4つの照明光源24F,24B,24R,24Lを有し、被写体の前方、後方、右方及び左方の4箇所に配置されているが、少なくとも2箇所に配置されたものでもよい。
【0092】
また、
図6に示した画像処理部30(特にエッジ画像生成部34)の代わりに、学習済み認識器を適用してもよい。
【0093】
この場合の学習済み認識器は、被写体への照明の入射方向が異なる複数の画像一式(本例では、4枚の画像GF,GB,GL、GR及びGA)を入力画像とし、被写体に付加された刻印又は印字が強調された画像を認識結果として出力するように機械学習されたものである。この認識器への入力データとして、被写体(薬剤)への照明の入射方向が異なる複数の画像一式を認識器に入力させると、認識器は、認識結果である刻印又は印字が強調された画像を第2画像27として生成(出力)することができる。
【0094】
図10は、記憶部42に記憶された第1画像25、第2画像27の複数組の学習データセットのイメージ図である。
【0095】
記憶部42には、刻印の形状等が異なる複数の薬剤の各薬剤の第1画像25と第2画像27とを1組として複数組記憶される。
【0096】
これにより、学習データ作成装置10Aは、学習器50を「教師あり学習」させるための学習データセット(第1画像25と第2画像27の複数組)を効率よく作成し、記憶部42に保存させることができる。
【0097】
図1に戻って、学習器50の学習制御部52は、学習データ作成装置10Aにより作成された学習データセット(記憶部42に保存された学習データセット)を使用し、学習器50を機械学習させる。例えば、学習器50のパラメータ(CNN等の学習モデルの各パラメータ)を最適化する学習が実施される。
【0098】
本例の学習データセットにより機械学習させた学習器50は、任意の薬剤の1枚の画像を入力すると、その薬剤に付加された刻印又は印字を強調したエッジ画像を認識結果として出力する。この認識結果は、任意の薬剤の鑑別又は監査を行うために使用することができ、また、任意の薬剤の画像にエッジ画像を合成することで、薬剤の刻印等が視認しやすい合成画像の生成に使用することができる。
【0099】
<学習データ作成装置の第2実施形態>
図11は、
図1に示した学習データ作成装置10Aの第2実施形態の要部を示す図であり、特に照明光源に関して示している。
【0100】
図11に示す照明光源60は、薬剤Tの周囲の配置された複数の照明光源60A,60B,60Cから構成されており、複数の照明光源60A,60B,60Cは、それぞれ波長帯域が異なる光を、3方向から薬剤Tに照射する。本例では、照明光源60A,60B,60Cは、それぞれ波長帯域λaの赤色(R)、波長帯域λbの緑色(G)、及び波長帯域λcの青色(B)の光を発光するものとする。
【0101】
また、図示しないカメラ部は、波長帯域が異なる複数の光(RGBの光)にそれぞれ感度を有する複数種類の画素を備えた公知のカラーイメージセンサを有する。カラーイメージセンサの複数種類の画素(R画素、G画素、B画素)には、それぞれRGBのカラーフィルタが設けられており、R画素、G画素、B画素は、
図12に示すようにそれぞれ波長帯域λa、λb、λcに対応する感度を有している。
【0102】
第2実施形態において、被写体(薬剤T)を撮影する場合、複数の照明光源60A,60B,60Cを同時に点灯して薬剤TにRGBの光を照射する。
【0103】
薬剤Tの第1画像を取得する第1撮影方法は、照明光源60A,60B,60Cにより照明された薬剤Tを、カラーイメージセンサを備えたカメラ部により撮影し、薬剤Tのカラー画像(第1画像)を取得する。
【0104】
薬剤Tの第2画像を取得する第2撮影方法は、第1撮影方法と同様に照明光源60A,60B,60Cにより照明された薬剤Tを、カラーイメージセンサを備えたカメラ部により撮影し、複数種類の画素(RGB画素)に対応して複数の画像(R画像、G画像、B画像)を取得する。そして、第2画像取得部は、R画像、G画像、B画像をそれぞれ画像処理して第2画像を取得する。
【0105】
R画像、G画像、B画像に対する画像処理は、照明光源60A,60B,60CのR、G、B光の照明方向に応じたエッジ抽出フィルタを使用して3枚のエッジ画像を生成し、3枚のエッジ画像を合成した合成画像を第2画像として生成する。
【0106】
第2実施形態によれば、1回の撮影により組を構成する第1画像と第2画像を取得することができる。
【0107】
<学習データ作成装置の第3実施形態>
図13は、
図1に示した学習データ作成装置10Aの第3実施形態の要部を示す図であり、特に第2画像取得部に関して示している。
【0108】
図13に示す第2画像取得部20Bは、被写体の第2画像27を取得する部分であり、3次元測定器70及び画像処理部72から構成されている。尚、被写体の第1画像を取得する第1画像取得部20Aは、例えば、第1実施形態又は第2実施形態のものを使用することができる。
【0109】
図13に示す3次元測定器(3次元情報取得部)70は、立体形状を有する被写体(薬剤)の3次元情報を取得する。3次元測定器70は、レーザ光を走査して薬剤の3次元情報を取得するもの、ステレオカメラにより薬剤の3次元情報を取得するものなどが考えられる。
【0110】
画像処理部72は、3次元測定器70により取得された薬剤の3次元情報に基づいて薬剤の刻印を抽出し、薬剤の刻印を強調した画像を生成し、生成した画像を第2画像27として出力する。
【0111】
<学習データ作成装置の第4実施形態>
第4実施形態の第1画像取得部及び第2画像取得部は、それぞれ撮影方法が異なる撮影モダリティを使用して同一の被写体を撮影し、第1画像と第2画像の1組を取得する。
【0112】
撮影方法が異なる撮影モダリティとしては、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置が考えられる。
【0113】
MRI装置は、被写体のボリュームデータを取得することができる。また、CT装置は、所定のピッチで複数枚のCT画像が撮影され、複数枚のCT画像を積層したボリュームデータとして取得することができる。
【0114】
したがって、CT装置及びMRI装置により同じ被写体を撮影して得た各ボリュームデータの同じ断面位置の画像を、それぞれ第1画像と第2画像とすることができる。
【0115】
尚、CT装置により取得した画像を第1画像、MRI装置により取得した画像を第2画像としてもよいし、MRI装置により取得した画像を第1画像、CT装置により取得した画像を第2画像としてもよい。
【0116】
<機械学習方法>
図14は、本発明に係る機械学習方法の実施形態を示すフローチャートである。
【0117】
尚、
図14に示す機械学習方法は、第1実施形態の学習データ作成装置における学習データ作成方法を含む機械学習方法における処理内容を示している。
【0118】
図14において、
図2に示す制御部26は、照明光源24の全ての照明光源24F,24B,24R,24Lを同時に点灯させ(ステップS10)、全方向から照明された被写体(薬剤)をカメラ部22Aにより撮影させる。これにより、カメラ部22A、照明光源24、及び制御部26を有する画像取得部20のうちの第1画像取得部20Aは、第1画像25を取得する(ステップS12)。
【0119】
続いて、制御部26は、照明光源24Fのみを点灯させ(ステップS14)、照明光源24Fにより照明された薬剤をカメラ部22Aにより撮影させて薬剤の画像GFを取得する(ステップS16)。
【0120】
制御部26は、ステップS16、S18と同様にして、照明光源24B,24R,24Lを順次点灯し、順次点灯に同期してカメラ部22Aにより薬剤を撮影させ、薬剤の画像GB,GR,GLを取得する(ステップS20~S28)。
【0121】
続いて、エッジ画像生成部34は、ステップS16、S20,S24,S28でそれぞれ取得した4枚の画像GF,GB,GR,及びGLに対し、それぞれ対応するソーベルフィルタを適用して4枚のエッジ画像を生成し、生成した4枚のエッジ画像を合成したエッジ画像を第2画像27として取得する(ステップS30)。この第2画像27は、薬剤に付加された刻印又は印字を強調した画像である。
【0122】
記憶制御部40は、ステップS12で取得した第1画像25と、ステップS30で取得した第2画像27とを組とし、記憶部42に記憶させる(ステップS32)。
【0123】
上記のステップS10~S32は、薬剤の上方のカメラ部22Aで薬剤を撮影した複数枚の画像に基づいて第1画像25、第2画像27の組を取得して記憶部42に記憶させるが、薬剤の下方のカメラ部22Bでも薬剤を撮影し、同様に第1画像25、第2画像27の組を取得して記憶部42に記憶させる。また、上記のステップS10~S32の処理は、種類の異なる他の薬剤(複数の薬剤)に対しても行われ、その結果、複数の薬剤に対応する第1画像25、第2画像27の複数組が記憶部42に記憶されることになる。
【0124】
学習器50を機械学習させる局面では、学習制御部52は、学習データ作成方法により作成され、記憶部42に記憶された学習データセットを使用し、学習器50を機械学習させる(ステップS34)。
【0125】
[その他]
本発明は、本実施形態の機械学習装置及び方法に限らず、機械学習装置及び方法に含まれる学習データ作成装置及び方法も含むことは言うまでもない。
【0126】
また、学習データ作成装置により作成された学習データは記憶部に保存されるが、記憶部に保存される学習データは、本発明以外の方法で作成された第1画像と第2画像の組を含んでいてもよい。
【0127】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0128】
10 機械学習装置
10A 学習データ作成装置
20 画像取得部
20A 第1画像取得部
20B 第2画像取得部
21 ステージ
22 カメラ部
22A カメラ部
22B カメラ部
24、24B、24F、24L、24R 照明光源
25 第1画像
26 制御部
27 第2画像
30 画像処理部
32 画像切り出し部
34 エッジ画像生成部
40 記憶制御部
42 記憶部
50 学習器
52 学習制御部
60、60A、60B、60C 照明光源
70 3次元測定器
72 画像処理部
FB、FF ソーベルフィルタ
GA、GB、GF、GL、GR 画像
LB、LF 照明光
PA 撮影光軸
PB 薬包帯
S 刻印
S10~S34 ステップ
T 薬剤
TP 分包袋
λa、λb、λc 波長帯域