特許7393321機械学習装置および該方法ならびに膜密着性評価装置および該方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】機械学習装置および該方法ならびに膜密着性評価装置および該方法
(51)【国際特許分類】
G01N 19/04 20060101AFI20231129BHJP
G01N 3/42 20060101ALI20231129BHJP
G06T 7/00 20170101ALI20231129BHJP
【ＦＩ】
G01N19/04 B
G01N3/42 F
G06T7/00 350C
G06T7/00 610
【請求項の数】
9
(21)【出願番号】P 2020206969
(22)【出願日】2020-12-14
(65)【公開番号】P2022094124
(43)【公開日】2022-06-24
【審査請求日】2022-11-01
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100111453
【弁理士】
【氏名又は名称】櫻井 智
(72)【発明者】
【氏名】梅谷 浩介
【審査官】野田 華代
(56)【参考文献】
【文献】実開平０５－００６３５４（ＪＰ，Ｕ）
【文献】特開２０２０－０６０８７９（ＪＰ，Ａ）
【文献】特開２０１９－１４１９２７（ＪＰ，Ａ）
【文献】特開２０１１－１０２７１２（ＪＰ，Ａ）
【文献】国際公開第２０１９／２１９４５５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ １９／００－１９／１０
Ｇ０１Ｎ ３／００－３／６２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データで機械学習モデルを機械学習する機械学習実施部とを備え、
前記学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した圧痕画像と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含み、
前記ラベルは、所定の範囲内において、単調に増加または減少する、小数部を含む数値で表され、
前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルであり、
前記教師データは、２個の第１および第２教師データを含み、
前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、
前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、
前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力するモデルである、
機械学習装置。
【請求項2】
前記機械学習モデルは、２個の第１および第２機械学習モデルを含み、前記学習データは、２個の第１および第２学習データを含み、
前記第１学習データは、前記圧痕画像と、前記圧痕画像に対する教師データとを含み、
前記第２学習データは、前記圧痕画像を、前記圧痕を写した画像の領域を含むように、所定の倍率で拡大した拡大圧痕画像と、前記拡大圧痕画像に対する教師データとを含み、
前記機械学習実施部は、前記学習データ取得部で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得部で取得した第２学習データで第２機械学習モデルを機械学習する、
請求項１に記載の機械学習装置。
【請求項3】
学習データを取得する学習データ取得工程と、前記学習データ取得工程で取得した学習データで機械学習モデルを機械学習する機械学習実施工程とを備え、
前記学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した圧痕画像と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含み、
前記ラベルは、所定の範囲内において、単調に増加または減少する、小数部を含む数値で表され、
前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルであり、
前記教師データは、２個の第１および第２教師データを含み、
前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、
前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、
前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力するモデルである、
機械学習方法。
【請求項4】
請求項２に記載の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、
前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求める第１評価処理部と、
前記第１評価処理部で求めた第１評価結果が所定の条件を満たす場合に、前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める第２評価処理部と、
前記第１および第２評価処理部で求めた第１および第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定部とを備える、
膜密着性評価装置。
【請求項5】
請求項１に記載の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、
前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第１機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求める第３評価処理部と、
前記第３評価処理部で求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定部とを備える、
膜密着性評価装置。
【請求項6】
請求項１に記載の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、
前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した機械学習モデルに入力することにより前記第１および第２ラベルを第４評価結果として求める第４評価処理部と、
前記第４評価処理部で求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理部で求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知する督促報知部とを備える、
膜密着性評価装置。
【請求項7】
請求項３に記載の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、前記学習データは、２個の第１および第２学習データを含み、
前記第１学習データは、前記圧痕画像と、前記圧痕画像に対する教師データとを含み、
前記第２学習データは、前記圧痕画像を、前記圧痕を写した画像の領域を含むように、所定の倍率で拡大した拡大圧痕画像と、前記拡大圧痕画像に対する教師データとを含み、
前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力する２個の第１および第２機械学習モデルを含み、
前記機械学習実施工程は、前記学習データ取得工程で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得工程で取得した第２学習データで第２機械学習モデルを機械学習し、
ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、
前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求める第１評価処理工程と、
前記第１評価処理工程で求めた第１評価結果が所定の条件を満たす場合に、前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める第２評価処理工程と、
前記第２評価処理工程で求めた第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定工程とを備える、
膜密着性評価方法。
【請求項8】
請求項３に記載の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、
前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求める第３評価処理工程と、
前記第３評価処理工程で求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定工程とを備える、
膜密着性評価方法。
【請求項9】
請求項３に記載の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、
前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した機械学習モデルに入力することにより前記第１および第２ラベルを第４評価結果として求める第４評価処理工程と、
前記第４評価処理工程で求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理工程で求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知する督促報知工程とを備える、
膜密着性評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、膜の密着性を評価する機械学習モデルを機械学習する機械学習装置および機械学習方法ならびにこの機械学習装置および機械学習方法を用いた、膜の密着性を評価する膜密着性評価装置および膜密着性評価方法に関する。
【背景技術】
【0002】
部材に膜を付けた場合、膜が剥がれてしまうと、部材に膜を付けた目的が果たせなくなる。このため、膜の密着性が評価される。この膜の密着性を評価する装置の１つとして、例えば、特許文献１に開示された膜の密着強度測定方法がある。
【0003】
この特許文献１に開示された膜の密着強度測定方法は、膜を付けた基材の裏面より基材に穴をあけ、該膜面に負荷を加えて膜と基材とをはがす過程での負荷量および膜のたわみ量を測定する方法と、はがれた部分の直径あるいは面積を光学顕微鏡もしくは超音波顕微鏡で測定する方法とを具備する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平０１－１９６５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、前記特許文献１に開示された膜の密着強度測定方法では、剥がれた部分の直径あるいは面積は、光学顕微鏡もしくは超音波顕微鏡で人手によって測定される。このため、前記特許文献１に開示された膜の密着強度測定方法では、自動化が難しい。特に、生産ラインで膜の密着性を評価する場合、その自動化が要望されている。
【0006】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、自動化を可能とする機械学習装置および機械学習方法、ならびに、機械学習装置および機械学習方法を備えた、膜の密着性を評価する膜密着性評価装置および膜密着性評価方法を提供することである。
【課題を解決するための手段】
【0007】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる機械学習装置は、学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データで機械学習モデルを機械学習する機械学習実施部とを備え、前記学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した圧痕画像と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含み、前記ラベルは、所定の範囲内において、単調に増加または減少する、小数部を含む数値で表され、前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルである。好ましくは、上述の機械学習装置において、前記圧痕画像は、ロックウェル圧痕試験を実行することにより形成された圧痕を撮像装置で撮像することによって生成した原画像と、前記原画像に所定の画像処理を施すことによって生成された処理画像とを含む。
【0008】
このような機械学習装置は、画像の入力に対しラベルを出力する機械学習モデルを生成する。このため、膜密着性評価装置がこの機械学習装置を備えることにより、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像から、前記機械学習装置で機械学習された機械学習モデルを用いることにより、ラベルを評価結果として自動的に出力できる。したがって、上記機械学習装置は、膜密着性の評価の自動化を可能とする。一般に、ロックウェル圧痕試験による膜の密着性は、ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４、ＨＦ５およびＨＦ６の整数値で評価される。しかしながら、上記機械学習装置は、例えば１．０、１．１、１．２、・・・、５．９、６．０のように、ラベルが小数部を含む数値で表されるので、より実態に即したラベルで圧痕（膜品質）を官能的に評価できる。このため、このようなラベルの教師データを持つ学習データで機械学習した機械学習モデルでは、評価結果（ラベル）の正解率が向上し、評価対象をより適切に評価できる。
【0009】
他の一態様では、上述の機械学習装置において、前記教師データは、２個の第１および第２教師データを含み、前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力するモデルである。
【0010】
このような機械学習装置は、教師データが圧痕に隣接した剥離に対する第１ラベルから成る第１教師データと、圧痕から離間した剥離に対する第２ラベルから成る第２教師データを含むので、圧痕に隣接した剥離による密着性だけでなく、圧痕から離間した剥離による密着性も機械学習できる。
【0011】
他の一態様では、これら上述の機械学習装置において、前記機械学習モデルは、２個の第１および第２機械学習モデルを含み、前記学習データは、２個の第１および第２学習データを含み、前記第１学習データは、前記圧痕画像と、前記圧痕画像に対する教師データとを含み、前記第２学習データは、前記圧痕画像を、前記圧痕を写した画像の領域を含むように、所定の倍率で拡大した拡大圧痕画像と、前記拡大圧痕画像に対する教師データとを含み、前記機械学習実施部は、前記学習データ取得部で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得部で取得した第２学習データで第２機械学習モデルを機械学習する。
【0012】
このような機械学習装置は、拡大圧痕画像を用いて機械学習して第２機械学習モデルを生成するので、より精密に剥離による密着性を評価する第２機械学習モデルを生成できる。
【0013】
本発明の他の一態様にかかる機械学習方法は、学習データを取得する学習データ取得工程と、前記学習データ取得工程で取得した学習データで機械学習モデルを機械学習する機械学習実施工程とを備え、前記学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した圧痕画像と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含み、前記ラベルは、所定の範囲内において、単調に増加または減少する、小数部を含む数値で表され、前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルである。
【0014】
このような機械学習方法は、画像の入力に対しラベルを出力する機械学習モデルを生成する。このため、膜密着性評価方法がこの機械学習方法を備えることにより、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像から、前記機械学習方法で機械学習された機械学習モデルを用いることにより、ラベルを評価結果として自動的に出力できる。したがって、上記機械学習方法は、膜密着性の評価の自動化を可能とする。一般に、ロックウェル圧痕試験による膜の密着性は、ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４、ＨＦ５およびＨＦ６の整数値で評価される。しかしながら、上記機械学習方法は、例えば１．０、１．１、１．２、・・・、５．９、６．０のように、ラベルが小数部を含む数値で表されるので、より実態に即したラベルで圧痕（膜品質）を官能的に評価できる。このため、このようなラベルの教師データを持つ学習データで機械学習した機械学習モデルでは、評価結果（ラベル）の正解率が向上し、評価対象をより適切に評価できる。
【0015】
本発明の他の一態様にかかる膜密着性評価装置は、上述の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求める第１評価処理部と、前記第１評価処理部で求めた第１評価結果が所定の条件を満たす場合に、前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める第２評価処理部と、前記第１および第２評価処理部で求めた第１および第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定部とを備える。好ましくは、上述の膜密着性評価装置において、前記第１評価処理部で求めた第１評価結果の第1ラベルが所定の条件を満たさない場合に、前記第１評価処理部で求めた第１評価結果の第１ラベルを出力し、前記第１評価処理部で求めた第１評価結果の第１ラベルが所定の条件を満たす場合に、前記第２評価処理部で求めた第２評価結果の第１ラベルを出力する出力部をさらに備える。
【0016】
本発明の他の一態様にかかる膜密着性評価方法は、上述の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、前記教師データは、２個の第１および第２教師データを含み、前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、前記学習データは、２個の第１および第２学習データを含み、前記第１学習データは、前記圧痕画像と、前記圧痕画像に対する教師データとを含み、前記第２学習データは、前記圧痕画像を、前記圧痕を写した画像の領域を含むように、所定の倍率で拡大した拡大圧痕画像と、前記拡大圧痕画像に対する教師データとを含み、前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力する２個の第１および第２機械学習モデルを含み、前記機械学習実施工程は、前記学習データ取得工程で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得工程で取得した第２学習データで第２機械学習モデルを機械学習し、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求める第１評価処理工程と、前記第１評価処理工程で求めた第１評価結果が所定の条件を満たす場合に、前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める第２評価処理工程と、前記第２評価処理工程で求めた第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定工程とを備える。
【0017】
これによれば、上述の機械学習装置を備えた膜密着性評価装置が提供でき、上述の機械学習方法を備えた膜密着性評価方法が提供できる。このような膜密着性評価装置および膜密着性評価方法は、膜の密着性を評価する機械学習モデルを備えるので、膜の密着性を自動的に評価できる。そして、上記膜密着性評価装置および膜密着性評価方法は、第１機械学習モデルだけでなく、第２機械学習モデルを備えるので、膜密着性を、より適切に、評価できる。
【0018】
本発明の他の一態様にかかる膜密着性評価装置は、上述の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した第１機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求める第３評価処理部と、前記第３評価処理部で求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定部とを備える。
【0019】
本発明の他の一態様にかかる膜密着性評価方法は、上述の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、前記教師データは、２個の第１および第２教師データを含み、前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、前記機械学習モデルは、１枚の画像の入力に対し、前記第１および第２ラベルを出力し、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求める第３評価処理工程と、前記第３評価処理工程で求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定工程とを備える。
【0020】
これによれば、上述の機械学習装置を備えた膜密着性評価装置が提供でき、上述の機械学習方法を備えた膜密着性評価方法が提供できる。このような膜密着性評価装置および膜密着性評価方法は、膜の密着性を評価す機械学習モデルを備えるので、膜の密着性を自動的に評価できる。
【0021】
本発明の他の一態様にかかる膜密着性評価装置は、上述の機械学習装置を備え、膜の密着性を評価する膜密着性評価装置において、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像を、前記機械学習実施部で機械学習した機械学習モデルに入力することにより前記第１および第２ラベルを第４評価結果として求める第４評価処理部と、前記第４評価処理部で求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理部で求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知する督促報知部とを備える。
【0022】
本発明の他の一態様にかかる膜密着性評価方法は、上述の機械学習方法を備え、膜の密着性を評価する膜密着性評価方法において、前記教師データは、２個の第１および第２教師データを含み、前記第１教師データは、前記圧痕に隣接した剥離に対する第１ラベルであり、前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルであり、前記機械学習モデルは、１枚の画像の入力に対し、前記第１および第２ラベルを出力し、ロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する画像取得工程と、前記画像取得工程で取得した対象画像を、前記機械学習実施工程で機械学習した機械学習モデルに入力することにより前記第１および第２ラベルを第４評価結果として求める第４評価処理工程と、前記第４評価処理工程で求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理工程で求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知する督促報知工程とを備える。
【0023】
これによれば、上述の機械学習装置を備えた膜密着性評価装置が提供でき、上述の機械学習方法を備えた膜密着性評価方法が提供できる。このような膜密着性評価装置および膜密着性評価方法は、膜の密着性を評価する機械学習モデルを備えるので、膜の密着性を自動的に評価できる。上記膜密着性評価装置および膜密着性評価方法は、第４評価結果における第１ラベルと第２ラベルとが相反する場合に、再評価を促す督促を報知するので、自動的に評価し難い評価対象を無理に評価せずに、人手で評価できる。したがって、上記膜密着性評価装置および膜密着性評価方法は、評価対象を総合的に適切に評価できる。
【発明の効果】
【0024】
本発明にかかる機械学習装置および機械学習方法は、自動化を可能とする。本発明によれば、機械学習装置および機械学習方法を用いた、膜の密着性を評価する膜密着性評価装置および膜密着性評価方法を提供できる。
【図面の簡単な説明】
【0025】
【図1】実施形態における、機械学習装置を備える膜密着性評価装置の構成を示すブロック図である。
【図2】一例として、圧痕画像を示す図である。
【図3】拡大圧痕画像を説明するための図である。
【図4】機械学習に関する、前記膜密着性評価装置の動作を示すフローチャートである。
【図5】膜密着性の評価に関する、前記膜密着性評価装置の動作を示すフローチャートである。
【図6】一例として、圧痕に隣接した剥離に対する第１ラベルに関する、前記膜密着性評価装置による評価結果を示す図である。
【図7】一例として、圧痕から離間した剥離に対する第２ラベルに関する、前記膜密着性評価装置による評価結果を示す図である。
【図8】督促の報知に関する、変形形態における膜密着性評価装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0027】
実施形態における機械学習装置は、学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データで機械学習モデルを機械学習する機械学習実施部とを備える。前記学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した圧痕画像と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含む。前記ラベルは、所定の範囲内において、単調に増加または減少する、小数部を含む数値で表される。そして、前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルである。膜の密着性を評価する膜密着性評価装置は、このような機械学習装置を備える。以下、機械学習装置を備える膜密着性評価装置を例に、より具体的に説明する。
【0028】
図１は、実施形態における、機械学習装置を備える膜密着性評価装置の構成を示すブロック図である。図２は、一例として、圧痕画像を示す図である。図２Ａは、ロックウェル圧痕試験の結果、剥離の無く、膜品質が合格と判定される一例の圧痕画像を示す。図２Ｂは、ロックウェル圧痕試験の結果、圧痕から離間した箇所に剥離があるものの、圧痕の周囲には剥離の無く、膜品質が合格と判定される一例の圧痕画像を示す。図２Ｃは、ロックウェル圧痕試験の結果、圧痕に隣接した箇所に剥離があり、膜品質が不合格と判定される一例の圧痕画像を示す。図２Ｄは、ロックウェル圧痕試験の結果、圧痕に隣接すると共に離間した箇所に剥離があり、膜品質が不合格と判定される一例の圧痕画像を示す。図３は、拡大圧痕画像を説明するための図である。図３Ａは、拡大までの圧痕画像の一例を示し、図３Ｂは、図３Ａに示す画像を、圧痕を写した画像領域を中心に、倍率２倍で拡大した拡大圧痕画像を示す。
【0029】
実施形態における膜密着性評価装置は、膜の密着性を評価する装置であり、所定の部材の表面に付けた膜に対し、いわゆるロックウェル圧痕試験を実行することにより形成された圧痕を写した画像（圧痕画像）に基づいて、膜の密着の程度を表すラベルを求め、前記ラベルによって、膜品質としての膜の密着性を評価する。この膜密着性評価装置は、ラベルによって、膜の密着性（膜品質）を評価するために、本実施形態では、画像の入力に対し前記ラベルを出力するモデルである機械学習モデルを機械学習する機械学習装置を備えている。前記所定の部材は、任意であり、前記膜も任意である。
【0030】
このような機械学習装置を備える膜密着性評価装置Ｄは、例えば、図１に示すように、学習データ取得部１と、画像取得部２と、制御処理部３と、入力部４と、出力部５と、インターフェース部（ＩＦ部）６と、記憶部７とを備える。
【0031】
学習データ取得部１は、制御処理部３に接続され、制御処理部３の制御に従って、学習データを取得する装置である。例えば、学習データ取得部１は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、学習データを記憶した記憶媒体である。前記記憶媒体は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリおよびＳＤカード（登録商標）等である。あるいは、例えば、学習データ取得部１は、学習データを記録した記録媒体からデータを読み込むドライブ装置である。前記記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）等のである。あるいは、例えば、学習データ取得部１は、外部の機器と通信信号を送受信する通信インターフェース回路であり、前記外部の機器は、ネットワーク（ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、公衆通信網を含む）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等）を介して前記通信インターフェース回路に接続され、学習データを管理するサーバ装置である。
【0032】
学習データは、所定の部材の表面に付けた膜に対し、ロックウェル圧痕試験を実行することにより形成された圧痕を写した画像（圧痕画像）と、前記圧痕画像の教師データとして、前記圧痕画像に対応付けられた、前記膜の密着の程度を表すラベルとを含む。圧痕画像の一例が、図２Ａないし図２Ｄに示されている。なお、図２Ａないし図２Ｄに示す各圧痕画像において、圧痕が写り込んだ画像領域の略中央に位置する白い部分は、圧痕生成の際に剥がれて露出した前記所定の部材（基材）の表面である。この例では、鋼材の表面に、ダイヤモンドライクカーボン（ＤＬＣ、Ｄｉａｍｏｎｄ－Ｌｉｋｅ Ｃａｒｂｏｎ）の膜が付けられた。ロックウェル圧痕試験は、先端半径０．２［ｍｍ］であって先端角１２０°のダイヤモンド円錐の圧子に１５０ｋｇｆの荷重を掛けるＨＲｃで実施された。学習データは、作成者がこのような圧痕画像を観察して前記圧痕画像に付すべきラベルを判定することによって作成される。
【0033】
一般のロックウェル圧痕試験では、密着性（本実施形態ではラベル）は、ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４、ＨＦ５およびＨＦ６の整数値で表される。ＨＦ１は、剥離無しを表す。ＨＦ２は、局所的な小さな（クラック一つ分の）剥離があることを表す。ＨＦ３は、連続した小さな剥離があることを表す。ＨＦ４は、全周にわたる小さな剥離があること、あるいは、局所的な中程度の剥離があることを表す。ＨＦ５は、全周にわたる中程度の剥離があること、あるいは、局所的な大きな剥離があることを表す。ＨＦ６は、全周にわたる大きな剥離があることを表す。したがって、整数値が小さいほど膜品質は、良好である。この観点から、図２Ａに示す圧痕画像は、ＨＦ１と判定され、膜品質が合格と判定され、図２Ｃに示す圧痕画像は、ＨＦ１と判定され、膜品質が不合格と判定される。
【0034】
一方、本実施形態では、前記ラベルは、例えば１．０、１．１、１．２、・・・、５．９、６．０のように、所定の範囲（例えば１．０から６．０まで等の範囲）内において、単調に増加または減少する、小数部を含む数値で表される。したがって、上述の各ラベル間がさらに１０段階に分けられ、細分化される。この例では、ラベルは、０．１刻みで単調に増加するが、刻み幅（間隔）は、例えば０．０５や、０．２や０．５等の任意に適宜に設定される。本実施形態では、前記ラベルは、その値が小さいほど膜品質が良好であることを表すが、逆であってもよく、膜密着性評価装置Ｄの設計者によって適宜に定義される。
【0035】
前記教師データは、１つのラベルであってよいが、本実施形態では、２個の第１および第２教師データを含む。前記第１教師データは、ロックウェル圧痕試験を実行することにより形成された圧痕に隣接した剥離に対する第１ラベルであり、前記第２教師データは、前記圧痕から離間した剥離に対する第２ラベルである。例えば図２に示す例において、図２Ａに示す圧痕画像に対する第１教師データは、１．０であり、第２教師データは、１．０である。図２Ｂに示す圧痕画像に対する第１教師データは、１．２であり、第２教師データは、４．５である。図２Ｃに示す圧痕画像に対する第１教師データは、４．６であり、第２教師データは、１．０である。また例えば、図２Ｄに示す圧痕画像に対する第１教師データは、４．６であり、第２教師データは、４．８である。
【0036】
このような圧痕画像と教師データ（第１および第２教師データ）との組が複数作成され、学習データとされる。学習データとなる圧痕画像は、ロックウェル圧痕試験を実行することにより形成された圧痕を撮像装置で撮像することによって生成した原画像だけであってもよいが、本実施形態では、原画像と、前記原画像に所定の画像処理を施すことによって生成された処理画像とを含む。一例では、前記圧痕を撮像装置で撮像することによって、サイズ１９８４×１４８８の原画像が生成される。このサイズのままでもよいが、計算処理を軽量化するために、サイズが半分のサイズ９９２×７４４に縮小され、後述の機械学習モデルに好適に適応させるために、サイズが正方形のサイズ９９２×９９２に変更され、原画像とされる。この正方形へのサイズの変更では、正方形の画像に、９９２×２４８（＝９９２－７４４）の余白が生じる。この余白は、当該余白に隣接する９９２×２４８の画像領域の鏡面画像で嵌め込むことで埋められる。前記画像処理は、例えば、原画像をグレー化するグレー化処理、例えば０．９から１．１までの範囲の数値をランダム（無作為）に生成し、この生成したランダムな数値を倍率として原画像を前記倍率でズームするズーム処理、上下左右のいずれかに移動方向をランダムに決め、例えば０から１０［％］まで（０から約９９画素数まで）の範囲の数値をランダムに生成し、この生成したランダムな数値を画素数として原画像を前記画素数だけ前記ランダムに決めた方向に移動する移動処理、例えば０から３６０°までの範囲の数値をランダム（無作為）に生成し、この生成したランダムな数値を回転角として原画像を前記回転角で回転する回転処理、ランダムに原画像の上下左右を反転する反転処理、および、サイズ９９２×９９２の原画像を、例えばサイズ５００×５００に縮小する縮小処理等である。前記画像処理によって処理画像に余白が生じる場合、前記余白は、例えば黒の画素値０の画素で埋められてよく、あるいは例えば、上述のように鏡面画像で埋められてよい。このように学習データの圧痕画像が原画像だけで無く処理画像を含むことで、学習データのデータ量が、かさ増しされる。
【0037】
膜の密着性（膜品質）を評価するために利用される機械学習モデルは、１個のモデルであってよいが、本実施形態では、機械学習モデルは、２個の第１および第２機械学習モデルを含む。これに対応するように、学習データは、２個の第１および第２学習データを含む。この第１機械学習データは、上述の圧痕画像と、前記圧痕画像に対する教師データ（本実施形態では第１および第２ラベル）とを含む。前記第２機械学習データは、前記圧痕画像を、前記圧痕を写した画像の領域を含むように、所定の倍率（例えば２倍や３倍や４倍等）で拡大した拡大圧痕画像と、前記拡大圧痕画像に対する教師データ（本実施形態では第１および第２ラベル）とを含む。例えば、図３Ａに示す圧痕画像を３倍に拡大することによって図３Ｂに示す拡大圧痕画像が生成される。そして、本実施形態では、拡大圧痕画像の生成に用いられる圧痕画像は、作成者に付与された第１および第２ラベルそれぞれが１．０から３．０までの範囲内である圧痕画像である。この拡大圧痕画像の生成に用いられる圧痕画像は、第１機械学習データの圧痕画像とは別途に生成されてよいが、本実施形態では、第１機械学習データの圧痕画像から、１．０から３．０までのいずれかの数値の第１ラベルを持つ圧痕画像が選定される。すなわち、第１機械学習データの圧痕画像の一部は、拡大圧痕画像の生成に用いられる圧痕画像に兼用される。
【0038】
図１に戻って、画像取得部２は、制御処理部３に接続され、制御処理部３の制御に従ってロックウェル圧痕試験を実行することにより圧痕を形成した、評価対象の膜を撮像した対象画像を取得する装置である。画像取得部２は、例えば、被写体を撮像して前記被写体の画像を生成する装置であり、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。あるいは、例えば、画像取得部２は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、対象画像を記憶した記憶媒体である。あるいは、例えば、画像取得部２は、対象画像を記録した記録媒体からデータを読み込むドライブ装置である。あるいは、例えば、画像取得部２は、外部の機器と通信信号を送受信する通信インターフェース回路であり、前記外部の機器は、ネットワークを介して前記通信インターフェース回路に接続され、対象画像を管理するサーバ装置である。
【0039】
なお、画像取得部２がインターフェース回路であって学習データ取得部１がインターフェース回路である場合に、画像取得部２と学習データ取得部１とは、１個のインターフェース回路を共用してよい。同様に、画像取得部２が通信インターフェース回路であって学習データ取得部１が通信インターフェース回路である場合に、画像取得部２と学習データ取得部１とは、１個の通信インターフェース回路を共用してよい。
【0040】
入力部４は、制御処理部３に接続され、例えば、機械学習の開始を指示するコマンドや、膜密着性の評価開始を指示するコマンド等の各種コマンド、および、評価対象の膜名等の膜密着性評価装置Ｄを動作させる上で必要な各種データを膜密着性評価装置Ｄに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやキーボードやマウス等である。出力部５は、制御処理部３に接続され、制御処理部３の制御に従って、入力部４から入力されたコマンドやデータ、評価結果や、合否判定結果や、再評価を促す督促等を出力する機器であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。
【0041】
なお、入力部４および出力部５からいわゆるタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、前記表示装置の表示面上に前記位置入力装置が設けられ、前記表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、前記位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として膜密着性評価装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い膜密着性評価装置Ｄが提供される。
【0042】
ＩＦ部６は、制御処理部３に接続され、制御処理部３の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。また、ＩＦ部６は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であってもよい。
【0043】
なお、学習データ取得部１がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、学習データ取得部１と兼用されてよい。同様に、画像取得部２がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、画像取得部２と兼用されてよい。
【0044】
記憶部７は、制御処理部３に接続され、制御処理部３の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、膜密着性評価装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御する制御プログラムや、学習データ取得部１で取得した学習データで機械学習モデルを機械学習する機械学習実施プログラムや、画像取得部２で取得した対象画像を、前記機械学習実施プログラムで機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求める第１評価処理プログラムや、前記第１評価処理プログラムで求めた第１評価結果が所定の条件（第１条件）を満たす場合に、前記画像取得部２で取得した対象画像を、前記機械学習実施プログラムで機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める第２評価処理プログラムや、画像取得部２で取得した対象画像を、前記機械学習実施プログラムで機械学習した第１機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求める第３評価処理プログラムや、前記第１および第２評価処理プログラムで求めた第１および第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定し、前記第３評価処理プログラムで求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する合否判定プログラム等が含まれる。前記各種の所定のデータには、例えば所定の第１条件や、膜品質の合否を判定するための閾値（合否判定閾値）等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部７は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部７は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部３のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。なお、記憶部７は、比較的大容量となる学習データを記憶するために、大容量を記憶可能なハードディスク装置を備えてもよい。
【0045】
制御処理部３は、膜密着性評価装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御し、膜の密着性を評価するための回路である。制御処理部３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部３には、前記制御処理プログラムが実行されることによって、制御部３１、機械学習実施部３２、第１ないし第３評価処理部３３～３５および合否判定部３６が機能的に構成される。
【0046】
制御部３１は、膜密着性評価装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御し、膜密着性評価装置Ｄ全体の制御を司るものである。
【0047】
機械学習実施部３２は、学習データ取得部１で取得した学習データで機械学習モデルを機械学習するものである。前記機械学習モデルは、画像の入力に対し前記ラベルを出力するモデルである。本実施形態では、前記機械学習モデルは、１枚の画像の入力に対し前記第１および第２ラベルを出力するモデルであり、２個の第１および第２機械学習モデルを含む。このため、機械学習実施部３２は、学習データ取得部１で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得部１で取得した第２学習データで第２機械学習モデルを機械学習する。機械学習モデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の深層学習に利用されるニューラルネットワークである。より具体的には、本実施形態では、ＣＮＮの一種であるＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）が第１および第２機械学習モデルそれぞれに用いられた。
【0048】
第１評価処理部３３は、画像取得部２で取得した対象画像を、機械学習実施部３２で機械学習した第１機械学習モデルに入力することにより前記第１ラベルを第１評価結果として求めるものである。
【0049】
第２評価処理部３４は、第１評価処理部３３で求めた第１評価結果が所定の第１条件を満たす場合に、前記画像取得部２で取得した対象画像を、機械学習実施部３２で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求めるものである。より具体的には、第２評価処理部３４は、まず、第１評価処理部３３で求めた第１評価結果が所定の第１条件を満たすか否かを判定する。前記所定の第１条件は、画像取得部２で取得した対象画像を、第１評価処理部３３で評価するだけでなく、第２評価処理部３４でも評価する必要のある対象画像を選定（抽出）するための条件、すなわち、画像取得部２で取得した対象画像を、評価方法を変えて二重に評価する必要のある対象画像を選定するための条件であり、例えば複数のサンプルから予め適宜に設定される。一例として、本実施形態では、前記第１条件は、第１評価結果が第１閾値（例えば２．５等）より小さいことである。この場合では、第１評価結果が第１閾値（例えば２．５等）より小さい場合、第１評価結果が前記第１条件を満たすと判定され、第１評価結果が第１閾値（例えば２．５等）より小さくない場合（第１評価結果が第１閾値以上である場合）、第１評価結果が前記第１条件を満たさないと判定される。なお、前記第１条件は、第１評価結果が第１閾値以下であることであってもよい。そして、第１評価結果が前記第１条件を満たすと判定された場合に、第２評価処理部３４は、前記画像取得部２で取得した対象画像を、機械学習実施部３２で機械学習した第２機械学習モデルに入力することにより前記第１ラベルを第２評価結果として求める。
【0050】
第３評価処理部３５は、画像取得部２で取得した対象画像を、機械学習実施部３２で機械学習した第１機械学習モデルに入力することにより前記第２ラベルを第３評価結果として求めるものである。
【0051】
合否判定部３６は、第１および第２評価処理部３３、３４で求めた第１および第２評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定するものである。より具体的には、合否判定部３６は、第１評価処理部３３で求めた第１評価結果が所定の第１条件を満たさない場合（第１評価結果が第１閾値（例えば２．５等）以上である場合）に、第１評価処理部３３で求めた第１評価結果に基づいて、前記評価対象の合否を判定し、一方、第１評価処理部３３で求めた第１評価結果が所定の第１条件を満たす場合（第１評価結果が第１閾値（例えば２．５等）より小さい場合）に、第２評価処理部３４で求めた第２評価結果に基づいて、前記評価対象の合否を判定する。
【0052】
そして、合否判定部３６は、第３評価処理部３５で求めた第３評価結果に基づいて、前記評価対象に対する、膜品質の合否を判定する。
【0053】
前記合否の判定は、評価結果（第１ないし第３評価結果）と、膜品質の合否を判定するための合否判定閾値（例えば２．０等）とを比較することによって、実行される。比較の結果、評価結果が合否判定閾値以下である場合には、前記評価対象に対する膜品質は、合格と判定され、評価結果が合否判定閾値より大きい場合には、前記評価対象に対する膜品質は、不合格と判定される。前記合否判定閾値は、第１ないし第３評価結果のいずれの場合も、部材の要求性能から予め適宜に設定され、例えば、２．０に設定される。
【0054】
制御部３１は、第１ないし第３評価処理部３３～３５で求めた第１ないし第３評価結果を出力部５に出力する。より具体的には、本実施形態では、制御部３１は、前記第１評価処理部３３で求めた第１評価結果が前記第１条件を満たさない場合には、前記第１評価処理部３３で求めた第１評価結果の第１ラベルを出力部５に出力し、一方、第１評価処理部３３で求めた第１評価結果が前記第１条件を満たす場合には、第２評価処理部３４で求めた第２評価結果の第１ラベルを出力部５に出力する。そして、制御部３１は、第３評価処理部３５で求めた第３評価結果の第２ラベルを出力部５に出力する。さらに、制御部３１は、合否判定部３６で求めた判定結果（合格または不合格）を出力部５に出力する。
【0055】
これら制御処理部３、入力部４、出力部５、ＩＦ部６および記憶部７は、例えば、デスクトップ型やノート型やタブレット型等のコンピュータによって構成可能である。学習データ取得部１がインターフェース回路や通信インターフェース回路である場合には、ＩＦ部６は、学習データ取得部１と兼用できるので、学習データ取得部１も含めて、膜密着性評価装置Ｄは、コンピュータによって構成可能である。同様に、画像取得部２がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、画像取得部２と兼用できるので、画像取得部２も含めて、膜密着性評価装置Ｄは、コンピュータによって構成可能である。
【0056】
次に、本実施形態の動作について説明する。図４は、機械学習に関する、前記膜密着性評価装置の動作を示すフローチャートである。図５は、膜密着性の評価に関する、前記膜密着性評価装置の動作を示すフローチャートである。図６は、一例として、圧痕に隣接した剥離に対する第１ラベルに関する、前記膜密着性評価装置による評価結果を示す図である。図６の横軸は、学習データの作成者によって圧痕画像に付与された第１ラベルであり、その縦軸は、膜密着性評価装置Ｄによって前記圧痕画像に対して出力された第１ラベルである。図６において、上述から分かるように、２．５より小さい第１ラベルは、第２評価結果の第１ラベルであり、２．５以上のラベルは、第１評価結果の第１ラベルである。図７は、一例として、圧痕から離間した剥離に対する第２ラベルに関する、前記膜密着性評価装置による評価結果を示す図である。図７の横軸は、学習データの作成者によって圧痕画像に付与された第２ラベルであり、その縦軸は、膜密着性評価装置Ｄ（第１機械学習モデル）によって前記圧痕画像に対して出力された第２ラベルである。
【0057】
このような構成の膜密着性評価装置Ｄは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部３には、その制御処理プログラムの実行によって、制御部３１、機械学習実施部３２、第１評価処理部３３、第２評価処理部３４、第３評価処理部３５および合否判定部３６が機能的に構成される。
【0058】
第１および第２機械学習モデルの機械学習では、図４において、膜密着性評価装置Ｄは、まず、制御処理部３の制御部３１によって、学習データ取得部１で学習データ、本実施形態では、第１および第２学習データを取得し、記憶部７に記憶する（Ｓ１１）。
【0059】
そして、膜密着性評価装置Ｄは、制御処理部３の機械学習実施部３２によって、学習データ取得部１で取得した学習データで機械学習モデルを機械学習し、本処理を終了する（Ｓ１２）。より具体的には、機械学習実施部３２は、本実施形態では、学習データ取得部１で取得した第１学習データで第１機械学習モデルを機械学習し、前記学習データ取得部１で取得した第２学習データで第２機械学習モデルを機械学習する。これによって第１評価処理部３３は、対象画像に対する膜品質を評価するために、第１機械学習モデルを使用可能となり、第２評価処理部３４は、前記対象画像に対する膜品質を評価するために、第２機械学習モデルを使用可能となる。
【0060】
対象画像に対する膜品質を評価では、図５において、膜密着性評価装置Ｄは、まず、制御処理部３の制御部３１によって、画像取得部２で対象画像を取得し、記憶部７に記憶する（Ｓ２１）。
【0061】
次に、膜密着性評価装置Ｄは、制御処理部３の第１評価処理部３３によって、処理Ｓ２１で画像取得部２によって取得した対象画像を、機械学習実施部３２で機械学習した第１機械学習モデルに入力することにより第１ラベルを第１評価結果として求め、前記第１評価結果を記憶部７に記憶する（Ｓ２２）。
【0062】
次に、膜密着性評価装置Ｄは、制御処理部３の第２評価処理部３４によって、処理Ｓ２２で求めた第１評価結果が前記第１条件を満たすか否かを判定する（Ｓ２３）。この判定の結果、前記第１評価結果が前記第１条件を満たす場合（Ｙｅｓ）には、膜密着性評価装置Ｄは、次に、処理Ｓ２４を実行した後に、処理Ｓ２５を実行する。一方、前記判定の結果、前記第１評価結果が前記第１条件を満たさない場合（Ｎｏ）には、膜密着性評価装置Ｄは、次に、処理Ｓ２５を実行する。
【0063】
この処理Ｓ２４では、膜密着性評価装置Ｄは、第２評価処理部３４によって、処理Ｓ２１で画像取得部２によって取得した対象画像を、機械学習実施部３２で機械学習した第２機械学習モデルに入力することにより第１ラベルを第２評価結果として求め、前記第２評価結果を記憶部７に記憶する。
【0064】
前記処理Ｓ２５では、膜密着性評価装置Ｄは、制御処理部３の第３評価処理部３５によって、処理Ｓ２１で画像取得部２によって取得した対象画像を、機械学習実施部３２で機械学習した第１機械学習モデルに入力することにより第２ラベルを第３評価結果として求め、前記第３評価結果を記憶部７に記憶する。
【0065】
前記処理Ｓ２５の次に、膜密着性評価装置Ｄは、制御処理部３の合否判定部３６によって、評価結果に基づいて、処理Ｓ２１で画像取得部２によって取得した評価対象に対する、膜品質の合否を判定し、その判定結果を記憶する（Ｓ２６）。より具体的には、合否判定部３６は、第１評価処理部３３で求めた第１評価結果が前記第１条件を満たさない場合には、第１評価処理部３３で求めた第１評価結果の第１ラベルと前記合否判定閾値とを比較することによって、前記評価対象に対する、膜品質の合否を判定し、その判定結果を記憶部７に記憶する。合否判定部３６は、前記第１評価結果が前記第１条件を満たす場合には、第２評価処理部３４で求めた第２評価結果の第１ラベルと前記合否判定閾値とを比較することによって、前記評価対象に対する、膜品質の合否を判定し、その判定結果を記憶部７に記憶する。そして、合否判定部３６は、第３評価処理部３５で求めた第３評価結果の第２ラベルと前記合否判定閾値とを比較することによって、前記評価対象に対する、膜品質の合否を判定し、その判定結果を記憶部７に記憶する。
【0066】
前記処理Ｓ２６の次に、膜密着性評価装置Ｄは、制御処理部３の制御部３１によって、評価結果のラベルおよび判定結果（合格または不合格）を出力部５に出力する（Ｓ２７）。より具体的には、本実施形態では、制御部３１は、第１評価処理部３３で求めた第１評価結果が前記第１条件を満たす場合には、第２評価処理部３４で求めた第２評価結果の第１ラベルを出力部５に出力し、前記第１評価結果が前記第１条件を満たさない場合には、前記第１評価処理部３３で求めた第１評価結果の第１ラベルを出力部５に出力し、合否判定部３６で求めた第１ラベルの判定結果を出力部５に出力する。そして、制御部３１は、第３評価処理部３５で求めた第３評価結果の第２ラベルを出力部５に出力し、合否判定部３６で求めた第２ラベルの判定結果を出力部５に出力する。
【0067】
前記処理Ｓ２７の次に、膜密着性評価装置Ｄは、制御処理部３によって、評価の終了か否かを判定する。この判定の結果、例えば電源のオフや評価終了の入力等によって、評価の終了である場合（Ｙｅｓ）には、膜密着性評価装置Ｄは、本処理を終了し、一方、前記判定の結果、評価の終了ではない場合（Ｎｏ）には、膜密着性評価装置Ｄは、処理を処理Ｓ２１に戻す。
【0068】
このような動作によって膜密着性評価装置Ｄは、対象画像に写り込んだ膜について、膜の密着性を評価結果（ラベル)で評価し、膜品質の合否を判定する。
【0069】
このような膜密着性評価装置Ｄによる評価結果の一例が図６および図７に示されている。図６に示す、圧痕に隣接した剥離に関する評価結果の例では、誤差の絶対値を平均した平均絶対誤差（ＭＡＥ、Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）は、０．１４４であり、回帰式の決定係数は、０．９５３であり、誤差が０．５以下の確率は、９６．５［％］であった。したがって、第１および第２機械学習モデルは、第１および第２学習データを用いた機械学習によって、良好に第１ラベルを推定できている。図７に示す、圧痕から離間した剥離に関する評価結果の例では、平均絶対誤差（ＭＡＥ）は、０．１４８であり、回帰式の決定係数は、０．９５２であり、誤差が０．５［％］以下の確率は、９４．２［％］であった。したがって、図６に示す例に比べ、平均絶対誤差が若干劣化しているものの、第１機械学習モデルは、第１学習データを用いた機械学習によって、良好に第２ラベルを推定できている。これら図６および図７から、膜密着性評価装置Ｄは、膜品質の合否を適切に判定可能である。
【0070】
以上説明したように、本実施形態における膜密着性評価装置Ｄに備えられた機械学習装置およびこれに実装された機械学習方法は、画像の入力に対しラベルを出力する機械学習モデルを生成する。このため、膜密着性評価装置Ｄがこの機械学習装置を備えることにより、前記対象画像から、前記機械学習装置で機械学習された機械学習モデルを用いることにより、ラベルを評価結果として自動的に出力できる。したがって、上記機械学習装置および機械学習方法は、膜密着性の評価の自動化を可能とする。一般に、ロックウェル圧痕試験による膜の密着性は、ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４、ＨＦ５およびＨＦ６の整数値で評価される。しかしながら、上記機械学習装置および機械学習方法は、例えば１．０、１．１、１．２、・・・、５．９、６．０のように、ラベルが小数部を含む数値で表されるので、より実態に即したラベルで圧痕（膜品質）を官能的に評価できる。このため、このようなラベルの教師データを持つ学習データで機械学習した機械学習モデルでは、評価結果（ラベル）の正解率が向上し、評価対象をより適切に評価できる。
【0071】
上記機械学習装置および機械学習方法は、教師データが圧痕に隣接した剥離に対する第１ラベルから成る第１教師データと、圧痕から離間した剥離に対する第２ラベルから成る第２教師データを含むので、圧痕に隣接した剥離による密着性だけでなく、圧痕から離間した剥離による密着性も機械学習できる。
【0072】
上記機械学習装置および機械学習方法は、拡大圧痕画像を用いて機械学習して第２機械学習モデルを生成するので、より精密に剥離による密着性を評価する第２機械学習モデルを生成できる。
【0073】
本実施形態における膜密着性評価装置Ｄおよびこれに実装された膜密着性評価方法は、膜の密着性を評価す機械学習モデルを備えるので、膜の密着性を自動的に評価できる。上記膜密着性評価装置Ｄおよび膜密着性評価方法は、第１機械学習モデルだけでなく、第２機械学習モデルを備えるので、膜密着性を、より適切に、評価できる。上記膜密着性評価装置Ｄおよび膜密着性評価方法は、合否判定部３６を備えるので、膜品質の合否を自動的に判定できる。
【0074】
なお、上述の実施形態において、膜密着性評価装置Ｄは、例えば、図１に破線で示すように、第４評価処理部３７および督促報知部３８を備えてもよい。この図１に示す例では、前記制御処理プログラムには、画像取得部２で取得した対象画像を、前記機械学習実施プログラムで機械学習した機械学習モデルに入力することにより第１および第２ラベルを第４評価結果として求める第４評価処理プログラム、および、前記第４評価処理プログラムで求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理プログラムで求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知する督促報知プログラムがさらに含まれ、前記制御処理プログラムの実行により、これら第４評価処理部３７および督促報知部３８は、制御処理部３に機能的に構成される。
【0075】
第４評価処理部３７は、画像取得部２で取得した対象画像を、機械学習実施部３２で機械学習した機械学習モデル、例えば第１機械学習モデルに入力することにより第１および第２ラベルを第４評価結果として求めるものである。
【0076】
督促報知部３８は、第４評価処理部３７で求めた第４評価結果の第１ラベルが所定の第２条件を満たす場合であって、前記第４評価処理部３７で求めた第４評価結果の第２ラベルが前記所定の第２条件を満たさない場合に、再評価を促す督促を報知するものである。より具体的には、督促報知部３８は、まず、この求めた第４評価結果の第１ラベルが所定の第２条件を満たすか否かを判定する。前記所定の第２条件は、画像取得部２で取得した対象画像を、オペレータ（ユーザ、評価人）によって再評価する必要のある対象画像を選定するための条件であり、例えば複数のサンプルから予め適宜に設定される。一例では、本実施形態では、前記第２条件は、第４評価結果における第１および第２ラベルそれぞれが第２閾値（例えば２．０等）より小さいことである。この場合では、第４評価結果の第１ラベルが第２閾値（例えば２．０等）より小さい場合、第４評価結果の第１ラベルが前記第２条件を満たすと判定され、第４評価結果の第１ラベルが第２閾値（例えば２．０等）より小さくない場合（第４評価結果の第１ラベルが第２閾値（例えば２．０等）以上である場合）、第４評価結果の第１ラベルが前記第２条件を満たさないと判定される。なお、前記第２条件は、第４評価結果における第１および第２ラベルそれぞれが第２閾値以下であることであってもよい。次に、督促報知部３８は、前記判定の結果、第４評価結果の第１ラベルが前記第２条件を満たす場合に、前記求めた第４評価結果の第２ラベルが所定の第２条件を満たすか否かを判定する。上述の例では、第４評価結果の第２ラベルが第２閾値（例えば２．０等）より小さい場合、第４評価結果の第２ラベルが前記第２条件を満たすと判定され、第４評価結果の第２ラベルが第２閾値（例えば２．０等）より小さくない場合（第４評価結果の第２ラベルが第２閾値（例えば２．０等）以上である場合）、第４評価結果の第２ラベルが前記第２条件を満たさないと判定される。そして、督促報知部３８は、前記判定の結果、第４評価結果の第２ラベルが前記第２条件を満たさない場合に、第４評価結果における第１および第２ラベルが互いに相反するので、督促報知部３８は、画像取得部２で取得した対象画像の再評価を促す督促を報知する。例えば、「対象画像の膜品質を目視等で再評価してください」等の再評価を促すメッセージが出力部５から出力される。なお、前記督促は、再評価を促す音声であってもよい。
【0077】
図８は、督促の報知に関する、変形形態における膜密着性評価装置の動作を示すフローチャートである。
【0078】
このような変形形態における膜密着性評価装置Ｄは、督促の報知関し、次のように動作する。
【0079】
図８において、膜密着性評価装置Ｄは、まず、上述の処理Ｓ２１と同様に、制御処理部３の制御部３１によって、画像取得部２で対象画像を取得し、記憶部７に記憶する（Ｓ３１）。
【0080】
次に、膜密着性評価装置Ｄは、制御処理部３の第４評価処理部３７によって、処理Ｓ３１で画像取得部２によって取得した対象画像を、機械学習実施部３２で機械学習した機械学習モデル、例えば第１機械学習モデルに入力することにより第１および第２ラベルを第４評価結果として求め、前記第４評価結果を記憶部７に記憶する（Ｓ３２）。
【0081】
次に、膜密着性評価装置Ｄは、制御処理部３の督促報知部３８によって、処理Ｓ３２で求めた第４評価結果の第１ラベルが前記第２条件を満たすか否かを判定する（Ｓ３３）。この判定の結果、前記第４評価結果の第１ラベルが前記第２条件を満たす場合（Ｙｅｓ）には、膜密着性評価装置Ｄは、次に、処理Ｓ３４を実行する。一方、前記判定の結果、前記第４評価結果の第１ラベルが前記第２条件を満たさない場合（Ｎｏ）には、膜密着性評価装置Ｄは、次に、処理Ｓ３６を実行する。
【0082】
この処理Ｓ３４では、膜密着性評価装置Ｄは、督促報知部３８によって、処理Ｓ３２で求めた第４評価結果の第２ラベルが前記第２条件を満たすか否かを判定する。この判定の結果、前記第４評価結果の第２ラベルが前記第２条件を満たす場合（Ｙｅｓ）には、膜密着性評価装置Ｄは、次に、処理Ｓ３６を実行する。一方、前記判定の結果、前記第４評価結果の第２ラベルが前記第２条件を満たさない場合（Ｎｏ）には、膜密着性評価装置Ｄは、次に、処理Ｓ３５を実行した後に、処理Ｓ３６を実行する。
【0083】
この処理Ｓ３５では、膜密着性評価装置Ｄは、督促報知部３８によって、処理Ｓ３１で画像取得部２によって取得した対象画像の再評価を促す督促を報知する。
【0084】
前記処理Ｓ３６では、膜密着性評価装置Ｄは、上述の処理Ｓ２８と同様に、制御処理部３によって、評価の終了（評価に応じた督促報知の終了）か否かを判定する。この判定の結果、例えば電源のオフや評価終了の入力等によって、評価の終了である場合（Ｙｅｓ）には、膜密着性評価装置Ｄは、本処理を終了し、一方、前記判定の結果、評価の終了ではない場合（Ｎｏ）には、膜密着性評価装置Ｄは、処理を処理Ｓ３１に戻す。
【0085】
このような変形形態における膜密着性評価装置Ｄおよび膜密着性評価方法は、第４評価結果における第１ラベルと第２ラベルとが相反する場合に、再評価を促す督促を報知するので、自動的に評価し難い評価対象を無理に評価せずに、人手で評価できる。したがって、上記変形形態における膜密着性評価装置および膜密着性評価方法は、評価対象を総合的に適切に評価できる。
【0086】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【0087】
Ｄ 機械学習装置を備えた膜密着性評価装置
１ 学習データ取得部
２ 画像取得部
３ 制御処理部
４ 入力部
５ 出力部
６ インターフェース部（ＩＦ部）
７ 記憶部
３１ 制御部
３２ 機械学習実施部
３３ 第１評価処理部
３４ 第２評価処理部
３５ 第３評価処理部
３６ 合否判定部
３７ 第４評価処理部
３８ 督促報知部
１ 学習データ取得部
２ 画像取得部
３ 制御処理部
４ 入力部
５ 出力部
６ インターフェース部（ＩＦ部）
７ 記憶部
３１ 制御部
３２ 機械学習実施部
３３ 第１評価処理部
３４ 第２評価処理部
３５ 第３評価処理部
３６ 合否判定部
３７ 第４評価処理部
３８ 督促報知部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】