(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-27
(45)【発行日】2023-10-05
(54)【発明の名称】機械学習装置および該方法ならびに膜厚測定装置および該方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230928BHJP
G01B 11/06 20060101ALI20230928BHJP
B24B 49/12 20060101ALI20230928BHJP
B24B 49/02 20060101ALI20230928BHJP
【ＦＩ】
G06T7/00 350B
G01B11/06 H
G06T7/00 610Z
B24B49/12
B24B49/02 Z
【請求項の数】
9
(21)【出願番号】P 2020207587
(22)【出願日】2020-12-15
(65)【公開番号】P2022094610
(43)【公開日】2022-06-27
【審査請求日】2022-11-01
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100111453
【弁理士】
【氏名又は名称】櫻井 智
(72)【発明者】
【氏名】梅谷 浩介
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０２０－１３４１８７（ＪＰ，Ａ）
【文献】特開２０２０－０３５２８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０１Ｂ １１／０６
Ｂ２４Ｂ ４９／１２
Ｂ２４Ｂ ４９／０２
(57)【特許請求の範囲】
【請求項1】
学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データに基づいて機械学習モデルを機械学習する機械学習実施部とを備え、
前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別し、
前記学習データは、前記研磨痕を含むように前記膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含み、
前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む、
機械学習装置。
【請求項2】
前記機械学習モデルは、前記膜画像の画素ごとに対応付けられた複数の画素を備え、前記研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示した識別結果画像を出力する、請求項１に記載の機械学習装置。
【請求項3】
前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに識別し、前記教師データは、前記部材の表面から剥離した膜の剥離部分であることを表す第３解答をさらに含み、
前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに異なる態様で表示した識別結果画像を出力する、
請求項２に記載の機械学習装置。
【請求項4】
学習データを取得する学習データ取得工程と、前記学習データ取得工程で取得した学習データに基づいて機械学習モデルを機械学習する機械学習実施工程とを備え、
前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別し、
前記学習データは、前記研磨痕を含むように前記膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含み、
前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む、
機械学習方法。
【請求項5】
請求項２または請求項３に記載の機械学習装置を備える、膜厚を測定する膜厚測定装置であって、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得部と、
前記画像取得部で取得した対象画像に対する識別結果画像を、前記機械学習実施部で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理部とを備える、
膜厚測定装置。
【請求項6】
前記膜厚処理部は、前記求めた識別結果画像に基づいて、研磨痕の形状に関する異常の程度を表す異常度を求め、前記求めた異常度が所定の条件を満たす場合に、前記求めた識別結果画像に基づいて前記膜厚を求める、請求項５に記載の膜厚測定装置。
【請求項7】
前記膜厚処理部は、さらに、前記求めた異常度が所定の条件を満たさない場合に、前記求めた識別結果画像に基づいて前記膜厚を求めることができないことを外部に報知する、請求項６に記載の膜厚測定装置。
【請求項8】
請求項３に記載の機械学習装置を備える、膜厚を測定する膜厚測定装置であって、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得部と、
前記画像取得部で取得した対象画像に対する識別結果画像を、前記機械学習実施部で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理部とを備え、
前記膜厚処理部は、前記求めた識別結果画像に基づいて、前記測定対象の膜における剥離の程度を表す剥離度を求め、前記求めた剥離度が所定の第２条件を満たす場合に、前記求めた識別結果画像に基づいて前記膜厚を求める、
膜厚測定装置。
【請求項9】
請求項４に記載の機械学習方法を備える、膜厚を測定する膜測定方法であって、前記機械学習モデルは、前記膜画像の画素ごとに対応付けられた複数の画素を備え、前記研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示した識別結果画像を出力し、
前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得工程と、
前記画像取得工程で取得した対象画像に対する識別結果画像を、前記機械学習実施工程で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理工程とを備える、
膜厚測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、膜に形成された研磨痕を認識する機械学習モデルを機械学習する機械学習装置および機械学習方法ならびにこの機械学習装置および機械学習方法を用いた、膜厚を測定する膜厚測定装置および膜厚測定方法に関する。
【背景技術】
【0002】
部材に膜を付けた場合、所定の膜厚で形成されていないと、部材に膜を付けた目的が果たせなくなる。このため、膜厚が測定される。この膜厚を測定する方法の１つとして、例えば、非特許文献１に開示された膜厚測定方法がある。この非特許文献１には、膜にボールによって形成された研磨痕から膜厚を求める、いわゆるカロテストが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｍ Ｇ Ｇｅｅ、ｅｔ ａｌ．、“Ｂａｌｌ Ｃｒｅａｔｅｒｉｎｇ ｏｒ Ｍｉｃｒｏ－Ａｂｒａｓｉｏｎ Ｗｅａｒ Ｔｅｓｔｉｎｇ ｏｆ Ｃｏａｔｉｎｇｓ”、Ｍｅａｓｕｒｅｍｅｎｔ Ｇｏｏｄ Ｐｒａｃｔｉｃｅ Ｇｕｉｄｅ Ｎｏ ５７、［令和２年９月１５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｅｐｒｉｎｔｓｕｂｌｉｃａｔｉｏｎｓ．ｎｐｌ．ｃｏ．ｕｋ／２５４５／１／ｍｇｐｇ５７．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、前記非特許文献１に開示された膜厚測定方法では、研磨痕が必ずしも真円ではなく歪む等の様々なケースがあるため、光学顕微鏡を用いて得られた研磨痕の画像を参照しながら前記研磨痕における外円（膜表面と研磨痕との境界線）および内円（部材と研磨痕との境界線（膜と部材との界面線））を人手によって設定し、膜厚が測定されている。このため、前記非特許文献１に開示された膜厚測定方法では、自動化が難しい。特に、生産ラインで膜厚を測定する場合、その自動化が要望されている。
【0005】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、膜厚測定の自動化を可能とする機械学習装置および機械学習方法、ならびに、機械学習装置および機械学習方法を備えた、膜厚を測定する膜厚測定装置および膜厚測定方法を提供することである。
【課題を解決するための手段】
【0006】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる機械学習装置は、学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データに基づいて機械学習モデルを機械学習する機械学習実施部とを備え、前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別し、前記学習データは、前記研磨痕を含むように前記膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含み、前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む。
【0007】
このような機械学習装置は、研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを生成する。このため、膜厚測定装置がこの機械学習装置を備えることによって、研磨痕を含むように、測定対象の膜を撮像した対象画像から、前記機械学習装置で機械学習された機械学習モデルを用いることにより、研磨痕における膜部分および前記研磨痕における部材部分を自動的に識別でき、この識別結果に基づいて、例えばいわゆるカロテストの膜厚演算方法によって膜厚を演算できる。したがって、上記機械学習装置は、膜厚測定の自動化を可能とする。
【0008】
他の一態様では、上述の機械学習装置において、前記機械学習モデルは、前記膜画像の画素ごとに対応付けられた複数の画素を備え、前記研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示した識別結果画像を出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率および前記研磨痕における部材部分の第２正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0009】
このような機械学習装置は、研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示するので、識別結果画像を参照することで、視覚的に、前記膜部分と前記部材部分とを識別できる。
【0010】
他の一態様では、上述の機械学習装置において、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに識別し、前記教師データは、前記部材の表面から剥離した膜の剥離部分であることを表す第３解答をさらに含み、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに異なる態様で表示した識別結果画像を出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率および前記部材の表面から剥離した膜の剥離部分の第３正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、前記膜の表面部分をさらに識別し、前記教師データは、前記膜の表面部分であることを表す第４解答をさらに含み、前記機械学習モデルは、前記膜の表面部分をさらに異なる態様で表示した識別結果画像を出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率、前記部材の表面から剥離した膜の剥離部分の第３正解確率および前記膜の表面部分の第４正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分を、前記研磨痕の外側に形成された外側隔離部分と前記研磨痕内に形成された内側隔離部分とにさらに識別し、前記第３解答は、前記外側剥離部分であることを表す第３Ａ解答および前記内側剥離部分であることを表す第３Ｂ解答を備え、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに異なる態様で表示する際に、前記外側剥離部分および前記内側剥離部分をさらに異なる態様で表示した識別結果画像を出力する。好ましくは、上述の機械学習装置において、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率、前記部材の表面から剥離した膜の剥離部分における前記外側剥離部分の第３Ａ正解確率、前記部材の表面から剥離した膜の剥離部分における前記内側剥離部分の第３Ｂ正解確率、および、前記膜の表面部分の第４正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0011】
このような機械学習装置では、機械学習モデルは、部材の表面から剥離した膜の剥離部分をさらに識別するので、研磨痕における膜部分および前記研磨痕における部材部分をより適切に識別できるようになる。
【0012】
本発明の他の一態様にかかる機械学習方法は、学習データを取得する学習データ取得工程と、前記学習データ取得工程で取得した学習データに基づいて機械学習モデルを機械学習する機械学習実施工程とを備え、前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別し、前記学習データは、前記研磨痕を含むように前記膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含み、前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む。
【0013】
このような機械学習方法は、研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを生成する。このため、膜厚測定方法がこの機械学習方法を備えることによって、研磨痕を含むように、測定対象の膜を撮像した対象画像から、前記機械学習装置で機械学習された機械学習モデルを用いることにより、研磨痕における膜部分および前記研磨痕における部材部分を自動的に識別でき、この識別結果に基づいて、例えばいわゆるカロテストの膜厚演算方法によって膜厚を演算できる。したがって、上記機械学習方法は、膜厚測定の自動化を可能とする。
【0014】
本発明の他の一態様にかかる膜厚測定装置は、これら上述のいずれかの機械学習装置を備える、膜厚を測定する膜厚測定装置であって、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像に対する識別結果画像を、前記機械学習実施部で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理部とを備える。好ましくは、上述の膜厚測定装置において、前記膜厚処理部は、カロテストの膜厚演算方法によって前記膜厚を求める。
【0015】
これによれば、上述のいずれかの機械学習装置を備えた膜厚測定装置が提供できる。このような膜厚測定装置は、研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを備えるので、膜厚の測定を自動的に実施できる。
【0016】
他の一態様では、上述の膜厚測定装置において、前記膜厚処理部は、前記求めた識別結果画像に基づいて、研磨痕の形状に関する異常の程度を表す異常度を求め、前記求めた異常度が所定の条件を満たす場合に、前記求めた識別結果画像に基づいて前記膜厚を求める。好ましくは、上述の膜厚測定装置において、前記膜厚処理部は、前記求めた識別結果画像に基づいて、前記測定対象の膜における研磨痕に対する真円の程度を表す真円度を前記異常度として求める。好ましくは、前記膜厚処理部は、前記求めた識別結果画像における前記研磨痕の外周輪郭（膜部分の外周輪郭）および前記研磨痕の重心の位置に基づいて前記真円度を求める。
【0017】
このような膜厚測定装置は、研磨痕の形状に関する異常の程度を表す異常度が所定の条件を満たす場合に、識別結果画像に基づいて膜厚を求めるので、演算可能な程度に適切に実施された研磨痕に対して膜厚を測定するから、信頼性の有る測定値を求めることができる。
【0018】
他の一態様では、上述の膜厚測定装置において、前記膜厚処理部は、さらに、前記求めた異常度が所定の条件を満たさない場合に、前記求めた識別結果画像に基づいて前記膜厚を求めることができないことを外部に報知する。
【0019】
このような膜厚測定装置は、異常度が所定の条件を満たさない場合に膜厚を求めることができないことを外部に報知するので、例えば人手で膜厚を求めることや研磨痕を再形成すること等によって、信頼性のある測定値を求めることができる。
【0020】
本発明の他の一態様にかかる膜厚測定装置は、上述の機械学習装置を備える、膜厚を測定する膜厚測定装置であって、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像に対する識別結果画像を、前記機械学習実施部で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理部とを備え、前記膜厚処理部は、前記求めた識別結果画像に基づいて、前記測定対象の膜における剥離の程度を表す剥離度を求め、前記求めた剥離度が所定の第２条件を満たす場合に、前記求めた識別結果画像に基づいて前記膜厚を求める。好ましくは、上述の膜厚測定装置において、前記膜厚処理部は、前記求めた識別結果画像における剥離部分の面積、高さおよび広がりのうちの１または複数に基づいて前記剥離度を求める。好ましくは、前記膜厚処理部は、前記求めた識別結果画像における剥離部分の画素数に基づいて前記面積を求める。好ましくは、前記膜厚処理部は、前記求めた識別結果画像における研磨痕の重心の位置から、前記求めた識別結果画像における剥離部分の前記重心の位置から最も離れた画素の位置まで長さに基づいて前記高さを求める。好ましくは、前記膜厚処理部は、前記求めた識別結果画像の剥離部分における周方向での一方端の画素の位置と前記求めた識別結果画像における研磨痕の重心の位置とを結ぶ第１線分と、前記求めた識別結果画像の剥離部分における周方向での他方端の画素の位置と前記重心の位置とを結ぶ第２線分とのなす角度を、前記広がりとして求める。
【0021】
このような膜厚測定装置は、測定対象の膜における剥離の程度を表す剥離度が所定の第２条件を満たす場合に、識別結果画像に基づいて膜厚を求めるので、演算可能な程度に適切に実施された研磨痕や、部材の表面上に適切に形成された膜に対して膜厚を測定するから、信頼性のある測定値を求めることができる。
【0022】
本発明の他の一態様にかかる膜厚測定方法は、上述の機械学習方法を備える、膜厚を測定する膜測定方法であって、前記機械学習モデルは、前記膜画像の画素ごとに対応付けられた複数の画素を備え、前記研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示した識別結果画像を出力し、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得工程と、前記画像取得工程で取得した対象画像に対する識別結果画像を、前記機械学習実施工程で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理工程とを備える。
【0023】
これによれば、上述の機械学習方法を備えた膜厚測定方法が提供できる。このような膜厚測定方法は、研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを備えるので、膜厚の測定を自動的に実施できる。
【発明の効果】
【0024】
本発明にかかる機械学習装置および機械学習方法は、膜厚測定の自動化を可能とする。本発明によれば、機械学習装置および機械学習方法を備えた、膜厚を測定する膜厚測定装置および膜厚測定方法が提供できる。
【図面の簡単な説明】
【0025】
【図1】実施形態における、機械学習装置を備える膜厚測定装置の構成を示すブロック図である。
【図2】一例として、研磨痕の画像を示す図である。
【図3】学習データを説明するための図である。
【図4】機械学習に関する、前記膜厚測定装置の動作を示すフローチャートである。
【図5】膜厚測定に関する、前記膜厚測定装置の動作を示すフローチャートである。
【図6】一例として、前記膜厚測定装置による測定結果を示す図である。
【図7】膜厚測定に関する、第１変形形態の膜厚測定装置の動作を示すフローチャートである。
【図8】前記第１変形形態における異常度の演算手法を説明するための図である。
【図9】第２変形形態の膜厚測定装置における剥離度の演算手法を説明するための図である。
【図10】第３変形形態の膜厚測定装置における識別結果画像の生成手法を説明するための図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0027】
実施形態における機械学習装置は、学習データを取得する学習データ取得部と、前記学習データ取得部で取得した学習データで機械学習モデルを機械学習する機械学習実施部とを備える。前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別する。前記学習データは、前記研磨痕を含むように前記膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含む。そして、前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む。このような機械学習装置を備える、膜厚を測定する膜厚測定装置は、前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する画像取得部と、前記画像取得部で取得した対象画像に対する識別結果画像を、前記機械学習実施部で機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて前記膜厚を求める膜厚処理部とを備える。以下、実施形態を、機械学習装置を備える膜厚測定装置を例に、より具体的に説明する。
【0028】
図１は、実施形態における、機械学習装置を備える膜厚測定装置の構成を示すブロック図である。図２は、一例として、研磨痕の画像を示す図である。図３は、学習データを説明するための図である。図３Ａは、剥離の無い膜の膜画像の一例を示し、図３Ｂは、図３Ａの膜画像に対応付けられる教師データとしての塗分け膜画像を示す。図３Ｃは、研磨剤等による擦傷の有る膜の膜画像の一例を示し、図３Ｄは、図３Ｃの膜画像に対応付けられる教師データとしての塗分け膜画像を示す。図３Ｅは、剥離の有る膜の膜画像の一例を示し、図３Ｆは、図３Ｅの膜画像に対応付けられる教師データとしての塗分け膜画像を示す。
【0029】
実施形態における膜厚測定装置は、所定の部材の表面上に形成された膜の膜厚を測定する装置であり、前記膜の表面に球面研磨法によって研磨痕を形成し、前記研磨痕における膜部分および前記研磨痕における部材部分を識別し、前記膜部分の外周輪郭の半径（外円の半径）および前記膜部分の内周輪郭の半径（内円の半径）に基づいて、例えばいわゆるカロテストの膜厚演算方法によって前記膜厚を求める。この膜厚測定装置は、研磨痕における膜部分および前記研磨痕における部材部分を自動的に識別するために、本実施形態では、膜画像から、前記研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを機械学習する機械学習装置を備えている。前記所定の部材（母材）は、任意であり、前記膜も任意である。
【0030】
このような機械学習装置を備える膜厚測定装置Ｄは、例えば、図１に示すように、学習データ取得部１と、画像取得部２と、制御処理部３と、入力部４と、出力部５と、インターフェース部（ＩＦ部）６と、記憶部７とを備える。
【0031】
学習データ取得部１は、制御処理部３に接続され、制御処理部３の制御に従って、学習データを取得する装置である。例えば、学習データ取得部１は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、学習データを記憶した記憶媒体である。前記記憶媒体は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリおよびＳＤカード（登録商標）等である。あるいは、例えば、学習データ取得部１は、学習データを記録した記録媒体からデータを読み込むドライブ装置である。前記記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）等のである。あるいは、例えば、学習データ取得部１は、外部の機器と通信信号を送受信する通信インターフェース回路であり、前記外部の機器は、ネットワーク（ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、公衆通信網を含む）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等）を介して前記通信インターフェース回路に接続され、学習データを管理するサーバ装置である。
【0032】
学習データは、研磨痕を含むように膜を撮像した膜画像と、前記膜画像の画素ごとに対応付けられた教師データとを含む。学習データは、作成者が膜画像を観察して教師データを付すことによって作成される。
【0033】
前記膜画像の一例が、図２に示されている。図２には、４８枚の膜画像が例示されている。この例では、鋼材の表面に、ダイヤモンドライクカーボン（ＤＬＣ、Ｄｉａｍｏｎｄ－Ｌｉｋｅ Ｃａｒｂｏｎ）の膜が付けられた。研磨痕は、研磨剤としてダイヤモンドペーストを塗布した直径３０［ｍｍ］の鋼球を用いた、いわゆる球面研磨法で前記部材（母材）が露出するまで研磨することで、膜の表面に形成された。
【0034】
前記教師データは、前記研磨痕における膜部分であることを表す第１解答、および、前記研磨痕における部材部分であることを表す第２解答を含む。本実施形態では、膜が部材の表面から剥離するケースに対処し、前記研磨痕における膜部分と、前記研磨痕における部材部分とをより適切に識別するために、前記教師データは、前記部材の表面から剥離した膜の剥離部分であることを表す第３解答をさらに含む。本実施形態では、前記研磨痕における膜部分の外周輪郭および前記膜部分の内周輪郭をより適切に識別するために、前記第３解答は、前記研磨痕の外側に形成された外側剥離部分であることを表す第３Ａ解答および前記研磨痕内に形成された内側剥離部分であることを表す第３Ｂ解答を備える。そして、本実施形態では、前記外周輪郭や前記外側剥離部分の輪郭を明瞭化するために、前記教師データは、研磨痕の形成されていない、前記膜の表面部分であることを表す第４解答をさらに含む。このような教師データは、本実施形態では、正解の種類ごとに互いに異なる態様で塗り分けられた塗分け画像で表される。前記正解の種類は、上述から、本実施形態では、第１解答（研磨痕における膜部分）、第２解答（研磨痕における部材部分）、第３解答（剥離部分、第３Ａ解答（外側剥離部分）および第３Ｂ解答（内側剥離部分））、および、第４解答（膜の表面部分）である。前記互いに異なる態様は、例えば、互いに異なる色で実現される。あるいは、例えば、前記互いに異なる態様は、互いに異なるハッチングで実現される。あるいは、例えば、前記互いに異なる態様は、互いに異なる明るさで実現される。
【0035】
例えば、図３Ａに示す膜画像ＩＭａは、剥離の無い膜画像であり、この図３Ａに示す膜画像ＩＭａから、作成者によって第１解答（研磨痕における膜部分）と判定された画素に第１色（例えば緑色）の画素値を付与し、前記作成者によって第２解答（研磨痕における部材部分）と判定された画素に第２色（例えば青色）の画素値を付与し、作成者によって第４解答（膜の表面部分）と判定された画素に第４色（例えば黒色）の画素値を付与することによって、図３Ｂに示す、第１解答の画像領域ＡＲ１ａ、第２解答の画像領域ＡＲ２ａおよび第４解答の画像領域ＡＲ４ａを持つ塗分け画像ＰＣａが生成される。なお、図３Ｃに示す、研磨剤等による擦傷の有る膜の膜画像ＩＭｂでは、前記擦傷を無視して正解の種類が判定され、例えば、図３Ｃに示す膜画像ＩＭｂから、作成者の判定によって、図３Ｄに示す、第１解答の画像領域ＡＲ１ｂ、第２解答の画像領域ＡＲ２ｂおよび第４解答の画像領域ＡＲ４ｂを持つ塗分け画像ＰＣｂが生成される。また例えば、図３Ｅに示す膜画像ＩＭｃは、剥離の有る膜画像であり、この図３Ｅに示す膜画像ＩＭｃから、作成者によって第１解答（研磨痕における膜部分）と判定された画素に第１色（例えば緑色）の画素値を付与し、前記作成者によって第２解答（研磨痕における部材部分）と判定された画素に第２色（例えば青色）の画素値を付与し、作成者によって第３Ａ解答（外側剥離部分）と判定された画素に第３Ａ色（例えば赤色）の画素値を付与し、前記作成者によって第３Ｂ解答（内側剥離部分）と判定された画素に第３Ｂ色（例えば黄色）の画素値を付与し、作成者によって第４解答（膜の表面部分）と判定された画素に第４色（例えば黒色）の画素値を付与することによって、図３Ｆに示す、第１解答の画像領域ＡＲ１ｃ、第２解答の画像領域ＡＲ２ｃ、第３Ａ解答の画像領域ＡＲ３Ａａ、第３Ｂ解答の画像領域ＡＲ３Ｂｃおよび第４解答の画像領域ＡＲ４ｃを持つ塗分け画像ＰＣｃが生成される。なお、塗分けには、例えばＭＩＴで開発されたＬａｂｅｌｍｅ等の公知のアノテーションツール（Ａｎｎｏｔａｔｉｏｎ Ｔｏｏｌ）が用いられてもよい。また、図示の都合上、図３では、第１色（例えば緑色）は、平面視にて相対的に狭間隔の左下がりの複数の直線から成るハッチングで表現され、第２色（例えば青色）は、平面視にて相対的に中間隔の右下がりの複数の直線から成るハッチングで表現され、第３Ａ色（例えば赤色）は、平面視にて相対的に狭間隔の右下がりの複数の直線から成るハッチングで表現され、第３Ｂ色（例えば黄色）は、平面視にて相対的に中間隔の左下がりの複数の直線から成るハッチングで表現され、第４色（例えば黒色）は、平面視にて相対的に広間隔の左下がりの複数の直線から成るハッチングで表現されている。
【0036】
このような膜画像ＩＭと教師データとしての塗分け画像ＰＣとの組が複数作成され、学習データとされる。
【0037】
学習データとなる膜画像は、球面研磨法の実施により形成された研磨痕を撮像装置で撮像することによって生成した原画像だけであってもよいが、本実施形態では、原画像と、前記原画像に所定の画像処理を施すことによって生成された処理画像とを含む。前記画像処理は、例えば、例えば０から３６０°までの範囲の数値をランダム（無作為）に生成し、この生成したランダムな数値を回転角として原画像を前記回転角で回転する回転処理、例えば０．９から１．１までの範囲の数値をランダムに生成し、この生成したランダムな数値を倍率として原画像を前記倍率でズームするズーム処理（拡大縮小処理）、画素ごとに正規分布に従うノイズを生成し、原画像に加算するノイズ処理（ノイズ処理後の処理画像を原画像と見なしてノイズ処理が複数回実施されてもよい）、および、所定の範囲の数値をランダムに生成し、この生成したランダムな数値で原画像の輝度値を変更する輝度変更処理等である。なお、これらの各処理は、単独で、あるいは、複数を組み合わせて実施されてよい。そして、学習データの膜画像（原画像および処理画像）は、拡大処理または縮小処理によって、後述の機械学習モデルに応じた画像サイズに変更される。本実施形態では、学習データの膜画像は、縮小処理によって４９６×３７２の画像サイズに変更される。このように学習データの膜画像が原画像だけで無く処理画像を含むことで、学習データのデータ量が、かさ増しされる。
【0038】
図１に戻って、画像取得部２は、制御処理部３に接続され、制御処理部３の制御に従って前記研磨痕を含むように、測定対象の膜を撮像した対象画像を取得する装置である。画像取得部２は、例えば、被写体を撮像して前記被写体の画像を生成する装置であり、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。あるいは、例えば、画像取得部２は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、対象画像を記憶した記憶媒体である。あるいは、例えば、画像取得部２は、対象画像を記録した記録媒体からデータを読み込むドライブ装置である。あるいは、例えば、画像取得部２は、外部の機器と通信信号を送受信する通信インターフェース回路であり、前記外部の機器は、ネットワークを介して前記通信インターフェース回路に接続され、対象画像を管理するサーバ装置である。
【0039】
なお、画像取得部２がインターフェース回路であって学習データ取得部１がインターフェース回路である場合に、画像取得部２と学習データ取得部１とは、１個のインターフェース回路を共用してよい。同様に、画像取得部２が通信インターフェース回路であって学習データ取得部１が通信インターフェース回路である場合に、画像取得部２と学習データ取得部１とは、１個の通信インターフェース回路を共用してよい。
【0040】
入力部４は、制御処理部３に接続され、例えば、機械学習の開始を指示するコマンドや、膜厚の測定開始を指示するコマンド等の各種コマンド、および、測定対象の膜名等の膜厚測定装置Ｄを動作させる上で必要な各種データを膜厚測定装置Ｄに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやキーボードやマウス等である。出力部５は、制御処理部３に接続され、制御処理部３の制御に従って、入力部４から入力されたコマンドやデータ、識別結果画像や測定結果等を出力する機器であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。
【0041】
なお、入力部４および出力部５からいわゆるタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、前記表示装置の表示面上に前記位置入力装置が設けられ、前記表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、前記位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として膜厚測定装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い膜厚測定装置Ｄが提供される。
【0042】
ＩＦ部６は、制御処理部３に接続され、制御処理部３の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。また、ＩＦ部６は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であってもよい。
【0043】
なお、学習データ取得部１がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、学習データ取得部１と兼用されてよい。同様に、画像取得部２がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、画像取得部２と兼用されてよい。
【0044】
記憶部７は、制御処理部３に接続され、制御処理部３の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、膜厚測定装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御する制御プログラムや、学習データ取得部１で取得した学習データで機械学習モデルを機械学習する機械学習実施プログラムや、画像取得部２で取得した対象画像に対する後述の識別結果画像を、前記機械学習実施プログラムで機械学習した機械学習モデルを用いて求め、前記求めた識別結果画像に基づいて膜厚を求める膜厚処理プログラム等が含まれる。前記各種の所定のデータには、例えば研磨痕の形成に用いた球の半径や１画素に写り込む実長等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部７は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部７は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部３のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。なお、記憶部７は、比較的大容量となる学習データを記憶するために、大容量を記憶可能なハードディスク装置を備えてもよい。
【0045】
制御処理部３は、膜厚測定装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御し、膜厚を測定するための回路である。制御処理部３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部３には、前記制御処理プログラムが実行されることによって、制御部３１、機械学習実施部３２よび膜厚処理部３３が機能的に構成される。
【0046】
制御部３１は、膜厚測定装置Ｄの各部１、２、４～７を当該各部の機能に応じてそれぞれ制御し、膜厚測定装置Ｄ全体の制御を司るものである。
【0047】
機械学習実施部３２は、学習データ取得部１で取得した学習データで機械学習モデルを機械学習するものである。前記機械学習モデルは、所定の部材の表面上に形成された膜の表面に球面研磨法によって研磨痕を形成した後における、前記研磨痕における膜部分および前記研磨痕における部材部分を識別するモデルである。より具体的には、前記機械学習モデルは、前記膜画像の画素ごとに対応付けられた複数の画素を備え、前記研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示した識別結果画像を出力する。より詳しくは、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率および前記研磨痕における部材部分の第２正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0048】
本実施形態では、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに識別し、前記教師データは、上述のように、前記部材の表面から剥離した膜の剥離部分であることを表す第３解答をさらに含み、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに異なる態様で表示した識別結果画像を出力する。より詳しくは、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率および前記部材の表面から剥離した膜の剥離部分の第３正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0049】
本実施形態では、前記機械学習モデルは、前記膜の表面部分をさらに識別し、前記教師データは、上述のように、前記膜の表面部分であることを表す第４解答をさらに含み、前記機械学習モデルは、前記膜の表面部分をさらに異なる態様で表示した識別結果画像を出力する。より詳しくは、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率、前記部材の表面から剥離した膜の剥離部分の第３正解確率および前記膜の表面部分の第４正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0050】
そして、本実施形態では、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分を、前記研磨痕の外側に形成された外側隔離部分と前記研磨痕内に形成された内側隔離部分とにさらに識別し、前記第３解答は、上述のように、前記外側剥離部分であることを表す第３Ａ解答および前記内側剥離部分であることを表す第３Ｂ解答を備え、前記機械学習モデルは、前記部材の表面から剥離した膜の剥離部分をさらに異なる態様で表示する際に、前記外側剥離部分および前記内側剥離部分をさらに異なる態様で表示した識別結果画像を出力する。
【0051】
すなわち、本実施形態では、前記機械学習モデルは、識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率、前記部材の表面から剥離した膜の剥離部分における前記外側剥離部分の第３Ａ正解確率、前記部材の表面から剥離した膜の剥離部分における前記内側剥離部分の第３Ｂ正解確率、および、前記膜の表面部分の第４正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0052】
機械学習モデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の深層学習に利用されるニューラルネットワークである。より具体的には、本実施形態では、ＰＳＰＮｅｔ（Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ）が機械学習モデルに用いられた。
【0053】
膜厚処理部３３は、画像取得部２で取得した対象画像に対する識別結果画像を、機械学習実施部３２で機械学習した機械学習モデルを用いて求め、この求めた識別結果画像に基づいて膜厚を求めるものである。膜厚処理部３３は、例えば、いわゆるカロテストの膜厚演算方法によって膜厚を求める。より具体的には、まず、膜厚処理部３３は、識別結果画像における、膜部分と識別された膜識別領域および部材部分と識別された部材識別領域の重心（幾何重心）の位置を求める。次に、膜厚処理部３３は、前記膜識別領域の外周輪郭（外円）を形成する各外周画素（膜部分における、膜部分と表面部分との境界の画素）を求め、前記重心の位置から各外周画素の各位置までの各距離を求め、各距離の平均値を前記外円の半径ＲＯとして求める。前記重心の位置から外周画素の位置までの画素数に、１画素に写り込む実長を乗算することで、前記外円の半径ＲＯの、実際の長さが求められる。なお、前記平均値に代え、各距離の最小値や最大値や中央値等が前記外円の半径ＲＯとされてもよい。次に、膜厚処理部３３は、前記部材識別領域の外周輪郭（内円）を形成する各内周画素（部材部分における、膜部分と部材部分との境界の画素、あるいは、膜部分における、膜部分と部材部分との境界の画素）を求め、前記重心の位置から各内周画素の各位置までの各距離を求め、各距離の平均値を前記内円の半径ＲＩとして求める。前記重心の位置から内周画素の位置までの画素数に、１画素に写り込む実長を乗算することで、前記内円の半径ＲＩの、実際の長さが求められる。なお、前記平均値に代え、各距離の最小値や最大値や中央値等が前記内円の半径ＲＩとされてもよい。次に、膜厚処理部３３は、これら外円の半径ＲＯと内円の半径ＲＩとに基づいて、その差を膜部分の径方向の幅Ｘ（＝ＲＯ－ＲＩ）として求め、この幅Ｘと内円の半径ＲＩとの和を長さＹ（＝Ｘ＋ＲＩ）として求める。そして、膜厚処理部３３は、これら幅Ｘ、長さＹおよび研磨痕の形成に用いた鋼球の半径Ｒに基づいて、いわゆるカロテストの膜厚を求める演算式１から膜厚ｔを求める。
膜厚の演算式１；ｔ＝（Ｘ×Ｙ）／（２×Ｒ）
膜厚の演算式１；ｔ＝（Ｘ×Ｙ）／（２×Ｒ）
【0054】
これら制御処理部３、入力部４、出力部５、ＩＦ部６および記憶部７は、例えば、デスクトップ型やノート型やタブレット型等のコンピュータによって構成可能である。学習データ取得部１がインターフェース回路や通信インターフェース回路である場合には、ＩＦ部６は、学習データ取得部１と兼用できるので、学習データ取得部１も含めて、膜厚測定装置Ｄは、コンピュータによって構成可能である。同様に、画像取得部２がインターフェース回路や通信インターフェース回路である場合に、ＩＦ部６は、画像取得部２と兼用できるので、画像取得部２も含めて、膜厚測定装置Ｄは、コンピュータによって構成可能である。
【0055】
次に、本実施形態の動作について説明する。図４は、機械学習に関する、前記膜厚測定装置の動作を示すフローチャートである。図５は、膜厚測定に関する、前記膜厚測定装置の動作を示すフローチャートである。図６は、一例として、前記膜厚測定装置による測定結果を示す図である。図６Ａは、内円の半径ＲＩの測定結果を示し、図６Ｂは、外円の半径ＲＯの測定結果を示し、図６Ｃは、膜厚の測定結果を示す。図６の各横軸は、作成者によって膜画像から求めた実測値であり、その各縦軸は、膜厚測定装置Ｄによって求められた測定結果である。
【0056】
機械学習モデルの機械学習では、図４において、膜厚測定装置Ｄは、まず、制御処理部３の制御部３１によって、学習データ取得部１で学習データを取得し、記憶部７に記憶する（Ｓ１１）。
【0057】
そして、膜厚測定装置Ｄは、制御処理部３の機械学習実施部３２によって、学習データ取得部１で取得した学習データで機械学習モデルを機械学習し、本処理を終了する（Ｓ１２）。これによって膜厚処理部３３は、対象画像に対する膜厚を測定するために、機械学習モデルを使用可能となる。
【0058】
対象画像に対する膜厚の測定では、図５において、膜厚測定装置Ｄは、まず、制御処理部３の制御部３１によって、画像取得部２で対象画像を取得し、記憶部７に記憶する（Ｓ２１）。
【0059】
次に、膜厚測定装置Ｄは、制御処理部３の膜厚処理部３３によって、処理Ｓ２１で画像取得部２によって取得した対象画像に対する識別結果画像を、機械学習実施部３２で機械学習した機械学習モデルを用いて求めて生成し、記憶部７に記憶する（Ｓ２２）。
【0060】
次に、膜厚測定装置Ｄは、膜厚処理部３３によって、この識別結果画像に基づいて、前記外円の半径ＲＯおよび前記内円の半径ＲＩそれぞれを求め、記憶部７に記憶する（Ｓ２３）。
【0061】
次に、膜厚測定装置Ｄは、膜厚処理部３３によって、前記外円の半径ＲＯおよび前記内円の半径ＲＩに基づいて前記幅Ｘ（＝ＲＯ－ＲＩ）および長さＹ（＝Ｘ＋ＲＩ）を求め、この求めた前記幅Ｘおよび長さＹと研磨痕の形成に用いた鋼球の半径Ｒに基づいて、上述の演算式１を用いて膜厚ｔ（＝（Ｘ×Ｙ）／（２×Ｒ））を求め、記憶部７に記憶する（Ｓ２３）。
【0062】
次に、膜厚測定装置Ｄは、制御処理部３の制御部３１によって、測定結果の膜厚ｔを出力部５に出力する（Ｓ２５）。なお、膜厚ｔに加えて、前記外円の半径ＲＯや前記内円の半径ＲＩも出力部５に出力されてよい。また、必要に応じて、制御部３１は、測定結果の膜厚ｔ等をＩＦ部６から外部の機器へ出力しても良い。
【0063】
そして、膜厚測定装置Ｄは、制御処理部３によって、測定の終了か否かを判定する（Ｓ２６）。この判定の結果、例えば電源のオフや測定終了の入力等によって、測定の終了である場合（Ｙｅｓ）には、膜厚測定装置Ｄは、本処理を終了し、一方、前記判定の結果、測定の終了ではない場合（Ｎｏ）には、膜厚測定装置Ｄは、処理を処理Ｓ２１に戻す。
【0064】
このような動作によって膜厚測定装置Ｄは、対象画像に写り込んだ研磨痕について、膜の膜厚を測定する。
【0065】
このような膜厚測定装置Ｄによる測定結果の一例が図６に示されている。この図６では、上述のように平均値ではなく、各距離の最大値で前記外円の半径ＲＯおよび前記内円の半径ＲＩそれぞれが求められている。図６Ａ、図６Ｂおよび図６Ｃそれぞれに示す内円の半径ＲＩ、外円の半径ＲＯおよび膜厚ｔにおける各測定結果は、４５度の直線上に略分布していることから、機械学習モデルは、学習データを用いた機械学習によって、良好に研磨痕における膜部分および前記研磨痕における部材部分を識別できている。研磨痕の形状に関する異常の程度を表す後述の異常度の上位７．５［％］の測定結果を除いた場合、この図６Ａに示す内円の半径ＲＩの例では、誤差の絶対値を平均した平均絶対誤差（ＭＡＥ、Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）は、１．３９であり、二乗平均平方根誤差（ＲＭＳＥ、Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）は、１．８７であり、回帰式の決定係数は、０．９９２であった。図６Ｂに示す外円の半径ＲＯの例では、平均絶対誤差は、１．８３であり、二乗平均平方根誤差は、２．２６であり、回帰式の決定係数は、０．９９２であった。図６Ｃ示す膜厚ｔの例では、平均絶対誤差は、０．０９５であり、二乗平均平方根誤差は、０．１２６であり、回帰式の決定係数は、０．９９１であった。したがって、この膜厚測定装置Ｄは、膜厚ｔを適切に測定できている。
【0066】
以上説明したように、本実施形態における膜厚測定装置Ｄに備えられた機械学習装置およびこれに実装された機械学習方法は、研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを生成する。このため、膜厚測定装置および該方法がこの機械学習装置および該方法を備えることによって、研磨痕を含むように、測定対象の膜を撮像した対象画像から、前記機械学習装置および該方法で機械学習された機械学習モデルを用いることにより、研磨痕における膜部分および前記研磨痕における部材部分を自動的に識別でき、この識別結果に基づいて、例えばいわゆるカロテストの膜厚演算方法によって膜厚を演算できる。したがって、上記機械学習装置および該方法は、膜厚測定の自動化を可能とする。
【0067】
上記機械学習装置および機械学習方法は、研磨痕における膜部分および前記研磨痕における部材部分を互いに異なる態様で表示するので、識別結果画像を参照することで、視覚的に、前記膜部分と前記部材部分とを識別できる。本実施形態では、さらに、膜の表面部分、外側剥離部分および内側剥離部分をさらに互いに異なる態様で表示するので、上記機械学習装置および該方法は、識別結果画像を参照することで、視覚的に、前記膜部分と前記部材部分と膜の表面部分と外側剥離部分と内側剥離部分とを識別できる。
【0068】
上記機械学習装置Ｄおよび機械学習方法では、機械学習モデルは、部材の表面から剥離した膜の剥離部分をさらに識別するので、研磨痕における膜部分および前記研磨痕における部材部分をより適切に識別できるようになる。
【0069】
本実施形態における膜厚測定装置Ｄおよびこれに実装された膜厚測定方法は、膜研磨痕における膜部分および前記研磨痕における部材部分を識別する機械学習モデルを備えるので、膜厚の測定を自動的に実施できる。
【0070】
なお、上述の実施形態において、膜厚処理部３３は、上述のように求めた識別結果画像に基づいて、研磨痕の形状に関する異常の程度を表す異常度を求め、この求めた異常度が所定の条件（第１条件）を満たす場合に、前記識別結果画像に基づいて前記膜厚を求めてもよい。そして、膜厚処理部３３は、さらに、前記求めた異常度が所定の条件を満たさない場合に、前記求めた識別結果画像に基づいて前記膜厚を求めることができないことを外部に報知してもよい（第１変形形態）。例えば図６に示すように、測定結果には、４５度の直線から乖離して分布するものがある。これは、研磨痕が歪んでしまった結果、外円の半径ＲＯや内円の半径ＲＩが適切に求められなかったことが一因であると考えられる。この第１変形形態の膜厚測定装置Ｄは、研磨痕の形状に関する異常の程度を表す異常度が所定の第１条件を満たす場合に、識別結果画像に基づいて膜厚を求めるので、演算可能な程度に適切に実施された研磨痕に対して膜厚を測定するから、信頼性の有る測定値を求めることができる。そして、この第１変形形態の膜厚測定装置Ｄは、異常度が所定の第１条件を満たさない場合に膜厚を求めることができないことを外部に報知するので、例えば人手で膜厚を求めることや研磨痕を再形成することなどによって、信頼性のある測定値を求めることができる。
【0071】
図７は、膜厚測定に関する、第１変形形態の膜厚測定装置の動作を示すフローチャートである。図８は、前記第１変形形態における異常度の演算手法を説明するための図である。図８Ａは、略真円の研磨痕を示す模式図であり、図８Ｂは、図８Ａに示す研磨痕において、研磨痕の外周輪郭（膜部分の外周輪郭）における、周方向に０度から３６０度までの各位置それぞれについて、当該位置から、研磨痕の重心の位置（膜部分および部材部分の重心の位置）までの距離を示すグラフである。図８Ｃは、楕円の研磨痕を示す模式図であり、図８Ｄは、図８Ｃに示す研磨痕において、図８Ａに示す研磨痕に対する図８Ｂと同様に、前記各位置それぞれについての各距離を示すグラフである。図８Ｅは、不定形な研磨痕を示す模式図であり、図８Ｆは、図８Ｅに示す研磨痕において、図８Ａに示す研磨痕に対する図８Ｂと同様に、前記各位置それぞれについての各距離を示すグラフである。
【0072】
対象画像に対する膜厚の測定では、図７において、この第１変形形態の膜厚測定装置Ｄは、まず、上述と同様に、対象画像を取得して記憶する処理Ｓ２１を実行し、次に、識別結果画像を生成して記憶する処理Ｓ２２を実行する。
【0073】
次に、第１変形形態の膜厚測定装置Ｄは、制御処理部３の膜厚処理部３３によって、研磨痕の形状に関する異常の程度を表す異常度を求め、記憶部７に記憶する（Ｓ３１）。
【0074】
より具体的には、膜厚処理部３３は、処理Ｓ２２で求めた識別結果画像に基づいて、測定対象の膜における研磨痕に対する真円の程度を表す真円度を前記異常度として求める。より詳しくは、膜厚処理部３３は、前記識別結果画像における前記研磨痕の外周輪郭（膜部分の外周輪郭）および前記研磨痕の重心の位置に基づいて前記真円度を求める。図８Ａないし図８Ｄに示すように、研磨痕が真円あるいは真円に近い場合（図８Ｃでは楕円）では、研磨痕の外周輪郭（膜部分の外周輪郭）における、周方向に０度から３６０度までの各位置それぞれについて、当該位置と重心の位置までの距離は、略一定である。一方、研磨痕が真円から乖離（逸脱）して不定形になると、例えば、図８Ｅおよび図８Ｆに示すように、研磨痕の外周輪郭（膜部分の外周輪郭）における、周方向に０度から３６０度までの各位置それぞれについて、当該位置と重心の位置までの距離は、変化するようになる。このため、例えば、膜厚処理部３３は、研磨痕の外周輪郭（膜部分の外周輪郭）における、周方向に０度から３６０度までの各位置それぞれについて、単位角度変化に対する距離変化である傾き（角度に対する距離の微分値）の絶対値を求め、その最大値を前記真円度（前記異常度）として求める。あるいは、例えば、膜厚処理部３３は、前記各位置での各距離における最大値と最小値との差を前記真円度（前記異常度）として求める。
【0075】
次に、第１変形形態の膜厚測定装置Ｄは、膜厚処理部３３によって、処理Ｓ３１で求めた異常度が第１条件を満たすか否かを判定する（Ｓ３２）。前記第１条件は、前記異常度が低く、識別結果画像に基づいて信頼性のある膜厚を求めることができる条件であり、例えば、前記異常度（真円度）が予め設定された所定の閾値（異常判定閾値）未満（または以下）であることである。前記異常判定閾値は、例えば複数のサンプルから適宜に設定される。この判定の結果、前記異常度（真円度）が異常判定閾値未満である場合には、前記異常度（真円度）が前記第１条件を満たすと判定され（Ｙｅｓ）、第１変形形態の膜厚測定装置Ｄは、上述と同様に、前記外円の半径ＲＯおよび前記内円の半径ＲＩそれぞれを求めて記憶する処理Ｓ２３、膜厚ｔを求めて記憶する処理Ｓ２４、測定結果の膜厚ｔを出力する処理Ｓ２５、および、終了を判定する処理Ｓ２６の各処理を順次に実行する。一方、前記判定の結果、前記異常度（真円度）が異常判定閾値以上である場合には、前記異常度（真円度）が前記第１条件を満たさないと判定され（Ｎｏ）、第１変形形態の膜厚測定装置Ｄは、膜厚処理部３３によって、処理Ｓ２２で求めた識別結果画像に基づいて膜厚ｔを求めることができないことを外部に報知し（Ｓ３３）、終了を判定する処理Ｓ２６を実行する。前記報知は、例えば、メッセージの表示やメッセージの音声出力や警告音等によって実行される。
【0076】
また、上述の第１変形形態では、研磨痕の形状に関する異常の程度を表す異常度が用いられたが、前記異常度に代え、測定対象の膜における剥離の程度を表す剥離度が用いられてもよい（第２変形形態）。この第２変形形態の膜厚測定装置Ｄでは、膜厚処理部３３は、上述のように求めた識別結果画像に基づいて、測定対象の膜における剥離の程度を表す剥離度を求め、この求めた剥離度が所定の条件（第２条件）を満たす場合に、前記識別結果画像に基づいて前記膜厚を求める。そして、膜厚処理部３３は、さらに、前記求めた剥離度が所定の第２条件を満たさない場合に、前記求めた識別結果画像に基づいて前記膜厚を求めることができないことを外部に報知してもよい。
【0077】
図９は、第２変形形態の膜厚測定装置における剥離度の演算手法を説明するための図である。前記剥離度は、識別結果画像における剥離部分の、例えば、面積、高さおよび広がりのうちの１または複数に基づいて求められる。前記剥離度としての面積は、識別結果画像における剥離部分の画素数に基づいて求められる。より具体的には、この剥離度としての面積は、識別結果画像ＤＰに基づいて剥離部分の画像領域の画素数を総計することによって、求められる。この剥離度としての面積は、画素数そのものによって表されてよく、総画素数に１画素に写り込む実面積を乗算することによって、実面積によって表されてもよい。前記剥離度としての高さは、識別結果画像における研磨痕の重心の位置から、識別結果画像における剥離部分の前記重心の位置から最も離れた画素の位置まで長さに基づいて求められる。より具体的には、この剥離度としての高さは、例えば、図９に示すように、識別結果画像ＤＰに基づいて、研磨痕における膜部分の画像領域ＤＡ１および前記研磨痕における部材部分の画像領域ＤＡ２、の重心の位置ＣＰｄに対し剥離部分の最も離れた画素（遠い画素）の位置ＨＰと、前記重心の位置ＣＰｄと、の間の長さ（距離）ＣＰｄＨＰを求め、この求めた長さＣＰｄＨＰを前記外円の半径ＲＯと見なし、前記膜厚ｔを前記剥離度としての高さと見なして、前記膜厚ｔを求めることによって、求められる。前記剥離度としての広がりは、例えば、図９に示すように、識別結果画像ＤＰに基づいて、剥離部分における周方向での一方端の画素の位置ＥＰ１と前記識別結果画像ＤＰにおける研磨痕の重心の位置ＣＰｄとを結ぶ第１線分ＣＰｄＥＰ１と、前記剥離部分における周方向での他方端の画素の位置ＥＰ２と前記重心の位置ＣＰｄとを結ぶ第２線分ＣＰｄＥＰ２とのなす角度θを、前記広がりとして求めることによって、求められる。これらのうちの複数の組み合わせにおける重み付き平均が剥離度とされてもよい。
【0078】
この第２変形形態の膜厚測定装置Ｄは、対象画像に対する膜厚の測定では、異常度に代え、剥離度を用い（Ｓ３１ａ）、第１条件に代え第２条件を用いる（Ｓ３２ａ）点を除き、図７に示す上述の第１変形形態の膜厚測定装置Ｄと同様に動作するので、その説明を省略する。前記第２条件は、前記剥離度が低く、識別結果画像に基づいて信頼性のある膜厚を求めることができる条件であり、例えば、前記剥離度が予め設定された所定の閾値（剥離判定閾値）未満（または以下）であることである。前記剥離判定閾値は、例えば複数のサンプルから適宜に設定される。
【0079】
また、上述の実施形態おいて、機械学習モデルが剥離部分を小さく判定している場合には、機械学習モデルが修正されてもよい（第３変形形態）。機械学習モデルが剥離部分を小さく判定しているか否かは、対象画像の塗分け画像を作成し、対象画像に対する機械学習モデルの識別結果画像における剥離部分と前記作成した塗分け画像における剥離部分とを比較することによって、判定できる。
【0080】
【0081】
本実施形態では、上述したように、機械学習モデル（修正前の機械学習モデル）は、機械学習実施部３２で機械学習したモデル（例えばＰＳＰＮｅｔ等）によって、画像取得部２で取得した対象画像から、その識別結果として、前記研磨痕における膜部分の第１正解確率、前記研磨痕における部材部分の第２正解確率、前記部材の表面から剥離した膜の剥離部分における前記外側剥離部分の第３Ａ正解確率、前記部材の表面から剥離した膜の剥離部分における前記内側剥離部分の第３Ｂ正解確率、および、前記膜の表面部分の第４正解確率を、ラベルとして、前記膜画像の画素ごとに対応付けられた複数の画素ごとに求め、前記複数の画素それぞれについて、当該画素における最大のラベルを求め、前記求めた最大のラベルに対応する態様で当該画素を表示することによって、前記識別結果画像を生成して出力する。
【0082】
機械学習モデルの修正では、前記最大のラベルを求める前に、前記モデルで求めた第３正解確率が所定の倍率（＞１．０）で乗算され、乗算結果の第３正解確率が、第１正解確率、第２正解確率および第４正解確率と比較され、最大のラベルが求められる。より具体的には、前記最大のラベルを求める前に、前記モデルで求めた第３Ａ正解確率が所定の第Ａ倍率（＞１．０、例えば１．２や１．３等）で乗算され、前記モデルで求めた第３Ｂ正解確率が所定の第Ｂ倍率（＞１．０、例えば１．２や１．３等）で乗算され、乗算結果の第３Ａ正解確率および第３Ｂ正解確率が、第１正解確率、第２正解確率および第４正解確率と比較され、最大のラベルが求められる。これによって例えば、図１０Ａに示す識別結果画像ＤＰｂの外側剥離部分ＤＡ３ｂ１および内側剥離部分ＤＡ３ｂ２は、図１０Ｂに示す識別結果画像ＤＰａの外側剥離部分ＤＡ３ａ１および内側剥離部分ＤＡ３ａ２のように、拡大され、剥離部分が修正される。
【0083】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【0084】
Ｄ 膜厚測定装置（機械学習装置を備えた膜厚測定装置）
１ 学習データ取得部
２ 画像取得部
３ 制御処理部
４ 入力部
５ 出力部
６ インターフェース部（ＩＦ部）
７ 記憶部
３１ 制御部
３２ 機械学習実施部
３３ 膜厚処理部
１ 学習データ取得部
２ 画像取得部
３ 制御処理部
４ 入力部
５ 出力部
６ インターフェース部（ＩＦ部）
７ 記憶部
３１ 制御部
３２ 機械学習実施部
３３ 膜厚処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】