特許 7435062 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240214BHJP

   G01N 33/20 20190101ALI20240214BHJP

【ＦＩ】

G06T7/00 350B

G01N33/20 100

G06T7/00 610Z

【請求項の数】 10

(21)【出願番号】P 2020041834

(22)【出願日】2020-03-11

(65)【公開番号】P2021144402

(43)【公開日】2021-09-24

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110000280

【氏名又は名称】弁理士法人サンクレスト国際特許事務所

(72)【発明者】

【氏名】バルビ ニコラ ヴィンセン

(72)【発明者】

【氏名】谷地 宣紀

(72)【発明者】

【氏名】加藤 竜司

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１９－０１２０３７（ＪＰ，Ａ）

【文献】特開２０１７－００９５２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／２０

(57)【特許請求の範囲】

【請求項1】

熱処理した炭素鋼又は合金鋼からなる部材の品質評価に用いられる学習モデルの製造方法であって、
熱処理した炭素鋼又は合金鋼からなり物性値又は品質レベル値が確認されている対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得工程と、
前記顕微鏡画像に基づくグレースケール画像から、前記対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理工程と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出工程と、
前記明側特徴量及び前記暗側特徴量と、前記対象部材の前記物性値又は前記品質レベル値とを教師データとして用いて、前記明側特徴量及び前記暗側特徴量から、前記物性値又は前記品質レベル値を出力する学習モデルを生成するモデル生成工程と、
を含む、品質評価に用いられる学習モデルの製造方法。

【請求項2】

前記画像処理工程では、
前記グレースケール画像の各画素のうち、明度が第一閾値以下の画素は前記暗いオブジェクトを構成する要素とされ、明度が前記第一閾値よりも大きな第二閾値を超える画素は明るいオブジェクトを構成する要素とされ、
前記グレースケール画像から、前記第一閾値以下の画素は黒であってその他の領域は白となる前記暗側画像と、前記第二閾値を超える領域は白であってその他の領域は黒となる前記明側画像と、をそれぞれ生成する、
請求項１に記載の品質評価に用いられる学習モデルの製造方法。

【請求項3】

前記グレースケール画像から明度のヒストグラムを生成し、
前記ヒストグラムにおいて暗い側からの累積比率が第一設定値となる明度が、前記第一閾値として設定され、
前記ヒストグラムにおいて明るい側からの累積比率が第二設定値となる明度が、前記第二閾値として設定される、
請求項２に記載の品質評価に用いられる学習モデルの製造方法。

【請求項4】

前記特徴量算出工程では、
異なる二つの前記明側特徴量同士の相関が強い場合に、当該明側特徴量のうちの一方を削減する削減処理、
又は、
複数の前記明側特徴量について主成分分析を行うことで当該明側特徴量のうちの一部を削減する削減処理
が行われる、
請求項１～３のいずれか一項に記載の品質評価に用いられる学習モデルの製造方法。

【請求項5】

前記画像処理工程では、
前記グレースケール画像から明度のヒストグラムを生成し、当該ヒストグラムの均一化処理を行い、
当該均一化処理を行ったグレースケール画像から、前記暗側画像と前記明側画像とをそれぞれ生成する、
請求項１～４のいずれか一項に記載の品質評価に用いられる学習モデルの製造方法。

【請求項6】

前記画像取得工程では、
前記対象領域を複数の区画に分けて、当該区画それぞれの一部が重複するようにして撮影することで複数の区画画像を取得し、
前記区画画像に含まれる特徴部分を基準として、複数の当該区画画像を繋げることで前記対象領域の一つの顕微鏡画像を取得する、
請求項１～５のいずれか一項に記載の品質評価に用いられる学習モデルの製造方法。

【請求項7】

前記画像処理工程は、
前記グレースケール画像をコピーしたコピー画像を生成し、
前記グレースケール画像と前記コピー画像とのうちの一方に対して画像をぼかす処理を行って背景画像を生成し、
前記背景画像を用いて、前記グレースケール画像と前記コピー画像とのうちの他方からノイズを除去したグレースケール画像を生成し、
当該ノイズを除去したグレースケール画像から、前記明側画像と前記暗側画像とを生成する、
請求項６に記載の品質評価に用いられる学習モデルの製造方法。

【請求項8】

熱処理した炭素鋼又は合金鋼からなる部材の品質評価に用いられる学習モデルを機械学習により製造するための学習システムであって、
熱処理した炭素鋼又は合金鋼からなり物性値又は品質レベル値が確認されている対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得装置と、
前記顕微鏡画像に基づくグレースケール画像から、前記対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理部と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出部と、
前記明側特徴量及び前記暗側特徴量と、前記対象部材の前記物性値又は前記品質レベル値とを教師データとして用いて、前記明側特徴量及び前記暗側特徴量から、前記物性値又は前記品質レベル値を出力するように学習モデルを学習させる学習部と、
を含む、学習システム。

【請求項9】

熱処理した炭素鋼又は合金鋼からなる評価対象部材の品質評価を行う品質評価システムであって、
前記評価対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得装置と、
前記顕微鏡画像に基づくグレースケール画像から、前記評価対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記評価対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理部と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出部と、
前記明側特徴量及び前記暗側特徴量をデータセットとして用いて、請求項８に記載の学習システムで学習させて得られた学習モデルにより、前記評価対象部材の前記物性値又は前記品質レベル値を出力する評価演算部と、
を備える品質評価システム。

【請求項10】

熱処理した炭素鋼又は合金鋼からなる評価対象部材の品質評価を行う品質評価方法であって、
前記評価対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得工程と、
前記顕微鏡画像に基づくグレースケール画像から、前記評価対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記評価対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理工程と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出工程と、
前記明側特徴量及び前記暗側特徴量をデータセットとして用いて、請求項１～７のいずれか一項に記載の製造方法で生成された学習モデルにより、前記評価対象部材の前記物性値又は前記品質レベル値を出力する評価演算工程と、
を含む、品質評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、熱処理した鋼からなる部材の品質評価に用いられる学習モデルを製造する方法、その製造のための学習システム、前記学習モデルを用いて行う品質評価システム、及び、品質評価方法に関する。

【背景技術】

【0002】

炭素鋼又は合金鋼からなる部材の耐摩耗性及び耐疲労性を向上させることを目的として、浸炭焼入れ処理等の熱処理が行われる。熱処理を行った鋼からなる部材の品質に大きな影響を及ぼす因子として、炭素濃度、残留オーステナイト量、硬さ等が挙げられる。そこで、炭素濃度、残留オーステナイト量、硬さ等の物性値に基づいて、熱処理した部材の品質評価が行われることがある。

【0003】

残留オーステナイト量の測定には、例えば、Ｘ線分析が用いられる。特許文献１には、寿命診断のためではあるが、Ｘ線分析結果により鋼材の残留オーステナイト量を求める技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０４０７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

残留オーステナイト量の測定のために、特許文献１に開示されるように、Ｘ線解析が用いられる。しかし、測定のための装置コストが高額となり、また、Ｘ線を用いることから安全管理についての課題がある。
炭素濃度の測定のために、電子線マイクロアナライザが用いられる。しかし、真空中で測定が行われ、測定のための装置コスト及び装置の維持費が高額となり、また、測定時間が長くなるという課題がある。
硬さの測定のために、例えばビッカース硬度計が用いられる。

【0006】

これらの各測定に合わせて金属組織の観察が顕微鏡を用いて行われることがある。ビッカース硬度計で硬さを測定するためには、サンプルを鏡面仕上げする。これに対して、金属組織を観察するためには表面を腐食させる。したがって、硬さの測定と金属組織の観察とが同時に行えない。

【0007】

前記のような各方法により測定された、炭素濃度、残留オーステナイト量、及び硬さ等の物性値に基づいて、熱処理した炭素鋼又は合金鋼からなる部材の品質評価が行われる。これまでは、作業員が顕微鏡観察を行うと共に前記物性値を求め、総合的に判断し、品質評価（例えば、５段階評価）が行われている。しかし、熟練者と初心者とでは、評価が異なることがあり、今後、品質評価の精度を高めることが望まれている。

【0008】

そこで、本開示の発明では、物性値又は品質レベル値を推定する精度を高め、品質評価の精度を高めることが可能となる新たな技術的手段を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）本開示の発明は、熱処理した炭素鋼又は合金鋼からなる部材の品質評価に用いられる学習モデルの製造方法であって、
熱処理した炭素鋼又は合金鋼からなり物性値又は品質レベル値が確認されている対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得工程と、
前記顕微鏡画像に基づくグレースケール画像から、前記対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理工程と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出工程と、
前記明側特徴量及び前記暗側特徴量と、前記対象部材の前記物性値又は前記品質レベル値とを教師データとして用いて、前記明側特徴量及び前記暗側特徴量から、前記物性値又は前記品質レベル値を出力する学習モデルを生成するモデル生成工程と、
を含む。

【0010】

この製造方法によれば、明部特徴量及び暗部特徴量を説明変数とし物性値又は品質レベル値を目的変数とする学習モデルが得られる。明側特徴量のみではなく、また、暗側特徴量のみではなく、明側特徴量と暗側特徴量との双方が教師データとして用いられて学習モデルが製造される。このようにして製造された学習モデルが用いられることで、物性値又は品質レベル値を推定する精度が高まり、その結果、品質評価の精度を高めることが可能となる。

【0011】

（２）また、好ましくは、前記画像処理工程では、前記グレースケール画像の各画素のうち、明度が第一閾値以下の画素は前記暗いオブジェクトを構成する要素とされ、明度が前記第一閾値よりも大きな第二閾値を超える画素は明るいオブジェクトを構成する要素とされ、前記グレースケール画像から、前記第一閾値以下の画素は黒であってその他の領域は白となる前記暗側画像と、前記第二閾値を超える領域は白であってその他の領域は黒となる前記明側画像と、をそれぞれ生成する。
この場合、グレースケール画像において、明度が第一閾値と第二閾値との間の中間レベルの領域については、明側特徴量及び暗側特徴量を求めるために有効となる組織の粒として扱われない。このため、より好ましい学習モデルを生成することが可能となる。

【0012】

（３）また、前記（２）に記載の製造方法において、好ましくは、前記グレースケール画像から明度のヒストグラムを生成し、前記ヒストグラムにおいて暗い側からの累積比率が第一設定値となる明度が、前記第一閾値として設定され、前記ヒストグラムにおいて明るい側からの累積比率が第二設定値となる明度が、前記第二閾値として設定される。
この場合、前記ヒストグラムの累積比率により暗側画像及び明側画像が生成される。第一設定値と第二設定値とは同じであってもよいが、異なっていてもよい。

【0013】

（４）また、好ましくは、前記特徴量算出工程では、異なる二つの前記明側特徴量同士の相関が強い場合に、当該明側特徴量のうちの一方を削減する削減処理、又は、複数の前記明側特徴量について主成分分析を行うことで当該明側特徴量のうちの一部を削減する削減処理が行われる。
この場合、明側特徴量のいくつかが削除されてから、学習モデルが生成される。

【0014】

（５）また、好ましくは、前記画像処理工程では、前記グレースケール画像から明度のヒストグラムを生成し、当該ヒストグラムの均一化処理を行い、当該均一化処理を行ったグレースケール画像から、前記暗側画像と前記明側画像とをそれぞれ生成する。
この場合、例えば、グレースケール画像の明るさが偏っている場合、全体的なバランスが改善される。また、グレースケール画像中の粒の輪郭が明確化される。均一化処理を行ったグレースケール画像から、前記暗側画像と前記明側画像とが生成される。

【0015】

（６）また、好ましくは、前記画像取得工程では、前記対象領域を複数の区画に分けて、当該区画それぞれの一部が重複するようにして撮影することで複数の区画画像を取得し、前記区画画像に含まれる特徴部分を基準として、複数の当該区画画像を繋げることで前記対象領域の一つの顕微鏡画像を取得する。
この場合、対象領域を広く設定できる。また、多くのオブジェクト、その明側特徴量、その暗側特徴量が得られる。複数の区画の画像毎に前記画像処理工程を行わないで済む。

【0016】

（７）また、前記（６）に記載の製造方法において、好ましくは、前記画像処理工程は、前記グレースケール画像をコピーしたコピー画像を生成し、前記グレースケール画像と前記コピー画像とのうちの一方に対して画像をぼかす処理を行って背景画像を生成し、前記背景画像を用いて、前記グレースケール画像と前記コピー画像とのうちの他方からノイズを除去したグレースケール画像を生成し、当該ノイズを除去したグレースケール画像から、前記明側画像と前記暗側画像とを生成する。
この場合、顕微鏡の影響で画像に入り込んでしまったノイズ、前記（６）のように区画画像を繋ぎ合わせることで生じたノイズを低減することが可能となる。

【0017】

（８）また、本開示の発明は、熱処理した炭素鋼又は合金鋼からなる部材の品質評価に用いられる学習モデルを機械学習により製造するための学習システムであって、
熱処理した炭素鋼又は合金鋼からなり物性値又は品質レベル値が確認されている対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得装置と、
前記顕微鏡画像に基づくグレースケール画像から、前記対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理部と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出部と、
前記明側特徴量及び前記暗側特徴量と、前記対象部材の前記物性値又は前記品質レベル値とを教師データとして用いて、前記明側特徴量及び前記暗側特徴量から、前記物性値又は前記品質レベル値を出力するように学習モデルを学習させる学習部と、
を含む。

【0018】

この学習システムによれば、明部特徴量及び暗部特徴量を説明変数とし物性値又は品質レベル値を目的変数とする学習モデルが得られる。明側特徴量のみではなく、また、暗側特徴量のみではなく、明側特徴量と暗側特徴量との双方が教師データとして用いられて学習モデルが製造される。このようにして製造された学習モデルが用いられることで、物性値又は品質レベル値を推定する精度が高まり、その結果、品質評価の精度を高めることが可能となる。

【0019】

（９）また、本開示の発明は、熱処理した炭素鋼又は合金鋼からなる評価対象部材の品質評価を行う品質評価システムであって、
前記評価対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得装置と、
前記顕微鏡画像に基づくグレースケール画像から、前記評価対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記評価対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理部と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出部と、
前記明側特徴量及び前記暗側特徴量をデータセットとして用いて、請求項８に記載の学習システムで学習させて得られた学習モデルにより、前記評価対象部材の前記物性値又は前記品質レベル値を出力する評価演算部と、
を備える。

【0020】

前記（８）の学習システムで学習させて得られた学習モデルが用いられることで、物性値又は品質レベル値を推定する精度が高まり、その結果、品質評価の精度を高めることが可能となる。

【0021】

（１０）また、本開示の発明は、熱処理した炭素鋼又は合金鋼からなる評価対象部材の品質評価を行う品質評価方法であって、
前記評価対象部材の表面から所定深さの対象領域の顕微鏡画像を取得する画像取得工程と、
前記顕微鏡画像に基づくグレースケール画像から、前記評価対象部材の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、前記評価対象部材の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、を生成する画像処理工程と、
前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とを求める特徴量算出工程と、
前記明側特徴量及び前記暗側特徴量をデータセットとして用いて、請求項１～７のいずれか一項に記載の製造方法で生成された学習モデルにより、前記評価対象部材の前記物性値又は前記品質レベル値を出力する評価演算工程と、
を含む。

【0022】

前記（１）～（７）のいずれか一項に記載の製造方法により生成された学習モデルが用いられることで、物性値又は品質レベル値を推定する精度が高まり、その結果、品質評価の精度を高めることが可能となる。

【発明の効果】

【0023】

本開示の発明によれば、物性値又は品質レベル値を推定する精度が高まり、その結果、品質評価の精度を高めることが可能となる。

【図面の簡単な説明】

【0024】

【図1】本発明の学習モデルの製造方法の一例を示すフローチャートである。

【図2】学習システムの構成を示すブロック図である。

【図3】転がり軸受の軌道輪の断面図である。

【図4】対象部材それぞれの顕微鏡画像の例である。

【図5】二つの区画画像を一つに繋ぐ処理の説明図である。

【図6】区画画像が繋げられた顕微鏡画像の説明図である。

【図7】対象領域の顕微鏡画像の説明図である。

【図8】ノイズ除去処理の説明図である。

【図9】ヒストグラム均一化処理前の説明図である。

【図10】ヒストグラム均一化処理後の説明図である。

【図11】暗側画像及び明側画像の説明図である。

【図12】グレースケール画像から生成されたヒストグラムの説明図である。

【図13】暗側画像に含まれる暗いオブジェクトの一つを示す説明図である。

【図14】明側画像に含まれる明るいオブジェクトの一つを示す説明図である。

【図15】学習モデルが出力した予測値と、実測値とを示すグラフである。

【図16】品質評価方法を説明するフロー図である。

【発明を実施するための形態】

【0025】

〔はじめに〕
図１は、本発明の学習モデルの製造方法の一例を示すフローチャートである。図１に示す製造方法は、学習モデルの構築方法（学習モデルのモデリング方法）とも言える。学習モデルは機械学習によって構築される。構築される学習モデルは、熱処理した鋼（炭素鋼又は合金鋼）からなる部材の品質評価に用いられる演算式である。図２は、学習モデルを機械学習により製造するための学習システムの構成を示すブロック図である。その学習システムには、顕微鏡及びカメラを含む画像取得装置１１、及びコンピュータ装置１２が含まれる。

【0026】

まず、学習モデルを構築する方法について説明する。次に、構築された学習モデルを用いて、品質評価を行う品質評価システム及び品質評価方法について説明する。
学習モデルを構築するために用いられる、熱処理した炭素鋼又は合金鋼からなる部材を「対象部材」と称する。これに対して、学習モデルを用いて前記品質評価を行う部材を「評価対象部材」と称する。評価対象部材は、対象部材と同じ熱処理した鋼（炭素鋼又は合金鋼）からなる。

【0027】

対象部材（評価対象部材）は、熱処理した、炭素鋼、又は、例えばクロム鋼、クロムモリブデン鋼、クロムモリブデンニッケル鋼等の合金鋼である。炭素鋼の例としては、Ｓ１０Ｃ、Ｃ２５Ｃ、Ｓ４０Ｃ等である。合金鋼の例としては、ＳＣＭ４１５、ＳＣｒ４１５、ＳＮＣＭ４２０、ＳＡＥ５１２０等である。合金鋼には、ニッケル、クロム、マンガン、及びモリブデンのうちの少なくとも一つが規定の含有量で含まれている。

【0028】

炭素鋼の場合であっても、合金鋼の場合であっても、炭素濃度が０．４％以下の鋼を、更には特に低炭素鋼を、本開示の発明における前記対象部材及び前記評価対象部材として用いる。また、残留オーステナイト量が０～５０％の範囲となる鋼を、本開示の発明における前記対象部材及び前記評価対象部材として用いる。また、硬さが８００～４００ＨＶの範囲となる鋼を、本開示の発明における前記対象部材及び前記評価対象部材として用いる。

【0029】

対象部材及び評価対象部材の具体例としては、例えば、転がり軸受の軌道輪である。図３は、転がり軸受の軌道輪の断面図である。図３に示す軌道輪は、円すい転がり軸受の内輪７である。対象部材及び評価対象部材が内輪７である場合、前記学習モデルは、その内輪７のうち、転動体（円すいころ）が転がり接触する軌道８における品質評価を行うためのモデルである。そして、内輪７の軌道８が、品質評価の対象となる。具体的に説明すると、内輪７の場合、軌道８の表面から約１００μｍの位置が、せん断応力が最大となる位置である。そこで、その位置を含む範囲を「対象領域」と定義し、その対象領域の品質評価を行うための学習モデルが構築される。更に、その学習モデルが用いられて対象領域の品質評価が行われる。

【0030】

前記熱処理としては、浸炭焼入れ処理、浸炭窒化焼入れ処理等である。本開示では、浸炭焼入れ処理が行われる場合について説明する。浸炭焼入れ処理は、例えば転がり軸受の軌道輪（図３に示す内輪７）の耐摩耗性及び耐疲労性を向上させることを目的として行われる。その浸炭焼入れ処理を行った鋼の品質に大きな影響を及ぼす因子として、炭素濃度、残留オーステナイト量、硬さ等が挙げられる。

【0031】

図２において、コンピュータ装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む処理装置１３、ハードディスク等からなる記憶装置１４、及び入出力インターフェース１５等を備える。記憶装置１４に記憶されているコンピュータプログラムが処理装置１３によって実行されることで、コンピュータ装置１２は、各種の機能部を備える。その機能部として、コンピュータ装置１２は、画像処理部１６、特徴量算出部１７、学習部１８、及び評価演算部１９を備える。記憶装置１４は、処理装置１３が処理したデータ（画像のデータ、特徴量、学習モデル、学習のための各種情報）を記憶することができる。

【0032】

〔学習モデルの製造方法〕
図１に示す製造方法には、事前工程Ｓ１、画像取得工程Ｓ２、画像処理工程Ｓ３、特徴量算出工程Ｓ４、及びモデル生成工程Ｓ５が含まれる。以下、各工程について説明する。

【0033】

〔事前工程Ｓ１〕
複数の対象部材（図３に示す内輪７となる中間品）に対して熱処理（浸炭焼入れ）が行われている。その熱処理では、対象部材毎に、熱処理用の炉内のカーボンポテンシャルを相違させる。つまり、対象部材毎に、熱処理条件であるカーボンポテンシャルを相違させる。具体的に説明すると、テストピース番号１とする対象部材ＴＰ１にはカーボンポテンシャルを０．２％とし、テストピース番号２とする対象部材ＴＰ２にはカーボンポテンシャルを０．５％とし、テストピース番号３とする対象部材ＴＰ３にはカーボンポテンシャルを０．７５％とし、テストピース番号４とする対象部材ＴＰ４にはカーボンポテンシャルを０．８％とし、テストピース番号５とする対象部材ＴＰ５にはカーボンポテンシャルを０．９％とする。カーボンポテンシャル以外の熱処理条件は同じである。

【0034】

対象部材ＴＰ１～ＴＰ５それぞれは、一つのみではなく、複数準備される。つまり、複数の対象部材ＴＰ１、複数の対象部材ＴＰ２、複数の対象部材ＴＰ３・・・が準備される。対象部材ＴＰ１～ＴＰ５それぞれが切断され、前記対象領域の物性値を測定する。

【0035】

対象部材ＴＰ１～ＴＰ５それぞれについて、電子線マイクロアナライザを用いて炭素濃度の測定が行われ、実測値が得られる。つまり、対象部材ＴＰ１～ＴＰ５それぞれの対象領域における物性値として、炭素濃度が求められる。
対象部材ＴＰ１～ＴＰ５それぞれについて、Ｘ線解析により、残留オーステナイト量が測定され、実測値が得られる。つまり、対象部材ＴＰ１～ＴＰ５それぞれの対象領域における物性値として、残留オーステナイト量が求められる。
対象部材ＴＰ１～ＴＰ５それぞれについて、硬さ測定（ビッカース硬度計）により、硬さが測定され、実測値が得られる。つまり、対象部材ＴＰ１～ＴＰ５それぞれの対象領域における物性値として、硬さが求められる。
また、検査員（熟練者）により、対象部材ＴＰ１～ＴＰ５それぞれについて顕微鏡観察が行われ、品質レベル値が求められる。品質レベル値は、例えば５段階評価の採点値である。なお、品質レベル値は、顕微鏡観察の結果に、前記各実測値（物性値）も含めて考慮されて決定されてもよい。

【0036】

対象部材ＴＰ１～ＴＰ５それぞれの物性値として、炭素濃度、残留オーステナイト、及び硬さのうちの少なくとも一つが求められていればよいが、本開示では、全てが求められる。
また、対象部材ＴＰ１～ＴＰ５それぞれの物性値と、対象部材ＴＰ１～ＴＰ５それぞれの品質レベル値とのうちのいずれか一方が求められていればよいが、本開示では、両者が求められる。
対象部材ＴＰ１～ＴＰ５それぞれの前記物性値及び前記採点値は、対象部材ＴＰ１～ＴＰ５（識別番号の情報）と対応付けられて、記憶装置１４に記憶される。

【0037】

〔画像取得工程Ｓ２〕
対象部材ＴＰ１～ＴＰ５それぞれの切断面が鏡面研磨され、所定の腐食液によってエッチングした後、金属組織の顕微鏡画像が画像取得装置１１によって取得される。画像取得工程Ｓ２では、対象部材ＴＰ１～ＴＰ５それぞれの対象領域の顕微鏡画像が取得される。図４は、対象部材ＴＰ１～ＴＰ５それぞれの顕微鏡画像の例である。

【0038】

このように、画像取得工程Ｓ２では、物性値及び品質レベル値が確認された対象部材ＴＰ１～ＴＰ５それぞれの表面から所定深さの対象領域の顕微鏡画像が取得される。取得された画像は、コンピュータ装置１２に送信されて記憶装置１４に記憶される。

【0039】

一つの顕微鏡画像の範囲は狭い。そこで、対象部材ＴＰ１～ＴＰ５それぞれについて、図３に示す内輪７の軌道８の表面からの深さ方向に直交する方向に沿った異なる複数の部位の顕微鏡画像を取得する。図３では、軌道８の表面からの深さ方向に直交する方向を「破線」で示している。この破線に沿って対象領域の複数の顕微鏡画像が取得される。この際、対象領域が複数の区画に分けられ、その区画それぞれの一部が重複するようにして撮影される。複数の区画に分ける方向は、前記破線に沿った方向であり、当該破線に沿った方向の端部が重複するようにして撮影が行われる。一つの区画の画像を「区画画像」と称する。

【0040】

区画画像それぞれにおいて、前記端部（前記一部）に含まれる特徴部分が抽出される。特徴部分とは、例えば周囲と比較して明度が異なっている部分（高くなっている部分）であり、特徴部分は複数抽出される。図５は、二つの区画画像を一つに繋ぐ処理の説明図である。図５では、前記破線に沿って隣り合う二つの区画画像Ｐ１，Ｐ２において、共通する特徴部分が丸で示されている。区画画像に含まれる特徴部分を基準として、前記破線に沿って複数の区画画像を繋げることで対象領域の一つの顕微鏡画像が取得される。なお、図５は、前記破線に沿って隣り合う二つの区画画像Ｐ１，Ｐ２が繋げられる場合の説明図である。図６は、二つよりも多い複数（五つ）の区画画像が繋げられた顕微鏡画像Ｐｊの説明図である。区画画像が繋げられた方向、つまり、前記破線に沿った方向を「幅方向」と称する。区画画像を繋げるための処理は、コンピュータ装置１２の画像処理部１６によって行われてもよい。

【0041】

このように、画像取得工程Ｓ２では、対象領域が複数の区画に分けられて、その区画それぞれの一部（端部）が重複するようにして撮影されることで複数の区画画像（Ｐ１，Ｐ２）が取得される。更に、その区画画像（Ｐ１，Ｐ２）に含まれる特徴部分を基準として、複数の区画画像（Ｐ１，Ｐ２）が繋げられる。これにより、対象領域の一つの顕微鏡画像Ｐｊ（図６参照）が取得される。

【0042】

更に、画像取得工程Ｓ２では、図６に示す顕微鏡画像Ｐｊが加工される。具体的に説明すると、軌道８（図３参照）の表面から所定の深さの位置を中央として、深さ方向について所定幅の顕微鏡画像（図７参照）に、加工される。前記所定の深さは、軌道８の表面から１００μｍの位置であり、前記所定幅は、例えば１００μｍである。つまり、せん断応力が最大となる位置を含む深さ方向について所定幅（１００μｍ）の顕微鏡画像に加工される。前記加工の処理は、コンピュータ装置１２の画像処理部１６によって行われればよい。

【0043】

以上より、対象部材ＴＰ１～ＴＰ５それぞれについて、図７に示すような顕微鏡画像が取得される。

【0044】

〔画像処理工程Ｓ３〕
画像処理工程Ｓ３では、画像取得工程Ｓ２で取得された顕微鏡画像それぞれが、コンピュータ装置１２の画像処理部１６によって処理される。画像処理工程Ｓ３には、ノイズ除去処理Ｓ３－１、ヒストグラム均一化処理Ｓ３－２、及び、明側画像と暗側画像とを生成する処理Ｓ３－３が含まれる。コンピュータ装置１２では、顕微鏡画像がグレースケール画像として処理される。

【0045】

〔ノイズ除去処理Ｓ３－１〕
図８中の（Ａ）は、図７に示す顕微鏡画像（グレースケール画像）の一部の説明図である。図８中の（Ｂ）は、（Ａ）の画像における前記幅方向の一列に沿った位置（画素）と、その位置での明度との関係を示すグラフである。（Ｂ）のグラフの横方向が、前記幅方向の位置であり、（Ｂ）のグラフの縦方向が、明度を示す。

【0046】

ここで、画像取得工程Ｓ２で取得される前記区画画像（図５参照）では、画像取得装置１１のカメラのレンズの影響等を受け、区画画像の中央では比較的明度が高く、区画画像の端では比較的明度が低くなる。このため、図８中の（Ｂ）に示すように、複数の区画画像を前記のとおり繋ぎ合わせると、前記幅方向に沿って明度が周期的に大きく変動する。そこで、画像処理工程Ｓ３では、まず、このような変動によるノイズが除去される。その除去の処理を、図７の画像及びその一部を示す図８中の（Ａ）～（Ｆ）により説明する。

【0047】

図７に示すグレースケール画像がコピーされ、コピー画像が生成される。そのコピー画像から、下記の式（１）が用いられて、背景画像が生成される。つまり、コピー画像における注目画素を原点として、下記の式（１）を用いた重み付けを実施し、明度の平均を算出する処理が実行される。

【0048】

【数1】

【0049】

式（１）の「ｘ」は、グレースケール画像中の画素の前記幅方向の座標であり、「ｙ」は、グレースケール画像中の画素の前記幅方向に直交する方向の座標である。「σ」は、設定値であり、同じ明度であると判断する画素値の最大差分である。この処理は、いわゆるガウシアンぼかしと呼ばれるぼかし処理である。

【0050】

図８中の（Ｃ）が、ぼかし処理により得られるグレースケール画像である。図８中の（Ｄ）は、（Ｃ）の画像における前記幅方向の一列に沿った位置（画素）と、その位置での明度との関係を示す説明図である。前記ぼかし処理により得られるグレースケール画像は、基のグレースケール画像の背景画像に相当する。このように、基のグレースケール画像に対して画像をぼかす処理を行うことで、背景画像として、（Ｃ）に示す背景画像が生成される。

【0051】

図８中の（Ａ）に示す基のグレースケール画像から、（Ｃ）に示す背景画像を用いて、ノイズを除去する。図８中の（Ｅ）は、ノイズが除去されたグレースケール画像である。図８中の（Ｆ）は、（Ｅ）の画像における前記幅方向の一列に沿った位置（画素）と、その位置での明度との関係を示す説明図である。
次の式（２）による演算が行われることで、図８中の（Ｅ）に示すような、ノイズが除去されたグレースケール画像が生成される。

【0052】

【数2】

【0053】

なお、前記式（１）に示す演算を、基のグレースケール画像に対して行って背景画像を生成し、コピー画像を背景画像で編集して、ノイズが除去されたグレースケール画像が生成されてもよい。

【0054】

以上のように、画像処理工程Ｓ３では、ノイズ除去処理Ｓ３－１が行われる。その処理は、図７に示す基のグレースケール画像をコピーしたコピー画像を生成する。基のグレースケール画像とコピー画像とのうちの一方に対して画像をぼかす処理を行って背景画像（図８中の（Ｃ）参照）を生成する。その背景画像を用いて、基のグレースケール画像とコピー画像とのうちの他方から、ノイズを除去したグレースケール画像（図８中の（Ｅ）参照）を生成する。本開示では、ノイズを除去したグレースケール画像に対して、次に説明する均一化処理Ｓ３－２が行われ、その処理を行った画像データに基づいて、後述する明側画像と暗側画像とが別々に生成される。

【0055】

〔ヒストグラム均一化処理Ｓ３－２〕
ノイズ除去処理Ｓ３－１により、ノイズが除去されたグレースケール画像それぞれから、明度のヒストグラムを生成し、そのヒストグラムの均一化処理Ｓ３－２が行われる。本開示の発明の場合、前記ヒストグラムは、明度０から明度２５５まで明度（階調）毎の画素数をそれぞれ累積したものである。ヒストグラム均一化処理Ｓ３－２は、ヒストグラムの累積度数のグラフの傾きが一定になるように基のデータを変換する処理である。具体的に説明すると、ノイズが除去されたグレースケール画像の各画素に対して、次の式（３）による変換処理が行われる。

【0056】

【数3】

【0057】

図９中の（Ａ）が、ノイズが除去されたグレースケール画像の一部であり、図９中の（Ｂ）が、（Ａ）のヒストグラムを示す説明図である。図９中の（Ｂ）の横軸が、明度（０～２５５）であり、縦軸が、画素数である。
図１０中の（Ａ）が、均一化処理されたグレースケール画像の一部であり、図１０中の（Ｂ）が、（Ａ）のヒストグラムを示す説明図である。図１０中の（Ｂ）の横軸が、明度（０～２５５）であり、縦軸が、画素数である。
この均一化処理Ｓ３－２により、画像に含まれる粒の輪郭が明確化される。

【0058】

以上のように均一化処理Ｓ３－２を行ったグレースケール画像から、後述する暗側画像と明側画像とがそれぞれ生成される。

【0059】

〔明側画像と暗側画像とを生成する処理Ｓ３－３〕
図１１中の（Ａ）は、均一化処理を行ったグレースケール画像の一部を示す図である。図１１中の（Ｂ）は、このグレースケール画像から生成された暗側画像の図である。図１１中の（Ｃ）は、このグレースケール画像から生成された明側画像の図である。
暗側画像は、対象部材（ＴＰ１～ＴＰ５それぞれ）の組織の粒が暗いオブジェクト（黒のオブジェクト）として示され、その他が明るい領域（白い領域）として示される画像である。
明側画像は、対象部材（ＴＰ１～ＴＰ５それぞれ）の組織の粒が明るいオブジェクト（白のオブジェクト）として示され、その他が暗い領域（黒の領域）として示される画像である。

【0060】

なお、前記組織の粒は「結晶粒」に相当する。暗側画像（Ｂ）において暗いオブジェクトとして示される粒と、明側画像（Ｃ）において明るいオブジェクトとして示される粒とは、別であり、それぞれ別の組織を有する。
暗いオブジェクト（暗い領域）は、前記エッチングによる腐食が進んでいる領域であり、明るいオブジェクト（明るい領域）は、前記エッチングによる腐食が進んでいない領域である。
明側画像及び暗側画像は、次にようにして生成される。この生成は、コンピュータ装置１２の画像処理部１６によって行われる。

【0061】

まず、均一化処理を行ったグレースケール画像（図１１中の（Ａ））からヒストグラムを生成する。そのヒストグラムは、明度０から明度２５５まで明度毎の画素数をそれぞれ累積したものである。図１２は、そのヒストグラムの説明図であり、横軸は、明度（０～２５５）であり、縦軸が、画素数である。図１２には、明度毎（階調毎）の累積度数を示す曲線Ｌについても示されている。

【0062】

予め、明側画像及び暗側画像を生成するために用いられる第一閾値及び第二閾値が設定される。
図１２に示すヒストグラムにおいて、暗い側（明度０）からの累積比率が第一設定値となる明度が、第一閾値として設定される。前記第一設定値は、例えば３０％以上、５０％以下の値が採用される。本開示の発明では、第一設定値として４０％が採用される。したがって、図１２に示すヒストグラムの場合、暗い側（明度０）からの累積比率が４０％となる明度、つまり、明度「１００」が、第一閾値として設定される。
また、図１２に示すヒストグラムにおいて、明るい側（明度２５５）からの累積比率が第二設定値となる明度が、前記第二閾値として設定される。第二設定値は、例えば１０％以上、３０％以下の値が採用される。本開示の発明では、第二設定値として２０％が採用される。したがって、図１２に示すヒストグラムの場合、明るい側（明度２５５）からの累積比率が２０％となる明度、つまり、明度「１８０」が、第二閾値として設定される。第二閾値は第一閾値よりも大きな値となる。

【0063】

そして、均一化処理を行ったグレースケール画像（図１１中の（Ａ））から、次のようにして、暗側画像（図１１中の（Ｂ））と明側画像（図１１中の（Ｃ））とがそれぞれ生成される。
すなわち、均一化処理を行ったグレースケール画像（Ａ）の各画素のうち、明度が第一閾値以下（明度が１００以下）の画素は、暗いオブジェクトを構成する要素とされる。これに対して、明度が第二閾値を超える（明度が１８０を超える）画素は、明るいオブジェクトを構成する要素とされる。これにより、均一化処理を行ったグレースケール画像（Ａ）から、前記第一閾値以下の画素は黒であってその他の領域は白となる暗側画像（Ｂ）が生成される。また、均一化処理を行ったグレースケール画像（Ａ）から、第二閾値を超える領域は白であってその他の領域は黒となる明側画像（Ｃ）が生成される。

【0064】

以上のように、対象部材ＴＰ１～ＴＰ５それぞれのグレースケール画像に基づいて、明側画像と暗側画像とのセットの画像が生成される。なお、前記のとおり、各対象部材（例えば、対象部材ＴＰ１）が複数準備されていることから、これら複数の対象部材（ＴＰ１）それぞれについての明側画像と暗側画像とのセットの画像が生成される。なお、残りの対象部材ＴＰ２～ＴＰ５についても同様であり、対象部材毎に、明側画像と暗側画像とのセットの画像が生成される。

【0065】

〔特徴量算出工程Ｓ４〕
図１１中の（Ｂ）に示すように、暗側画像は、組織の粒が暗いオブジェクト（黒のオブジェクト）として示される画像である。そこで、その暗側画像（Ｂ）に含まれる複数の前記オブジェクトの暗側特徴量が求められる。
図１１中の（Ｃ）に示すように、明側画像は、組織の粒が明るいオブジェクト（白のオブジェクト）として示される画像である。そこで、その明側画像（Ｃ）に含まれる複数の前記オブジェクトの明側特徴量を求められる。
暗側特徴量及び明側特徴量を求める処理は、コンピュータ装置１２の特徴量算出部１７が有する画像処理機能により実行される。

【0066】

図１３は、暗側画像（図１１中の（Ｂ））に含まれる暗いオブジェクトの一つを示す説明図である。図１４は、明側画像（図１１中の（Ｃ））に含まれる明るいオブジェクトの一つを示す説明図である。明側画像及び暗側画像それぞれから、複数のオブジェクトが抽出される。抽出されるオブジェクトは、所定の面積を有する一つの塊部分である。なお、面積が閾値よりも小さいオブジェクト、及び、面積が閾値よりも大きいオブジェクトについては、抽出するオブジェクトから除外される。暗側画像から抽出された各オブジェクトの暗側特徴量が求められる。明側画像から抽出された各オブジェクトの明側特徴量が求められる。

【0067】

暗側特徴量の例として、暗いオブジェクトの、長軸、短軸、角度、円形度、明度の最大値、歪度、ピクセル数、アスペクト比、調密度等が挙げられる。
明側特徴量の例として、明るいオブジェクトの明度の最大値、長軸、角度、円形度、明度の中央値、尖度、歪度、ピクセル数、アスペクト比等が挙げられる。
図１３及び図１４に示すように、長軸はオブジェクトの最大寸法であり、短軸は長軸に直交する方向の最大寸法である。角度は、前記幅方向に対する長軸の傾き角度である。円形度は「４π×（オブジェクトの面積）／（オブジェクトの周囲長）＾２」の計算値である。アスペクト比は「長軸／短軸」の計算値である。調密度は「（オブジェクトの面積）／（オブジェクトを囲む最小の四角形の面積）」の計算値である。明度の中央値は次のとおりである。「グレースケール画像（図１１中の（Ａ））における、特徴量を求める対象となるオブジェクトについて、横軸を明度とし縦軸を画素数としたヒストグラムを作成した場合に、そのヒストグラムの中央値」。明度の最大値は次のとおりである。「前記ヒストグラムを作成した場合に、そのヒストグラムの最大値」。歪度及び尖度は、前記ヒストグラムの形状から算出される値である。

【0068】

なお、前記の暗側特徴量及び明側特徴量の例は、次に説明する削除処理が行われた結果、最終的に機械学習に用いられる特徴量である。用いられる明側特徴量と暗側特徴量とは同じであってもよいが、前記のとおり異なっている。

【0069】

特徴量算出工程Ｓ４では、明側特徴量に関して、次の削減処理（１）又は削減処理（２）が行われる。
削減処理（１）：異なる二つの明側特徴量同士の相関が強い場合に、これら明側特徴量のうちの一方を削減する処理。
削減処理（２）：複数の明側特徴量について主成分分析を行うことで、これら明側特徴量のうちの一部を削減する処理。

【0070】

特徴量算出工程Ｓ４では、暗側特徴量に関して、次の削減処理（３）又は削減処理（４）が行われる。
削減処理（３）：異なる二つの暗側特徴量同士の相関が強い場合に、これら暗側特徴量のうちの一方を削減する処理。
削減処理（４）：複数の暗側特徴量について主成分分析を行うことで、これら暗側特徴量のうちの一部を削減する処理。

【0071】

このようにして明側特徴量及び暗側特徴量が削減され、削減された特徴量のデータを用いて、機械学習が行われる。なお、例えば、二つの特徴量同士の相関係数が０．８以上である場合、前記の「相関が強い」と判断される。

【0072】

以上のようにして、求められた明側特徴量及び暗側特徴量は、更に、次の式（４）により正規化される。

【数4】

【0073】

このように、特徴量算出工程Ｓ４では、明側画像（図１１中の（Ｃ））に含まれる複数のオブジェクトの明側特徴量と、暗側画像（図１１中の（Ｂ））に含まれる複数のオブジェクトの暗側特徴量とが求められる。対象部材ＴＰ１～ＴＰ５それぞれにおける明側特徴量及び暗側特徴量が数値として求められ、記憶装置１４に保存される。このように一つの対象部材（例えばＴＰ１）の顕微鏡画像から得られた明側特徴量及び暗側特徴量と、一つの対象部材（例えばＴＰ１）の識別番号の情報とは対応付けられて、記憶装置１４に保存される。

【0074】

明側特徴量及び暗側特徴量として鋼材の種類が含まれていてもよい。この場合、鋼材の種類を数値化したダミー変数が用いられる。例えばＳ２０Ｃのダミー変数は「０」であり、Ｓ５５Ｃのダミー変数は「１」である。

【0075】

〔モデル生成工程Ｓ５〕
モデル生成工程Ｓ５では、記憶装置１４に記憶させた、対象部材ＴＰ１～ＴＰ５それぞれの明側特徴量及び暗側特徴量を用いて学習モデルが生成される。モデル生成工程Ｓ５において行われる各処理は、コンピュータ装置１２の学習部１８によって行われる。学習部１８が行う機械学習は、線形回帰、リッジ回帰、及びラッソ回帰のいずれかを含む機械学習アルゴリズムに基づいて行われる。なお、本開示の方法では、ラッソ回帰が用いられることで、精度が高くなり好ましい。ここで行われる機械学習は教師あり学習となる。

【0076】

前記のとおり、一つの対象部材（例えばＴＰ１）と、その一つの対象部材（例えばＴＰ１）の明側特徴量及び暗側特徴量とは、対応付けられている。本開示の発明では、生成することが可能となる学習モデルは、次のとおりである。

【0077】

前記事前工程Ｓ１では、対象部材ＴＰ１～ＴＰ５について、それぞれの物性値（実測値）として炭素濃度が求められていて、その炭素濃度は、対象部材ＴＰ１～ＴＰ５と対応付けて、記憶装置１４に記憶されている。そこで、一つの対象部材に関して特徴量算出工程Ｓ４で求められた明側特徴量及び暗側特徴量と、その一つの対象部材の炭素濃度（実測値）とを教師データとして用いて、学習モデルが生成される。生成される学習モデルは、明側特徴量及び暗側特徴量から、対象部材の物性値として炭素濃度を出力するモデルである。

【0078】

前記事前工程Ｓ１では、対象部材ＴＰ１～ＴＰ５について、それぞれの物性値（実測値）として残留オーステナイト量が求められていて、その残留オーステナイト量は、対象部材ＴＰ１～ＴＰ５と対応付けて、記憶装置１４に記憶されている。そこで、一つの対象部材に関して特徴量算出工程Ｓ４で求められた明側特徴量及び暗側特徴量と、その一つの対象部材の残留オーステナイト量（実測値）とを教師データとして用いて、学習モデルが生成される。生成される学習モデルは、明側特徴量及び暗側特徴量から、対象部材の物性値として残留オーステナイト量を出力するモデルである。

【0079】

前記事前工程Ｓ１では、対象部材ＴＰ１～ＴＰ５について、それぞれの物性値（実測値）として硬さが求められていて、その硬さは、対象部材ＴＰ１～ＴＰ５と対応付けて、記憶装置１４に記憶されている。そこで、一つの対象部材に関して特徴量算出工程Ｓ４で求められた明側特徴量及び暗側特徴量と、その一つの対象部材の硬さ（実測値）とを教師データとして用いて、学習モデルが生成される。生成される学習モデルは、明側特徴量及び暗側特徴量から、対象部材の物性値として硬さを出力するモデルである。

【0080】

前記事前工程Ｓ１では、対象部材ＴＰ１～ＴＰ５について、それぞれの品質レベル値（５段階評価の採点値）が求められていて、その品質レベル値は、対象部材ＴＰ１～ＴＰ５と対応付けて、記憶装置１４に記憶されている。そこで、一つの対象部材に関して特徴量算出工程Ｓ４で求められた明側特徴量及び暗側特徴量と、その一つの対象部材の品質レベル値（５段階評価の採点値）とを教師データとして用いて、学習モデルが生成される。生成される学習モデルは、明側特徴量及び暗側特徴量から、対象部材の品質レベル値を出力するモデルである。

【0081】

以上のように、対象部材ＴＰ１～ＴＰ５それぞれの顕微鏡画像から明側画像及び暗側画像が生成され、明側特徴量及び暗側特徴量が得られると、これら明側特徴量及び暗側特徴量から、物性値として炭素濃度、残留オーステナイト量、又は硬さを出力する学習モデルが生成される。また、本開示の発明では、対象部材ＴＰ１～ＴＰ５それぞれの顕微鏡画像から明側画像及び暗側画像が生成され、明側特徴量及び暗側特徴量が得られると、これら明側特徴量及び暗側特徴量から、品質レベル値を出力する学習モデルについても生成される。

【0082】

このように、三種類の物性値それぞれを出力する学習モデル、及び、品質レベル値を出力する学習モデルの双方が生成される場合について説明したが、これら学習モデルのうちの一つのみが生成されてもよい。この場合であっても、その学習モデルを用いて、後に説明する評価対象部材の品質評価を行うことが可能となる。

【0083】

〔本開示の学習モデルの製造方法について〕
以上より、本開示の学習モデルの製造方法は、熱処理した炭素鋼又は合金鋼からなる部材の品質評価に用いられる学習モデルを製造する方法（構築する方法）である。その方法には、既に説明したように、画像取得工程Ｓ２と、画像処理工程Ｓ３と、特徴量算出工程Ｓ４と、モデル生成工程Ｓ５とが含まれる。

【0084】

画像取得工程Ｓ２では、対象部材ＴＰ１～ＴＰ５それぞれの対象領域の顕微鏡画像が取得される。その対象部材ＴＰ１～ＴＰ５は、それぞれ炭素濃度、硬さ、残留オーステナイト量のうちの少なくとも一つの物性値、及び、品質レベル値（５段階評価の採点値）が確認されている。この画像取得工程Ｓ２は、画像取得装置１１によって行われる。

【0085】

画像処理工程Ｓ３では、画像取得工程Ｓ２において取得された顕微鏡画像に基づくグレースケール画像から、明側画像（図１１中の（Ｃ））と暗側画像（図１１中の（Ｂ））とが別々に生成される。画像処理工程Ｓ３は、コンピュータ装置１２の機能部の一つである画像処理部１６によって行われる。

【0086】

特徴量算出工程Ｓ４では、前記明側画像に含まれる複数のオブジェクトの明側特徴量と、前記暗側画像に含まれる複数のオブジェクトの暗側特徴量とが求められる。特徴量算出工程Ｓ４は、コンピュータ装置１２の機能部の一つである特徴量算出部１７によって行われる。

【0087】

モデル生成工程Ｓ５では、前記明側特徴量及び前記暗側特徴量から、物性値を出力する学習モデルが生成される。また、本開示の発明では、モデル生成工程Ｓ５では、前記明側特徴量及び前記暗側特徴量から、品質レベル値を出力する学習モデルも生成される。
学習モデルの生成は機械学習によって行われる。物性値を出力する学習モデルを生成する際、特徴量算出工程Ｓ４で求められている明側特徴量及び暗側特徴量と、事前の求められている対象部材ＴＰ１～ＴＰ５の物性値とが、教師データとして用いられる。品質レベル値を出力する学習モデルを生成する際、特徴量算出工程Ｓ４で求められている明側特徴量及び暗側特徴量と、事前の求められている対象部材ＴＰ１～ＴＰ５の品質レベル値とが、教師データとして用いられる。モデル生成工程Ｓ５は、コンピュータ装置１２の機能部の一つである学習部１８によって行われる。

【0088】

なお、画僧取得工程Ｓ２において、対象部材ＴＰ１～ＴＰ５それぞれの物性値と品質レベル値とのうち、いずれか一方のみが確認されていればよく、この場合、物性値を出力する学習モデルと品質レベル値を出力する学習モデルとのうちの一方のみが生成される。

【0089】

前記の方法によれば、明部特徴量及び暗部特徴量を説明変数とし物性値を目的変数とする学習モデルが得られる。また、明部特徴量及び暗部特徴量を説明変数とし品質レベル値を目的変数とする学習モデルが得られる。明側特徴量のみではなく、また、暗側特徴量のみではなく、明側特徴量と暗側特徴量との双方が教師データとして用いられて学習モデルが製造される。

【0090】

また、明側画像（図１１中の（Ｃ））及び暗側画像（図１１中の（Ｃ））を生成するために、本開示の方法に含まれる画像処理工程Ｓ３では、グレースケール画像（図１１中の（Ａ））の各画素のうち、明度が第一閾値以下の画素は暗いオブジェクトを構成する要素とされ、明度が第一閾値よりも大きな第二閾値を超える画素は明るいオブジェクトを構成する要素とされる。これにより、前記グレースケール画像から、前記第一閾値以下の画素は黒であってその他の領域は白となる暗側画像と、前記第二閾値を超える領域は白であってその他の領域は黒となる前記明側画像と、がそれぞれ生成される。
この方法では、前記グレースケール画像において、明度が第一閾値と第二閾値との間の中間レベルの領域については、明側特徴量及び暗側特徴量を求めるために有効となる組織の粒として扱われない。

【0091】

また、本開示の方法の画像処理工程Ｓ３では、グレースケール画像（図９中の（Ａ））から明度のヒストグラム（図９中の（Ｂ））が生成され、そのヒストグラムの均一化処理が行われる。その均一化処理を行ったグレースケール画像（図１０中の（Ａ））から、暗側画像と明側画像とがそれぞれ生成される。この場合、例えば、前記グレースケール画像の明るさが偏っている場合、全体的なバランスが改善される。また、グレースケール画像中の粒の輪郭が明確化される。

【0092】

ここで、図１５中の（Ａ）は、前記方法により構築した炭素濃度用の学習モデルが出力した予測値と、実測値とを示すグラフである。なお、その学習モデルは、前記均一化処理を行った暗側画像及び明側画像から、それぞれ特徴量を求め、前記機械学習を行った場合の学習モデルである。
これに対して、図１５中の（Ｂ）は、前記均一化処理を行わないで構築した炭素濃度用の学習モデルが出力した予測値と、実測値とを示すグラフである。
均一化処理を行った場合（図１５中の（Ａ））の予測値と実測値との決定係数（寄与率）は、均一化処理を行わない場合（図１５中の（Ｂ））よりも１に近い。つまり、均一化処理を行うことで、学習モデルによる予測精度が高くなることがわかる。

【0093】

また、本開示の方法に含まれる画像取得工程Ｓ２では、対象部材ＴＰ１～ＴＰ５それぞれの対象領域が複数の区画に分けられていて、その区画それぞれの一部が重複するようにして撮影することで複数の区画画像が取得される。そして、各区画画像に含まれる特徴部分を基準として、複数の区画画像を繋げることで、前記対象領域の一つの顕微鏡画像が取得される。この方法によれば、対象領域を広く設定できる。また、多くのオブジェクト、その明側特徴量、その暗側特徴量が得られる。そして、複数の区画の画像毎に、次の画像処理工程Ｓ３を行わないで済む。

【0094】

前記のように、画像の繋ぎ合わせが行われる場合、画像の背景を除去するために、前記ノイズ除去処理Ｓ３－１が行われるのが好ましい。つまり、画像処理工程Ｓ３（ノイズ除去処理Ｓ３－１）では、取得したグレースケール画像をコピーしたコピー画像（図８中の（Ａ））に対して、画像をぼかす処理を行って背景画像（図８中の（Ｃ））が生成される。その背景画像を用いて、基のグレースケール画像からノイズを除去したグレースケール画像（図８中の（Ｅ））が生成される。そして、ノイズが除去されたグレースケール画像から、明側画像と暗側画像とが生成される。この方法によれば、顕微鏡（レンズ）の影響で画像に入り込んでしまったノイズ、及び、前記のように区画画像を繋ぎ合わせることで生じたノイズを低減することが可能となる。

【0095】

更に、本開示の特徴量算出工程Ｓ４では、明側特徴量に関して、前記削除処理（１）又は前記削減処理（２）が行われる。暗側特徴量に関して、前記削除処理（３）又は前記削減処理（４）が行われる。これにより、明側特徴量のいくつか及び暗側特徴量のいくつかが削除されてから、学習モデルが生成される。このようにして製造された学習モデルが用いられることで、物性値及び品質レベル値を推定する精度がより高まる。

【0096】

〔品質評価を行う品質評価システム及び品質評価方法について〕
前記のようにして製造された（構築された）学習モデルを用いて、評価対象部材の品質評価を行う品質評価システム、及び品質評価方法について説明する。評価対象部材は、前記学習モデルを生成するために用いられた対象部材と同種の炭素鋼又は合金鋼からなり、当該対象部材と同様に熱処理が行われている。

【0097】

本開示の発明では、前記「品質評価」として、次の二つの評価の一方又は双方を行うことが可能である。
・（品質評価その１）評価対象部材における、炭素濃度、硬さ、残留オーステナイト量のうちの少なくとも一つの物性値を求めて（推定して）、その物性値に基づいて行う評価
・（品質評価その２）評価対象部材の品質レベル値（例えば５段階評価の採点値）を求めて（推定して）、その採点値に基づいて行う評価

【0098】

品質評価方法の概略は次のとおりである。
すなわち、評価対象部材の顕微鏡画像を取得し、前記学習モデルを構築する場合と同様の手段により、その評価対象部材に関する暗側特徴量及び明側特徴量を取得する。これら暗側特徴量及び明側特徴量を入力データとして前記学習モデルによる演算を行い、物性値と品質レベル値とのうちの一方又は双方が求められる。このようにして、評価対象部材の品質評価が行われる。以下、品質評価方法について具体的に説明する。

【0099】

図１６は、品質評価方法を説明するフロー図である。その品質評価方法には、図１６に示すように、画像取得工程Ｓ１１と、画像処理工程Ｓ１２と、特徴量算出工程Ｓ１３と、評価演算工程Ｓ１４とが含まれる。
なお、図１６に示す品質評価方法を行う品質評価システムは、図２に示す学習システムが備える画像取得装置１１及びコンピュータ装置１２により構成することができる。この場合、品質評価システムは、画像取得装置１１と、画像処理部１６と、特徴量算出部１７と、評価演算部１９とを備える。

【0100】

画像取得工程Ｓ１１では、評価対象部材ＴＰ０が切断され、切断面が鏡面研磨され、所定の腐食液によってエッチングした後、金属組織の顕微鏡画像が画像取得装置によって取得される。その画像取得装置は、学習モデルの製造方法で用いられた画像取得装置１１（図２参照）と同じである。画像取得工程Ｓ１１で行われる処理は、学習モデルの製造方法（図１参照）で行われる画像取得工程Ｓ２と同じであり、その画像処理工程Ｓ２での処理と同じ処理が、品質評価方法の画像取得工程Ｓ１１でも行われる。これにより、評価対象部材ＴＰ０の表面から所定深さの対象領域の顕微鏡画像が取得される。

【0101】

画像処理工程Ｓ１２では、前記顕微鏡画像に基づくグレースケール画像から、評価対象部材ＴＰ０の組織の粒が明るいオブジェクトとして示されその他が暗い領域として示される明側画像と、評価対象部材ＴＰ０の組織の粒が暗いオブジェクトとして示されその他が明るい領域として示される暗側画像と、が生成される。画像処理工程Ｓ１２で行われる処理は、学習モデルの製造方法（図１参照）で行われる画像処理工程Ｓ３と同じであり、その画像処理工程Ｓ３での処理と同じ処理が、品質評価方法の画像処理工程Ｓ１２でも行われる。明側画像及び暗側画像の生成は、コンピュータ装置１２の機能部の一つである画像処理部によって行われ、その画像処理部は、学習モデルの製造方法で用いられた画像処理部１６（図２参照）と同じである。

【0102】

特徴量算出工程Ｓ１３では、前記明側画像に含まれる複数の前記オブジェクトの明側特徴量と、前記暗側画像に含まれる複数の前記オブジェクトの暗側特徴量とが求められる。特徴量算出工程Ｓ１３で行われる処理は、学習モデルの製造方法（図１参照）で行われる特徴量算出工程Ｓ４と同じであり、その特徴量算出工程Ｓ４での処理と同じ処理が、品質評価方法の特徴量算出工程Ｓ１３でも行われる。明側特徴量及び暗側特徴量を求める処理は、コンピュータ装置１２の機能部の一つである特徴量算出部によって行われ、その特徴量算出部は、学習モデルの製造方法で用いられた特徴量算出部１７（図２参照）と同じである。

【0103】

ここで、前記のとおり、本開示の発明では、学習モデルとして、炭素濃度の推定用の学習モデル、硬さの推定用の学習モデル、及び、残留オーステナイト量の推定用の学習モデル、並びに、品質レベル値の推定用の学習モデルが、構築されている。

【0104】

評価演算工程Ｓ１４では、特徴量算工程Ｓ１３において求められた、明側特徴量及び暗側特徴量をデータセットとして用いて、学習モデルの製造方法（図１参照）で生成された学習モデルにより、評価対象部材ＴＰ０の物性値が、推定値として出力される。この際に、説明するまでもないが、炭素濃度の推定用の学習モデルが用いられる場合、炭素濃度の推定値が得られる。残留オーステナイト及び硬さの場合も同様である。
評価演算工程Ｓ１４では、特徴量算工程Ｓ１３において求められた、明側特徴量及び暗側特徴量をデータセットとして用いて、学習モデルの製造方法（図１参照）で生成された学習モデルにより、評価対象部材ＴＰ０の品質レベル値（例えば５段階評価の採点値）が、推定値として出力される。この際に、説明するまでもないが、品質レベル値の推定用の学習モデルが用いられる。
評価演算工程Ｓ１４は、コンピュータ装置１２の機能部の一つである評価演算部１９によって行われる。

【0105】

以上のように、本開示の発明によれば、図２に示す学習システムによって構築された学習モデルが用いられることで、評価対象部材ＴＰ０の物性値を推定する精度が高まり、また、評価対象部材ＴＰ０の品質レベル値を推定する精度が高まる。その結果、評価対象部材ＴＰ０の品質評価の精度を高めることが可能となる。

【0106】

今回開示した実施形態はすべての点で例示であって制限的なものではない。本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。

【符号の説明】

【0107】

１６：画像処理部 １７：特徴量算出部 １８：学習部
１９：評価演算部 Ｓ１：事前工程 Ｓ２：画像取得工程Ｓ
Ｓ３：画像処理工程Ｓ Ｓ４：特徴量算出工程Ｓ Ｓ５：モデル生成工程Ｓ
Ｓ１１：画像取得工程 Ｓ１２：画像処理工程 Ｓ１３：特徴量算出工程
Ｓ１４：評価演算工程 ＴＰ１～ＴＰ５：対象部材

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】