(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024152124
(43)【公開日】2024-10-25
(54)【発明の名称】検査システム、および検査方法
(51)【国際特許分類】
G01N 33/204 20190101AFI20241018BHJP
【FI】
G01N33/204
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023066116
(22)【出願日】2023-04-14
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000280
【氏名又は名称】弁理士法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】谷地 宣紀
【テーマコード(参考)】
2G055
【Fターム(参考)】
2G055AA03
2G055BA05
2G055EA06
2G055EA08
2G055FA02
(57)【要約】
【課題】組織画像に基づいてセメンタイトの析出状態を判定することができる技術を提供する。
【解決手段】検査システム1は、熱処理した炭素鋼または合金鋼からなる対象部材の検査システムである。この検査システム1は、表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得するカメラ8と、検査装置2と、を備える。検査装置2は、組織画像に基づいて、組織画像における粒状の画像部分であるオブジェクトを取得する取得処理2a1と、オブジェクトに基づいて特徴量を求める特徴量算出処理2a2と、特徴量に基づいて断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデル12を用いて、断面領域におけるセメンタイトの析出状態の判定を行う判定処理2a3と、を実行する処理部2aを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
熱処理した炭素鋼または合金鋼からなる対象部材の検査システムであって、
表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得する画像取得部と、
検査装置と、
を備え、
前記検査装置は、
前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトを取得する取得処理と、
前記オブジェクトに基づいて特徴量を求める特徴量算出処理と、
前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行う判定処理と、
を実行する処理部を備える
検査システム。
【請求項2】
前記オブジェクトは、明オブジェクト、および、前記明オブジェクトよりも暗い暗オブジェクトを含み、
前記取得処理では、
前記組織画像のうち、明度が第1閾値以下の部分が前記暗オブジェクトとして取得され、明度が前記第1閾値よりも大きい第2閾値を超える部分が前記明オブジェクトとして取得される請求項1に記載の検査システム。
【請求項3】
前記特徴量は、前記明オブジェクトに基づいて求められる明側特徴量と、前記暗オブジェクトに基づいて求められる暗側特徴量と、を含み、
前記明側特徴量は、少なくとも、前記明オブジェクトの長軸、前記明オブジェクトの円形度、前記明オブジェクトの稠密度、階級を明度とし度数を画素数としたときの前記明オブジェクトの明ヒストグラムの標準偏差、前記明ヒストグラムの歪度、および、前記明ヒストグラムの尖度を含み、
前記暗側特徴量は、少なくとも、前記暗オブジェクトの面積、前記暗オブジェクトの周囲長、前記暗オブジェクトの長軸、前記暗オブジェクトの円形度、および、階級を明度とし度数を画素数としたときの前記暗オブジェクトの暗ヒストグラムの標準偏差を含む
請求項2に記載の検査システム。
【請求項4】
前記処理部は、前記判定処理の後、前記断面領域における炭素濃度の推定値を求める推定処理をさらに実行する
請求項1から請求項3のいずれか一項に記載の検査システム。
【請求項5】
熱処理した炭素鋼または合金鋼からなる対象部材の検査方法であって、
表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得するステップと、
前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトを取得するステップと、
前記オブジェクトに基づいて特徴量を求めるステップと、
前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行うステップと、
を含む検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査システム、および検査方法に関する。
【背景技術】
【0002】
特許文献1には、熱処理した炭素鋼や合金鋼からなる部材の断面の組織画像に基づいて、炭素濃度を求める技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来例を用いて熱処理品の検査を行う場合、組織画像に基づいて炭素濃度が合格条件を満たしているか否かの判定を行うことはできる。
しかし、例えば、セメンタイトの析出が顕著である等、金属組織に異常が認められる場合については判定を行うことができない。
このため、組織画像に基づいてセメンタイトの析出状態を判定することができる技術が望まれていた。
【課題を解決するための手段】
【0005】
実施形態である検査システムは、熱処理した炭素鋼または合金鋼からなる対象部材の検査システムである。このシステムは、表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得する画像取得部と、検査装置と、を備える。前記検査装置は、前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトを取得する取得処理と、前記オブジェクトに基づいて特徴量を求める特徴量算出処理と、前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行う判定処理と、を実行する処理部を備える。
【0006】
他の観点から見た実施形態は、熱処理した炭素鋼または合金鋼からなる対象部材の検査方法である。この検査方法は、表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得するステップと、前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトを取得するステップと、前記オブジェクトに基づいて特徴量を求めるステップと、前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行うステップと、を含む。
【発明の効果】
【0007】
本開示によれば、組織画像に基づいてセメンタイトの析出状態を判定することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、検査システムの一例を示すブロック図である。
【
図2】
図2は、処理部が有する機能を示すブロック図である。
【
図3】
図3は、軌道輪の断面を顕微鏡観察するための試料の一例を示す図である。
【
図4】
図4は、検査装置による検査処理の一例を示すフローチャートである。
【
図5】
図5は、ヒストグラム均一化処理前の組織画像およびヒストグラムを示す図である。
【
図6】
図6は、ヒストグラム均一化処理後の組織画像およびヒストグラムを示す図である。
【
図7】
図7は、組織画像の明度のヒストグラムの一例を示す図であ。
【
図8】
図8は、閾値に基づいて組織画像から抽出される部分を説明するための図である。
【
図9】
図9は、オブジェクトの一例を示す図である。
【
図10】
図10は、
図9の暗オブジェクトの位置および明オブジェクトの位置を示す図である。
【
図11】
図11は、オブジェクトのヒストグラムの一例を示す図である。
【
図12】
図12は、データ収集用軌道輪の断面領域の組織画像を示す図である。
【発明を実施するための形態】
【0009】
最初に実施形態の内容を列記して説明する。
[実施形態の概要]
(1)実施形態である検査システムは、熱処理した炭素鋼または合金鋼からなる対象部材の検査システムである。この検査システム1は、表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得する画像取得部と、検査装置と、を備える。前記検査装置は、前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトを取得する取得処理と、前記オブジェクトに基づいて特徴量を求める特徴量算出処理と、前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行う判定処理と、を実行する処理部を備える。
【0010】
上記構成によれば、組織画像における粒状の画像部分であるオブジェクトの特徴量に基づいてセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて判定処理を行うので、顕微鏡観察した組織画像に基づいて、セメンタイトの析出状態の判定を行うことができる。
【0011】
(2)上記検査システムにおいて、前記オブジェクトが、明オブジェクト、および、前記明オブジェクトよりも暗い暗オブジェクトを含む場合、前記取得処理では、前記組織画像のうち、明度が第1閾値以下の部分が前記暗オブジェクトとして取得され、明度が前記第1閾値よりも大きい第2閾値を超える部分が前記明オブジェクトとして取得されることが好ましい。
この場合、明オブジェクトおよび暗オブジェクトのそれぞれで特徴量を求めることができ、判定処理における判定精度を高めることができる。
【0012】
(3)上記検査システムにおいて、前記特徴量は、前記明オブジェクトに基づいて求められる明側特徴量と、前記暗オブジェクトに基づいて求められる暗側特徴量と、を含む場合、前記明側特徴量は、少なくとも、前記明オブジェクトの長軸、前記明オブジェクトの円形度、前記明オブジェクトの稠密度、階級を明度とし度数を画素数としたときの前記明オブジェクトの明ヒストグラムの標準偏差、前記明ヒストグラムの歪度、および、前記明ヒストグラムの尖度を含み、前記暗側特徴量は、少なくとも、前記暗オブジェクトの面積、前記暗オブジェクトの周囲長、前記暗オブジェクトの長軸、前記暗オブジェクトの円形度、および、階級を明度とし度数を画素数としたときの前記暗オブジェクトの暗ヒストグラムの標準偏差を含むことが好ましい。
この場合、各特徴量によって、判定処理における判定精度をより高めることができる。
【0013】
(4)上記検査システムにおいて、前記処理部は、前記判定処理の後、前記断面領域における炭素濃度の推定値を求める推定処理をさらに実行するように構成してもよい。
この場合、セメンタイトの析出状態を判定した後、炭素濃度の異常の有無を判定することができる。よって、金属組織が適切でない試料に対して炭素濃度の合否判定が行われるのを抑制することができる。
【0014】
(5)また、他の観点から見た実施形態は、熱処理した炭素鋼または合金鋼からなる対象部材の検査方法である。この検査方法は、表面からの位置が所定深さ位置である前記対象部材の断面領域を顕微鏡観察した組織画像を取得するステップと、前記組織画像に基づいて、前記組織画像における粒状の画像部分であるオブジェクトと、前記オブジェクト以外の画像領域と、を含むオブジェクト画像を生成するステップと、前記オブジェクト画像に含まれる複数の前記オブジェクトに基づいて特徴量を求めるステップと、前記特徴量に基づいて前記断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習された判定モデルを用いて、前記断面領域におけるセメンタイトの析出状態の判定を行うステップと、を含む。
【0015】
[実施形態の詳細]
以下、好ましい実施形態について図面を参照しつつ説明する。
〔システムの全体構成について〕
図1は、検査システムの一例を示すブロック図である。
図1中の検査システム1は、熱処理品の断面組織の顕微鏡画像に基づいて熱処理品の検査を行うためのシステムである。
より具体的に検査システム1は、熱処理品の断面組織におけるセメンタイトの析出状態の判定、および、熱処理品の炭素濃度の異常の有無の判定を行う機能を有する。
検査システム1は、検査装置2と、複数のユーザ側装置4と、を備える。
【0016】
複数のユーザ側装置4は、例えば、点在する複数の工場に設置される。複数のユーザ側装置4は、それぞれ、熱処理品の検査を行う検査員によって用いられる。
複数のユーザ側装置4は、それぞれ、ユーザ端末6と、カメラ8と、顕微鏡10と、を備える。
顕微鏡10は、金属断面の観察が可能な金属顕微鏡である。
カメラ8は、顕微鏡10に組み込まれる。カメラ8は、CCD素子やCMOS素子等の撮像素子およびレンズ等の光学機構を有する撮像装置である。カメラ8は、顕微鏡により観察された金属組織を撮像する機能を有する。カメラ8は、ユーザ端末6に接続されており、撮像した金属組織の組織画像をユーザ端末6へ与える。
【0017】
ユーザ端末6は、例えば、コンピュータであり、処理部6aと、記憶部6bと、入出力部6cと、を備える。
処理部6aは、例えば、CPU(Central Processing Unit)等からなる。
記憶部6bは、例えば、フラッシュメモリ、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)等である。記憶部6bには、処理部6aに実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部6aは、記憶部6bのようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部6aが有する各種処理機能を実現する。
入出力部6cは、検査員による入力を受け付けるとともに、検査員へ情報等を出力する機能を有する。入出力部6cは、例えば、キーボード、マウス、タッチパネル、モニタ、スピーカ、プリンタ、インジケータ等である。
【0018】
ユーザ端末6および検査装置2は、LAN(Local Area Network)やインターネット等のネットワークNWによって、相互に通信可能に接続されている。
よって、ユーザ端末6は、カメラ8から与えられる組織画像を検査装置2へ送信することができる。
また、ユーザ端末6は、検査装置2から送信される検査結果等の情報を受信することができる。ユーザ端末6は、入出力部6cを介して、検査結果等の情報を検査員へ出力することができる。
【0019】
検査装置2は、例えば、サーバ等のコンピュータである。なお、検査装置2は、クラウド上に設けられていてもよい。
検査装置2は、複数のユーザ端末6から送信される組織画像に基づいて、熱処理品の検査処理を行う機能を有する。
【0020】
検査装置2は、処理部2aと、記憶部2bと、を備える。
処理部2aは、例えば、CPU(Central Processing Unit)等からなる。
記憶部2bは、例えば、フラッシュメモリ、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)等である。記憶部2bには、処理部2aに実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部2aは、記憶部2bのようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部2aが有する各種処理機能を実現する。
【0021】
また、記憶部2bは、判定モデル12と、炭素濃度推定モデル14とを記憶する。
判定モデル12は、後述する特徴量に基づいて検査対象となる試料の断面領域におけるセメンタイトの析出状態の判定結果を出力するように学習されたモデルである。
判定モデル12および炭素濃度推定モデル14は、後述する検査処理にて用いられる。判定モデル12および炭素濃度推定モデル14については、後に説明する。
【0022】
図2は、処理部2aが有する機能を示すブロック図である。
処理部2aは、記憶部2bに記憶されたコンピュータプログラムを実行することで、取得処理2a1、特徴量算出処理2a2、判定処理2a3、および炭素濃度推定処理2a4を実行する。これら各処理については、後に説明する。
【0023】
〔検査処理の対象となる対象部材および対象部材の顕微鏡観察について〕
検査システム1は、対象部材の検査を行うことができる。対象部材には、炭素鋼、合金鋼等を用いた熱処理品が含まれる。炭素鋼としては、S10C、S25C、S40C、S45C等が挙げられる。合金鋼としては、SCr415、SCM415、SCM435、SNCM420、SAE5120等が挙げられる。また、対象部材対する熱処理には、浸炭焼き入れが含まれる。
【0024】
本実施形態では、対象部材が転がり軸受の軌道輪である場合について説明する。この軌道輪は、炭素鋼または合金鋼を用いて形成された部材である。軌道輪は、浸炭焼き入れの後、焼き戻しされる。
浸炭焼き入れおよび焼き戻しは、複数の軌道輪を含む1ロットごとに行われる。1ロットに含まれる複数の軌道輪のうちの1または複数個の軌道輪が対象部材として選択される。
【0025】
図3は、軌道輪の断面を顕微鏡観察するための試料の一例を示す図である。
図3中、試料100は、切断片102と、樹脂104と、を含む。
切断片102は、高速カッタ等で切り出された軌道輪の一部分である。
樹脂104は、円筒状に形成されている部材であり、切断片102が埋め込まれることで切断片102を保持する。
試料100の観察面100aは、切断片102の断面102aと、樹脂面104aと、を含む。よって、断面102aは、試料100の観察面100aにおいて露出している。
なお、断面102aは、軌道輪の軸線を含む面に沿う断面である。よって、断面102aには、軌道面102a1が表れている。
【0026】
観察面100aは、鏡面研磨の後、ナイタール(硝酸アルコール液)等の組織観察用腐食液に所定時間浸漬されている。これによって、断面102aは、腐食(エッチング)される。
対象部材として選択された軌道輪は、検査員によって切断片102に加工され、試料100の作製に供される。
【0027】
断面102aがエッチングされた試料100は、顕微鏡10にセットされる。検査員は、断面102aのうち、必要な箇所を顕微鏡10の視野に設定し、組織画像の撮像を行う。
本検査処理では、軌道輪の浸炭層が検査対象である。よって、検査員は、断面102aにおける浸炭層の部分を顕微鏡10の視野に入れ、カメラ8によって組織画像を撮像する。これによって、断面102aにおける浸炭層の組織画像が撮像される。
【0028】
なお、浸炭層は、断面102aにおける軌道面102a1から、軌道面102a1の直下1mm~3mm程度の深さまでの範囲に存在している。よって、検査員は、軌道面102a1(表面)からの位置が1mm~3mmの深さ位置(所定深さ位置)である断面領域をカメラ8によって撮像し、組織画像を得る。
つまり、カメラ8は、表面からの位置が所定深さ位置である断面領域を顕微鏡観察した組織画像を取得する画像取得部を構成する。
【0029】
カメラ8によって撮像された組織画像は、ユーザ端末6へ与えられる。ユーザ端末6は、組織画像を検査装置2へ送信する。ユーザ端末6は、カメラ8から組織画像が与えられると、組織画像を検査装置2へ送信してもよいし、検査員の操作入力に基づいて組織画像を検査装置2へ送信してもよい。
【0030】
〔検査処理について〕
図4は、検査装置2による検査処理の一例を示すフローチャートである。
検査処理において、検査装置2の処理部2aは、まず、複数のユーザ側装置4(ユーザ端末6)から送信される組織画像を受信したか否かを判定する(
図4中、ステップS1)。処理部2aは、組織画像を受信したと判定するまで、ステップS1を繰り返す。
【0031】
組織画像を受信したと判定すると、処理部2aは、組織画像をグレースケール画像に変換した上で、ノイズ除去処理を行う(
図4中、ステップS2)。ノイズ除去処理は、組織画像に含まれるノイズを除去する処理である。このノイズは、カメラ8の光学機構等に含まれるレンズによる影響に起因するノイズである。ノイズには、組織画像の中央部の明度が端部の明度相対的に高くなるという現象が含まれる。
処理部2aは、組織画像に含まれる複数の画素それぞれの明度に対して重み付けを行い、平均化する処理を行う。これにより、上記ノイズを除去する。
【0032】
ノイズ除去処理を終えると、処理部2aは、ヒストグラム均一化処理を行う(
図4中、ステップS3)。ヒストグラム均一化処理は、明度のヒストグラムのプロファイルの傾きが全域に亘って滑らかになるように基のデータを変換する処理である。明度のヒストグラムとは、組織画像における複数の画素の複数の明度をヒストグラムとして表したものである。
【0033】
ヒストグラム均一化処理において、処理部2aは、ノイズ除去された組織画像の各画素に対して、下記式(1)による変換を行う。
【0034】
【0035】
図5は、ヒストグラム均一化処理前の組織画像およびヒストグラムを示す図である。
図5中、(A)は、ヒストグラム均一化処理前の組織画像の一例を示しており、(B)は、(A)に示す組織画像の明度のヒストグラムを示している。
図5中の(B)に示す明度のヒストグラムの階級(横軸)は明度であり、度数(縦軸)は画素数である。
【0036】
図6は、ヒストグラム均一化処理後の組織画像およびヒストグラムを示す図である。
図6中、(A)は、
図5中の(A)に示す組織画像をヒストグラム均一化処理した後の組織画像の一例を示しており、(B)は、(A)に示す組織画像の明度のヒストグラムを示している。
図6中の(B)に示す明度のヒストグラムの階級(横軸)は明度であり、度数(縦軸)は画素数である。
【0037】
図5中の(A)および
図6中の(A)に示すように、組織画像に対してヒストグラム均一化処理が行われると、組織画像における粒状の領域の輪郭がより明確となる。
また、
図5中の(B)における明度のヒストグラムのプロファイルの傾きは、度数が最大である明度付近で非常に大きく現れ、明度の両端部(明度0近傍および明度255近傍)では広い範囲でほぼ0となっている。つまり、
図5中の(B)における明度のヒストグラムのプロファイルの傾きには、傾きが急峻に変化している部分が含まれている。
これに対して、
図6中の(B)における明度のヒストグラムのプロファイルの傾きは、明度の全域に亘って滑らかに変化するように表れている。
このように、処理部2aは、ヒストグラム均一化処理がなされた組織画像を得る。
【0038】
ヒストグラム均一化処理を終えると、処理部2aは、オブジェクトを取得する取得処理を実行する(
図4中、ステップS4:
図2中、取得処理2a1)。
オブジェクトとは、組織画像に含まれる粒状の画像部分である。
オブジェクトは、明オブジェクトと、明オブジェクトよりも相対的に暗い暗オブジェクトと、を含む。
暗オブジェクトは、前記エッチングによる腐食が進んでいる領域であり、明オブジェクトは、前記エッチングによる腐食が進んでいない領域である。
【0039】
取得処理において、処理部2aは、まず、明度のヒストグラムを生成する。取得処理において生成されるヒストグラムは、
図6中の(B)で示したヒストグラムと同様のヒストグラムである。
処理部2aは、ヒストグラム均一化処理後の組織画像(例えば、
図6中の(A))から、明度のヒストグラムを生成する。明度のヒストグラムは、領域画像を構成する複数の画素の明度を階級とし、階級ごとの画素数を度数としたヒストグラムである。
【0040】
図7は、上記ヒストグラムの一例を示す図であり、横軸は、明度(0~255)であり、縦軸が、出現頻度である。
図7には、明度毎(階調毎)の累積度数を示す曲線Lについても示されている。
【0041】
明オブジェクトおよび暗オブジェクトを生成するために、明度に対して、第1閾値と、第2閾値とが、予め設定される。
図7に示すヒストグラムにおいて、暗い側(明度0)からの累積比率が第1設定値となる明度が、第1閾値として設定される。前記第1設定値は、例えば30%以上、50%以下の値が採用される。例えば、第1設定値として40%が採用される場合、
図7に示すヒストグラムでは、暗い側(明度0)からの累積比率が40%となる明度(ここでは明度「100」であるとする)が、第1閾値として設定される。
また、
図7に示すヒストグラムにおいて、明るい側(明度255)からの累積比率が第2設定値となる明度が、前記第2閾値として設定される。第2設定値は、例えば10%以上、30%以下の値が採用される。例えば、第2設定値として20%が採用される場合、
図7に示すヒストグラムでは、明るい側(明度255)からの累積比率が20%となる明度(ここでは明度「180」であるとする)が、第2閾値として設定される。第2閾値は第1閾値よりも大きな値となる。
【0042】
処理部2aは、ヒストグラム均一化処理後の組織画像の各画素のうち、明度が第1閾値以下(明度が100以下)の画素の部分を抽出する。
ヒストグラム均一化処理後の組織画像の各画素のうち、明度が第1閾値以下(明度が100以下)の画素は、暗オブジェクトを構成する画素となる。
【0043】
また処理部2aは、ヒストグラム均一化処理後の組織画像の各画素のうち、明度が第2閾値を超える(明度が180を超える)画素の部分を抽出する。
ヒストグラム均一化処理後の組織画像の各画素のうち、明度が第2閾値を超える(明度が180を超える)画素は、明オブジェクトを構成する画素とされる。
【0044】
図8は、閾値に基づいて組織画像から抽出される部分を説明するための図である。
図8中の(A)は、ヒストグラム均一化処理後の組織画像の一部を示す図、
図8中の(B)は、第1閾値に基づいて組織画像から抽出された部分を示す図、
図8中の(C)は、第2閾値に基づいて組織画像から抽出された部分を示す図である。
【0045】
図8中の(B)は、黒色領域と、白色領域と、を含む。
図8中の(B)では、明度が第1閾値以下の画素の部分を黒色領域で示し、それ以外の部分を白色領域で示している。
図8中の(B)に示すように、黒色領域は、粒状の複数の画像部分を構成している。
つまり、組織画像のうち明度が第1閾値以下の画像部分は、複数の粒状となる。この粒状の複数の画像部分が、それぞれ暗オブジェクトを構成する。
処理部2aは、組織画像のうち明度が第1閾値以下の画像部分を抽出し、複数の暗オブジェクトを取得する。
【0046】
図8中の(C)も、黒色領域と、白色領域と、を含む。
図8中の(C)では、明度が第2閾値を超える画素の部分を白色領域で示し、それ以外の部分を黒色領域で示している。
図8中の(C)に示すように、白色領域は、粒状の複数の画像部分を構成している。
つまり、組織画像のうち明度が第2閾値を超える画像部分は、複数の粒状となる。この粒状の複数の画像部分が、それぞれ明オブジェクトを構成する。
処理部2aは、組織画像のうち明度が第2閾値を超える画像部分を抽出し、複数の明オブジェクトを取得する。
【0047】
オブジェクト(暗オブジェクトおよび明オブジェクト)を取得すると、処理部2aは、特徴量算出処理を行う(
図4中、ステップS5:
図2中、特徴量算出処理2a2)。
処理部2aは、取得したオブジェクトに基づいて特徴量を求める。
【0048】
図9は、オブジェクトの一例を示す図であり、
図9中の(A)は、暗オブジェクト一例を示しており、
図9中の(B)は、明オブジェクトの一例を示している。
また、
図10は、
図8中の(A)において示した組織画像と同じ組織画像であり、
図9の暗オブジェクトの位置および明オブジェクトの位置を示す図である。
図9中の(A)に示す暗オブジェクトは、
図10中の四角形A内に含まれている。
図9中の(B)に示す明オブジェクトは、
図10中の四角形B内に含まれている。
【0049】
組織画像には、複数のオブジェクト(複数の暗オブジェクトおよび複数の明オブジェクト)が含まれる。
オブジェクトは、上述したように、組織画像における粒状の画像部分であり、所定の面積を有する一つの塊部分である。なお、面積が所定の下限値よりも小さいオブジェクト、および、面積が所定の上限値よりも大きいオブジェクトについては、特徴量の算出対象から除外される。
【0050】
処理部2aによって求められる特徴量は、暗オブジェクトに基づいて求められる暗側特徴量と、明オブジェクトに基づいて求められる明側特徴量と、を含む。
【0051】
暗側特徴量は、少なくとも、暗オブジェクトの面積、暗オブジェクトの周囲長、暗オブジェクトの長軸、暗オブジェクトの円形度、および、暗ヒストグラムの標準偏差を含む。
暗オブジェクトの面積は、暗オブジェクトの輪郭や、暗オブジェクトを構成する画素数等から求められる。
図9中の(A)に示すように、暗オブジェクトの長軸は、オブジェクトの最大寸法である。また、暗オブジェクトの短軸は長軸に直交する方向の最大寸法である。
暗オブジェクトの円形度は、下記式(2)によって求められる。
暗オブジェクトの円形度=4π×(暗オブジェクトの面積)/
((オブジェクトの周囲長)×(オブジェクトの周囲長)) ・・・(2)
【0052】
暗ヒストグラムの標準偏差は、暗ヒストグラムに基づいて求められる標準偏差である。
暗ヒストグラムとは、階級を明度とし度数を画素数としたときの暗オブジェクト1つのヒストグラムである。
図11は、オブジェクトのヒストグラムの一例を示す図である。
図11では、
図9中の(A)に示す暗オブジェクトの暗ヒストグラムと、
図9中の(B)に示す明オブジェクトの明ヒストグラムと、を1つのヒストグラムで示している。なお、
図11における第1閾値および第2閾値は、100および180と異なる値に設定されていることがある。
また、暗ヒストグラムは、
図11に示すヒストグラムのうちの暗ヒストグラムの部分のみを含むヒストグラムを指すものとする。同様に、明ヒストグラムは、
図11に示すヒストグラムのうちの明ヒストグラムの部分のみを含むヒストグラムを指すものとする。
【0053】
なお、暗側特徴量は、暗オブジェクトの短軸、暗ヒストグラムの歪度、および、暗オブジェクトのY座標のうちの少なくとも1つを含んでいてもよい。
暗ヒストグラムの歪度とは、正規分布に対する暗ヒストグラムのプロファイルの歪を表す値であって、左右の対称性を示す値である。暗ヒストグラムの歪度は、公知の定義に基づいて求められる。
暗オブジェクトのY座標とは、暗オブジェクトの幾何中心のY座標である。この座標は、例えば、組織画像の領域における特定の位置を基準点としたときの組織画像中の位置を表す。
【0054】
また、明側特徴量は、少なくとも、明オブジェクトの長軸、明オブジェクトの円形度、明オブジェクトの稠密度、明ヒストグラムの標準偏差、明ヒストグラムの歪度、および、明ヒストグラムの尖度を含む。
図9中の(B)に示すように、明オブジェクトの長軸は、オブジェクトの最大寸法である。また、明オブジェクトの短軸は長軸に直交する方向の最大寸法である。
明オブジェクトの円形度は、上記式(2)と同様に求められる。
明オブジェクトの稠密度は、下記式(3)によって求められる。
明オブジェクトの稠密度=(オブジェクトの面積)/
(オブジェクトを囲む最小の四角形の面積) ・・・(3)
【0055】
明ヒストグラムの標準偏差は、明ヒストグラムに基づいて求められる標準偏差である。
明ヒストグラムとは、
図11に示したように、階級を明度とし度数を画素数としたときの明オブジェクト1つのヒストグラムである。
明ヒストグラムの歪度は、上述の暗ヒストグラムの歪度と同様である。
明ヒストグラムの尖度とは、正規分布に対する明ヒストグラムのプロファイルの尖り度合いを表す値である。明ヒストグラムの歪度および尖度は、公知の定義に基づいて求められる。
【0056】
なお、明側特徴量は、明オブジェクトの短軸、および、明オブジェクトの面積のうちの少なくとも1つを含んでいてもよい。
明オブジェクトの面積は、明オブジェクトの輪郭や、明オブジェクトを構成する画素数等から求められる。
【0057】
複数のオブジェクトに基づいて特徴量(明側特徴量および暗側特徴量)を求めると、処理部2aは、
図4中のステップS6へ進み、複数のオブジェクトの特徴量に基づいて断面領域におけるセメンタイトの析出状態の判定を行う判定処理を実行する(
図4中、ステップS6:
図2中、判定処理2a3)。
処理部2aは、記憶部2bに記憶されている判定モデル12を用いて、断面領域におけるセメンタイトの析出状態の合否判定を行う。
【0058】
判定モデル12は、上述の特徴量(明側特徴量および暗側特徴量)と、セメンタイトの析出状態の合否判定と、の関係を機械学習させることで得られた学習済みモデルである。つまり、判定モデル12は、明側特徴量および暗側特徴量を入力とし、セメンタイトの析出状態の合否を出力とするモデルである。
【0059】
判定モデル12の機械学習に用いられる教師データは、対象部材である軌道輪と同様の軌道輪(データ収集用軌道輪)を用いて収集される。
教師データは、データ収集用軌道輪から得られる特徴量(明側特徴量および暗側特徴量)と、この特徴量が得られたデータ収集用軌道輪のセメンタイトの析出状態の合否判定結果と、を含む。
教師データに含まれる特徴量は、データ収集用軌道輪から切り出される切断片を用いて試料を作製し、この試料に対して上述のステップS2からS5と同様の手順によって得ることができる。
セメンタイトの析出状態の合否判定結果には、「合格」または「不合格」が含まれる。セメンタイトの析出状態の合否判定結果は、データ収集用軌道輪を用いた試料を観察した検査員により判定される。
【0060】
図12は、データ収集用軌道輪の断面領域の組織画像を示す図である。
図12中の(A)は、セメンタイトの析出状態の合否判定結果が「合格」であるデータ収集用軌道輪の組織画像である。
図12中の(B)、(C)、および(D)は、セメンタイトの析出状態の合否判定結果が「不合格」であるデータ収集用軌道輪の組織画像である。
図12中の(A)では、観察される領域のほとんどがマルテンサイト組織であり、比較的明るい粒子として表れるセメンタイトの析出がほとんど見られない。
一方、
図12中の(B)、(C)、および(D)では、比較的明るい粒子として表れるセメンタイトの析出が顕著に見られる。
このように、データ収集用軌道輪におけるセメンタイトの析出状態の合否判定結果は、データ収集用軌道輪を用いた試料を観察した検査員により判定される。
【0061】
また、データ収集用軌道輪の組織画像は、データ収集用軌道輪のオブジェクトの取得および特徴量の算出に用いられる。
これにより、特徴量(明側特徴量およぶ暗側特徴量)と、セメンタイトの析出状態の合否判定結果と、を対応付けた教師データが得られる。
【0062】
判定モデル12は、上述のように収集された教師データを用いて予め機械学習される。
機械学習のアルゴリズムとしては、線形回帰、リッジ回帰、ラッソ回帰等が用いられる。また、これらに限らず、ニューラルネットワーク、決定木、ランダムフォレストなどを用いてもよい。
【0063】
処理部2aは、
図4中のステップS5にて求めた明側特徴量および暗側特徴量を判定モデル12へ与え、セメンタイトの析出状態の合否判定結果を判定モデル12に出力させる(
図4中、ステップS6)。
処理部2aは、複数の明オブジェクトのうちの所定数の明オブジェクトそれぞれから得られる明側特徴量、および、複数の暗オブジェクトのうちの所定数の暗オブジェクトそれぞれから得られる暗側特徴量を判定モデル12へ与え、セメンタイトの析出状態の合否判定結果を得る。
次いで、処理部2aは、
図4中のステップS7へ進み、判定モデル12が出力した判定結果が合格か否かを判定する(
図4中、ステップS7)。
判定モデル12による判定結果が合格でない(不合格である)と判定すると、処理部2aは、ステップS8へ進み、セメンタイトの析出状態が不合格であることを示す情報を組織画像の送信元であるユーザ端末6へ出力し、処理を終える。
セメンタイトの析出状態が不合格であることを示す情報を受信したユーザ端末6は、入出力部6cを介して、セメンタイトの析出状態が不合格であることを示す情報を検査員へ出力する。
【0064】
一方、判定モデル12による判定結果が合格であると判定すると、処理部2aは、ステップS9へ進み、組織画像に基づいて断面領域における炭素濃度の推定値を求める炭素濃度推定処理を実行する(
図4中、ステップS9)。
【0065】
処理部2aは、記憶部2bに記憶されている炭素濃度推定モデル14を用いて、断面領域における炭素濃度の推定値を求める。
炭素濃度推定モデル14は、炭素濃度推定用の特徴量と、炭素濃度の推定値と、が対応付けられた教師データを用いて機械学習された学習済みモデルである。つまり、炭素濃度推定モデル14は、炭素濃度推定用の特徴量を入力とし、炭素濃度の推定値を出力とするモデルである。
【0066】
炭素濃度推定用の特徴量は、組織画像から取得された複数のオブジェクト(明オブジェクトおよび暗オブジェクト)を用いて得られる数値が用いられる。
なお、炭素濃度推定用の特徴量は、組織画像とは異なる炭素濃度推定用の組織画像を用いて求められてもよい。この場合、処理部2aは、炭素濃度推定用の組織画像の送信を、組織画像の送信元であるユーザ端末6へ要求する。
【0067】
図4中のステップS9において、処理部2aは、炭素濃度推定用の特徴量を求めるとともに、炭素濃度推定用の特徴量を炭素濃度推定モデル14へ与え、炭素濃度の推定値を炭素濃度推定モデル14に出力させる(
図4中、ステップS9)。
次いで、処理部2aは、
図4中のステップS10へ進み、炭素濃度推定モデル14が出力した推定値が合格か否かを判定する(
図4中、ステップS10)。処理部2aは、例えば、推定値が0.8%以上である場合、合格と判定する。
【0068】
推定値が合格でない(不合格である)と判定すると、処理部2aは、ステップS11へ進み、炭素濃度が不合格であることを示す情報を組織画像の送信元であるユーザ端末6へ出力し、処理を終える。
炭素濃度が不合格であることを示す情報を受信したユーザ端末6は、入出力部6cを介して、炭素濃度が不合格であることを示す情報を検査員へ出力する。
【0069】
一方、炭素濃度が合格であると判定すると、処理部2aは、ステップS12へ進み、セメンタイトの析出状態および炭素濃度が合格であることを示す情報を組織画像の送信元であるユーザ端末6へ出力し、処理を終える。
セメンタイトの析出状態および炭素濃度が合格であることを示す情報を受信したユーザ端末6は、入出力部6cを介して、セメンタイトの析出状態および炭素濃度が合格であることを示す情報を検査員へ出力する。
【0070】
以上のようにして、処理部2aは、ユーザ端末6から与えられる組織画像について検査処理を行い、セメンタイトの析出状態の合否判定および炭素濃度の合否判定をユーザ端末6へ出力し、処理を終える。
【0071】
上記構成によれば、組織画像における粒状の画像部分であるオブジェクトの特徴量に基づいてセメンタイトの析出状態の判定結果を出力するように学習された判定モデル12を用いて判定処理を行うので、顕微鏡観察した組織画像に基づいて、セメンタイトの析出状態の判定を行うことができる。
【0072】
また、本実施形態では、オブジェクトが、明オブジェクト、および、前記明オブジェクトよりも暗い暗オブジェクトを含むので、明オブジェクトおよび暗オブジェクトのそれぞれで特徴量を求めることができる。
つまり、特徴量は、明オブジェクトに基づいて求められる明側特徴量と、暗オブジェクトに基づいて求められる暗側特徴量と、を含んでいる。これにより、判定処理における判定精度を高めることができる。
【0073】
さらに、明側特徴量は、少なくとも、明オブジェクトの長軸、明オブジェクトの円形度、明オブジェクトの稠密度、明ヒストグラムの標準偏差、明ヒストグラムの歪度、および、明ヒストグラムの尖度を含み、暗側特徴量は、少なくとも、暗オブジェクトの面積、暗オブジェクトの周囲長、暗オブジェクトの長軸、暗オブジェクトの円形度、および、暗ヒストグラムの標準偏差を含んでいる。
このため、各特徴量によって、判定処理における判定精度をより高めることができる。
【0074】
さらに本実施形態では、判定処理の後、断面領域における炭素濃度の推定値を求める推定処理がさらに実行されるので、検査処理において、セメンタイトの析出状態を判定した後、炭素濃度の異常の有無が判定される。よって、金属組織が適切でない試料に対して炭素濃度の合否判定が行われるのを抑制することができる。
【0075】
〔検証試験について〕
次に、検査システム1について行った検証試験について説明する。
試験方法としては、炭素濃度が0.9%以上であって、セメンタイトの析出が顕著であることが事前に確認されている試料の組織画像(試験用組織画像)を用意した。
図13は、試験用組織画像の一例を示す図である。
炭素濃度が0.9%であって、
図13に示す試験用組織画像と同等のセメンタイトの析出状態である試験用組織画像を5つ用意した。
【0076】
これら試験用組織画像を検査装置2に与え、検査装置2に検査処理を行わせた。
その結果、検査装置2の処理部2aは、いずれの試験用組織画像もセメンタイトの析出状態が不合格であることを示す情報を出力した。
この結果から、金属組織が適切でない試料に対して炭素濃度の合否判定が行われるのを抑制することができることが確認できた。
【0077】
〔その他〕
今回開示した実施形態はすべての点で例示であって制限的なものではない。
例えば、上記実施形態では、ユーザ端末6から検査装置2へ組織画像が与えられると、検査装置2によって検査処理が行われる場合を例示したが、検査処理を行う前に、組織画像に基づいて、研磨状態およびエッチングによる濃淡状態が適切か否かの判定処理を行ってもよい。
検査処理の対象となる組織画像の研磨状態および濃淡状態が、一定の状態でないと、検査処理における判定の精度を低下させるおそれがある。この点、検査処理を行う前に、組織画像に基づいて、研磨状態およびエッチングによる濃淡状態が適切か否かの判定処理が行われることで、研磨状態およびエッチングによる濃淡状態が適切でない組織画像については、検査処理の前に検査対象から除くことができる。この結果、検査処理における判定の精度の低下を抑制することができる。
【0078】
また、上記実施形態では、検査装置2が、判定モデル12および炭素濃度推定モデル14を有する場合を例示したが、判定モデル12および炭素濃度推定モデル14は、検査装置2以外の他のサーバ等に記憶され、検査装置2は、他のサーバにアクセスし判定モデル12および炭素濃度推定モデル14を用いるように構成されていてもよい。
【0079】
本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
【符号の説明】
【0080】
1 検査システム
2 検査装置
2a 処理部
2a1 取得処理
2a2 特徴量算出処理
2a3 判定処理
2a4 炭素濃度推定処理
2b 記憶部
8 カメラ
10 顕微鏡
12 判定モデル