特開 2024-79234 破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079234

(43)【公開日】2024-06-11

(54)【発明の名称】破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240604BHJP

   G01N 3/00 20060101ALI20240604BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610Z

G01N3/00 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022192063

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】390006323

【氏名又は名称】ポリプラスチックス株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】望月 章弘

(72)【発明者】

【氏名】野澤 千鈴

【テーマコード（参考）】

2G061

5L096

【Ｆターム（参考）】

2G061AA14

2G061AB04

2G061BA03

2G061CA10

2G061CB03

2G061DA12

2G061EB07

2G061EC05

5L096BA03

5L096FA03

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】破面画像から破壊の起点を含む領域を推定する破面解析装置、学習済みモデル生成装置及び学習モデル、コンピュータが行う破面解析方法並びにコンピュータを破面解析装置として機能させる破面解析プログラムを提供する。
【解決手段】破面解析システムにおいて、破面解析装置１は、解析対象の樹脂成形体の破面を撮像した第１破面画像を取得する取得部１１と、第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成する生成部１２と、第２破面画像から生成された第２リバーパターン画像と、第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された第１学習済みモデルに、第１リバーパターン画像を入力して、第１破面画像における破壊の起点を含む領域を推定する推定部１３と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

解析対象の樹脂成形体の破面を撮像した第１破面画像を取得する取得部と、
前記第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成する生成部と、
第２破面画像から生成された第２リバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された第１学習済みモデルに、前記第１リバーパターン画像を入力して、前記第１破面画像における破壊の起点を含む領域を推定する推定部と、を有すること
を特徴とする破面解析装置。

【請求項2】

前記生成部は、前記第１破面画像から直線要素を抽出し、抽出された前記直線要素を描画して前記第１リバーパターン画像を生成すること
を特徴とする請求項１記載の破面解析装置。

【請求項3】

前記ラベルは、前記第２破面画像を分割した複数の領域のいずれかであって、
前記第１学習済みモデルは、複数の前記領域の各確率を出力し、
前記推定部は、前記確率に基づいて、前記第１破面画像における破壊の起点が含まれる領域を推定すること
を特徴とする請求項１記載の破面解析装置。

【請求項4】

前記複数の領域は、前記第２破面画像における上部、下部、左部および右部の４つの領域であること
を特徴とする請求項３記載の破面解析装置。

【請求項5】

第３破面画像と破壊原因であるラベルとを教師データとする機械学習によって生成された第２学習済みモデルに、前記第１破面画像を入力して、前記樹脂成形体の破壊の原因を特定する解析部を有すること
を特徴とする請求項１記載の破面解析装置。

【請求項6】

第３破面画像と破壊原因であるラベルとを教師データとする機械学習によって生成された第２学習済みモデルに、前記第１破面画像の前記推定された領域を拡大した拡大画像を入力して、前記樹脂成形体の破壊の原因を特定する解析部を有すること
を特徴とする請求項１に記載の破面解析装置。

【請求項7】

前記取得部は、前記推定された領域に相当する前記樹脂成形体の破面が、前記第１破面画像より高い倍率で撮像された高倍率画像を取得し、
第３破面画像と破壊原因であるラベルとを教師データとする機械学習によって生成された第２学習済みモデルに、前記高倍率画像を入力して、前記樹脂成形体の破壊の原因を特定する解析部を有すること
を特徴とする請求項１に記載の破面解析装置。

【請求項8】

樹脂成形体の破面を撮像した破面画像から生成された、破壊の流れを示すリバーパターン画像と、前記破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを取得する取得部と、
前記教師データを用いた機械学習によって、破壊の起点を含む領域を推定するための学習済みモデルを生成する学習部と、を有すること
を特徴とする学習済みモデル生成装置。

【請求項9】

コンピュータが行う破面解析方法であって、
解析対象の樹脂成形体の破面を撮像した第１破面画像を取得し、
前記第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成し、
第２破面画像から生成された第２リバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された学習済みモデルに、前記第１リバーパターン画像を入力して、前記第１破面画像における破壊の起点を含む領域を推定すること
を特徴とする破面解析方法。

【請求項10】

請求項１から７のいずれか１項に記載の破面解析装置として、コンピュータを機能させることを特徴とする破面解析プログラム。

【請求項11】

解析対象の樹脂成形体の破面を撮像した第１破面画像に基づいて、前記第１破面画像における破壊の起点を含む領域を推定するようにコンピュータを機能させるための学習済みモデルであって、
第２破面画像から生成された、破壊の流れを示すリバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを用いた機械学習により、前記リバーパターン画像が入力層に入力されると、出力層が破壊の起点を含む領域の確率を出力するように重み付け値が学習されたものであり、
前記入力層に入力された前記リバーパターン画像に対し、学習された前記重み付け値に基づく演算を行い、前記出力層から起点を含む領域の確率を出力するよう、コンピュータを機能させるための学習済みモデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、樹脂成形体の破面を解析する技術に関する。

【背景技術】

【0002】

破壊した箇所の破面を観察し、その様子から破壊の原因を探索する破面解析が行われている。破面解析は、金属の分野を中心に、破面模様の特徴から破壊原因あるいは破壊機構を推定するために広く用いられている手法である。樹脂成形体においても、金属材料と同様に破壊原因によって様々な破面模様が示されることから、同様の破面解析手法が取り入れられている。

【0003】

樹脂成形体の場合、例えば、走査型電子顕微鏡（ＳＥＭ）により、破面の表面微細構造を高倍率で観察するとともに、化学組成分析を用いた、ブリードアウト物、異物、または劣化生成物の有無の確認を行うことで、破壊原因を推定する（特許文献１）。また、樹脂形成体の破面画像から破壊原因を特定する技術も研究されている（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４－１９８４１４号公報

【特許文献2】特許第６７８９４６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

樹脂成形体の破面画像から破壊原因を特定する際に、不適切な破面画像を用いることで、破壊原因を誤判定してしまう可能性がある。破壊原因の誤判定を回避するためには、破壊の起点（破壊に至る欠陥）が、どこにあるのかを把握することが重要である。

【0006】

しかしながら、破面の表面微細構造を観察して破壊の起点を推定することは、熟練した技術者でないと難しい技術である。例えば、破面の中でポイントとなる小さな特徴を見つけ出し、破壊の起点を見つけ出すには、多くの破面を観察してきた経験と、知識（ある種のセンス）とが必要となる。なお、特許文献２は、破壊の起点の推定については考慮されていない。

【0007】

本発明は、上記課題を鑑みてなされたものであり、本発明の目的は、破面画像から破壊の起点を含む領域を推定することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様は、破面解析装置であって、解析対象の樹脂成形体の破面を撮像した第１破面画像を取得する取得部と、前記第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成する生成部と、第２破面画像から生成された第２リバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された第１学習済みモデルに、前記第１リバーパターン画像を入力して、前記第１破面画像における破壊の起点を含む領域を推定する推定部と、を有する。

【0009】

本発明の一態様は、学習済みモデル生成装置であって、樹脂成形体の破面を撮像した破面画像から生成された、破壊の流れを示すリバーパターン画像と、前記破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを取得する取得部と、前記教師データを用いた機械学習によって、破壊の起点を含む領域を推定するための学習済みモデルを生成する学習部と、を有する。

【0010】

本発明の一態様は、コンピュータが行う破面解析方法であって、解析対象の樹脂成形体の破面を撮像した第１破面画像を取得し、前記第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成し、第２破面画像から生成された第２リバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された学習済みモデルに、前記第１リバーパターン画像を入力して、前記第１破面画像における破壊の起点を含む領域を推定する。

【0011】

本発明の一態様は、上記破面解析装置として、コンピュータを機能させる破面解析プログラムである。

【0012】

本発明の一態様は、解析対象の樹脂成形体の破面を撮像した第１破面画像に基づいて、前記第１破面画像における破壊の起点を含む領域を推定するようにコンピュータを機能させるための学習済みモデルであって、第２破面画像から生成された、破壊の流れを示すリバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを用いた機械学習により、前記リバーパターン画像が入力層に入力されると、出力層が破壊の起点を含む領域の確率を出力するように重み付け値が学習されたものであり、前記入力層に入力された前記リバーパターン画像に対し、学習された前記重み付け値に基づく演算を行い、前記出力層から起点を含む領域の確率を出力するよう、コンピュータを機能させる。

【発明の効果】

【0013】

本発明によれば、破面画像から破壊の起点を含む領域を推定することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る破面解析システムの全体構成を示す図である。

【図2】第１学習済みモデルの生成処理のフローチャートである。

【図3】第１学習済みモデルの例である。

【図4】破壊の起点の推定処理のフローチャートである。

【図5】起点の推定画面（入力画面）の例である。

【図6A】破面画像の例である。

【図6B】リバーパターン画像の例である。

【図7】起点の推定画面（出力画面）の例である。

【図8A】疲労破壊の破面画像の例である。

【図8B】延性破壊の破面画像の例である。

【図8C】脆性破壊の破面画像の例である。

【図9】第２学習済みモデルの生成処理のフローチャートである。

【図10】第２学習済みモデルの例である。

【図11】破壊原因の特定処理のフローチャートである。

【図12】破壊原因の特定画面（入力画面）の例である。

【図13】破壊原因の特定画面（出力画面）の例である。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態について、図面を参照して説明する。

【0016】

図１は、本発明の実施形態に係る破面解析システム全体構成図である。本実施形態の破面解析システムは、樹脂成形体（樹脂成型品）の破面画像から破壊の起点を含む領域を推定する。また、本実施形態の破面解析システムは、破面画像から破壊原因を特定してもよい。

【0017】

図示する破面解析システムは、破面解析装置１と、モデル生成装置２と、利用者端末３とを備える。これらの装置はネットワークに接続され、ネットワークを介して相互に通信を行うことができる。ネットワークは、例えばＬＡＮ、インターネット等である。

【0018】

利用者端末３は、破面解析を要求する利用者が使用する端末装置である。利用者端末３は、利用者の指示を受け付けて、走査型電子顕微鏡４（以下、「ＳＥＭ」という）により取得した樹脂成形体の破面画像を含む解析要求を、破面解析装置１に送信する。利用者端末３は、解析結果として破壊の起点を含む領域を破面解析装置１から受信する。また、利用者端末３は、解析結果として破壊原因を破面解析装置１から受信してもよい。

【0019】

利用者は、ＳＥＭ４が撮像および出力した樹脂成形体の破面画像を、例えばＵＳＢメモリ等の記録媒体に格納し、当該記録媒体を用いて利用者端末３に入力して、破面解析装置１に送信する。ＳＥＭ４が通信機能を有する場合は、ＳＥＭ４を利用者端末３として用いてもよい。ここで、ＳＥＭ４は、樹脂成形体の破面を解析に十分な倍率や分解能で観察できるものであれば走査型電子顕微鏡に限定されず、実体顕微鏡や金属顕微鏡といった光学顕微鏡、あるいは高倍率のデジタルカメラなども利用することができる。

【0020】

なお、利用者端末３は、破面解析装置１と同じ敷地（例えば、工場、研究所等）に設置され、前記敷地内の技術者が使用する端末であってもよい。あるいは、利用者端末３は、破面解析装置１から離れた場所にあり、樹脂成形体を製造する加工業者、樹脂成形体を購入した顧客、樹脂材料または樹脂成形体を販売する営業部員などが使用する端末であってもよい。

【0021】

破面解析装置１は、利用者端末３からの要求に応じて、樹脂成形体の破面画像を解析し、前記破面画像における破壊の起点を含む領域を推定する。破壊の起点となり得る欠陥箇所としては、例えば樹脂成形体のシャープコーナー部、ウエルド、ボイド、バリ、フローマーク等が挙げられる。

【0022】

図示する破面解析装置１は、破面画像から破壊原因を特定してもよい。図示する破面解析装置１は、取得部１１と、生成部１２と、推定部１３と、解析部１４と、出力部１５と、モデル記憶部１６とを有する。

【0023】

取得部１１は、利用者端末３から送信された、解析対象の樹脂成形体の破面を撮像した破面画像（第１破面画像）を取得する。生成部１２は、取得した破面画像から、破壊の流れを示すリバーパターン画像（第１リバーパターン画像）を生成する。生成部１２は、破面画像から直線要素を抽出し、抽出された前記直線要素を描画してリバーパターン画像を生成する。

【0024】

推定部１３は、第１学習済みモデルに、前記リバーパターン画像を入力して、前記破面画像における破壊の起点を含む領域を推定する。第１学習済みモデルは、学習用の破面画像（第２破面画像）から生成されたリバーパターン画像（第２リバーパターン画像）と、前記破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成される。具体的には、第１学習済みモデルは、複数の領域の各確率を出力し、推定部１３は、前記確率に基づいて、破面画像における破壊の起点が含まれる領域を推定する。

【0025】

解析部１４は、第２学習済みモデルに、破面画像を入力して、樹脂成形体の破壊の原因を特定する。第２学習済みモデルは、学習用の破面画像（第３破面画像）と破壊原因であるラベルとを教師データとする機械学習によって生成される。

【0026】

解析部１４は、第２学習済みモデルに、起点の推定に用いた破面画像（第１破面画像）を入力して、樹脂成形体の破壊の原因を特定してもよい。解析部１４は、第２学習済みモデルに、起点の推定に用いた破面画像（第１破面画像）における、前記推定された領域を拡大した拡大画像を入力して、樹脂成形体の破壊の原因を特定してもよい。

【0027】

解析部１４は、第２学習済みモデルに、高倍率画像を入力して樹脂成形体の破壊の原因を特定してもよい。この場合、取得部１１は、推定部１３により推定された領域に相当する樹脂成形体の破面が、起点の領域の推定で用いた破面画像（第１破面画像）より高い倍率で撮像された高倍率画像を取得する。

【0028】

出力部１５は、推定部１３が推定した破壊の起点を含む領域を出力する。出力部１５は、解析部１４が特定した破壊原因を出力してもよい。具体的には、出力部１５は、推定した破壊の起点を含む領域、特定した破壊原因などを利用者端末３に送信する。

【0029】

モデル記憶部１６には、モデル生成装置２により生成された第１学習済みモデルが記憶される。第１学習済みモデルは、破面画像から生成されたリバーパターン画像が入力されると、前記破面画像における破壊の起点を含む領域を推定するように学習されたモデルである。

【0030】

モデル記憶部１６には、モデル生成装置２により生成された第２学習済みモデルが記憶されてもよい。第２学習済みモデルは、破面画像が入力されると、破壊原因を出力するように学習されたモデルである。本実施形態では、学習済みモデルは、疲労破壊、脆性破壊、延性破壊などの複数の破壊原因の各確率を出力する。

【0031】

モデル生成装置２は、データ取得部２１と、学習部２２と、データ記憶部２３と、モデル記憶部２４とを備える。

【0032】

データ取得部２１は、樹脂成形体の破面を撮像した破面画像（第２破面画像）から生成されたリバーパターン画像（第２リバーパターン画像）と、前記破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを、データ記憶部２３から取得する。学習部２２は、複数の教師データを用いた機械学習によって、破面画像における破面の起点を含む領域を推定するための第１学習済みモデルを生成する。

【0033】

また、データ取得部２１は、破面画像（第３破面画像）と、当該樹脂成形体の破壊原因であるラベルとを対応付けた教師データを、データ記憶部２３から取得し、学習部２２は、複数の教師データを用いた機械学習によって、樹脂成形体の破壊原因を特定するための第２学習済みモデルを生成してもよい。

【0034】

＜第１学習済みモデルの生成＞
次に、モデル生成装置２が行う第１学習済みモデルの生成処理について説明する。

【0035】

図２は、第１学習済みモデルの生成処理（機械学習処理）のフローチャートである。まず、データ取得部２１は、教師データとして、破面画像（第２破面画像）から生成されたリバーパターン画像（第２リバーパターン画像）と、破壊の起点を含む領域（ラベル）とを対応付けた教師データをデータ記憶部２３から取得する（Ｓ１１）。

【0036】

データ記憶部２３には、第１学習済みモデル用の複数の教師データが、あらかじめ記憶されているものとする。学習部２２は、取得した教師データを用いて機械学習を行い、破面画像における破壊の起点を含む領域を推定するための第１学習済みモデルを生成および更新する（Ｓ１２）。

【0037】

図３は、本実施形態の第１学習済みモデルの一例を示す。第１学習済みモデルは、ニューラルネットワークと、パラメータ（重み付け値、バイアス）とを含む。機械学習は、ニューラルネットワークのパラメータを最適化する処理である。学習前は、パラメータには、初期値が設定されている。本実施形態では、ニューロン（パーセプトロン、ノード）を組み合わせて構成したニューラルネットワークにより、機械学習を行う。具体的には、教師データに含まれるリバーパターン画像のデータと、ラベルとの組をニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じになるように、各ニューロンの重み付け値と、バイアスとを変更しながら学習を繰り返す。このようにして、教師データのリバーパターン画像を学習し、リバーパターン画像から破壊の起点を含む領域を推定するための第１学習済みモデルを生成する。

【0038】

図示するニューラルネットワークは、入力層と、中間層と、出力層とを備え、各層はニューロンにより構成される。なお、図示する例では、中間層は１層であるが、高度な画像認識を行うために複数の層で構成されていてもよい。

【0039】

入力層の各ニューロンには、リバーパターン画像の各画素の画素値が入力される。本実施形態では、150×150画素（22500画素）の破面画像を用いるものとする。この場合、入力層のニューロンの数は22500個である。また、破壊の起点を含む領域を示すラベルは、リバーパターン画像の元となる破面画像を分割した複数の領域のいずれかである。本実施形態では、前記複数の領域は、破面画像における上部（Top）、下部(Bottom)、左部(Left)および右部(Right)の４つの領域あるとする。したがって、図示する出力層は、４つのニューロンから構成される。出力層のニューロンの数は、想定される領域の数に応じて設定される。出力層の各ニューロンは、対応する領域の確率を出力する。

【0040】

ニューラルネットワークでは、各ニューロンの出力は、次層の全てのニューロンへ入力される。各ニューロンの出力値ｙは、以下の式により表される。

【0041】

ｙ＝（ｘ１×ｗ１）＋（ｘ２×ｗ２）＋・・・＋（ｘｎ×ｗｎ）＋ｂ
「ｘｎ」は前の層のｎ番目のニューロンからの入力値、「ｗｎ」はｘｎに対する重み付け値、「ｂ」はバイアスを示す。

【0042】

Ｓ１２では、学習部２２は、誤差逆転伝播法などによる機械学習により、各層の重み付け値ｗｎとバイアスｂとを更新する。具体的には、学習部２２は、ニューラルネットワークの入力層に破面画像の各画素値を入力して演算を行い、出力層の各ニューロンの出力値と、当該破面画像に対応するラベルとの誤差を出力し、当該誤差が小さくなる（０に近づく）ように、各層の重み付け値ｗｎとバイアスｂとを更新する。

【0043】

そして、学習部２２は、機械学習を終了するか否かを判定する（Ｓ１３）。機械学習の終了条件としては、例えば、あらかじめ設定した数の教師データで機械学習を繰り返した場合に、学習部２２は、機械学習を終了するようにしてもよい。例えば、領域ごとに、所定の数の教師データ（リバーパターン画像およびラベル）を用意し、当該教師データを用いて機械学習を繰り返す。また、終了条件として、ラベルと出力層の出力との誤差が所定値以下になった場合に、学習部２２は、機械学習を終了するようにしてもよい。

【0044】

機械学習を終了しないと判定した場合（Ｓ１３：ＮＯ）は、モデル生成装置２は、Ｓ１１に戻り、以降の処理を繰り返し行う。機械学習を終了すると判定した場合（Ｓ１３：ＹＥＳ）は、学習部２２は、生成した第１学習済みモデルをモデル記憶部２４に出力して記憶する。また、学習部２２は、生成した第１学習済みモデルを、ネットワークを介して破面解析装置１に送信する（Ｓ１４）。これにより、破面解析装置１のモデル記憶部１６には、モデル生成装置２が生成した第１学習済みモデルが記憶される。

【0045】

以上説明したように、本実施形態の第１学習済みモデルは、解析対象の樹脂成形体の破面を撮像した第１破面画像に基づいて、前記第１破面画像における破壊の起点を含む領域を推定するようにコンピュータを機能させるための学習済みモデルであって、第２破面画像から生成された、破壊の流れを示すリバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを対応付けた教師データを用いた機械学習により、前記リバーパターン画像が入力層に入力されると、出力層が破壊の起点を含む領域の確率を出力するように重み付け値が学習されたものであり、前記入力層に入力された前記リバーパターン画像に対し、学習された前記重み付け値に基づく演算を行い、前記出力層から起点を含む領域の確率を出力するよう、破面解析装置１を機能させる。

【0046】

なお、モデル生成装置２は、リバーパターン画像とラベルとが対応付けられた教師データを外部装置から入力してデータ記憶部２３に記憶してもよい。あるいは、モデル生成装置２は、図示しない教師データ生成部を備え、教師データ生成部が、リバーパターン画像の元となる破面画像とラベルとが対応付けられたデータを外部装置から受け付け、前記破面画像からリバーパターン画像を生成し、生成したリバーパターン画像とラベルとを対応付けた教師データを生成し、当該教師データをデータ記憶部２３に記憶してもよい。

【0047】

＜破壊の起点の推定＞
次に、破面解析装置１が行う破面解析処理について説明する。なお、本実施形態では、取得部１１が取得する解析対象の破面画像には、破壊の起点が含まれるものとする。

【0048】

図４は、破壊の起点推定処理のフローチャートである。取得部１１は、利用者端末３から送信された、樹脂成形体の破面を撮像した破面画像（第１破面画像）を取得する（Ｓ２１）。

【0049】

そして、生成部１２は、取得した破面画像からリバーパターン画像を生成する（Ｓ２２）。具体的には、生成部１２は、破面画像から直線要素を抽出し、抽出された前記直線要素を描画してリバーパターン画像を生成する。画像から直線要素を抽出する方法としては、例えばOpenCV(Open Source Computer Vision Library)などのハフ（Hough）関数を用いてもよい。OpenCVは、画像処理に関する機能をまとめたオープンソースのライブラリである。ハフ関数（ハフ変換）は、デジタル画像処理で用いられる特徴抽出法の一つである。なお、生成部１２は、OpenCVのハフ関数以外の手法を用いて、破面画像から直線要素を抽出し、リバーパターン画像を生成してもよい。

【0050】

また、生成部１２は、Ｓ２２生成したリバーパターン画像、または、Ｓ２１で取得した破面画像の大きさ（サイズ）を学習済みモデルの教師データで用いたリバーパターン画像と同じ大きさ（所定のサイズ）となるように変更してもよい。モデル記憶部１６に記憶された学習済みモデルのニューラルネットワーク（入力層）は、教師データのリバーパターン画像の画素数と同じ数のニューロンを備える。そのため、画素数が異なるリバーパターン画像が入力されると対応できないため、生成部１２は、前処理として、リバーパターン画像または破面画像を教師データの破面画像と同じ画素数（例えば、150×150画素）にリサイズする。

【0051】

例えば、生成部１２は、生成したリバーパターン画像が教師データの破面画像より大きい場合は、隣接する画素の画素値の平均を用い、取得した破面画像が教師データの破面画像より小さい場合は、隣接する画素の間に新たな画素を補間して、リサイズを行う。また、取得した破面画像の縦横比が、教師データの破面画像の縦横比と異なる場合についても、教師データの破面画像と同じ縦横比となるように、取得した破面画像をリサイズする。

【0052】

これにより、利用者が、ＳＥＭ４の仕様または設定により様々な画像サイズの破面画像を取得して送信した場合であっても、破面解析装置１は、当該破面画像に基づいた破面解析を行うことができる。なお、取得した破面画像と、教師データの破面画像とが同じ大きさの場合、リサイズ処理は行わない。

【0053】

そして、推定部１３は、生成部１２が生成したリバーパターン画像を用いて、破壊の起点を推定する（Ｓ２３）。具体的には、推定部１３は、モデル記憶部１６に記憶された第１学習済みモデル（ニューラルネットワークおよびパラメータ）を読み出し、リサイズしたリバーパターン画像に含まれるｎ個の画素値を入力層のニューロンにそれぞれ入力して、学習済みモデルの演算を行う。すなわち、入力層に入力された各画素が、第１学習済みモデルのパラメータを用いて演算されながら中間層および出力層へと出力され、最終的に出力層の各ニューロンから破壊の起点を含む領域の推定結果が出力される。すなわち、第１学習済みモデルは、複数の領域の各確率を出力する。

【0054】

図３に示す例では、破面画像における上部（Top）の確率がｘ１％、下部（Bottom）の確率がｘ２％、左部（Left）の確率がｘ３％、右部（Right）の確率がｘ４％で出力される。なお、ｘ１％と、ｘ２％と、ｘ３％と、ｘ４％の合計は、１００％である。

【0055】

推定部１３は、第１学習済みモデルが出力した各領域の確率に基づいて、破面画像における破壊の起点が含まれる領域を推定する。例えば、推定部１３は、最大の確率を有する領域を、破壊の起点が属する領域として推定する。そして、出力部１５は、解析部１４が特定した破壊原因を、利用者端末３に送信する（Ｓ２４）。

【0056】

図５は、利用者端末３のディスプレイに表示される、起点推定用の入力画面の例を示すものである。図示する画像は、ファイル選択ボタン５１と、解析開始ボタンと５２と、破面画像を分割した複数の領域５３を含む。ここでは、複数の領域５３は、起点を含む領域の方向を示すように、矩形の破面画像を２つの対角線で分割した上下左右の４つの領域とする。しかしながら、複数の領域５３はこれに限定されない。

【0057】

利用者は、画面のファイル選択ボタン５１を用いて利用者端末３の記憶部に格納されたデータの中から所望の破面画像（画像ファイル）を解析対象として選択し、解析開始ボタン５２をクリックする。これにより、利用者端末３は、利用者に選択された破面画像を含む破面解析要求を、破面解析装置１に送信する。利用者は、樹脂形成体の破面（試料）をＳＥＭ４にセットし、破面画像における破壊の流れであり、破壊の起点を中心とした特徴的な放射状模様であるリバーパターンが観察できる箇所の写真を撮影し、利用者端末３に格納しておく。

【0058】

図６Ａは、破面画像の例であって、図６Ｂは、図６Ａの破面画像から生成されるリバーパターン画像の例である。生成されるリバーパターン画像を用いることで、破面画像における破壊の起点を含む領域を精度よく推定することが可能となる。

【0059】

図７は、図４に示す起点推定処理の終了後に、利用者端末３のディスプレイに表示される、起点推定用の出力画面の一例を示すものである。図示する画面には、図５のファイル選択ボタン５１と、解析開始ボタンと５２と、複数の領域５３の他に、選択した破面画像７１と、推定結果７２とが表示されている。図示する画面例では、推定結果として、各領域の確率が表示され、確率が最大（0.94（94％））の左部（Left）の領域が推定結果として、表示されている。なお、推定結果については、別途指定のアドレスに電子メール等で送信して他の端末から確認したり、指定のＵＲＬやＳＮＳサイト等にアップロードしてウェブブラウザやアプリ等で閲覧したりできるようにしてもよい。

【0060】

以上説明した本実施形態の破面解析装置１は、解析対象の樹脂成形体の破面を撮像した第１破面画像を取得する取得部１１と、前記第１破面画像から、破壊の流れを示す第１リバーパターン画像を生成する生成部１２と、第２破面画像から生成された第２リバーパターン画像と、前記第２破面画像における破壊の起点を含む領域を示すラベルとを教師データとする機械学習によって生成された第１学習済みモデルに、前記第１リバーパターン画像を入力して、前記第１破面画像における破壊の起点を含む領域を推定する推定部１３と、を有する。

【0061】

これにより、本実施形態では、経験および知識を有する熟練した技術者でなくても、破壊された樹脂成形体の破面画像を取得するだけで、容易に短時間で破壊の起点（破壊に至る欠陥）が、破面画像のどの領域にあるのかを把握することできる。これにより、後述する破壊原因を特定するための破面画像に、破壊の起点の箇所がフォーカスされた画像を用いることにより、破壊原因を高精度に特定することができる。したがって、利用者の利便性を向上することができる。

【0062】

＜第２学習済みモデルの生成＞
次に、モデル生成装置２が行う第２学習済みモデルの生成処理について説明する。第２学習済みモデルは、樹脂成形体の破壊原因を特定するための学習済みモデルである。

【0063】

本実施形態では、破壊原因として、「疲労破壊」、「延性破壊」、「脆性破壊」の３つの種類を想定する。ただし、本発明はこれに限定されるものではなく、これ以外の破壊原因を特定することとしてもよい。図８Ａから図８Ｃに示すように、破壊原因によって破面の状況が異なる。

【0064】

図８Ａは、疲労破壊による破面画像の例である。疲労破壊は、負荷の繰り返しにより生じる破壊である。疲労破壊による破面画像には、縞状の模様（ストライエーション・パターン）が現れている。図８Ａの右の画像は、左の破面画像の点線で囲んだ領域を拡大した拡大図である。

【0065】

図８Ｂは、延性破壊による破面画像の例である。延性破壊は、静的な荷重によって生じる破壊である。低速で荷重をかけた場合、樹脂はネッキングや白化を伴いながら塑性変形して破壊に至るため、破面画像には、樹脂が伸びたような部分が現れている。図８Ｂの右の画像は、左の破面画像の点線で囲んだ領域を拡大した拡大図である。

【0066】

図８Ｃは、脆性破壊による破面画像の例である。脆性破壊は、衝撃的な力により生じる破壊である。破面画像には、破壊の起点から放射状に模様が現れており、断面はうろこ状の模様を示している。図８Ｃの右の画像は、左の破面画像の点線で囲んだ領域を拡大した拡大図である。

【0067】

図９は、第２学習済みモデルの生成処理（機械学習処理）のフローチャートである。まず、データ取得部２１は、破面画像（第３破面画像）と、当該破面画像の破壊原因（ラベル）とを対応付けた教師データを、データ記憶部２３から取得する（Ｓ３１）。データ記憶部２３には、第２学習済みモデル用の複数の教師データが、あらかじめ記憶されているものとする。学習部２２は、取得した教師データを用いて機械学習を行い、樹脂成形体の破壊原因を特定するための第２学習済みモデルを生成および更新する（Ｓ３２）。

【0068】

図１０は、本実施形態の第２学習済みモデルの一例を示す。第２学習済みモデルは、ニューラルネットワークと、パラメータ（重み付け値、バイアス）とを含む。機械学習は、ニューラルネットワークのパラメータを最適化する処理である。学習前は、パラメータには、初期値が設定されている。本実施形態では、ニューロン（パーセプトロン、ノード）を組み合わせて構成したニューラルネットワークにより、機械学習を行う。具体的には、教師データに含まれる破面画像のデータと、ラベルとの組をニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じになるように、各ニューロンの重み付け値と、バイアスとを変更しながら学習を繰り返す。このようにして、教師データの破面画像を学習し、破面画像から破壊原因を推定するための学習済みモデルを生成する。

【0069】

図示するニューラルネットワークは、入力層と、中間層と、出力層とを備え、各層はニューロンにより構成される。なお、図示する例では、中間層は１層であるが、高度な画像認識を行うために複数の層で構成されていてもよい。

【0070】

入力層の各ニューロンには、破面画像の各画素の画素値が入力される。本実施形態では、150×150画素（22500画素）の破面画像を用いるものとする。この場合、入力層のニューロンの数は22500個である。また、本実施形態では、破壊原因は「疲労破壊」、「延性破壊」、「脆性破壊」のいずれかであると想定している。したがって、図示する出力層は、３つのニューロンから構成される。出力層のニューロンの数は、想定される破壊原因の数に応じて設定される。ニューラルネットワークにおける各ニューロンの出力は、第１学習済みモデルと同様であるためここでは説明を省略する。

【0071】

Ｓ３２では、学習部２２は、図２のＳ１２と同様に、誤差逆転伝播法などによる機械学習により、各層の重み付け値ｗｎとバイアスｂとを更新する。具体的には、学習部２２は、ニューラルネットワークの入力層に破面画像の各画素値を入力して演算を行い、出力層の各ニューロンの出力値と、当該破面画像に対応するラベルとの誤差を出力し、当該誤差が小さくなる（０に近づく）ように、各層の重み付け値ｗｎとバイアスｂとを更新する。

【0072】

そして、学習部２２は、機械学習を終了するか否かを判定する（Ｓ３３）。機械学習の終了条件としては、例えば、あらかじめ設定した数の教師データで機械学習を繰り返した場合に、学習部２２は、機械学習を終了するようにしてもよい。例えば、破壊原因ごとに、所定の数の教師データ（破面画像およびラベル）を用意し、当該教師データを用いて機械学習を繰り返す。また、終了条件として、ラベルと出力層の出力との誤差が所定値以下になった場合に、学習部２２は、機械学習を終了するようにしてもよい。

【0073】

機械学習を終了しないと判定した場合（Ｓ３３：ＮＯ）は、モデル生成装置２は、Ｓ３１に戻り、以降の処理を繰り返し行う。機械学習を終了すると判定した場合（Ｓ３３：ＹＥＳ）は、学習部２２は、生成した第２学習済みモデルをモデル記憶部２４に出力して記憶する。また、学習部２２は、生成した第２学習済みモデルを、ネットワークを介して破面解析装置１に送信する（Ｓ３４）。これにより、破面解析装置１のモデル記憶部２４には、モデル生成装置２が生成した第２学習済みモデルが記憶される。

【0074】

以上説明したように、本実施形態の学習済みモデルは、解析対象の樹脂成形体の破面を撮像した破面画像に基づいて、樹脂成形体の破壊原因を特定するようにコンピュータを機能させるための学習済みモデルであり、破面画像と、破壊原因であるラベルとを対応付けた教師データを用いた機械学習により、破面画像が入力層に入力されると、出力層が破壊原因の確率を出力するように重み付け値が学習されたものである。また、学習済みモデルは、入力層に入力された破面画像に対し、学習された前記重み付け値に基づく演算を行い、出力層から破壊原因の確率を出力するように、破面解析装置１を機能させる。

【0075】

＜破壊原因の特定＞
次に、破面解析装置１が行う破面解析処理について説明する。

【0076】

図１１は、破面解析処理のフローチャートである。取得部１１は、樹脂成形体の破面を撮像した破面画像を取得する（Ｓ４１）。Ｓ４１で取得する破面画像は、破壊の起点の推定に用いた破面画像（第１破面画像）であっても、それとは別の破面画像であってもよい。

【0077】

解析部１４は、取得した破面画像に対して前処理を行ってもよい。前処理には、例えば破面画像のリサイズがある。具体的には、解析部１４は、取得した破面画像の大きさ（サイズ）を第２学習済みモデルの教師データで用いた破面画像と同じ大きさ（所定のサイズ）となるように変更する。破面画像のリサイズについては、前述のリバーパターン画像のリサイズと同様であり、これにより、利用者が、様々な画像サイズの破面画像を送信した場合であっても、破面解析装置１は、当該破面画像に基づいた破面解析を行うことができる。なお、取得した破面画像と、教師データの破面画像とが同じ大きさの場合、リサイズ処理は行わない。また、前処理として、解析部１４は、破面画像の明るさ、向き、角度などを自動調整してもよい。

【0078】

そして、解析部１４は、前処理後の破面画像を用いて、破壊原因を特定（判定）する（Ｓ４２）。具体的には、解析部１４は、モデル記憶部１６に記憶された第２学習済みモデル（ニューラルネットワークおよびパラメータ）を読み出し、リサイズした破面画像に含まれるｎ個の画素値を入力層のニューロンにそれぞれ入力して、第２学習済みモデルの演算を行う。すなわち、入力層に入力された各画素が、第２学習済みモデルのパラメータを用いて演算されながら中間層および出力層へと出力され、最終的に出力層の各ニューロンから破壊原因の特定結果が出力される。図１０に示す例では、疲労破壊の確率がｍ１％、脆性破壊の確率がｍ２％、延性破壊の確率がｍ３％で出力される。なお、ｍ１％と、ｍ２％と、ｍ３％の合計は、１００％である。解析部１４は、第２学習済みモデルが出力した各破壊原因の確率に基づいて、破壊原因を特定する。例えば、解析部１４は、最大の確率を有する破壊原因を特定する。そして、出力部１５は、解析部１４が特定した破壊原因を、利用者端末３に送信する（Ｓ４３）。

【0079】

なお、Ｓ４１で取得する破面画像は、破壊の起点の推定に用いた破面画像（第１破面画像）とは別の破面画像であってもよい。例えば、利用者は、推定部１３により推定された領域に相当する箇所の破面画像を、高倍率で撮影した破面画像を、利用者端末３から破面解析装置に送信してもよい。この場合、取得部１１は、推定部１３により推定された領域に相当する前記樹脂成形体の破面が、破壊の起点の推定に用いた破面画像（第１破面画像）より高い倍率で撮像された高倍率画像を取得する。解析部１４は、前記高倍率画像を第２学習済みモデルに入力して、樹脂成形体の破壊の原因を特定する。破壊原因を特定するための破面画像に、このような破壊の起点の箇所がフォーカスされた高倍率画像を用いることで、破壊原因を高精度に特定することができる。

【0080】

また、Ｓ４１で取得する破面画像は、破壊の起点の推定に用いた破面画像（第１破面画像）であってもよい。この場合、解析部１４は、破壊の起点の推定に用いた破面画像において、推定部１３により推定された領域を拡大し、拡大した拡大画像を第２学習済みモデルに入力して、樹脂成形体の破壊の原因を特定してもよい。破壊原因を特定するための破面画像に、このような破壊の起点の箇所がフォーカスされた拡大画像を用いることで、破壊原因を高精度に特定することができる。また、解析部１４は、破壊の起点の推定に用いた破面画像を、第２学習済みモデルに入力して、樹脂成形体の破壊の原因を特定してもよい。

【0081】

図１２は、Ｓ４１で取得する破面画像に破壊の起点の推定に用いた破面画像（第１破面画像）とは別の破面画像を用いる場合に、利用者端末３のディスプレイに表示される、破壊原因解析用の入力画面の例を示すものである。図示する画像は、ファイル選択ボタン１２１と、解析開始ボタン１２２とを含む。

【0082】

利用者は、画面のファイル選択ボタン１２１を用いて利用者端末３の記憶部に格納されたデータの中から前述の高倍率の破面画像（高倍率画像）を解析対象として選択し、解析開始ボタン１２２をクリックする。これにより、利用者端末３は、利用者に選択された破面画像を含む破面解析要求を、破面解析装置１に送信する。利用者は、破面（試料）をＳＥＭ４にセットし、推定部１３により推定された領域に相当する箇所の写真を高倍率で撮影し、利用者端末３に格納しておく。

【0083】

図１３は、図１１に示す処理の終了後に、利用者端末３のディスプレイに表示される、破壊原因解析用の出力画面の一例を示すものである。図示する画面には、図１２のファイル選択ボタン１２１と、解析開始ボタン１２２の他に、選択した破面画像１２３と、解析結果１２４とが表示されている。図示する画面例では、解析結果１２４には、特定した破壊原因である「脆性破壊」が表示されている。

【0084】

なお、図示する画面例では、解析結果として、最大の確率の破壊原因を１つ表示しているが、学習済みモデルが出力した複数の破壊原因とその確率を、解析結果としても表示してもよい。また、解析結果については、別途指定のアドレスに電子メール等で送信して他の端末から確認したり、指定のＵＲＬやＳＮＳサイト等にアップロードしてウェブブラウザやアプリ等で閲覧したりできるようにしてもよい。

【0085】

また、Ｓ４１で取得する破面画像に、破壊の起点の推定に用いた破面画像（第１破面画像）を用いる場合は、図１１に示す入力画面を表示せずに、図７に示す出力画面に図１３の解析結果１２４を表示してもよい。または、図７に示す出力画面の後に図１３の出力画面を表示してもよい。

【0086】

以上説明した本実施形態の破面解析装置１は、取得部１１は、推定された領域に相当する樹脂成形体の破面が、破壊の起点の推定に用いた第１破面画像より高い倍率で撮像された高倍率画像を取得し、第２学習済みモデルに前記高倍率画像を入力して、前記樹脂成形体の破壊の原因を特定する解析部を有してもよい。また、破面解析装置１は、第２学習済みモデルに、壊の起点の推定に用いた第１破面画像の推定された領域を拡大した拡大画像を入力して、樹脂成形体の破壊の原因を特定する解析部１４を有してもよい。また、破面解析装置１は、第２学習済みモデルに破壊の起点の推定に用いた第１破面画像を入力して、樹脂成形体の破壊の原因を特定する解析部１４を有してもよい。第２学習済みモデルは、第３破面画像と破壊原因であるラベルとを教師データとする機械学習によって生成された学習済みモデルである。

【0087】

これにより、本実施形態では、経験および知識を有する熟練した技術者でなくても、破壊された樹脂成形体の破面画像を取得するだけで、容易に短時間で精度の高い破壊原因を特定（推定）することができる。これにより、利用者の利便性を向上することができる。

【0088】

なお、上記説明した破面解析装置１およびモデル生成装置２は、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、破面解析装置１およびモデル生成装置２の各機能は、破面解析装置１用のプログラムの場合は破面解析装置１のCPUが、モデル生成装置２用のプログラムの場合はモデル生成装置２のCPUが、それぞれ実行することにより実現される。利用者端末３についても、CPU、メモリ、通信装置などを備える汎用的なコンピュータシステム（例えばPC等）を用いることができる。

【0089】

また、破面解析装置１用のプログラム、および、モデル生成装置２用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。また、モデル生成装置２は、機械学習の演算量が多いためGPU（Graphics Processing Unit）を備え、高速処理を行うこととしてもよい。

【0090】

また、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、以下の変形例がある。

【0091】

＜変形例１＞
上記実施形態では、図４のＳ２１で取得部１１が取得する解析対象の破面画像には、破壊の起点が含まれるものとしたが、取得部１１が取得する破面画像は、破壊の起点が含まれない破面画像であってもよい。この場合、推定部１３は、破面画像における破壊の起点を含む領域ではなく、破壊の起点の方向（上下左右）を推定するものとする。

【0092】

＜変形例２＞
上記実施形態の破面解析システムは、ネットワークを介して利用者端末３から送信された破面画像を受信し、解析結果である破壊の起点を含む領域および／または破壊原因を利用者端末３に送信することとした。しかしながら、本発明は、利用者がUSBメモリ等の記録媒体等を用いて直接、破面解析装置１に破面画像を入力することとしてもよい。また、解析結果は、ネットワークを介して利用者端末３に送信してもよいし、破面解析装置１が備える出力装置（ディスプレイ、プリンタ等）に出力することとしてもよい。

【0093】

＜変形例３＞
上記変形例２は、利用者がＵＳＢメモリ等の記録媒体等を用いて、破面解析装置１に破面画像を入力することとした。しかしながら本発明では、破面解析装置１とＳＥＭ４を一体的に構成し、ＳＥＭ４が撮像および出力した樹脂成形体の破面画像を、破面解析装置１に直接入力することとしてもよい。また、解析結果は、変形例２と同様にネットワークを介して利用者端末３に送信してもよいし、破面解析装置１が備える出力装置（ディスプレイ、プリンタ等）に出力することとしてもよい。後者の場合、記録媒体を介したデータの移動と、利用者端末３を介したデータの送信とを省略することができる。

【0094】

＜変形例４＞
上記実施形態および変形例１～３では、利用者端末３は、破面解析装置１とは別の構成としてネットワークを介して接続することとした。しかしながら本発明では、利用者端末３を破面解析装置１および／またはＳＥＭ４と同一の筐体に一体的に組み込むこととしてもよい。

【0095】

＜変形例５＞
上記実施形態や変形例１～４では、利用者が破面の特定箇所を選択して撮影した画像データを破面画像として入力することとした。しかしながら本発明では、ＳＥＭ４、利用者端末３、破面解析装置１のいずれか１つ以上において、破面の特徴的な部位を特定する特徴部特定機能を持たせ、当該箇所の破面画像が自動的に取得および入力されるようにしてもよい。特徴的な部位の破面画像は、樹脂成形体の破面全体を撮影した画像から、特定の範囲を選択および拡大して取得してもよいし、樹脂成形体の破面を部分ごとに拡大して撮影した複数枚の画像から、特定の画像を選択して取得してもよい。ここで、特徴部特定機能における特徴的な部位の選択については、起点の推定または破壊原因の特定と同様に、機械学習により生成したモデルを用いて特定させてもよい。なお、入力する破面画像としては、特徴部特定機能が選択した画像をそのまま用いてもよいし、特徴部特定機能が絞り込んだ画像から適切な画像を利用者が選択して用いてもよいし、利用者が範囲や枚数を絞り込んだ画像から特徴部特定機能が選択した画像を用いてもよい。

【符号の説明】

【0096】

１ ：破面解析装置
１１：取得部
１２：生成部
１３：推定部
１４：解析部
１５：出力部
１６：モデル記憶部
２ ：モデル生成装置
２１：データ取得部
２２：学習部
２３：データ記憶部
２４：モデル記憶部
３ ：利用者端末
４ ：ＳＥＭ（走査型電子顕微鏡）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】