IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 地方独立行政法人大阪産業技術研究所の特許一覧

<>
  • 特許-破断面解析装置及び破断面解析方法 図1
  • 特許-破断面解析装置及び破断面解析方法 図2
  • 特許-破断面解析装置及び破断面解析方法 図3
  • 特許-破断面解析装置及び破断面解析方法 図4
  • 特許-破断面解析装置及び破断面解析方法 図5
  • 特許-破断面解析装置及び破断面解析方法 図6
  • 特許-破断面解析装置及び破断面解析方法 図7
  • 特許-破断面解析装置及び破断面解析方法 図8
  • 特許-破断面解析装置及び破断面解析方法 図9A
  • 特許-破断面解析装置及び破断面解析方法 図9B
  • 特許-破断面解析装置及び破断面解析方法 図10
  • 特許-破断面解析装置及び破断面解析方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-03
(45)【発行日】2024-04-11
(54)【発明の名称】破断面解析装置及び破断面解析方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240404BHJP
   G01N 3/00 20060101ALI20240404BHJP
   G06N 20/00 20190101ALI20240404BHJP
【FI】
G06T7/00 610Z
G01N3/00 Z
G06N20/00
【請求項の数】 11
(21)【出願番号】P 2020058390
(22)【出願日】2020-03-27
(65)【公開番号】P2021157607
(43)【公開日】2021-10-07
【審査請求日】2023-03-03
(73)【特許権者】
【識別番号】517132810
【氏名又は名称】地方独立行政法人大阪産業技術研究所
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】濱田 真行
(72)【発明者】
【氏名】喜多 俊輔
(72)【発明者】
【氏名】平田 智丈
(72)【発明者】
【氏名】北川 貴弘
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2020-153673(JP,A)
【文献】特開2021-156879(JP,A)
【文献】特開2021-012570(JP,A)
【文献】特開2020-087570(JP,A)
【文献】村松美穂,外6名,コンピュータビジョンによる脆性破壊の起点同定,CAMP-ISIJ,Vol.33,2020年03月17日
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G01N 3/00
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う機械学習部と、
前記第1学習によって得られる第1学習済モデルに基づき、入力される破断面画像の破壊起点を推定する推定部とを備え、
前記第1学習の学習モデルは、破壊起点の座標を推定できるように学習する回帰モデル、及び、破壊起点が存在する確率分布を推定できるように学習する分類モデルのうち、いずれか一方又は両方を選択でき、
前記推定部は、
前記学習モデルが前記回帰モデルである場合には、入力される前記破断面画像の破壊起点の座標を推定し、
前記学習モデルが前記分類モデルである場合には、入力される前記破断面画像において破壊起点が存在する確率分布を推定する、破断面解析装置。
【請求項2】
請求項に記載の破断面解析装置において、
前記第1学習の学習モデルは、前記回帰モデルと、前記分類モデルとを含み、
前記推定部は、入力される前記破断面画像の破壊起点の座標及び入力される前記破断面画像において破壊起点が存在する確率分布を推定し、
入力される前記破断面画像、推定される前記破壊起点の座標、及び推定される前記確率分布のうち、少なくとも2つを同一画面に重ねて画像として表示する結果表示部を更に備える、破断面解析装置。
【請求項3】
請求項に記載の破断面解析装置において、
推定される前記確率分布に含まれる破壊起点の数nを判定し、入力される前記破断面画像を前記破壊起点が1つずつ含まれるようにn個の領域に分割し、各々が当該n個の領域の1つ1つの画像を示すn個の分割画像を生成する、分割画像生成部を更に備え、
前記推定部は、前記n個の分割画像の各々における破壊起点の座標及び破壊起点が存在する確率分布を更に推定する、破断面解析装置。
【請求項4】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う機械学習部と、
前記第1学習によって得られる第1学習済モデルに基づき、入力される破断面画像の破壊起点を推定する推定部と、を備え
前記機械学習部は、破断面画像データと破断面模様データとの組み合わせを含む第2データセットにより第2学習を更に行い、
前記推定部は、前記第2学習によって得られる第2学習済モデルに基づき、入力される前記破断面画像の破断面模様を更に推定する、破断面解析装置。
【請求項5】
請求項に記載の破断面解析装置において、
前記第2学習の学習モデルは、破断面模様を推定できるように学習するセマンティックセグメンテーションモデルを含む、破断面解析装置。
【請求項6】
請求項又はに記載の破断面解析装置において、
入力される前記破断面画像、前記第1学習済モデルに基づき推定される破壊起点、及び前記第2学習済モデルに基づき推定される破断面模様のうち、少なくとも2つを同一画面に重ねて画像として表示する結果表示部を更に備える、破断面解析装置。
【請求項7】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う機械学習部と、
前記第1学習によって得られる第1学習済モデルに基づき、入力される破断面画像の破壊起点を推定する推定部と、を備え、
前記機械学習部は、前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに2以上の領域に分割した領域分割データとの組み合わせを含む第3データセットにより第3学習を更に行い、
前記推定部は、前記第3学習によって得られる第3学習済モデルに基づき、入力される広域破断面画像において破断面の領域が分割された領域分割画像を更に推定する、破断面解析装置。
【請求項8】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う第1学習ステップと、
前記第1学習ステップで得られた第1学習済モデルに基づき、入力された破断面画像の破壊起点を推定する第1推定ステップとを備え、
前記第1学習の学習モデルは、破壊起点の座標を推定できるように学習する回帰モデル、及び、破壊起点が存在する確率分布を推定できるように学習する分類モデルのうち、いずれか一方又は両方を選択でき、
前記第1推定ステップは、
前記学習モデルが前記回帰モデルである場合には、入力される前記破断面画像の破壊起点の座標を推定し、
前記学習モデルが前記分類モデルである場合には、入力される前記破断面画像において破壊起点が存在する確率分布を推定する、
破断面解析方法。
【請求項9】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う第1学習ステップと、
前記第1学習ステップで得られた第1学習済モデルに基づき、入力された破断面画像の破壊起点を推定する第1推定ステップと、
破断面画像データと破断面模様データとの組み合わせを含む第2データセットにより第2学習を行う第2学習ステップと、
前記第2学習ステップで得られた第2学習済モデルに基づき、入力された前記破断面画像の破断面模様を推定する第2推定ステップと
を備える、破断面解析方法。
【請求項10】
破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う第1学習ステップと、
前記第1学習ステップで得られた第1学習済モデルに基づき、入力された破断面画像の破壊起点を推定する第1推定ステップと、
前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに2以上の領域に分割した領域分割データとの組み合わせを含む第3データセットにより第3学習を行う第3学習ステップと、
前記第3学習で得られた第3学習済モデルに基づき、入力された広域破断面画像において破断面の領域が分割された領域分割画像を推定する第3推定ステップと
を備える、破断面解析方法。
【請求項11】
請求項10のいずれか1項に記載の破断面解析方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の破断面の解析技術に関し、特に、破断面解析装置及び破断面解析方法に関する。
【背景技術】
【0002】
構造物の破損事故が起きた場合、原因調査を目的として破断面解析が実施される。破断面解析では、低倍率での観察を中心とするマクロ解析と、高倍率での観察を中心とするミクロ解析とが実施される。マクロ解析では主に破壊起点やき裂の進展方向の解析が行われ、ミクロ解析では主に破壊様式の解析が行われる(例えば特許文献1、2参照)。
【0003】
破断面解析では、過去に観察した破断面の特徴との類似性を調べるので、正しい解析結果を導出するためには豊富な経験が必要となる。このため、経験が浅い若手技術者は、破壊起点、き裂の進展方向及び破壊様式などの判断に迷うことが多く、そのたびに熟練技術者への相談や文献調査などを行って経験不足を補う必要がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平11-101625号公報
【文献】特開2009-085737号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、「退職等による熟練技術者の減少」や「再発防止策の早期策定のための破断面解析時間の短縮への要求」などが重なって、若手技術者には厳しい状況となっている。また、誤った破断面解析結果に基づく再発防止策では、破損事故が再発する可能性が高く、若手技術者が感じる精神的圧力も大きい。このような環境にある若手技術者を補助する技術として、破断面解析の豊富な経験を必要としない解析方法の開発が求められている。
【0006】
しかしながら、破断面解析に関する研究開発は、高度な解析能力を有する研究者によって実施されているので、従来の破断面解析技術は、研究者と同程度の解析能力を有する技術者による使用が前提となっている。このため、若手技術者が使いこなすことは難しい。
【0007】
前記に鑑み、本発明は、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
前記の目的を達成するために、この発明では、機械学習部の学習結果に基づき、破断面画像から破壊起点を推定するようにした。
【0009】
本開示の第1の態様は、破断面解析装置であって、破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う機械学習部と、前記第1学習によって得られる第1学習済モデルに基づき、入力される破断面画像の破壊起点を推定する推定部とを備える。
【0010】
この第1の態様では、推定部は、第1学習済モデルに基づき、入力される破断面画像の破壊起点を推定するので、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。
【0011】
本開示の第2の態様は、第1の態様において、前記第1学習の学習モデルは、破壊起点の座標を推定できるように学習する回帰モデル、及び、破壊起点が存在する確率分布を推定できるように学習する分類モデルのうち、いずれか一方を選択でき、前記推定部は、前記学習モデルが前記回帰モデルである場合には、入力される前記破断面画像の破壊起点の座標を推定し、前記学習モデルが前記分類モデルである場合には、入力される前記破断面画像において破壊起点が存在する確率分布を推定する。
【0012】
この第2の態様では、第1の態様の効果を奏する具体的な構成が得られ、破断面解析の初心者でも破断面画像から容易に破壊起点の位置を判定できる。
【0013】
本開示の第3の態様は、第2の態様において、前記第1学習の学習モデルは、前記回帰モデルと、前記分類モデルとを含み、前記推定部は、入力される前記破断面画像の破壊起点の座標及び入力される前記破断面画像において破壊起点が存在する確率分布を推定し、入力される前記破断面画像、推定される前記破壊起点の座標、及び推定される前記確率分布のうち、少なくとも2つを同一画面に重ねて画像として表示する結果表示部を更に備える。
【0014】
この第3の態様では、推定部は、入力される破断面画像の破壊起点の座標と入力される破断面画像において破壊起点が存在する確率分布との両方を推定し、結果表示部は、入力される破断面画像、推定される破壊起点の座標、及び推定される確率分布のうち、少なくとも2つを同一画面に重ねて画像として表示するので、推定される破壊起点の妥当性を検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できるだけでなく、検証によりその精度を高めることができる。
【0015】
本開示の第4の態様は、第3の態様において、推定される前記確率分布に含まれる破壊起点の数nを判定し、入力される前記破断面画像を前記破壊起点が1つずつ含まれるようにn個の領域に分割し、各々が当該n個の領域の1つ1つの画像を示すn個の分割画像を生成する、分割画像生成部を更に備え、前記推定部は、前記n個の分割画像の各々における破壊起点の座標及び破壊起点が存在する確率分布を更に推定する。
【0016】
この第4の態様では、分割画像生成部が、破壊起点が1つずつ含まれるn個の分割画像を生成し、推定部がこのn個の分割画像の各々における破壊起点の座標及び破壊起点が存在する確率分布を推定するので、入力される破断面画像に複数の破壊起点が含まれる場合においても、破壊起点の位置を正しく推定できる。従って、破断面画像に破壊起点が複数存在する場合でも、破断面解析の初心者が破断面画像から容易に破壊起点の位置を判定できる。また、推定された破壊起点の座標及び破壊起点が存在する確率分布を相互に比較して破壊起点の位置の妥当性を検証できる。
【0017】
本開示の第5の態様は、第1~第4の態様のいずれか1つにおいて、前記機械学習部は、破断面画像データと破断面模様データとの組み合わせを含む第2データセットにより第2学習を更に行い、前記推定部は、前記第2学習によって得られる第2学習済モデルに基づき、入力される前記破断面画像の破断面模様を更に推定する。
【0018】
この第5の態様では、機械学習部は、第1学習に加え第2学習を更に行い、推定部は、破断面画像の破壊起点に加え破断面画像の破断面模様を更に推定するので、推定される破壊起点と推定される破断面模様とを比較して、推定される破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。
【0019】
本開示の第6の態様は、第5の態様において、前記第2学習の学習モデルは、破断面模様を推定できるように学習するセマンティックセグメンテーションモデルを含む。
【0020】
この第6の態様では、第5の態様の効果を奏する具体的な構成が得られる。
【0021】
本開示の第7の態様は、第5又は第6の態様において、入力される前記破断面画像、前記第1学習済モデルに基づき推定される破壊起点、及び前記第2学習済モデルに基づき推定される破断面模様のうち、少なくとも2つを同一画面に重ねて画像として表示する結果表示部を更に備える。
【0022】
この第7の態様では、結果表示部は、入力される破断面画像、第1学習済モデルに基づき推定される破壊起点、及び第2学習済モデルに基づき推定される破断面模様のうち、少なくとも2つを同一画面に重ねて画像として表示するので、例えば、推定される破壊起点と推定される破断面模様との関係から、推定される破壊起点が正しいかどうか容易に検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。
【0023】
ところで、入力される破断面画像に破壊起点が存在しない場合も考えられる。このような場合、技術者は、この破断面画像が示す破断面よりも広域の破断面を含む広域破断面画像を見て、破壊起点が含まれるように破断面画像を撮影しなおす必要がある。このとき、この広域破断面画像に示される破断面がその破断面の形態の違いによって異なる領域に分割された領域分割画像を得ることで、破損物において撮影する破断面の領域の見当をつけやすくなる。
【0024】
ここで、第8の態様は、第1~第7の態様のいずれか1つにおいて、前記機械学習部は、前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに2以上の領域に分割した領域分割データとの組み合わせを含む第3データセットにより第3学習を更に行い、前記推定部は、前記第3学習によって得られる第3学習済モデルに基づき、入力される広域破断面画像において破断面の領域が分割された領域分割画像を更に推定する。
【0025】
この第8の態様によると、推定部は、第3学習によって得られる第3学習済モデルに基づき、入力される広域破断面画像において破断面の領域が分割された領域分割画像を更に推定するので、この領域分割画像を見て、破損物において撮影する破断面の領域を検討しやすくなる。従って、破断面解析の初心者でも、破壊起点の含まれない破断面画像を誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。
【0026】
本開示の第9の態様は、破断面解析方法に係り、破断面画像データと破壊起点データとの組み合わせを含む第1データセットにより第1学習を行う第1学習ステップと、前記第1学習ステップで得られた第1学習済モデルに基づき、入力された破断面画像の破壊起点を推定する第1推定ステップとを備える。
【0027】
この第9の態様では、第1推定ステップで、第1学習済モデルに基づき、入力された破断面画像の破壊起点を推定するので、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。
【0028】
本開示の第10の態様は、第9の態様において、破断面画像データと破断面模様データとの組み合わせを含む第2データセットにより第2学習を行う第2学習ステップと、前記第2学習ステップで得られた第2学習済モデルに基づき、入力された前記破断面画像の破断面模様を推定する第2推定ステップとを更に備える。
【0029】
この第10の態様では、第1学習ステップに加え第2学習ステップを更に行い、第1推定ステップにおける破断面画像の破壊起点の推定に加え、第2推定ステップにおいて破断面画像の破断面模様を更に推定するので、推定された破壊起点と推定された破断面模様とを比較して、推定された破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。
【0030】
本開示の第11の態様は、第9又は第10の態様において、前記破断面画像データに含まれる破断面よりも広域の破断面を含む広域画像データと、前記広域の破断面を当該破断面の形態ごとに2以上の領域に分割した領域分割データとの組み合わせを含む第3データセットにより第3学習を行う第3学習ステップと、前記第3学習で得られた第3学習済モデルに基づき、入力された広域破断面画像において破断面の領域が分割された領域分割画像を推定する第3推定ステップとを更に備える。
【0031】
この第11の態様では、第1学習ステップ及び第2学習ステップに加え第3学習ステップを更に行い、第3推定ステップにおいて、広域破断面画像の破断面の領域が分割された領域分割画像を更に推定するので、第8の態様と同様に、破損物において撮影する破断面の領域を検討しやすくなる。すなわち、破断面解析の初心者でも、破壊起点の含まれない破断面画像を誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。
【0032】
本開示の第12の態様は、第9~第11の態様のいずれか1つにおける破断面解析方法をコンピュータに実行させるためのプログラムである。
【0033】
この第12の態様では、第9~第11の態様のいずれか1つにおける方法を、コンピュータに実施させることができる。
【発明の効果】
【0034】
以上説明したように、本発明によると、破断面解析の初心者でも破断面画像から破壊起点の位置を判定できる。
【図面の簡単な説明】
【0035】
図1】第1実施形態及び第2実施形態に係る破断面解析装置の構成図である。
図2】第1実施形態及び第2実施形態に係る、回帰モデルを用いる場合の第1学習、及び学習済回帰モデルに基づく推定を示す概略図である。
図3】第1実施形態及び第2実施形態に係る、分類モデルを用いる場合の第1学習、及び学習済分類モデルに基づく推定を示す概略図である。
図4】第1実施形態に係るデータセット記憶部の構成図である。
図5】第1実施形態に係る結果表示部の表示面に表示される画像の一例を示す図である。
図6】第1実施形態に係る破断面解析方法を示すフロー図である。
図7】第2実施形態に係る、セマンティックセグメンテーションモデルを用いる場合の第2学習、及び、学習済セマンティックセグメンテーションモデルに基づく推定を示す概略図である。
図8】第2実施形態に係る図4相当図である。
図9A】第2実施形態に係る図5相当図である。
図9B】第2実施形態に係る図5相当図であり、図9Aとは異なる例を示す図である。
図10】第2実施形態に係る図6相当図である。
図11】第2実施形態の変形例に係る、第3学習、及び学習済セマンティックセグメンテーションモデルに基づく推定を示す概略図である。
【発明を実施するための形態】
【0036】
以下、実施形態に係る破断面解析装置及び破断面解析方法について、図面を参照しながら説明する。
【0037】
<第1実施形態>
(破断面解析装置の機能構成)
図1は、本発明に係る破断面解析装置10の構成図である。この破断面解析装置10は、破損物1(破壊起点の位置を判定したい構造物)の破断面の画像から、その破断面の破壊起点の位置を判定するためのものである。この破断面解析装置10は、データセット記憶部11と、機械学習部12と、撮影部13と、推定部14と、結果表示部15と、出力データ記憶部16とを備える。尚、破断面解析装置10の各構成要素は、別体の装置部分として、分散して配置されていてもよい。
【0038】
図2及び図3は、機械学習部12及び推定部14の機能を示す概略図である。破断面解析装置10は、図2及び図3のそれぞれ上側に示すように、機械学習部12が後述する第1学習を行い、また、図2及び図3のそれぞれ下側に示すように、推定部14がこの第1学習によって得られる第1学習済モデルM1に基づき、撮影部13によって撮影され入力される破断面画像Imの破壊起点を推定するように構成されている。結果表示部15は、推定部14の推定結果を表示し、破断面解析を行う技術者は、この推定結果を見て、破損物1の破断面の破壊起点の位置を判定する。
【0039】
尚、破断面解析装置10において、機械学習部12及び推定部14は、それぞれの機能を実行するためのプログラムが記憶されたメモリ等の記憶媒体、及びそのプログラムに従って動作するプロセッサを主なハードウェア構成として備える。
【0040】
以下、データセット記憶部11、機械学習部12、撮影部13、推定部14、及び結果表示部15の各機能構成について詳細に説明する。
【0041】
(データセット記憶部)
データセット記憶部11は、例えばハードディスク又はSDカード等の記憶媒体である。図4は、データセット記憶部11の構成図である。データセット記憶部11には、機械学習部12が第1学習を行うための第1データセットD1が記憶されている。この第1データセットD1は、破断面画像データD11と、この破断面画像データD11に示された破断面の破壊起点の位置を示す破壊起点データD12との組み合わせからなる。
【0042】
破断面画像データD11としては、種々の撮影方法および生成方法で準備された複数種類の画像を用いることができる。この「複数種類の画像」としては、例えば、SEM画像及びデジタルカメラなどで撮影された画像(デジカメ画像)や、これらの撮影画像を白と黒のピクセルのみで表示した二値画像等がある。破断面画像データD11には、SEM画像、デジカメ画像及び二値画像のうち少なくとも2つを用いるのが好ましく、これらの3つを用いるのがより好ましい。
【0043】
破壊起点データD12は、破断面画像データD11の破断面における破壊起点の位置を座標として示す座標データ、及び破壊起点が存在する確率を後述する小領域ごとに記述した確率分布データを含む。座標データは、図2の右上に示すように、破断面画像データD11が示す各破断面における破壊起点の座標を表す(X,Y)の組み合わせからなる。確率分布データは、図3の右上に示すように、各破断面を複数の小領域A,A,…に分割し、各小領域において破壊起点が存在する確率を示す数値からなる。この小領域は、破断面画像Imのピクセル1つ1つが占める領域であってもよく、隣接する複数のピクセルの集合が占める領域であってもよい。図3の右上に示す確率分布データには、144個の小領域A~A144が存在する。
【0044】
前述の座標データ及び確率分布データは、第1学習を行う前に準備しておく。座標データを準備する方法は、例えば、技術者が破断面画像データD11に示される破断面を見て、破壊起点を特定してその座標を記録するという方法であってもよい。確率分布データを準備する方法は、例えば、技術者が破断面画像データD11に示される破断面を見て、破断面の各小領域を破壊起点が存在する確率のランク(例えば、ランク1:確率50%以上、ランク2:確率10%以上50%未満、ランク3:確率0%以上10%未満、など)を決定するという方法であってもよい。より具体的には、例えば、ピクセル単位で画像を編集できる画像編集用ソフトなどを使用して、破断面画像Im中の全小領域を、破壊起点が存在する確率のランクごとに異なる色で塗り分けるという方法であってもよい。図3に示す例では、小領域A115がランク1(確率50%)、小領域A102,A104,A116,A127,A128がランク2(確率10%)、それ以外の小領域がランク3(存在確率0%)に割り当てられている。
【0045】
(機械学習部)
機械学習部12は、データセット記憶部11から第1データセットD1を読み出し、第1学習を行う。第1学習の学習モデルは、図2に示すように、破壊起点の座標を推定できるように学習する回帰モデル、及び、図3に示すように、破壊起点が存在する確率を推定できるように学習する分類モデルとする。機械学習部12は、この2つの学習モデルを構築するために2パターンの第1学習を行う。以下、学習モデルを回帰モデルとした場合及び分類モデルとした場合に第1学習で得られる第1学習済モデルM1を、それぞれ、学習済回帰モデルMR及び学習済分類モデルMCという。
【0046】
尚、機械学習部12の学習方式には、例えば、畳み込みニューラルネットワーク又はサポートベクターマシンなどを用いることができる。
【0047】
(撮影部)
撮影部13は、破損物1の破断面画像Imを撮影する。撮影部13としては、破損物1の種類に応じて、SEM等の電子顕微鏡、実体顕微鏡、マイクロスコープ及びデジタルカメラ等の種々の撮影手段を利用可能である。尚、破断面解析装置10は、撮影部13により撮影された破断面画像Imを記憶する画像記憶部(図示しない)を備えていてもよい。
【0048】
(推定部)
推定部14は、撮影部13で撮影された破断面画像Imが入力され、破壊起点を推定する。その推定結果は、結果表示部15が出力する。推定部14には、図2及び図3のそれぞれ下側に示すように、機械学習部12の第1学習によって得られた学習済回帰モデルMR及び学習済分類モデルMCが実装されており、推定部14は、この学習済回帰モデルMR及び学習済分類モデルMCに基づき破壊起点を推定する。具体的には、推定部14は、図2の下側に示すように、学習済回帰モデルMRに基づき破断面画像Imの破壊起点の座標を推定し、その結果、座標Ptが得られる。また、推定部14は、図3の下側に示すように、学習済分類モデルMCに基づき破断面画像Imの破壊起点が存在する各小領域の確率を推定し、その結果、破壊起点が存在する確率を示す破壊起点コンター図PD(確率分布)が得られる。尚、図3の右下に示す破壊起点コンター図PDの例では、各小領域における破壊起点の存在確率を、色が濃い(暗い)ほど確率が高くなるように、グレースケールで示している。
【0049】
(結果表示部)
結果表示部15は、液晶ディスプレイ等により構成される表示面(図示しない)を有している。結果表示部15は、推定部14により2パターンの第1学習済モデルM1(すなわち、学習済回帰モデルMR及び学習済分類モデルMC)による破壊起点の推定の結果得られた破壊起点の座標Pt及び破壊起点コンター図PDを、表示面(同一画面)に重ねて画像として表示する。図5は、結果表示部15の表示面に表示される画像の一例を示す図である。
【0050】
図5に示す例では、破壊起点の座標Ptが、破壊起点コンター図PDの最も確率の高い領域とほぼ一致していることがわかる。仮に、学習済回帰モデルMR及び学習済分類モデルMCに基づく破壊起点の推定結果が大きく異なる場合は、少なくともいずれか一方の推定結果が正しくない可能性が考えられる。このような場合に限り、推定された異なる2つの破壊起点を、入力された破断面画像Imと比較することにより、いずれの破壊起点がより信頼性が高いか、検証すればよい。
【0051】
結果表示部15による表示の仕方は、図5に示す例と異なっていてもよい。例えば、結果表示部15は、破壊起点の座標Pt及び破断面画像Im、又は、破壊起点コンター図PD及び破断面画像Imを表示面に重ねて画像として表示してもよく、破壊起点の座標Pt、破壊起点コンター図PD及び破断面画像Imのすべてを表示面に重ねて画像として表示してもよい。
【0052】
結果表示部15が表示する推定結果は、出力データ記憶部16に記憶される。出力データ記憶部16は、例えばハードディスク等の記憶媒体である。
【0053】
(破断面解析方法)
図6は、第1実施形態に係る破断面解析方法S10を示すフロー図である。破断面解析方法S10では、前述の破断面解析装置10の機能を順番に実行する。尚、破断面解析方法S10を開始する前に、破断面画像データD11と、破壊起点データD12との組み合わせからなる第1データセットD1を準備してデータセット記憶部11に保存しておく。
【0054】
まず、第1ステップS11では、第1データセットD1を用いて機械学習部12により第1学習を行う(第1学習ステップ)。続く第2ステップS12では、撮影部13により破損物1の破断面画像Imを撮影する。続く第3ステップS13では、第2ステップS12で撮影された破断面画像Imを入力とし、第1ステップS11で得られた第1学習済モデルM1(すなわち、学習済回帰モデルMR及び学習済分類モデルMC)に基づき、この入力された破断面画像Imの破壊起点を推定し、その結果、破壊起点の座標Pt及び破壊起点コンター図PDが得られる(第1推定ステップ)。続く第4ステップS14では、推定された破壊起点を結果表示部15が表示する。尚、第2ステップS12は、第1ステップS11よりも先に実行してもよい。
【0055】
以上の破断面解析方法は、記録媒体に記録されるコンピュータプログラムとして、コンピュータで実行可能である。
【0056】
(作用・効果)
本実施形態では、推定部14が、第1学習済モデルM1に基づき、入力される破断面画像Imの破壊起点を推定するので、破断面解析の初心者でも破断面画像Imから破壊起点の位置を判定できる。
【0057】
また、推定部14の学習済回帰モデルMRは、破断面画像Imの破壊起点の座標を推定し、その結果、座標Ptが得られるので、破断面解析の初心者でも迷うことなく破断面画像Im中の破壊起点の位置を判定できる。
【0058】
ところで、推定部14により得られた破壊起点の座標Ptが正しいか検証したい場合がある。ここで、推定部14は破壊起点の座標Ptに加え、破断面画像Imの破壊起点の位置を破壊起点コンター図PDとして示すことができるので、破壊起点の座標Ptと破壊起点コンター図PDとを相互に比較できる。これによって、それぞれ推定結果の妥当性を検証できる。従って、破断面解析の初心者でも破断面画像Imから破壊起点の位置を判定できるだけでなく、検証によりその精度を高めることができる。
【0059】
また、本実施形態では、機械学習部12は、破断面画像データD11として、種々の撮影方法および生成方法で準備された複数種類の画像を用いるので、第1データセットD1の数を増やして第1学習の精度を高めることができる。従って、得られる第1学習済モデルM1に基づき、破断面解析の初心者でも破断面画像Imから高い精度で破壊起点の位置を判定できる。
【0060】
<第1実施形態の変形例>
ところで、破断面画像Imに破壊起点が1箇所のみ存在する場合、学習済回帰モデルMRは、1つの破壊起点を推定し、学習済分類モデルMCも1つの破壊起点を推定することになる。従って、破壊起点が1箇所のみ存在する破断面画像Imの場合は、前述したように、座標Ptと破壊起点コンター図PDを相互に比較することで破壊起点の位置の妥当性を検証し、その精度を高めることができる。
しかし、その一方で、破断面画像Imに破壊起点が複数箇所存在する場合、学習済分類モデルMCは複数の破壊起点を破壊起点コンター図PDとして推定できるものの、学習済回帰モデルMRは1つの破壊起点のみを推定するため、それぞれ推定結果の妥当性を検証し、その精度を高めることが難しくなる。そこで、破断面画像Imに破壊起点が複数箇所存在する場合においても、破断面解析の初心者が破壊起点の位置の妥当性を検証できるようにしたい。
【0061】
前記を鑑みて、破断面解析装置10は、推定により得られた破壊起点コンター図PDに含まれる破壊起点の数nを判定し、入力された破断面画像Imを破壊起点が1つずつ含まれるようにn個の破断面画像に分割する分割画像生成部(図示しない)を更に備えていてもよい。そして、推定部14は、そのn個の分割画像の各々を入力とし、このn個の分割画像の各々における破壊起点の座標Pt及び破壊起点コンター図PDの推定を行ってもよい。
【0062】
この変形例によると、分割画像生成部が、学習済分類モデルMCによる推定結果が示す破壊起点を1つずつ含むように分割されたn個の分割画像を生成し、推定部14がこのn個の分割画像の各々について破壊起点の推定を行うので、n個の画像それぞれの座標Pt及び破壊起点コンター図PDが得られる。その結果、入力された破断面画像Imに複数の破壊起点が含まれる場合においても、出力された座標Ptと破壊起点コンター図PDとを相互に比較できる。従って、破断面画像Imに破壊起点が複数存在する場合においても破断面解析の初心者が破壊起点の位置の妥当性を検証し、その精度を高めることができる。
【0063】
<第2実施形態>
以下、第2実施形態に係る破断面解析装置20の機能構成について説明する。この破断面解析装置20は、機械学習部22、推定部24及び結果表示部25の機能が、第1実施形態と異なっている。尚、第1実施形態と機能が同じである構成については、第1実施形態と同じ符号を用い、説明を省略する。
【0064】
機械学習部22は、図2及び図3に示す第1学習に加え、更なる機械学習(第2学習)を行う。図7は、第2学習に関する機械学習部22及び推定部24の機能を示す概略図である。すなわち、推定部24は、第1学習済モデルM1に基づき破断面画像Imの破壊起点を推定することに加え、第2学習によって得られる第2学習済モデルM2に基づき破断面画像Im内に捉えられた破断面模様Ptnを推定する。
【0065】
破断面模様Ptnとは、具体的には、破断面における段差などの凹凸を反映した模様である。図7の右下には、この破断面模様Ptnの一例として、き裂が拡大するときの進展経路が破断面上に段差として現れた放射状模様が示されている。この放射状模様は、その収束点から破壊起点のおおまかな位置を特定できるので、破壊起点を特定するための足がかりとなる。尚、破断面模様Ptnは、き裂が拡大するときの進展経路が破断面上に段差として現れた放射状模様に限られず、破壊起点を特定するための足がかりとなるような、破断面上の模様であればよい。
【0066】
図8は、データセット記憶部21の構成図である。データセット記憶部21には、第1データセットD1に加え、第2データセットD2が記憶されている。第2データセットD2は、破断面画像データD21(D11)と、この破断面画像データD21の放射状模様を示す破断面模様データD22との組み合わせからなる。
【0067】
破断面模様データD22は、例えば、図7の右上に示す、ハッチングされた部分である。この破断面模様データD22は、第2学習の前に準備しておく。破断面模様データD22を準備する方法は、例えば、技術者が破断面画像データD21に示される破断面を見て、画像編集用ソフトなどを使用して描いてもよい。
【0068】
機械学習部22は、データセット記憶部21から第1データセットD1及び第2データセットD2を読み出し、第1学習及び第2学習を行う。第2学習では、図7に示すように、破断面模様を推定するための学習モデルであるセマンティックセグメンテーションモデル(以下、SSモデルという。)を構築する。以下、第2学習で得られる第2学習済モデルM2を、学習済SSモデルMSという。
【0069】
推定部24は、図7の下側に示すように、撮影部13で撮影された破断面画像Imが入力され、破断面模様Ptnを推定し、その結果、破断面模様Ptnが得られる。
【0070】
結果表示部25は、第1学習済モデルM1に基づき推定された破壊起点(座標Pt又は破壊起点コンター図PD)と、第2学習済モデルM2に基づき推定された破断面模様Ptnとをその表示面(同一画面)に重ねて画像として表示する。
【0071】
図9A及び図9Bは、結果表示部25の表示面に表示された画像の2つの例を示す図である。図9A及び図9Bは、推定部24に入力された破断面画像Imが互いに異なっている。図9A及び図9Bのそれぞれの左側では、推定された破壊起点の座標Ptと破断面模様Ptnとが重ねて表示されており、図9A及び図9Bのそれぞれの右側では、推定された破壊起点の破壊起点コンター図PD(確率が0%の領域を除く)と破断面模様Ptnとが重ねて表示されている。図9A及び図9Bでは、破断面模様Ptnで示される放射状模様から判断できる破壊起点が存在し得る位置(すなわち、放射状模様が収束する位置)を破線で囲んでいる。
【0072】
図9Aに示す例では、推定された破壊起点の座標Ptの位置(図9Aの左側を参照)及び破壊起点コンター図PDの最も確率の高い位置(図9Bの右側を参照)は、いずれも破線で囲む領域にある。すなわち、学習済回帰モデルMR及び学習済分類モデルMCに基づく破壊起点の推定結果(座標Pt及び破壊起点コンター図PD)は、いずれも学習済SSモデルMSに基づく推定結果(破断面模様Ptn)と一致している。このため、3つの学習済モデルに基づく推定結果から、迷うことなく破壊起点を判定できる。
【0073】
一方、図9Bに示す例では、推定された破壊起点コンター図PDの最も確率の高い領域は、破線で囲む領域にあるものの(図9Bの右側を参照)、推定された破壊起点の座標Ptは、破線で囲む領域の外にあることがわかる(図9Bの左側を参照)。すなわち、学習済分類モデルMCに基づく推定結果は、学習済SSモデルMSに基づく推定結果と一致するものの、学習済回帰モデルMRに基づく推定結果は学習済SSモデルMSに基づく推定結果とは一致しない。この場合、学習済SSモデルMSに基づく推定結果と一致する学習済分類モデルMRに基づく推定結果(図9Bの右側)が、学習済回帰モデルMRに基づく推定結果(図9Bの左側)よりも信頼できるといえる。
【0074】
図10は、第2実施形態に係る破断面解析方法S20を示すフロー図である。破断面解析方法S20は、第1学習を行う第1ステップS21(S11)に続き、破断面画像データD21(D11)と破断面模様データD22との組み合わせを第2データセットD2として第2学習を行う第2ステップS22を実行する(第2学習ステップ)。続く第3ステップS23(S12)では、撮影部13により破損物1の破断面画像Imを撮影する。続く第4ステップS24(S13)では第1学習済モデルM1に基づき、破壊起点の位置を推定し、破壊起点の座標Pt及び破壊起点コンター図PDが得られる(第1推定ステップ)。続く第5ステップS25では、第2学習済モデルM2に基づき、破断面模様を推定し、破断面模様Ptnが得られる(第2推定ステップ)。続く第6ステップS26では、推定により得られた破壊起点の座標Pt、破壊起点コンター図PD及び破断面模様Ptnを結果表示部25が表示する。尚、第1ステップS21~第5ステップS25を実行する順序はこれに限定されず、第1ステップS21が第4ステップS24よりも先であり、第2ステップS22が第5ステップS25よりも先であり、第3ステップS23が第4ステップS24及び第5ステップS25のいずれよりも先であり、且つ、第4ステップS24及び第5ステップS25のいずれもが第6ステップS26よりも先であればよい。
【0075】
本実施形態では、機械学習部22は、第1学習に加え第2学習を更に行い、推定部24は、破断面画像Imの破壊起点に加え破断面画像Imの破断面模様Ptnを更に推定し、その結果、破断面模様Ptnが得られるので、推定された破壊起点と破断面模様Ptnとを比較することにより、推定された破壊起点が正しいかどうか検証できる。従って、破断面解析の初心者でも破断面画像Imから破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。
【0076】
また、本実施形態では、結果表示部25が、推定された破壊起点及び破断面模様Ptnを同一画面に重ねて画像として表示するので、推定された破壊起点と破断面模様Ptnとの関係から、推定された破壊起点が正しいかどうか容易に検証できる。従って、破断面解析の初心者でも破断面画像から破壊起点の位置を判定でき、しかも、検証によりその精度を高めることができる。
【0077】
尚、結果表示部25は、推定により得られた破壊起点の座標Pt及び破壊起点コンター図PD並びに破断面模様Ptnの3つを同一画面に表示してもよい。
【0078】
<第2実施形態の変形例>
前述の第2実施形態において、推定により得られた破壊起点の座標Pt、破壊起点コンター図PD、及び破断面模様Ptnの3つのうちのすべて異なるような場合には、入力される破断面画像Imに破壊起点が存在しない可能性を考えるべきである。このような場合、技術者は、この破断面画像Imが示す破断面よりも広域の破断面を含む広域破断面画像WIを見て、破壊起点が含まれるように破断面画像を撮影しなおす必要がある。このとき、この広域破断面画像WIに示される破断面がその破断面の形態の違いによって異なる領域に分割された後述する領域分割画像SAを得ることで、破損物1において撮影する破断面の領域の見当をつけやすくなる。尚、破断面の形態とは、例えば、後述するような破断面の凹凸などをいう。
【0079】
前記を鑑みて、機械学習部32は、第1学習及び第2学習に加え、領域分割画像SAを推定できるように学習する第3学習を行ってもよい。図11は、第3学習に関する機械学習部32及び推定部34の機能を示す概略図である。領域分割画像SAとは、図11の右下に示すように、例えば、広域破断面画像WIが、その破断面における比較的凹凸の多い凹凸領域(図11右下のドットハッチングされた部分を参照)、及び、凹凸領域を除く平坦領域(図11右下のハッチングされた部分を参照)に2分割された画像である。尚、領域分割画像SAは、凹凸領域及び平坦領域に加え、更に形態が異なる領域(例えば、明瞭な放射状模様が認められるような領域など)にも分割されていてもよく(すなわち、3分割されていてもよい)、更にその他の領域にも分割されていてもよい(すなわち、4分割以上されていてもよい)。
【0080】
機械学習部32は、図11の上側に示すように、はじめに入力された破断面画像データD21に含まれる破断面よりも広域の破断面を含む広域画像データD31と、この広域の破断面を当該破断面の形態によって2以上の領域に分割した領域分割データD32との組み合わせを含む第3データセットにより第3学習を更に行う。領域分割データD32は、例えば、破断面模様データD22を準備する方法と同様に、技術者が広域画像データD31に示される破断面を見て、この破断面を凹凸領域と平坦領域とに塗り分けるという方法であってもよい。第3学習の学習モデルは、例えば、第2学習と同様にSSモデルである。
【0081】
推定部34には、図11の左下に示すように、撮影部13によって撮影された広域破断面画像WIが入力される。この広域破断面画像WIは、はじめに入力された破断面画像Imを撮影するときに撮影していてもよく、必要な場合にのみ、破損物1の適切な領域を含むように(適切な拡大倍率に)、適宜調整して撮影してもよい。
【0082】
推定部34は、図11の下側に示すように、第3学習によって得られる第3学習済モデルM3(学習済SSモデル)に基づき、入力される広域破断面画像WIの分割された領域分割画像SAを推定し、その結果、領域分割画像SAが得られる。結果表示部25は、得られた領域分割画像SAを表示する。
【0083】
この変形例に係る破断面解析方法では、前述の第2実施形態に係る破断面解析方法S20において、第3データセットにより第3学習を行う第3学習ステップと、第3学習で得られた第3学習済モデルに基づき、領域分割画像SAを推定する第3推定ステップとを更に備える。具体的には、図10に示す第6ステップS26で、結果表示部25が表した破壊起点の座標Pt、破壊起点コンター図PD及び破断面模様Ptを見て、入力される破断面画像Imに破壊起点が存在しないと考えられる場合に、第3推定ステップを行い領域分割画像SAを得る。そして、破損物1において撮影する破断面の領域の見当をつけた上で、破壊起点が含まれるように破断面画像Imを撮影しなおし、その撮影しなおした破断面画像Imを入力として第4ステップS24~第6ステップS26を行う。
【0084】
この変形例によると、推定部34は、第3学習によって得られる第3学習済モデルM3に基づき、入力される広域破断面画像WIにおいて破断面の領域が分割された領域分割画像SAを推定するので、技術者は、この領域分割画像SAを見て、破損物1において撮影する破断面の領域の見当をつけやすくなる。例えば、はじめに入力された破断面画像Imが凹凸領域に属していた場合、技術者は、破壊起点が凹凸領域には存在しないと判断し、平坦領域を撮影することを検討できる。
【0085】
これによると、破断面解析の初心者でも、破壊起点の含まれない破断面画像Imを誤って用いる事態を回避し、破壊起点の位置を判定しやすくなる。
【0086】
<その他の実施形態>
前述の各実施形態では、第1学習の学習モデルは回帰モデル及び分類モデルの両方を含むが、回帰モデル及び分類モデルのいずれか一方を選択できるようにしてもよい。これに応じて、推定部14(24)は、学習モデルが回帰モデルである場合には入力される破断面画像Imの破壊起点の座標Ptを推定し、学習モデルが分類モデルである場合には入力される破断面画像Imにおいて破壊起点コンター図PDを推定するようにしてもよい。
【0087】
また、前述の各実施形態では、破壊起点データD12及び破断面模様データD22を準備する方法の例として、技術者が破断面画像Imを見て準備することを挙げたが、これに限定されない。例えば、破断面解析装置10(20)は、破断面画像データD11(D21)の破断面を解析し、破壊起点データD12及び破断面模様データD22を自動的に生成するデータ生成部(図示しない)を備えていてもよい。データ生成部は、例えば、破断面画像Imに二値化処理を行い、二値化された画像からき裂の模様(放射状模様)に沿う直線を抽出し、抽出した直線から破断面における破壊起点及びき裂の進展方向等を求めることにより破壊起点データD12及び破断面模様データD22を自動的に生成してもよい。これによると、技術者がすべての破壊起点データD12及び破断面模様データD22を準備するために必要な負担を回避できる。
【符号の説明】
【0088】
1 破損物
10 第1実施形態に係る破断面解析装置
11 データセット記憶部
12 機械学習部
13 撮影部
14 推定部
15 結果表示部
16 出力データ記憶部
Im 入力される破断面画像
D1 第1データセット
D11 破断面画像データ(第1データセット)
D12 破壊起点データ(第1データセット)
M1 第1学習済モデル
MR 学習済回帰モデル(第1学習済モデル)
MC 学習済分類モデル(第1学習済モデル)
Pt 推定により得られる破壊起点の座標
PD 推定により得られる破壊起点コンター図(確率分布)
S10 第1実施形態に係る破断面解析方法
S11 第1ステップ(第1学習ステップ)
S12 第2ステップ
S13 第3ステップ(第1推定ステップ)
S14 第4ステップ
20 第2実施形態に係る破断面解析装置
21 データセット記憶部
22 機械学習部
24 推定部
25 結果表示部
D2 第2データセット
D21 破断面画像データ(第2データセット)
D22 破断面模様データ(第2データセット)
M2 第2学習済モデル
MS 学習済セマンティックセグメンテーションモデル(第2学習済モデル)
Ptn 推定により得られる破断面模様
S20 第2実施形態に係る破断面解析方法
S21 第1ステップ(第1学習ステップ)
S22 第2ステップ(第2学習ステップ)
S23 第3ステップ
S24 第4ステップ(第1推定ステップ)
S25 第5ステップ(第2推定ステップ)
S26 第6ステップ
31 第2実施形態の変形例に係る機械学習部
34 第2実施形態の変形例に係る推定部
D31 広域画像データ
D32 領域分割データ
M3 第3学習済モデル
SA 領域分割画像
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10
図11