(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022013285
(43)【公開日】2022-01-18
(54)【発明の名称】機械学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220111BHJP
【FI】
G06T7/00 350B
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2020115735
(22)【出願日】2020-07-03
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000157083
【氏名又は名称】トヨタ自動車東日本株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】特許業務法人平木国際特許事務所
(72)【発明者】
【氏名】浅井 幹雄
(72)【発明者】
【氏名】永井 隆之
(72)【発明者】
【氏名】川原 貴仁
(72)【発明者】
【氏名】真川 聖
(72)【発明者】
【氏名】加賀 寛之
(72)【発明者】
【氏名】山田 裕史
(72)【発明者】
【氏名】川村 亮平
(72)【発明者】
【氏名】藤原 勇太
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096DA02
5L096FA02
5L096JA22
5L096KA04
(57)【要約】 (修正有)
【課題】錆の程度をより高い精度で評価できるようになる機械学習方法を提供する。
【解決手段】機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、評価対象物の撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、ブリスター画像を当該画像に写るブリスターの種類毎に分類し、ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、
前記評価対象物の前記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、
前記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、前記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、
前記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価対象物の錆の程度を評価するための学習モデルを構築する機械学習方法に関する。
【背景技術】
【0002】
従来、自動車等に用いられる塗装された鋼材等の錆の程度についての評価は目視観察で行われていた。しかしながら、目視観察では判断基準が曖昧であり、かつ個人差が発生し易いために、評価結果にばらつきが生じるおそれがあった。
【0003】
これに対し、塗装された鋼材等の錆の程度に関し、評価結果にばらつきを生じさせずに高い精度で評価するための技術に関する発明が知られている。例えば、特許文献1には、塗装された鋼材の塗装劣化を診断するに際し、鋼材とカラーサンプルを同時に撮影し、撮影した画像を画像処理機能を備えたコンピュータに取り込み、カラー画像解析により腐食箇所の色彩情報(色の明度・彩度・色相等)から腐食箇所(薄錆・赤錆・鉄錆)の検出と腐食状態の判定を行い、一般的な画像処理により塗膜欠陥(膨れ、割れ、剥離等)の検出と塗膜欠陥状態の判定を行い、これら判定結果から塗装の劣化度合を評価する診断方法が記載されている。
【0004】
また、特許文献2には、錆の程度に関する評価精度を向上させるために、評価対象物の撮像画像を用いて、評価対象物のさびの程度に関する評価を行う評価システムであって、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備え、補正部は、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出し、評価領域に基づいて評価用画像を生成し、評価部は、ニューラルネットワークを用いて評価を行う評価システムが記載されている。
【0005】
さらに、特許文献3には、錆の検出を効率化するために、対象物を撮像した画像を第1の学習モデルに入力し、第1の学習モデルから出力された情報に基づいて、対象物における錆の存在を検出する第1の錆検出手順と、第1の学習モデルとは構造が異なる第2の学習モデルに画像を入力し、第2の学習モデルから出力された情報に基づいて、対象物における錆の存在を検出する第2の錆検出手順と、第1の錆検出手順による検出結果と、第2の錆検出手順による検出結果とに基づいて、対象物における錆の発生領域を判定する判定手順と、をコンピュータに実行させる錆検出プログラムが、記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2020-020744号公報
【特許文献2】特開2019-144013号公報
【特許文献3】特開2001-266121号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された診断方法では、明確な評価基準に基づき、錆の程度を評価できるものの、評価精度が不十分となるおそれがあった。一方、特許文献2に記載された評価システム、及び特許文献3に記載された錆検出プログラムでは、機械学習により構築された学習モデルを用い、撮像画像に基づいて錆の程度を評価することにより、錆の程度の評価精度を向上させることができる。しかしながら、特許文献2に記載された評価システムでは、錆が生じている候補領域を抽出し、候補領域を用いて錆の程度に関する評価を行うことができるものの、錆の深刻さに関連するブリスターの種類を分類することはできない。さらに、特許文献3に記載された錆検出プログラムでも、対象物における錆の発生領域を判定することはできるものの、錆の深刻さに関連するブリスターの種類を分類することはできない。
【0008】
本発明は、このような点を鑑みてなされたものであり、その目的とするところは、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築することで、錆の程度をより高い精度で評価できるようになる機械学習方法を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決すべく、本発明の機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、上記評価対象物の上記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、上記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、上記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、上記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする。
【0010】
本発明によれば、錆の程度をより高い精度で評価できるようになる。
【図面の簡単な説明】
【0011】
【
図1】実施形態の機械学習方法の一例の概略を示す図である。
【
図2】実施形態の機械学習方法の一例における各工程の概略を示す工程図である。
【
図3】実施形態の機械学習方法の一例における各工程の概略を示す工程図である。
【
図4】機械学習装置を実現するシステムの構成を模式的に示す図である。
【
図5】実施形態のブリスター発生量推定方法の一例の概略を示す図である。
【
図6】ブリスターの種類毎の分類方法の概略を示す図である。
【
図7】実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。
【
図8】実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。
【
図9】参考例の機械学習方法の主な処理を示すフローチャートである。
【
図10】参考例で実試験を行う塗装された基材の塗膜構成を示す概略断面図である。
【
図11】参考例における実試験で基材に発生するブリスターを示す撮像画像及び当該ブリスターの種類の説明図である。
【
図12】参考例のブリスター発生量推定方法の主な処理を示すフローチャートである。
【
図13】ED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化の推定を示すグラフ、並びにED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化の推定を示すグラフである。
【発明を実施するための形態】
【0012】
以下、本発明の機械学習方法に係る実施形態について説明する。
【0013】
実施形態の機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、上記評価対象物の上記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、上記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、上記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、上記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする。
【0014】
ここで、実施形態の機械学習方法の一例について説明する。
図1は、実施形態の機械学習方法の一例の概略を示す図である。
図2(a)~
図3(b)は、実施形態の機械学習方法の一例における各工程の概略を示す工程図である。
【0015】
本例の機械学習方法では、まず、
図1に示すように、塗装され腐食試験が行われた鋼材(評価対象物)の過去の撮像画像10を複数準備する(準備工程)。
【0016】
次に、
図1及び
図2(a)に示すように、準備した複数の過去の撮像画像10について画像処理を行う。具体的には、複数の過去の撮像画像10のそれぞれにおいて、エッジ検出を行うことでブリスターの輪郭を明確化した後に、二値化を行うことでブリスターの領域を明確化することにより、複数のブリスターの領域を判別できる処理画像12を取得する。
【0017】
次に、処理画像12で複数のブリスターの領域を判別した後に、複数のブリスターの領域から、外径が0.1mm以下の領域をType3のブリスター画像と分類して除外し、さらに処理画像12の外縁に接触する領域を除外した上で、
図1及び
図2(b)に示すように、残りの複数のブリスターの領域をそれぞれ含む未加工の複数のブリスター画像20を画像処理前の撮像画像10から抽出する(抽出工程)。
【0018】
次に、
図2(c)に示すように、抽出した未加工の複数のブリスター画像20を当該画像に写るブリスターの種類毎に分類し、Type1及び2のどちらかのブリスターの画像として分類した上で、ブリスター画像20と当該画像に写るブリスターの種類との組を教師データとして、複数組の教師データを作成する。さらに、
図3(a)に示すように、未加工のブリスター画像20を元のブリスター画像として用い、元のブリスター画像を60°から300°の範囲で回転させた複数のブリスター画像20を作成し、当該ブリスター画像20と当該画像に写るブリスターの種類(元のブリスター画像20と同一の種類)の複数の組も教師データとすることで教師データを水増しする。これにより、
図1及び
図3(b)に示すように、ブリスター画像20と当該画像に写るブリスターの種類30との複数組の教師データ40を準備する(教師データ準備工程)。
【0019】
なお、未加工の複数のブリスター画像20を当該画像に写るブリスターの種類毎に分類する際には、ブリスターの種類の分類に長けた有識者が知識及び経験に基づき分類することにより、分類の精度を向上させることが好ましい。
【0020】
次に、
図1に示すように、準備した複数組の教師データ40を、機械学習装置の記憶部に入力部を介して入力し記憶させる。次に、
図1及び
図3(b)に示すように、機械学習装置の学習部において、複数組の教師データ40を用いて、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)の一種であるAlexNetを使用した機械学習を行う。当該機械学習では、複数組の教師データ40をAlexNetに与え、それぞれの教師データ40のブリスターの種類30がAlexNetから出力される対応するブリスターの種類30と一致するように、AlexNetに関連するパラメータを最適化する。これにより、評価用の塗装された鋼材の撮像画像に写るブリスターの種類を分類するための学習モデル50を構築する(学習工程)。続いて、
図1に示すように、構築した学習モデル50を機械学習装置の記憶部に記憶させる。
【0021】
なお、
図4は、機械学習装置を実現するシステムの構成を模式的に示す図である。機械学習装置は、
図4に示すシステム100における計算機110、記憶装置120、入力装置130、及び表示装置140等で実現する。
【0022】
続いて、上記例の機械学習方法により構築した学習モデルを用いて、評価用の塗装された鋼材の撮像画像に写るブリスターの種類を分類し、当該鋼材の撮像画像に写るブリスターの種類毎の個数及び面積を推定するブリスター発生量推定方法の一例について説明する。
図5は、実施形態のブリスター発生量推定方法の一例の概略を示す図であり、
図6は、ブリスターの種類毎の分類方法の概略を示す図である。
図7(a)~
図8(b)は、実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。
【0023】
本例のブリスター発生量推定方法では、まず、
図5に示すように、評価用の塗装された鋼材(評価対象物)の画像を撮像することで、当該鋼材の撮像画像10を取得する。
【0024】
次に、
図5及び
図7(a)に示すように、取得した撮像画像10について画像処理を行う。具体的には、撮像画像10において、エッジ検出を行うことでブリスターの輪郭を明確化した後に、二値化を行うことでブリスターの領域を明確化することにより、複数のブリスターの領域を判別できる処理画像12を取得する。
【0025】
次に、処理画像12で複数のブリスターの領域を判別した後に、
図5、
図6、及び
図7(b)に示すように、複数のブリスターの領域から、外径が0.1mm以下の領域をType3のブリスター画像と分類して除外し、さらに処理画像12の外縁に接触する領域を除外した上で、残りの複数のブリスターの領域をそれぞれ含む未加工の複数のブリスター画像20を画像処理前の撮像画像10から抽出する。
【0026】
次に、
図5に示すように、抽出した未加工の複数のブリスター画像20及びType3のブリスター画像20を推定装置の記憶部に入力部を介して入力し記憶させる。次に、
図5、
図6、及び
図8(a)に示すように、推定装置の分類部において、記憶部に予め記憶させた上記の学習モデル50を用いて、未加工の複数のブリスター画像20を当該画像に写るブリスターの種類毎に分類し、Type1及び2のどちらかのブリスターの画像として分類する。
【0027】
次に、
図5、
図6、及び
図8(b)に示すように、推定装置の処理部により、Type1及び2のブリスター画像20並びにType3のブリスター画像20からブリスターの種類毎の個数及び面積を計算し、推定装置の出力部によりそれらの計算結果を出力する。これにより、評価用の塗装された鋼材のブリスターの発生量を推定する。なお、推定装置は、上記の
図4に示すシステム100における計算機110、記憶装置120、入力装置130、及び表示装置140等で実現する。
【0028】
実施形態の機械学習方法では、上記例の機械学習方法のように、錆の程度を評価する評価対象物の撮像画像から抽出したブリスター画像を当該画像に写るブリスターの種類毎に分類し、ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして用いて機械学習を行うことにより、評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する。従って、実施形態の機械学習方法によれば、上記例のブリスター発生量推定方法のように、機械学習方法で構築した学習モデルを用いて、評価対象物の撮像画像に写るブリスターを種類毎に分類し、当該ブリスターの種類毎の定量化を行うことができようになる。これにより、目視観察によりブリスターの定量化を行う場合と比較して、ブリスターの定量化を正確に行うことができるようになる。また、錆の深刻さに関連するブリスターの種類毎の定量化が可能となるので、錆の程度に関するより重要な評価指標を得ることができるようになる。よって、錆の程度をより高い精度で評価できるようになる。
【実施例0029】
以下、参考例を挙げて、本発明に係る実施形態についてさらに説明する。
【0030】
[参考例]
塗装された基材のブリスターの発生量を腐食試験の条件から推定するための学習モデルを構築する機械学習方法を実施した。さらに、構築した学習モデルを用いて、塗装された基材のブリスターの発生量を腐食試験の条件から推定するブリスター発生量推定方法を実施した。以下、具体的に説明する。
【0031】
〔機械学習方法〕
機械学習方法について、フローチャートを参照しながら説明する。
図9は、参考例の機械学習方法の主な処理を示すフローチャートである。
【0032】
参考例の機械学習方法では、
図9に示す処理の事前準備として、腐食試験の試験機を使用し、塗装された基材で錆を発生させる実試験を複数回行い、複数回の実試験での塗装の構成及び試験機の設定条件のデータを記録した。そして、複数回の実試験でのブリスターの発生量のデータを測定した。
図10は、参考例で実試験を行う塗装された基材の塗膜構成を示す概略断面図である。
図11は、参考例における実試験で基材に発生するブリスターを示す撮像画像及び当該ブリスターの種類の説明図である。塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータは下記の通りである。
【0033】
(A)塗装の構成
・表面積
・クリア膜厚
・ベース膜厚
・中塗りの材料の種類(中塗り材料種A、中塗り材料種B、……中塗り材料種N)
・中塗りの膜厚
・中塗りの焼き付け温度
・EDの材料の種類(ED材料種A、ED材料種B、……ED材料種N)
・EDの膜厚
・EDの焼き付け温度
・EDの焼き付け時間
・化成材料の種類(化成材料種A、化成材料種B、……化成材料種N)
・母材(基材)の種類(母材材料種A、母材材料種B、……母材材料種N)
・母材(基材)の引張有無
【0034】
(B)試験機の設定条件
・浸漬時間
【0035】
(C)ブリスター発生量
・ブリスター個数
・ブリスター種類
・ブリスター面積
・ブリスター種類毎の個数
・ブリスター種類毎の面積
【0036】
続いて、
図9に示す処理等を上記の
図4に示すシステム100で行った。
まず、
図9に示すように、上記の実試験の条件及び結果のデータをシステムに入力し記憶装置に記憶させた。具体的には、実試験の条件のデータとして、上記の複数回の実試験での塗装の構成及び試験機の設定条件のデータを入力し記憶させ、実試験の結果のデータとして、上記の複数回の実試験でのブリスターの発生量のデータを入力し記憶させた。
【0037】
次に、
図9に示すように、実試験の条件及び結果のデータから教師データを作成し、記憶装置に記憶させた。教師データの作成は、下記の手順で行った。
【0038】
(#1)複数回の実試験での塗装の構成及び試験機の設定条件(実試験の条件)並びにブリスターの発生量(実試験の結果)のデータを読み込む。
(#2)各実試験での塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータから一つの教師データを下記の手順で作成する。これにより、複数回の実試験でのデータから複数組の教師データを作成する。
(#2-1)各実試験での塗装の構成及び試験機の設定条件のデータのうち、数値データについては、そのまま説明因子として用い教師データの説明変数とする。
(#2-2)各実試験での塗装の構成及び試験機の設定条件のデータのうち、文字データ(材料の種類)については、材料種が選択される材料区分(中塗りの材料、EDの材料、化成材料、母材)毎に材料種A、材料種B、……材料種Nを説明因子として用い、説明因子の2値化(例えば、材料種A、材料種B、……材料種Nのうち、塗装に使用した材料種のみを「1」とし、それ以外の材料種を「0」とする処理)を行い、説明因子を2値化したものを説明変数とする。
(#2-3)各実試験でのブリスターの発生量のデータについては、ブリスターの個数、種類、及び面積のデータ、並びにブリスター種類毎の個数及び面積のデータをそのまま教師データの目的変数とする。
(#3)複数組の教師データを記憶装置に記憶させる。
【0039】
次に、
図9に示すように、複数組の教師データを読み込み、複数組の教師データを用いて、サポートベクター回帰(SVR:Support Vector Regression)を使用した機械学習を行った。これにより、塗装の構成及び試験機の設定条件からブリスターの発生量を推定するための学習モデルを構築した。次に、
図9に示すように、学習モデルを記憶装置に記憶させた。
【0040】
〔ブリスター発生量推定方法〕
ブリスター発生量推定方法について、フローチャートを参照しながら説明する。
図12は、参考例のブリスター発生量推定方法の主な処理を示すフローチャートである。
【0041】
参考例のブリスター発生量推定方法では、
図12に示す処理等を上記の
図4に示すシステム100で行った。まず、
図12に示すように、ブリスターの発生量を推定するための推定条件として、塗装の構成及び試験機の設定条件のデータをシステムに入力し記憶装置に記憶させた。なお、塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータは上記の通りである。
【0042】
次に、
図12に示すように、予め記憶装置に記憶させておいた上記の機械学習方法により構築した学習モデルを用いて、推定条件からブリスターの発生量を推定した。具体的には、推定条件から説明変数を作成し、学習モデルを用いて説明変数からブリスターの発生量を推定した。それらの処理は、下記の手順で行った。
【0043】
〈説明変数の作成〉
(#1)推定条件である塗装の構成及び試験機の設定条件のデータを読み込む。
(#2)推定条件である塗装の構成及び試験機の設定条件のデータから説明変数を下記の手順で作成する。
(#2-1)塗装の構成及び試験機の設定条件のデータのうち、数値データについては、そのまま説明因子として用い説明変数とする。
(#2-2)塗装の構成及び試験機の設定条件のデータのうち、文字データ(材料種)については、材料種が選択される材料区分(中塗りの材料、EDの材料、化成材料、母材)毎に材料種A、材料種B、……材料種Nを説明因子として用い、説明因子の2値化(例えば、材料種A、材料種B、……材料種Nのうち、塗装に使用した材料種のみを「1」とし、それ以外の材料種を「0」とする処理)を行い、説明因子を2値化したものを説明変数とする。
(#3)説明変数を記憶装置に記憶させる。
【0044】
〈ブリスターの発生量の推定〉
(#1)説明変数を読み込む
(#2)学習モデルを用いて説明変数からブリスターの発生量を推定する。
【0045】
参考例のブリスター発生量推定方法により、所定の条件及び閾値設定において、ED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化を推定した。さらに、ED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化を推定した。なお、ブリスターの面積率とは、塗装された基材の表面積に対するブリスターの面積の比率である。
図13は、ED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化の推定を示すグラフ、並びにED膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化の推定を示すグラフである。なお、
図13には、これらを推定した際の条件及び閾値設定を合わせて示す。
【0046】
参考例によれば、塗装の構成及び試験機の設定条件からブリスターの発生量を推定することで定量化を行うことができる。このため、目視観察によりブリスターの発生量の定量化を行う場合とは異なり、定量化のために、塗装された基材のサンプルを用意し、膨大な時間をかけてサンプルで錆を発生させる実試験を行う必要がない。よって、開発期間を短縮することができる。さらに、従来の技術とは異なり、長期間(年単位)での錆の程度の推定だけではなく、短・中期間(週単位)の推定も可能となる。また、錆の種類まで推定することができる。
【0047】
以上、本発明に係る実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。