IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーカ テクノロジー アクチェンゲゼルシャフトの特許一覧

特許7288455人工ニューラルネットワークによる屋根ふき膜のひび割れ評価
<>
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図1
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図2
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図3
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図4
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図5
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図6
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図7
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図8
  • 特許-人工ニューラルネットワークによる屋根ふき膜のひび割れ評価 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-30
(45)【発行日】2023-06-07
(54)【発明の名称】人工ニューラルネットワークによる屋根ふき膜のひび割れ評価
(51)【国際特許分類】
   G01N 21/88 20060101AFI20230531BHJP
   G06T 7/00 20170101ALI20230531BHJP
   G06N 3/02 20060101ALI20230531BHJP
【FI】
G01N21/88 J
G06T7/00 610B
G06T7/00 350C
G06N3/02
【請求項の数】 17
(21)【出願番号】P 2020547075
(86)(22)【出願日】2019-03-28
(65)【公表番号】
(43)【公表日】2021-07-15
(86)【国際出願番号】 EP2019057831
(87)【国際公開番号】W WO2019185774
(87)【国際公開日】2019-10-03
【審査請求日】2022-03-14
(31)【優先権主張番号】18164450.1
(32)【優先日】2018-03-28
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】506416400
【氏名又は名称】シーカ テクノロジー アクチェンゲゼルシャフト
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100173107
【弁理士】
【氏名又は名称】胡田 尚則
(74)【代理人】
【識別番号】100116975
【弁理士】
【氏名又は名称】礒山 朝美
(72)【発明者】
【氏名】カール ビルフリート
(72)【発明者】
【氏名】カトリン シューマン
(72)【発明者】
【氏名】ロガー カトリーナー
(72)【発明者】
【氏名】カーリン オーダーマット
【審査官】古川 直樹
(56)【参考文献】
【文献】特開2016-142601(JP,A)
【文献】特開平06-027046(JP,A)
【文献】特開2001-296236(JP,A)
【文献】特開2012-097453(JP,A)
【文献】特開2004-012422(JP,A)
【文献】初心者のための畳み込みニューラルネットワーク(MNISTデータセット+Kerasを使ってCNNを構築),codexa, [online],codexa.net,2018年03月08日,[令和5年1月30日検索]、インターネット<URL:https://www.codexa.net/cnn-mnist-keras-beginner/>
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G01B 11/00 - G01B 11/30
G06N 3/00 - G06N 3/12
G06N 7/08 - G06N 99/00
(57)【特許請求の範囲】
【請求項1】
所定のスケールのひび割れ強度等級に基づいて、高分子シートのひび割れ強度を評価する方法であって、以下の工程を含み:
(a)デジタル画像記録装置を用いて前記高分子シートの表面の少なくとも一部のデジタル画像を記録すること、及び
(b)訓練された人工ニューラルネットワークによってパターン認識を行うためのコンピュータで実施するプログラムによる前記ひび割れ強度の自動分類をすること、
前記自動分類が、以下を含み:
(1)前記デジタル画像又は前記デジタル画像の一つ若しくは複数の部分領域を入力データとして前記訓練された人工ニューラルネットワークに入力すること、
(2)前記所定のスケールのひび割れ強度等級からの等級を前記デジタル画像又は一つ若しくは複数の前記部分領域に割り当てることによって前記人工ニューラルネットワークによる分類を行うこと、及び
(3)前記デジタル画像及び/又は一つ若しくは複数の前記部分領域に割り当てられた等級又は等級群を出力データとして出力すること、
前記人工ニューラルネットワークが、学習フェーズにおいて、高分子シート表面部分の複数のデジタル画像又はその部分領域によって事前に訓練されていて、前記所定のスケールでの等級が既知であり、かつ前記所定のスケールの全ての等級をカバーしており、かつ前記高分子シートが屋根ふき膜又は密封膜である、
方法。
【請求項2】
前記デジタル画像記録装置が、デジタル画像を記録する光学素子である、請求項1に記載の方法。
【請求項3】
前記高分子シートが、単層屋根ふき膜である、請求項1又は2に記載の方法。
【請求項4】
前記高分子シートが敷設した高分子シートであり、かつ前記デジタル画像を前記敷設した箇所について記録する、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記デジタル画像が前記高分子シート表面の部分の拡大画像である、請求項1~4のいずれか一項に記載の方法。
【請求項6】
DIN EN1297:2004-12、付記B、表B.1に規定されたスケールを、0~3の等級又はこれらの等級から選択された等級と共に、前記ひび割れ強度等級のための前記所定のスケールとして用いる、請求項1~5のいずれか一項に記載の方法。
【請求項7】
少なくとも100のデジタル画像を前記学習フェーズにおける前記複数のデジタル画像として用いる、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記学習フェーズが以下を含む、請求項1~7のいずれか一項に記載の方法:
複数のデジタル画像又はその部分領域を前記人工ニューラルネットワークに入力し、かつ前記人工ニューラルネットワークにこれらのデジタル画像のそれぞれの既知の等級をフィードバックとして与える訓練フェーズ、及び
前記人工ニューラルネットワークが複数のデジタル画像又はその部分領域を分類し、かつ前記人工ニューラルネットワークによって割り当てられた等級を前記既知の等級と比較してマッチング確率を決定するテストフェーズ。
【請求項9】
前記デジタル画像記録装置が、画像センサを含むデジタルカメラ又は光学的拡大装置であり、前記デジタル画像記録装置が、記録されたデジタル画像又は記録された拡大デジタル画像を一つ又は複数の処理ユニットに転送する手段を備え、パターン認識のための前記プログラムが前記デジタル画像記録装置に実装されている、かつ/又は
パターン認識のための前記プログラムが、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータに実装されている、請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記デジタル画像記録装置が、画像センサを含む光学的拡大装置であり、かつ記録されたデジタル画像又は拡大されたデジタル画像をスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータに転送する手段を備えている、請求項1~9のいずれか一項に記載の方法。
【請求項11】
前記デジタル画像の複数の部分領域を前記人工ニューラルネットワークに入力し、並列又は後続処理によって、前記部分領域のそれぞれに等級を割り当て、かつ前記部分領域に割り当てられた等級から、最も多くの部分領域が割り当てられた等級として、前記デジタル画像の等級を決定する、請求項1~10のいずれか一項に記載の方法。
【請求項12】
前記デジタル画像の焦点フレームと前記デジタル画像の画像周縁との間に位置する画像領域を、部分領域の配列に分解することによって、前記デジタル画像の前記複数の部分領域を生成する、請求項1~11のいずれか一項に記載の方法。
【請求項13】
前記高分子シートの異なる位置で前記高分子シートの表面の一つ又は複数の部分から記録した一つ又は複数の更なるデジタル画像を使って、前記方法を一回又は複数回反復する、請求項1~12のいずれか一項に記載の方法。
【請求項14】
以下を含む、所定のスケールのひび割れ強度等級に基づいて高分子シートのひび割れ強度を評価するシステム:
(A)デジタル画像記録装置;及び
(B)請求項1~13のいずれか一項に記載の方法の工程(b)を実行する手段を含むデータ処理装置。
【請求項15】
前記デジタル画像記録装置が、デジタル画像を記録する光学素子である、請求項14に記載のシステム。
【請求項16】
前記デジタル画像記録装置が、画像センサを含むデジタルカメラ又は光学的拡大装置であり、前記デジタル画像記録装置が、記録されたデジタル画像又は拡大されたデジタル画像を前記データ処理装置に転送する手段を備えており、かつ/又は
前記データ処理装置が、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータである、請求項14又は15に記載のシステム。
【請求項17】
前記デジタル画像記録装置が、事前に決定された記録距離及び事前に決定された照明条件で前記デジタル画像を記録するために構成されている、請求項14~16のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像を記録する光学素子及び人工ニューラルネットワーク並びに当該方法を実行するシステムにより屋根ふき膜等の高分子シートのひび割れ強度を評価する方法に関する。
【背景技術】
【0002】
屋根ふき膜等の高分子材を長期間戸外に露出することで表面ひび割れが出現し、最終的には製品の不具合につながる。
【0003】
従って屋根を点検する場合、膜の表面上のひび割れ強度を評価することが標準的手順である。同様に、人工風化の結果は、DIN EN(ドイツ規格協会-欧州規格)13956、セクション5.2.16に規定されているように評価される。今日まで、ひび割れ強度は、DIN EN1297、付記B、表B.1に規定されているスケールに従い、訓練を受けた要員により評価される。スケールは0(ひび割れ無し)から3(幅広く深いひび割れ)までの範囲にわたり、値3は製品が損傷していると考えるべきであることを意味する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
訓練を受けた要員は、観察されたひび割れパターンを高い信頼性でひび割れ強度の等級に割り当てることが求められるため、この評価を現場で行うことができない。その代わり、膜のサンプルを切り取って、評価の専門的訓練を受けた要員に送る。これは面倒な手続きであり、サンプルを集めた後で屋根の修理を要する。結果次第で極めて高コストな屋根の修理更新処置が決定されるため、訓練を受けていない要員にひび割れ評価を任せることはできない。また、この方式は、屋根のひび割れの分布が不均一であるため誤りが生じやすい。
【0005】
ひび割れ評価が屋根の完全修復に関する決定の基礎であるため、上述の問題は不要な修理の実施、又は必要な修理の放置とそれに続く水漏れによる損傷をもたらす恐れがある。例えば病気又は休暇等により訓練を受けた要員を手配できない場合、何ら意味のある評価を行うことができない。この点に関して、高い信頼性でひび割れ評価を行う能力を有する訓練を受けた要員の数が相対的に少ない点に注意されたい。
【課題を解決するための手段】
【0006】
本発明の目的は、従来技術の上述の短所を克服することであった。特に、本発明の目的、信頼性が高く、高速且つ非破壊的であり、専門的訓練を受けた要員による動作を必要としない、高分子シートのひび割れ強度を評価する方法を提供することであった。また、本方法は高分子シートが敷設された現場での実行を可能にするものである。
【0007】
驚くべきことに、訓練された人工ニューラルネットワークと組み合わせたデジタル画像記録装置に基づく自動化されたひび割れ評価により上述の目的が解決できることが分かった。好適には、本方法はまた、点検用に拡大画像を提供すべく、顕微鏡等の適当な光学的拡大装置の使用を含んでいる。
【0008】
したがって、本発明は、所定のスケールのひび割れ強度等級に基づいて、高分子シートのひび割れ強度を評価する方法を提供するものであり、この方法は、以下の工程を含み:
(a)デジタル画像記録装置を用いて高分子シートの表面の少なくとも一部のデジタル画像を記録すること、及び
(b)訓練された人工ニューラルネットワークによってパターン認識を行うためのコンピュータで実施するプログラムによるひび割れ強度の自動分類をすること、
この自動分類が、以下を含み:
(1)デジタル画像又はこのデジタル画像の一つ若しくは複数の部分領域を入力データとして訓練された人工ニューラルネットワークに入力すること、
(2)所定のスケールのひび割れ強度等級からの等級をデジタル画像又は一つ若しくは複数の部分領域に割り当てることによって人工ニューラルネットワークによる分類を行うこと、及び
(3)デジタル画像及び/又は一つ若しくは複数の部分領域に割り当てられた等級又は等級群を出力データとして出力すること、
この人工ニューラルネットワークが、学習フェーズにおいて、高分子シート表面部分の複数のデジタル画像又はその部分領域によって事前に訓練されていて、この所定のスケールでの等級は既知であり、かつこの所定のスケールの全ての等級をカバーしており、かつこの高分子シートは屋根ふき膜又は密封膜である。
【0009】
驚くべきことに、屋根ふき膜等の高分子シートのひび割れ状態は訓練された人工ニューラルネットワークにより高い信頼性で評価することができる。本方法の適用に専門的訓練を受けた要員による動作を必要としない。学習フェーズが成功裏に終了したならば、損傷した表面、例えば屋上の画像を撮影できる任意の要員に本システムを引き継ぐことができる。
【0010】
本方法は、信頼性が高く且つ非破壊的である。今日の標準的なプロセッサの性能を以てすれば、数秒以内に結果が得られる。本発明の方法は、ひび割れ強度に関して評価対象であるデジタル画像からのパラメータ化されたデータを必要としない。
【0011】
本発明は更に、所定のスケールのひび割れ強度等級に基づいて高分子シートのひび割れ強度を評価するシステムに関し、本システムは、(A)デジタル画像記録装置と、(B)本発明の方法の工程(b)を実行する手段を含むデータ処理装置とを含んでいる。好適な複数の実施形態を従属請求項に記述している。
【図面の簡単な説明】
【0012】
図1】殆どひび割れの無い、すなわち本例で用いるひび割れ強度のスケールで等級0の単層屋根ふき膜の表面の画像を示す。
図2】多数の中程度のひび割れを有する、すなわち本例で用いる所定のスケールのひび割れ強度等級で等級1の単層屋根ふき膜の表面の画像を示す。
図3】極めて多数の深く且つ幅広いひび割れを有する、すなわち本例で用いる所定のスケールのひび割れ強度等級で等級2の単層屋根ふき膜の表面の画像を示す。
図4】単層屋根ふき膜の表面の画像を示し、デジタル画像の焦点フレームとデジタル画像のより鮮明でない画像周縁との間に位置する画像領域がタイル形状の部分領域の配列に分解されている。
図5】デジタル画像に割り当てられた等級が所定のスケールで0である単層屋根ふき膜の表面の画像を示す。
図6】デジタル画像に割り当てられた等級が所定のスケールで2である単層屋根ふき膜の表面の画像を示す。
図7】デジタル画像に割り当てられた等級が所定のスケールで2である単層屋根ふき膜の表面の画像を示す。
図8】デジタル画像に割り当てられた等級が所定のスケールで1である単層屋根ふき膜の表面の画像を示す。
図9】人工ニューラルネットワークの原理を示す例示的表現スキームである。
【発明を実施するための形態】
【0013】
本発明の方法に関する以下の記述は、適用可能な場合に本発明のシステムにも適用でき、逆も成り立つ。
【0014】
本発明は、所定のスケールのひび割れ強度等級に基づいて高分子シートのひび割れ強度を評価する方法を提供する。
【0015】
高分子シートは屋根ふき膜、特に単層屋根ふき膜、又は密封膜、特に防水膜であり、高分子シートは好適には熱可塑性又は熱硬化性材料製である。
【0016】
好適な高分子シート、特に熱可塑性材料製の単層屋根ふき膜は、ポリ塩化ビニル(PVC)膜、熱可塑性オレフィン(TPO)膜又はケトンエチレンエステル(KEE)膜である。好適な高分子シート、特に熱硬化性材料製の単層屋根ふき膜は、エチレンプロピレンジエンモノマー(EPDM)膜である。
【0017】
高分子シートの厚さは、所望の用途及び品質に依存してよい。例えば、高分子シートの厚さは、特に単層屋根ふき膜の場合、0.75mm~2.5mm、好適には1.2~2.0mmの範囲にあってよい。
【0018】
高分子シートのひび割れ強度の評価は、所定のスケールのひび割れ強度等級に基づいている。スケールの等級は、ひび割れ無し又は低いひび割れ強度から極めて高いひび割れ強度までのひび割れ強度の等級化された分類を指す。事前に確立された任意のスケールのひび割れ強度の等級を用いてよい。所定のスケールは好適には標準化されたスケールである。所定のスケールは少なくとも2個の等級を含んでいるが、当該スケールは好適に3、4、5段階以上の等級を含んでいる。
【0019】
好適な一実施形態において、DIN EN1297:2004-12、付記B、表B.1に規定されたスケールを、0~3の等級又はこれらの等級から選択された等級と共に、ひび割れ強度等級の所定のスケールとして用いる。等級3を示す高分子シートは損傷していると見なされ、通常修理又は交換を要する。
【0020】
標準DIN EN1297:2004-12で与えられるスケールは実際には薄いコーティングを対象としているが、本発明が対象とする通常はより厚い高分子シートにも適している。DIN EN1297で与えられるスケールは、経験豊かな要員の判断に関するものであり、典型的には定量化されていない。このスケールの場合、ひび割れ強度及び高分子シートで観察されるひび割れの寸法の大まかな推定値は以下の通りである。
等級0:基本的にひび割れ無し
等級1:平坦且つ僅かなひび割れ(典型的に幅と深さが10μm未満のひび割れが存在)
等級2:中程度~顕著なひび割れ(典型的に幅と深さが10μm超且つ100μm未満のひび割れが存在)
等級3:幅広く且つ深いひび割れ(典型的に幅と深さが100μm超のひび割れが存在)
【0021】
所定のスケールは好適にはDIN EN1297:2004-12、付記B、表B.1に規定された全ての等級を含んでいてよいが、ひび割れ強度等級の所定のスケールとして、これらの等級から例えば、DIN EN1297:2004-12に規定されたように等級0、2及び3又は等級1、2及び3だけを含むスケールから選択されたものを用いることも可能である。例えば選択された等級だけが点検された高分子シートに関連する場合、等級の限られた選択が適している場合がある。他の評価スケールも同じく技術的に可能である。
【0022】
本発明の方法は、(a)デジタル画像記録装置を用いて高分子シートの表面の少なくとも一部のデジタル画像を記録するステップを含んでいる。デジタル画像は高分子シートの表面全体であっても、又は好適には高分子シートの表面の一部であってもよい。デジタル画像が一般に高分子シート表面の上面図画像であることは自明な筈である。
【0023】
好適な一実施形態において、高分子シートは敷設された高分子シートであり、デジタル画像は敷設箇所に記録される。パターン認識プログラムが携帯データ処理装置に実装されていてよいため、ひび割れ強度の自動分類も敷設現場で実行することができる。代替的に、ひび割れ強度の自動分類はデータ処理装置が位置する異なる場所で実行されてもよい。
【0024】
従来技術によれば、高分子シートの一部が敷設箇所から切り取られて、分析のため別の場所へ送られる。除去された部分は交換されなければならない。本発明の利点は本方法が非破壊的である点である。
【0025】
好適な一実施形態において、デジタル画像は高分子シート表面の部分の拡大画像である。拡大率は好適には5~50倍、より好適には8~30倍又は10~30倍の範囲であり、最も好適には約10倍である。最も好適な実施形態は、DIN EN13956及びDIN EN1297に準拠すべく、ひび割れた表面の画像を拡大率10倍で撮影することにより与えられる。しかし、他の任意の拡大率も同様に技術的に可能である。
【0026】
デジタル画像を撮影する高分子シートの表面、又は高分子シートの表面の当該部分の面積は各々異なり得るが、好適には高分子シートの表面の面積は少なくとも100cm、例えば少なくとも10cm×10cmの面積である。後述するように評価に用いるデジタル画像の部分領域は好適には、高分子シートの表面の少なくとも100mm、例えば少なくとも10mm×10mmの面積を占める。面積という用語は、高分子シートの実寸、すなわち拡大されていない面積を指す。
【0027】
記録されたデジタル画像を自動分類の後続ステップへの入力データとして用いてよい。代替的に、記録されたデジタル画像の1個以上の部分領域を自動分類の後続ステップへの入力データとして用いてよい。
【0028】
様々な幅及び深さのひび割れがデジタル画像上に不均一に分布している可能性があるため、デジタル画像全体ではなく複数の部分領域を用いることで、統計的により信頼性が高い結果が得られる。更に、デジタル画像は往々にして異なる画質の画像領域を含んでいるため、より高い画質の部分領域を選択することで評価結果を向上させることができる。例えば、一般にデジタル画像の焦点フレーム及び画像周縁はデジタル画像の他の領域と比較して画質が低い領域であることが知られている。
【0029】
好適な一実施形態において、デジタル画像の焦点フレームとデジタル画像の画像周縁との間に位置する画像領域を部分領域の配列に分解することにより、デジタル画像の複数の部分領域が生成される。
【0030】
複数の部分領域は好適にはタイリングにより生成される。すなわち互いに間隔を空けて配置されたタイル状の部分領域の配列が生成される。
【0031】
デジタル画像の複数の部分領域が用いる場合、複数の部分領域は好適には少なくとも20個、より好適にはデジタル画像の少なくとも75個の部分領域、且つ好適には500個以下、より好適には200個以下の部分領域である。
【0032】
デジタル画像の部分領域の所望のパターンへの生成は当業者には公知である。所望のパターンに従うそのような部分領域又は部分領域の配列を生成する市販プログラムが利用できる。本方法に従い1個以上の部分領域が用いる場合、部分領域はステップa)から受け取った画像データから生成され、得られた部分領域は自動分類ステップb)への入力データとして用いられる。
【0033】
本発明の方法は更に、(b)訓練された人工ニューラルネットワークによるパターン認識用のコンピュータ実装されたプログラムによるひび割れ強度の自動分類のステップを含み、ステップ(b)は、
(1)デジタル画像又は当該デジタル画像の1個以上の部分領域を、訓練された人工ニューラルネットワークへの入力データとして入力するステップと、
(2)デジタル画像又は1個以上の部分領域にひび割れ強度等級の所定のスケールからの等級を割り当てることにより人工ニューラルネットワークにより分類するステップと、
(3)当該デジタル画像及び/又は1個以上の部分領域に割り当てられた等級又は等級群を出力データとして出力するステップとを含んでいる。
【0034】
人工ニューラルネットワークは、パターン認識のような特定の作業を行うべく訓練可能な自己適応型コンピュータプログラムである。プログラムは入力と出力の接続を構築及び変更する任意選択肢を含んでいる。最終的に、適切な訓練の後でプログラムは入力(光学パターン)を出力(レーティング)に接続することができる。
【0035】
人工ニューラルネットワークは、人工ニューロンと称する接続されたユニット又はノードの組に基づいている。人工ニューロン間の各接続は、あるニューロンから別のニューロンへ信号を送ることができる。信号を受信した人工ニューロンは当該信号を処理し、次いで自身に接続されている人工ニューロンに合図することができる。一般的な人工ニューラルネットワークの実装において、人工ニューロン間の接続における信号は実数であり、各人工ニューロンの出力は、自身への入力の和の非線形関数により計算される。人工ニューロン及び接続は典型的に、学習の進行につれて調整される重みを有している。従って、人工ニューラルネットワークは模式的に、入力層、出力層及び自己適応型解析が行われる1個以上の隠れ層を含んでいる。図9にその原理を模式的に示す。
【0036】
人工ニューラルネットワークの原理は当業者には公知である。当該技術及び用途の詳細は例えばS.C.Wang,2003,Artificial Neural Network,Interdisciplinary Computing in Java Programming,The Springer International Series in Engineering and Computer Science,Vol.743、及びN.Gupta,2013,Artificial Neural Network,Network and Complex Systems,Vol.3,No.1,pp.24-28に見られる。
【0037】
人工ニューラルネットワークは市販されている。一例としてIBMにより開発されたプログラムWatsonがある。
【0038】
今日まで、人工ニューラルネットワークは数学形式で与えることができる入力に典型的に用いられている。例えば、人工ニューラルネットワークは電気負荷予測(D.C.Park et al.,1991,IEEE Transactions on Power Engineering,Vol.6,pages442-449参照)、又は幾何学的入力として与えられる屋根形状の設計評価(K.Sasaki,K.Tsutsumi,Kansei Engineering International,2006,Vol.6 no.3 pages13-18参照)に用いられてきた。
【0039】
本発明の特定の特徴は、人工ニューラルネットワークが、パラメータ化されておらず、特に人工ニューラルネットワークへの入力データがパラメータ化されていないデータであるデジタル画像又は部分領域の直接比較により訓練される点である。ひび割れが無秩序且つ様々に異なる形状を有しているため、ひび割れの評価に信頼性が高い結果が得られたのは驚くべきことであった。
【0040】
人工ニューラルネットワークは、所定のスケールでの等級が知られていて所定のスケールの全等級をカバーする高分子シートの表面部分の複数のデジタル画像又はその部分領域を用いた学習フェーズで事前に訓練される。
【0041】
人工ニューラルネットワークを用いる全てのアプリケーションに対して、人工ニューラルネットワークが実用的なアプリケーションに適合されるまで人工ニューラルネットワークを訓練する学習フェーズが必要である。適用フェーズにおいて、訓練された人工ニューラルネットワークは、与えられた所定のスケール及び提供されたデジタルデータの入力に基づいて、ひび割れ強度の分類を自動的に達成する。
【0042】
人工ニューラルネットワークに用いる学習パラダイムは教師付き学習、教師無し学習又は強化学習であり、そのうち教師付き学習が好適である。学習フェーズは好適には訓練を受けた要員からの直接フィードバックに基づいている。
【0043】
好適な一実施形態において、学習フェーズは、
-複数のデジタル画像又はその部分領域が人工ニューラルネットワークに入力され、人工ニューラルネットワークに各々のデジタル画像の既知の等級をフィードバックとして与える訓練フェーズと、
-人工ニューラルネットワークが複数のデジタル画像又はその部分領域を分類し、人工ニューラルネットワークにより割り当てられた等級を当該デジタル画像の既知の等級と比較してマッチング確率を決定するテストフェーズと、
-所望のマッチング確率に到達するまで任意選択的に訓練フェーズ及びテストフェーズを反復するステップとを含んでいる。
【0044】
学習フェーズでは、特に各々が異なる高分子シートからの少なくとも100個のデジタル画像を使用することが好適である。学習フェーズで使用した画像の総数に基づいて、使用するデジタル画像のある割合、例えば約85~65%を訓練フェーズで使用し、使用するデジタル画像のある割合、例えば約15~35%をテストフェーズで使用する。前記割合の適切な比率は、例えば訓練フェーズで画像の約75%、及びテストフェーズで画像の約25%である。
【0045】
第1の学習サイクルの後で所望のマッチング確率に到達しなかった場合、所望のマッチング確率に到達するまで訓練フェーズ及びテストフェーズを1回以上反復してよい。第2回以降の学習サイクルにおいて、冗長さを回避すべく先行学習サイクルで用いたものとは異なるデジタル画像及び/又はデジタル画像の部分領域を用いることは明らかである。更なる学習サイクルにおいて、デジタル画像及び/又は部分領域の個数は適宜、第1の学習サイクルで用いたデジタル画像及び/又部分領域の個数以下であってよい。
【0046】
学習フェーズの後で到達するマッチング確率は好適には少なくとも70%、より好適には少なくとも80%ある。
【0047】
従って、人工ニューラルネットワークは、以下のステップを含む学習フェーズで訓練することができる。
1)全ての関連するひび割れ等級、例えばDIN EN1297による等級0,1,2,3をカバーする、異なるひび割れ強度を有する膜の少なくとも100個の代表的サンプルを提供し、
2)拡大率10倍の顕微鏡を用いて当該サンプルの画像を撮影し、当該画像を人工ニューラルネットワークに入力し、
3)各画像に割り当てられた、訓練を受けた要員によるひび割れレーティングを人工ニューラルネットワークに入力することにより人工ニューラルネットワークを訓練し、
4)訓練を受けた要員及び人工ニューラルネットワークにより特定の量のサンプルを並行して評価を行い、結果を比較することによりマッチング確率を確認して、
5)所定のマッチング確率(例:訓練を受けた要員と人工ニューラルネットワークとの間で>80%一致)に到達するまで上述の手順及び訓練サンプルのサイズを拡張する。
【0048】
特に、デジタル画像記録装置は、デジタル画像を記録する光学素子である。従って、光学素子により記録されたデジタル画像は、デジタル化された光学画像、すなわち光学画像のデジタル表現である。用語「光学的」は可視光の範囲での用途を指す。
【0049】
好適には、デジタル画像記録装置は可搬である。デジタル画像記録装置は好適には画像センサを含むデジタルカメラ又は光学的拡大装置であり、画像センサを含む光学的拡大装置が好適である。原理的に、デジタル画像記録装置としてスマートフォン又はタブレットコンピュータを用いてもよい。光学的拡大装置は好適には画像センサを含む顕微鏡である。デジタル画像記録装置は通常、画像センサの信号をデジタル画像の電子データに変換する処理ユニット、及び任意選択的に記録されたデジタル画像を保存する記憶装置を含んでいる。
【0050】
デジタル画像記録装置は一般に、記録されたデジタル画像又は記録された拡大デジタル画像を1個以上の処理ユニットに転送する手段を備え、パターン認識プログラム及び任意選択的にデジタル画像の部分領域を生成するプログラムが実装されている。データ転送手段は、一般的な有線接続、例えばUSBケーブル、又は無線接続であってよい。従って、デジタル画像記録装置とデータ処理装置との間のデータ転送は、有線接続又は無線接続により実行されてよい。また、デジタル画像記録装置及びデータ処理装置は同一機器、例えばスマートフォン又はタブレットコンピュータに配置することも可能である。
【0051】
パターン認識プログラムは、コンピュータ、例えばスマートフォン、タブレットコンピュータ、ラップトップコンピュータ又はパーソナルコンピュータに実装されている。
【0052】
好適な一実施形態において、デジタル画像記録装置は、画像センサを含む光学的拡大装置、好適には画像センサを含む顕微鏡であり、記録されたデジタル画像又は拡大されたデジタル画像をスマートフォン、タブレットコンピュータ、ラップトップコンピュータ又はパーソナルコンピュータに転送する手段を備えている。
【0053】
本発明の方法にデジタル画像の1個以上の部分領域を用いる場合、プログラムを用いて1個以上の部分領域を生成する。デジタル画像の部分領域を生成するプログラムはコンピュータ、例えばスマートフォン、タブレットコンピュータ、ラップトップコンピュータ又はパーソナルコンピュータに実装されていて、これらはパターン認識プログラムが実装されているものと同一であっても、又は異なっていてもよい。
【0054】
デジタル画像が標準化された記録距離及び標準化された照明条件で記録されていることが好適である。特定の好適な一実施形態において、デジタル画像記録装置、好適には画像センサを含む光学的拡大装置、特に画像センサを含む顕微鏡は従って、標準化された記録距離及び標準化された照明条件でデジタル画像を記録すべく構成されている。これらの標準化された記録距離及び標準化された照明条件は、使用する所定のスケールに関連して事前に決定されていてよい。
【0055】
このような事前決定された条件は、匹敵する条件下で画像を記録するのに有利であるため、デジタル画像におけるひび割れの見え方は、異なる記録条件の影響を受けない。これによりひび割れの評価を向上させることができる。
【0056】
更に、多くの屋根ふき膜は高反射性であるため、画質にも影響を及ぼし得る。従って、好適な一実施形態において、デジタル画像記録装置は、記録される高分子シートの部分を太陽光等の外部光源から遮蔽すべく構成されていて、標準化された照明条件で記録される高分子シートの部分を照射する内部光源を含んでいる。
【0057】
デジタル画像を記録する適当な装置の一例として、Ostec Electronics社から入手可能なW5 Wifiミニ顕微鏡がある。W5 Wifiミニ顕微鏡は可搬であり、拡大されたデジタル画像を記録して、有線接続又は無線接続により任意の所望のデータ処理装置にデータを送信することができる。更に、W5 Wifiミニ顕微鏡は、決定された照明条件及び決定されたシートまでの距離を保証すべく構成されている。前記顕微鏡は、外部光源を遮蔽する手段を含み、内部光源を備えている。
【0058】
本発明の実施形態を用いる場合、デジタル画像の複数の部分領域が人工ニューラルネットワークに入力する際に、人工ニューラルネットワークは並列又は後続処理により各々の部分領域に所定のスケールからの等級を割り当てる。デジタル画像の等級又は全体的な等級は好適には、最も多くの部分領域が割り当てられた等級に対応するデジタル画像に当該等級を割り当てることにより、各部分領域に割り当てられた等級から決定される。典型的に、デジタル画像の部分領域の大多数がある特定の等級に割り当てられる。
【0059】
高分子シートの異なる位置で高分子シートの表面の1個以上の部分から記録された1個以上の更なるデジタル画像を使って、本方法を1回以上反復することができる。これは、達成した結果の検証、又は高分子シートのひび割れ強度に関するより詳細な情報の取得に適していよう。
【0060】
本発明はまた、所定のスケールのひび割れ強度等級に基づいて高分子シートのひび割れ強度を評価するシステムに関し、本システムは、
(A)デジタル画像記録装置と、
(B)本発明の方法のステップ(b)を実行する手段を含むデータ処理装置と
を含んでいる。
【0061】
デジタル画像記録装置、及びデータ処理装置の詳細について、本発明の方法に関する言及を通じて上で述べている。
【0062】
特に、デジタル画像記録装置はデジタル画像を記録する光学素子である。
【0063】
好適な一実施形態において、デジタル画像記録装置は画像センサを含むデジタルカメラ又は光学的拡大装置、好適には画像センサを含む顕微鏡であり、デジタル画像記録装置は、記録されたデジタル画像又は拡大されたデジタル画像をデータ処理装置に転送する手段を備えている。
【0064】
好適な一実施形態において、デジタル画像記録装置は、標準化された記録距離及び標準化された照明条件でデジタル画像を記録すべく構成されている。
【0065】
上述のように、データ処理装置は好適にはスマートフォン、タブレットコンピュータ、ラップトップコンピュータ又はパーソナルコンピュータである。
【0066】
添付する図面及び以下の例を本発明の更なる説明のために与えるが、本発明は各例の実施形態に限定されない。
【実施例
【0067】
本発明の方法の概念は、多くの単層屋根ふき膜サンプル上のひび割れ強度を評価することによりの証明されてきた。
【0068】
所定のスケールのひび割れ強度の等級として、DIN EN1297:2004-12,付記B,表B.1に規定された等級から選択された等級を使用した。使用したスケールは、各々がDIN EN1297:2004-12,付記B,表B.1に規定されたスケールの等級0、2及び3に対応する等級0、1及び2を含んでいる。
【0069】
使用するひび割れ強度のスケールに関して、図1に等級0の単層屋根ふき膜の画像、図2に等級1の単層屋根ふき膜の画像、及び図3に等級2の単層屋根ふき膜の画像を示す。
【0070】
単層屋根ふき膜サンプルのデジタル画像は、Ostec Electronics社の可搬W5 Wifiミニ顕微鏡を用いて記録されたものである。人工ニューラルネットワークによるパターン認識の一般的なプログラム及びデジタル画像の部分領域を生成する従来のプログラムが実行される従来のパーソナルコンピュータをデータ処理装置として使用した。記録されたデジタル画像のデータの顕微鏡からパーソナルコンピュータへの転送は無線接続を介して行われる。
【0071】
全てが使用スケールに基づいて訓練を受けた要員により等級付けされた合計119個の単層屋根ふき膜サンプルをテストに使用した。従って、使用した全てのサンプルの等級は既知である。
【0072】
W5 Wifiミニ顕微鏡を用いて所定の記録距離及び所定の照明条件並びに10倍の拡大率で各サンプルについて1個のデジタル画像を取得した。記録された各デジタル画像はパーソナルコンピュータに転送され、タイリングによりデジタル画像の部分領域を生成するプログラムによる部分領域の配列が生成された。
【0073】
部分領域の配列は、デジタル画像の中心における焦点フレームとデジタル画像の画像周縁との間の画像領域に位置し、デジタル画像1個当たり93個のタイル状部分領域を含んでいる。タイルの配列のパターンを図4に示す。図4において、デジタル画像の中心における焦点フレームの領域及び画像周縁の領域での画質は低いのに対し、部分領域が位置する領域での画質は良好である。
【0074】
記録された各デジタル画像は高分子シートの少なくとも100cmの領域を表す。各部分領域は高分子シートの少なくとも100mmの領域を表す。
【0075】
以下の表1に、使用した単層屋根ふき膜サンプルの個数、及びそこから得られたタイル(部分領域)の個数に対応するデジタル画像の個数を、訓練を受けた要員により割り当てられた所定のスケールの各サンプルの等級と共にまとめている。
【0076】
【表1】
【0077】
処理の一般的手順は以下の通りである。デジタル画像の各タイルは、各タイルが次いで処理される人工ニューラルネットワークに入力データとして入力される。分類のため、人工ニューラルネットワークは出力データとして各タイルに0、1又は2の等級を割り当てる。
【0078】
次いでデジタル画像の、従って高分子シートの等級が、最大数の部分領域が割り当てられた等級として、各タイルに割り当てられる等級から決定される。
【0079】
使用する人工ニューラルネットワークが訓練された人工ニューラルネットワークではないため、実行されたテストは人工ニューラルネットワークの学習フェーズを実際に表す。
【0080】
従って、上述の表1として与えられるデータの組は、訓練フェーズ用のデータとテストフェーズ用のデータに分けられる。各等級の先頭10個のデジタル画像、すなわち合計30個の画像(全画像の約25%)がテストフェーズに使用された。他のデジタル画像(89個の画像、すなわち全画像の75%)は人工ニューラルネットワークの訓練フェーズに使用された。
【0081】
学習フェーズは訓練フェーズから開始され、訓練フェーズに提供されたデジタル画像の部分領域は人工ニューラルネットワークに入力される。訓練フェーズ中、人工ニューラルネットワークには各デジタル画像の既知の等級もフィードバックとして与えられる。上述のように、等級が既知なのは訓練を受けた要員により割り当てられたためである。
【0082】
訓練フェーズの後、テストフェーズが実施され、テストフェーズ用に提供されたデジタル画像の部分領域が人工ニューラルネットワークに入力される。各デジタル画像毎に、専門家により割り当てられた等級と人工ニューラルネットワークにより割り当てられた等級が比較されて合致の有無が記録される。
【0083】
テストフェーズでの各等級に対するマッチングを表2に示す。
【0084】
【表2】
【0085】
結果的に得られたマッチング確率は96.7%であり、極めて良好なマッチング確率であるため学習フェーズを終了することができる。学習フェーズの反復は不要である。人工ニューラルネットワークは充分に訓練されている。
【0086】
図5~8は、高分子シートサンプルのデジタル画像及びテストフェーズ中に得られた人工ニューラルネットワークによる部分領域の等級割り当ての例である。これらの画像の左上隅の省略はアーチファクトである。前記隅が省略されている理由は、デジタル画像に書かれる情報を含んでいるからである。
【0087】
図5は、訓練を受けた要員により等級0が割り当てられた高分子シートのデジタル画像である。人工ニューラルネットワークは、タイルの約68%に等級0を、タイルの約32%に等級1を割り当てた。従って、人工ニューラルネットワークは、訓練を受けた要員が判定した等級と合致する等級0(すなわち、人工ニューラルネットワークにより最大個数の部分領域が割り当てられた等級)をデジタル画像全体に割り当てたことになる。
【0088】
図6は、訓練を受けた要員により等級2が割り当てられた高分子シートのデジタル画像である。人工ニューラルネットワークは、全てのタイルに等級2を割り当てた。従って、人工ニューラルネットワークは、訓練を受けた要員が判定した等級と合致する等級2をデジタル画像に割り当てたことになる。
【0089】
図7は、訓練を受けた要員により等級2が割り当てられた高分子シートのデジタル画像である。人工ニューラルネットワークは、タイルの約96%に等級2を、タイルの約4%に等級1を割り当てた。従って、人工ニューラルネットワークは、訓練を受けた要員が判定した等級と合致する等級2をデジタル画像に割り当てたことになる。
【0090】
図8は、訓練を受けた要員により等級1が割り当てられた高分子シートのデジタル画像である。人工ニューラルネットワークは全てのタイルに等級1を割り当てた。従って、人工ニューラルネットワークは、訓練を受けた要員が判定した等級と合致する等級1をデジタル画像に割り当てたことになる。
本明細書に開示される発明は以下の態様を含む:
[1]所定のスケールのひび割れ強度等級に基づいて、高分子シートのひび割れ強度を評価する方法であって、以下の工程を含み:
(a)デジタル画像記録装置を用いて前記高分子シートの表面の少なくとも一部のデジタル画像を記録すること、及び
(b)訓練された人工ニューラルネットワークによってパターン認識を行うためのコンピュータで実施するプログラムによる前記ひび割れ強度の自動分類をすること、
前記自動分類が、以下を含み:
(1)前記デジタル画像又は前記デジタル画像の一つ若しくは複数の部分領域を入力データとして前記訓練された人工ニューラルネットワークに入力すること、
(2)前記所定のスケールのひび割れ強度等級からの等級を前記デジタル画像又は一つ若しくは複数の前記部分領域に割り当てることによって前記人工ニューラルネットワークによる分類を行うこと、及び
(3)前記デジタル画像及び/又は一つ若しくは複数の前記部分領域に割り当てられた等級又は等級群を出力データとして出力すること、
前記人工ニューラルネットワークが、学習フェーズにおいて、高分子シート表面部分の複数のデジタル画像又はその部分領域によって事前に訓練されていて、前記所定のスケールでの等級が既知であり、かつ前記所定のスケールの全ての等級をカバーしており、かつ前記高分子シートが屋根ふき膜又は密封膜である、
方法。
[2]前記デジタル画像記録装置が、デジタル画像を記録する光学素子である、上記[1]に記載の方法。
[3]前記高分子シートが、単層屋根ふき膜である、上記[1]又は[2]に記載の方法。
[4]前記高分子シートが敷設した高分子シートであり、かつ前記デジタル画像を前記敷設した箇所について記録する、上記[1]~[3]のいずれか一つに記載の方法。
[5]前記デジタル画像が前記高分子シート表面の部分の拡大画像であり、拡大率が好適には5~50倍、より好適には8~30倍、最も好適には約10倍である、上記[1]~[4]のいずれか一つに記載の方法。
[6]DIN EN1297:2004-12、付記B、表B.1に規定されたスケールを、0~3の等級又はこれらの等級から選択された等級と共に、前記ひび割れ強度等級のための前記所定のスケールとして用いる、上記[1]~[5]のいずれか一つに記載の方法。
[7]少なくとも100のデジタル画像を前記学習フェーズにおける前記複数のデジタル画像として用いる、上記[1]~[6]のいずれか一つに記載の方法。
[8]前記学習フェーズが以下を含む、上記[1]~[7]のいずれか一つに記載の方法:
複数のデジタル画像又はその部分領域を前記人工ニューラルネットワークに入力し、かつ前記人工ニューラルネットワークにこれらのデジタル画像のそれぞれの既知の等級をフィードバックとして与える訓練フェーズ、及び
前記人工ニューラルネットワークが複数のデジタル画像又はその部分領域を分類し、かつ前記人工ニューラルネットワークによって割り当てられた等級を前記既知の等級と比較してマッチング確率を決定するテストフェーズ、及び
所望のマッチング確率に到達するまで、前記訓練フェーズ及び前記テストフェーズを任意選択的に反復すること。
[9]前記デジタル画像記録装置が、画像センサを含むデジタルカメラ又は光学的拡大装置であり、好適には画像センサを含む顕微鏡であり、前記デジタル画像記録装置が、記録されたデジタル画像又は記録された拡大デジタル画像を一つ又は複数の処理ユニットに転送する手段を備え、パターン認識のための前記プログラム及び任意選択的に前記デジタル画像の部分領域を生成するためのプログラムが実装されている、かつ/又は
パターン認識のための前記プログラムが、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータに実装されている、上記[1]~[8]のいずれか一つに記載の方法。
[10]前記デジタル画像記録装置が、画像センサを含む光学的拡大装置、好適には画像センサを含む顕微鏡であり、かつ記録されたデジタル画像又は拡大されたデジタル画像をスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータに転送する手段を備えている、上記[1]~[9]のいずれか一つに記載の方法。
[11]前記デジタル画像の複数の部分領域を前記人工ニューラルネットワークに入力し、並列又は後続処理によって、前記部分領域のそれぞれに等級を割り当て、かつ前記部分領域に割り当てられた等級から、最も多くの部分領域が割り当てられた等級として、前記デジタル画像の等級を決定する、上記[1]~[10]のいずれか一つに記載の方法。
[12]前記デジタル画像の焦点フレームと前記デジタル画像の画像周縁との間に位置する画像領域を、部分領域の配列に分解することによって、好適にはタイリングによって、前記デジタル画像の前記複数の部分領域を生成し、前記複数の部分領域が好適には前記デジタル画像の少なくとも20個の部分領域である、上記[1]~[11]のいずれか一つに記載の方法。
[13]前記高分子シートの異なる位置で前記高分子シートの表面の一つ又は複数の部分から記録した一つ又は複数の更なるデジタル画像を使って、前記方法を一回又は複数回反復する、上記[1]~[12]のいずれか一つに記載の方法。
[14]以下を含む、所定のスケールのひび割れ強度等級に基づいて高分子シートのひび割れ強度を評価するシステム:
(A)デジタル画像記録装置;及び
(B)上記[1]~[13]のいずれか一つに記載の方法の工程(b)を実行する手段を含むデータ処理装置。
[15]前記デジタル画像記録装置が、デジタル画像を記録する光学素子である、上記[14]に記載のシステム。
[16]前記デジタル画像記録装置が、画像センサを含むデジタルカメラ又は光学的拡大装置、好適には画像センサを含む顕微鏡であり、前記デジタル画像記録装置が、記録されたデジタル画像又は拡大されたデジタル画像を前記データ処理装置に転送する手段を備えており、かつ/又は
前記データ処理装置が、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はパーソナルコンピュータである、上記[14]又は[15]に記載のシステム。
[17]前記デジタル画像記録装置が、標準化された記録距離及び標準化された照明条件で前記デジタル画像を記録するために構成されている、上記[14]~[16]のいずれか一つに記載のシステム。
図1
図2
図3
図4
図5
図6
図7
図8
図9