特許 7186054 欠陥検出支援装置、該方法および該プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-30

(45)【発行日】2022-12-08

(54)【発明の名称】欠陥検出支援装置、該方法および該プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221201BHJP

   G06N 20/00 20190101ALI20221201BHJP

【ＦＩ】

G01N21/88 J

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2018192376

(22)【出願日】2018-10-11

(65)【公開番号】P2020060462

(43)【公開日】2020-04-16

【審査請求日】2020-05-15

【審判番号】

【審判請求日】2022-02-24

(73)【特許権者】

【識別番号】594126159

【氏名又は名称】神鋼検査サービス株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】山根 佑之

(72)【発明者】

【氏名】佐々木 昇

(72)【発明者】

【氏名】遠藤 英樹

(72)【発明者】

【氏名】伴 浩之

【合議体】

【審判長】長井 真一

【審判官】樋口 宗彦

【審判官】伊藤 幸仙

(56)【参考文献】

【文献】特開２０１３－２２４９４３（ＪＰ，Ａ）

【文献】特許第６２９４５２９（ＪＰ，Ｂ２）

【文献】国際公開第２０１８／０２５３３６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G01N21/84-21/958

G01B11/00-11/30

(57)【特許請求の範囲】

【請求項1】

検査対象の構造物に形成された欠陥の検出を支援する欠陥検出支援装置であって、
前記構造物の画像を取得する画像取得部と、
機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、
前記推定部から出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定部と、
前記確率判定部で前記推定部から出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定部から出力された確率を持つ前記構造物の画像を出力する出力部と、
前記推定モデルの機械学習に用いられる学習データを記憶する学習データ記憶部と、
前記出力部から出力された前記構造物の画像に対する欠陥の有無をインプットする入力部と、
前記出力部から出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得部と、
前記判定時間取得部で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定部と、
前記判定時間取得部で取得された判定時間が前記所定の判定閾値以下であると前記時間判定部によって判定された場合に、前記出力部から出力された前記構造物の画像と前記入力部でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理部とを備える、
欠陥検出支援装置。

【請求項2】

前記出力部は、さらに、前記推定部から出力された確率が、前記所定の確率判定範囲に属しないと判定された場合に、前記欠陥の有無を出力する、
請求項１に記載の欠陥検出支援装置。

【請求項3】

前記学習データ記憶部に記憶された学習データを用いて前記推定モデルを再度、機械学習する再機械学習部をさらに備える、
請求項１または請求項２に記載の欠陥検出支援装置。

【請求項4】

前記推定部は、前記欠陥の有無に関する確率として欠陥有りの有り確率を出力し、
前記確率判定範囲は、下限を表す下限閾値から、上限を表す第１上限閾値までの範囲であり、
前記下限閾値は、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部に入力することによって前記推定部から出力された有り確率のうちの５０％未満の有り確率における第１平均値および第１標準偏差に基づいて決定され、前記第１上限閾値は、前記推定部から出力された前記有り確率のうちの５０％を超えた有り確率における第２平均値および第２標準偏差に基づいて決定される、
請求項１ないし請求項３のいずれか１項に記載の欠陥検出支援装置。

【請求項5】

前記推定部は、前記欠陥の有無に関する確率として欠陥無しの無し確率を出力し、
前記確率判定範囲は、０％から上限を表す第２上限閾値までの範囲であり、
前記第２上限閾値は、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部に入力することによって前記推定部から出力された無し確率のうちの５０％を超えた無し確率における第３平均値および第３標準偏差に基づいて決定される、
請求項１または請求項２に記載の欠陥検出支援装置。

【請求項6】

前記判定時間にかかる前記判定閾値は、複数の、前記構造物の画像に対する欠陥の有無の判定に要した判定時間における第４平均値および第４標準偏差に基づいて決定される、
請求項１ないし請求項５のいずれか１項に記載の欠陥検出支援装置。

【請求項7】

前記欠陥の無い構造物の画像を学習データとして用いた機械学習によって前記推定モデルを生成する機械学習部をさらに備える、
請求項１ないし請求項６のいずれか１項に記載の欠陥検出支援装置。

【請求項8】

検査対象の構造物に形成された欠陥の検出を支援する欠陥検出支援方法であって、
前記構造物の画像を取得する画像取得工程と、
機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、
前記推定工程で出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定工程と、
前記確率判定工程で前記推定工程で出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定工程で出力された確率を持つ前記構造物の画像を出力する出力工程と、
前記推定モデルの機械学習に用いられる学習データを学習データ記憶部に記憶する記憶工程と、
前記出力工程で出力された前記構造物の画像に対する欠陥の有無をインプットする入力工程と、
前記出力工程で出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得工程と、
前記判定時間取得工程で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定工程と、
前記判定時間取得工程で取得された判定時間が前記所定の判定閾値以下であると前記時間判定工程によって判定された場合に、前記出力工程で出力された前記構造物の画像と前記入力工程でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理工程とを備える、
欠陥検出支援方法。

【請求項9】

検査対象の構造物に形成された欠陥の検出を支援する欠陥検出支援プログラムであって、
コンピュータに、
前記構造物の画像を取得する画像取得工程と、
機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、
前記推定工程で出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定工程と、
前記確率判定工程で前記推定工程で出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定工程で出力された確率を持つ前記構造物の画像を出力する出力工程と、
前記推定モデルの機械学習に用いられる学習データを学習データ記憶部に記憶する記憶工程と、
前記出力工程で出力された前記構造物の画像に対する欠陥の有無をインプットする入力工程と、
前記出力工程で出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得工程と、
前記判定時間取得工程で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定工程と、
前記判定時間取得工程で取得された判定時間が前記所定の判定閾値以下であると前記時間判定工程によって判定された場合に、前記出力工程で出力された前記構造物の画像と前記入力工程でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理工程とを実行させるための欠陥検出支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象の構造物に形成された例えば亀裂等の欠陥の検出を支援する欠陥検出支援装置、欠陥検出支援方法および欠陥検出支援プログラムに関する。

【背景技術】

【0002】

例えば、道路、橋梁、建物、クレーン、ダムおよび堤防等の構造物には、その劣化等によって表面、表面近傍および内部等に欠陥を生じることがある。前記欠陥とは、材料およびその接合部等に生じた亀裂、ボイド、介在物等の不連続部を意味する。このような欠陥を検出する技術が例えば特許文献１に提案されている。

【0003】

この特許文献１に開示された鋼床版の亀裂検出方法は、デッキプレートと、当該デッキプレートの下面に配置されたリブとを有する鋼床版において、前記リブが前記デッキプレートに対して当該リブの長手方向に沿って溶接された溶接部分の亀裂を検出する方法であって、対象物から生じる赤外線放射エネルギーを検出することによって温度分布を取得する機器を前記溶接部分の延びる方向に沿って移動させながら、当該溶接部分に交差する方向についての温度分布を前記対象物から生じる赤外線放射エネルギーを検出することによって前記機器の移動方向に沿って順次取得する温度分布取得工程と、取得された前記温度分布から、前記溶接部分における温度勾配を算出する温度勾配算出工程と、算出された前記温度勾配に基づいて、前記溶接部分における亀裂を検出する検出工程とを含む。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１４１１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、いわゆる高度成長期以降に比較的盛んに作られたインフラストラクチャーにかかる構造物の老朽化は、今日、進行を続けており、このような構造物を検査する技術者の需要は、伸びつつある。しかしながら、技術者の育成には、時間を要し、超高齢化社会では労働者人口も減少してきているため、前記需要に応えることが難しい。このため、技術者の負担は、増加しつつある。前記特許文献１に開示された鋼床版の亀裂検出方法を利用することによって、鋼床版の亀裂検出では、技術者の負担を軽減することは可能であるが、他の亀裂の検出には、技術者の負担を軽減することが難しい。また、前記特許文献１に開示された手法は、算出した温度勾配の比率から二者択一で亀裂の有無を決定する。このため、判定基準値近傍では、誤判断が生じる虞があるため、技術者による再チェックが必要となることから、技術者の負担を軽減することが難しい。

【0006】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より汎用性が高く、技術者の負担をより軽減できる欠陥検出支援装置、欠陥検出支援方法および欠陥検出支援プログラムを提供することである。

【課題を解決するための手段】

【0007】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる欠陥検出支援装置は、検査対象の構造物に形成された欠陥の検出を支援する装置であって、前記構造物の画像を取得する画像取得部と、機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、前記推定部から出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定部と、前記確率判定部で前記推定部から出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定部から出力された確率を持つ前記構造物の画像を出力する出力部と、前記推定モデルの機械学習に用いられる学習データを記憶する学習データ記憶部と、前記出力部から出力された前記構造物の画像に対する欠陥の有無をインプットする入力部と、前記出力部から出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得部と、前記判定時間取得部で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定部と、前記判定時間取得部で取得された判定時間が前記所定の判定閾値以下であると前記時間判定部によって判定された場合に、前記出力部から出力された前記構造物の画像と前記入力部でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理部とを備える。好ましくは、上述の欠陥検出支援装置において、前記画像取得部は、前記構造物の画像を生成する撮像装置である。好ましくは、上述の欠陥検出支援装置において、前記画像取得部は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、前記構造物の画像を記憶した記憶媒体である。好ましくは、上述の欠陥検出支援装置において、前記画像取得部は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、前記構造物の画像を記録した記録媒体からデータを読み込むドライブ装置である。好ましくは、上述の欠陥検出支援装置において、前記画像取得部は、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワークを介して前記通信インターフェース回路に接続され、前記構造物の画像を管理するサーバ装置である。好ましくは、上述の欠陥検出支援装置において、前記推定モデルは、ニューラルネットワーク、サポートベクターマシンおよびランダムフォレスト等の機械学習に用いる手法を利用した機械学習モデルを備えて構成される。好ましくは、前記ニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の深層学習に利用されるニューラルネットワークである。機械学習の手法は、「教師有り学習」および「半教師有り学習」であることが好ましい。

【0008】

このような欠陥検出支援装置は、機械学習後の推定モデルを用いることによって、構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部を備えるので、前記構造物の画像を取得すれば、前記構造物に形成された欠陥の有無に関する確率を得られるから、より汎用性が高い。上記欠陥検出支援装置は、前記推定部から出力された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を出力するので、技術者は、この欠陥の有無が不確かであると判定されて出力された前記構造物の画像に対し、前記構造物に形成された欠陥の有無を判定すればよいので、すなわち、前記推定部から出力された確率が前記所定の確率判定範囲に属するとは判定されなかった前記構造物の画像に対しては、前記構造物に形成された欠陥の有無を判定しなくて済むので、技術者の負担をより軽減できる。上記欠陥検出支援装置は、前記推定部から出力された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を学習データとして利用できるので、前記推定モデルを再機械学習する際に、学習データを増加できる。しかも、上記欠陥検出支援装置は、前記判定時間が前記所定の判定閾値以下である前記構造物の画像を学習データとするので、技術者によって比較的容易に欠陥の有無を判断できる前記構造物の画像を、学習データにすることが可能となるから、すなわち、技術者によって判断の分かれ易い欠陥の有無の判断が比較的難しい前記構造物の画像を、学習データにしないことが可能となるから、前記推定モデルを再機械学習する際に、出力精度を劣化し難い。

【0009】

他の一態様では、上述の欠陥検出支援装置において、前記出力部は、さらに、前記推定部から出力された確率が、前記所定の確率判定範囲に属しないと判定された場合に、前記欠陥の有無を出力する。

【0010】

このような欠陥検出支援装置は、出力部から欠陥の有無を出力するので、ユーザは、検査対象の欠陥の有無を認識できる。

【0013】

他の一態様では、上述の欠陥検出支援装置において、前記学習データ記憶部に記憶された学習データを用いて前記推定モデルを再度、機械学習する再機械学習部をさらに備える。

【0014】

このような欠陥検出支援装置は、前記推定モデルを再度、機械学習するので、出力精度の向上が期待できる。

【0015】

他の一態様では、これら上述の欠陥検出支援装置において、前記推定部は、前記欠陥の有無に関する確率として欠陥有りの「有り確率」を出力し、前記確率判定範囲は、下限を表す下限閾値から、上限を表す第１上限閾値までの範囲であり、前記下限閾値は、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部に入力することによって前記推定部から出力された「有り確率」のうちの５０％未満の「有り確率」における第１平均値および第１標準偏差に基づいて決定され、前記第１上限閾値は、前記推定部から出力された前記「有り確率」のうちの５０％を超えた「有り確率」における第２平均値および第２標準偏差に基づいて決定される。

【0016】

このような欠陥検出支援装置では、下限閾値および第１上限閾値が統計的に決定されるので、上記欠陥検出支援装置は、前記欠陥の有無が不確かな確率判定範囲を客観的に決定できる。

【0017】

他の一態様では、これら上述の欠陥検出支援装置において、前記推定部は、前記欠陥の有無に関する確率として欠陥無しの「無し確率」を出力し、前記確率判定範囲は、０％から上限を表す第２上限閾値までの範囲であり、前記第２上限閾値は、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部に入力することによって前記推定部から出力された「無し確率」のうちの５０％を超えた「無し確率」における第３平均値および第３標準偏差に基づいて決定される。

【0018】

このような欠陥検出支援装置では、第２上限閾値が統計的に決定されるので、上記欠陥検出支援装置は、前記欠陥の有無が不確な確率判定範囲を客観的に決定できる。

【0019】

他の一態様では、これら上述の欠陥検出支援装置において、前記判定時間にかかる前記判定閾値は、複数の、前記構造物の画像に対する欠陥の有無の判定に要した判定時間における第４平均値および第４標準偏差に基づいて決定される。

【0020】

このような欠陥検出支援装置では、判定閾値が統計的に決定されるので、上記欠陥検出支援装置は、学習データとする前記構造物の画像を客観的に決定できる。

【0021】

他の一態様では、これら上述の欠陥検出支援装置において、前記欠陥の無い構造物の画像を学習データとして用いた機械学習によって前記推定モデルを生成する機械学習部をさらに備える。

【0022】

このような欠陥検出支援装置は、比較的取得の容易な前記亀欠陥無い構造物の画像で機械学習できる。

【0023】

本発明の他の一態様にかかる欠陥検出支援方法は、検査対象の構造物に形成された欠陥の検出を支援する方法であって、前記構造物の画像を取得する画像取得工程と、機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、前記推定工程で出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定工程と、前記確率判定工程で前記推定工程で出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定工程で出力された確率を持つ前記構造物の画像を出力する出力工程と、前記推定モデルの機械学習に用いられる学習データを学習データ記憶部に記憶する記憶工程と、前記出力工程で出力された前記構造物の画像に対する欠陥の有無をインプットする入力工程と、前記出力工程で出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得工程と、前記判定時間取得工程で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定工程と、前記判定時間取得工程で取得された判定時間が前記所定の判定閾値以下であると前記時間判定工程によって判定された場合に、前記出力工程で出力された前記構造物の画像と前記入力工程でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理工程とを備える。

【0024】

本発明の他の一態様にかかる欠陥検出支援プログラムは、検査対象の構造物に形成された欠陥の検出を支援するプログラムであって、コンピュータに、前記構造物の画像を取得する画像取得工程と、機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、前記推定工程で出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定工程と、前記確率判定工程で前記推定工程で出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定工程で出力された確率を持つ前記構造物の画像を出力する出力工程と、前記推定モデルの機械学習に用いられる学習データを学習データ記憶部に記憶する記憶工程と、前記出力工程で出力された前記構造物の画像に対する欠陥の有無をインプットする入力工程と、前記出力工程で出力された前記構造物の画像に対する前記欠陥の有無の技術者による判定に要した判定時間を取得する判定時間取得工程と、前記判定時間取得工程で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定工程と、前記判定時間取得工程で取得された判定時間が前記所定の判定閾値以下であると前記時間判定工程によって判定された場合に、前記出力工程で出力された前記構造物の画像と前記入力工程でインプットされた前記欠陥の有無とを互いに対応付けたデータを前記学習データとして前記学習データ記憶部に記憶する記憶処理工程とを実行させるためのプログラムである。

【0025】

このような欠陥検出支援方法および欠陥検出支援プログラムは、機械学習後の推定モデルを用いることによって、構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程を備えるので、前記構造物の画像を取得すれば、前記構造物に形成された欠陥の有無に関する確率を得られるから、より汎用性が高い。上記欠陥検出支援方法および欠陥検出支援プログラムは、前記推定工程で出力された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を出力するので、技術者は、この欠陥の有無が不確かであると判定されて出力された前記構造物の画像に対し、前記構造物に形成された欠陥の有無を判定すればよいので、すなわち、前記推定工程から出力された確率が前記所定の確率判定範囲に属するとは判定されなかった前記構造物の画像に対しては、前記構造物に形成された欠陥の有無を判定しなくて済むので、技術者の負担をより軽減できる。上記欠陥検出支援方法および欠陥検出支援プログラムは、前記推定行程から出力された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を学習データとして利用できるので、前記推定モデルを再機械学習する際に、学習データを増加できる。しかも、上記欠陥検出支援方法および欠陥検出支援プログラムは、前記判定時間が前記所定の判定閾値以下である前記構造物の画像を学習データとするので、技術者によって比較的容易に欠陥の有無を判断できる前記構造物の画像を、学習データにすることが可能となるから、すなわち、技術者によって判断の分かれ易い欠陥の有無の判断が比較的難しい前記構造物の画像を、学習データにしないことが可能となるから、前記推定モデルを再機械学習する際に、出力精度を劣化し難い。

【発明の効果】

【0026】

本発明にかかる欠陥検出支援装置、欠陥検出支援方法および欠陥検出支援プログラムは、より汎用性が高く、技術者の負担をより軽減できる。

【図面の簡単な説明】

【0027】

【図1】実施形態における欠陥検出支援装置の構成を示すブロック図である。

【図2】前記欠陥検出支援装置に用いられる確率判定範囲における上下限閾値を説明するための図である。

【図3】欠陥の一例として、亀裂を生じている構造物の画像を示す図である。

【図4】前記欠陥検出支援装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0028】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0029】

実施形態における欠陥検出支援装置は、検査対象の構造物に形成された欠陥の検出を支援する装置であって、前記構造物の画像を取得する画像取得部と、機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、前記推定部から出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定部と、前記確率判定部で前記推定部から出力された確率が前記所定の確率判定範囲に属すると判定された場合に、前記推定部から出力された確率を持つ前記構造物の画像を出力する出力部とを備える。以下、このような欠陥検出支援装置について、第１および第２実施形態によって、より具体的に説明する。

【0030】

（第１実施形態）
図１は、実施形態における欠陥検出支援装置の構成を示すブロック図である。図１には、第１および第２実施形態における欠陥検出支援装置Ｓａ、Ｓｂが図示されており、図１では、第１実施形態の欠陥検出支援装置Ｓａにおける構成には、添え字「ａ」を備えた符号が付され、第２実施形態の欠陥検出支援装置Ｓｂにおける構成には、添え字「ｂ」を備えた符号が付され、第１および第２実施形態の欠陥検出支援装置Ｓａ、Ｓｂにおける共通な構成には、添え字の無い符号が付されている。図２は、前記欠陥検出支援装置に用いられる確率判定範囲における上下限閾値を説明するための図である。図２の横軸は、欠陥有りの有り確率であり、その縦軸は、データ数（画像数）である。図３は、欠陥の一例として、亀裂を生じている構造物の画像を示す図である。

【0031】

第１実施形態における欠陥検出支援装置Ｓａは、例えば図１に示すように、画像取得部１と、制御処理部２ａと、入力部３と、出力部４と、インターフェース部（ＩＦ部）５と、記憶部６とを備える。

【0032】

画像取得部１は、制御処理部２ａに接続され、制御処理部２ａの制御に従って、検査対象の構造物の画像を取得する装置である。前記構造物は、例えば、道路、橋梁、建物、クレーン、ダムおよび堤防等であり、欠陥検出支援装置Ｓａは、このような構造物の表面、表面近傍および内部等に形成された欠陥の検出を支援する。画像取得部１は、例えば、構造物を撮像することによって前記構造物の画像を生成する撮像装置である。前記撮像装置は、例えば、Ｘ線画像を生成するＸ線撮像装置、可視光の画像を生成する可視カメラ、赤外線（赤外光）の画像を生成する赤外線カメラ、および、構造物の熱画像を生成するサーモグラフィカメラ等である。なお、この場合において、撮像対象は、構造物そのものであっても良いし、浸透探傷試験および磁粉探傷試験等の方法により処理された構造物表面の模様等であっても良い。ここで、前記浸透探傷試験および前記磁粉探傷試験は、ＪＩＳＺ２３００に規定された試験方法をいう。この画像取得部１としての撮像装置は、有線または無線によって制御処理部２ａに接続されて良い。あるいは、画像取得部１は、例えば、外部の機器との間でデータを入出力するインターフェース回路である。前記外部の機器は、前記構造物の画像を記憶した、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリおよびＳＤカード（登録商標）等の記憶媒体である。あるいは、前記外部の機器は、前記構造物の画像を記録した、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）等の記録媒体からデータを読み込むドライブ装置である。この画像取得部１としてのインターフェース回路は、有線または無線によって前記外部の機器に接続されて良い。あるいは、画像取得部１は、例えば、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワーク（ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、公衆通信網を含む））あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して前記通信インターフェース回路に接続され、前記構造物の画像を管理するサーバ装置である。なお、画像取得部１がインターフェース回路や通信インターフェース回路である場合では、画像取得部１は、ＩＦ部５と兼用されても良い（すなわち、ＩＦ部５が画像取得部１として用いられても良い）。

【0033】

入力部３は、制御処理部２ａに接続され、例えば前記構造物の画像に対する確率の演算開始を指示するコマンド等の各種コマンド、および、例えば前記構造物の画像の名称（例えば画像のシリアル番号等）等の、前記確率の演算を行う上で必要な各種データを欠陥検出支援装置Ｓａに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。そして、本実施形態では、入力部３は、後述のように出力部４から出力された前記構造物の画像に対する欠陥の有無（ユーザ（技術者等）が欠陥の有無を判定したユーザの判定結果）をユーザより受け付ける。さらに、本実施形態では、入力部３は、出力部４から出力された前記構造物の画像に対する欠陥の有無の判定に要した判定時間を取得する判定時間取得部としても機能し、入力部３は、前記判定時間をユーザより受け付ける。

【0034】

出力部４は、制御処理部２ａに接続され、制御処理部２ａの制御に従って、入力部３から入力されたコマンドやデータ、および、当該欠陥検出支援装置Ｓａによって演算された前記確率等を出力する装置であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0035】

なお、入力部３および出力部４は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部３は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部４は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として欠陥検出支援装置Ｓａに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い欠陥検出支援装置Ｓａが提供される。

【0036】

ＩＦ部５は、制御処理部２ａに接続され、制御処理部２ａの制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、および、ＵＳＢ規格を用いたインターフェース回路等である。また、ＩＦ部５は、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であっても良い。

【0037】

記憶部６は、制御処理部２ａに接続され、制御処理部２ａの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、欠陥検出支援装置Ｓａの各部１、３～６を制御する制御プログラムや、機械学習後の推定モデルを用いることによって、画像取得部１によって取得された構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定プログラムや、前記推定プログラムから出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定する確率判定プログラムや、前記判定時間取得部としての入力部３で取得された判定時間が予め設定された所定の判定閾値以下であるか否かを判定する時間判定プログラムや、前記判定時間取得部としての入力部３で取得された判定時間が前記所定の判定閾値以下であると前記時間判定プログラムによって判定された場合に、出力部４から出力された前記構造物の画像と入力部３で受け付けた前記欠陥の有無（ユーザの判定結果）とを互いに対応付けたデータを学習データとして記憶部６に記憶する記憶処理プログラムや、記憶部６に記憶された学習データを用いて前記推定プログラムの推定モデルを再度、機械学習する再機械学習プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像取得部１によって取得された前記構造物の画像、前記推定プログラムによって演算された前記確率および前記学習データ等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部６は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部２ａのワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。また、記憶部６は、比較的記憶容量の大きいハードディスク装置を備えて構成されても良い。

【0038】

そして、記憶部６は、推定モデルを機械学習する際に用いられる学習データを記憶する学習データ記憶部６１を機能的に備える。前記学習データには、機械学習していない推定モデルを機械学習するための学習データ（初期学習データ）と、前記記憶処理プログラム（後述の記憶処理部２５）によって学習データ記憶部６１に記憶される学習データ（追加学習データ）とが含まれる。このような初期学習データと追加学習データとは、例えば記憶領域を分けたり、区別するためのラベルを付したり等によって、学習データ記憶部６１に互いに区別可能に記憶されて良く、あるいは、学習データ記憶部６１に互いに区別することなく記憶されて良い。前記学習データ（初期学習データおよび追加学習データ）は、例えば教師有りの学習データであり、画像と当該画像に欠陥が存在するか否かを表す正解（欠陥有り、欠陥無し）の情報と互いに対応付けたデータであり、このようなデータを複数備える。画像の一例が図３に示されている。図３に示す例の画像には、亀裂ＣＫが構造物に生じており、この亀裂の上部に構造物である三角リブＲＢが画像に写り込んでいる。

【0039】

制御処理部２ａは、欠陥検出支援装置Ｓａの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、構造物に形成された欠陥の検出を支援するための回路である。制御処理部２ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部２ａは、制御処理プログラムが実行されることによって、制御部２１、推定部２２ａ、確率判定部２３ａ、時間判定部２４、記憶処理部２５および再機械学習部２６を機能的に備える。

【0040】

制御部２１は、当該欠陥検出支援装置Ｓａの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、欠陥検出支援装置Ｓａの全体制御を司るものである。

【0041】

推定部２２ａは、機械学習後の推定モデルを用いることによって、画像取得部１によって取得された構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力するものである。すなわち、推定部２２ａは、前記推定モデルを備えて構成される。前記推定モデルは、例えばニューラルネットワーク（ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）およびランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）等の機械学習に用いる手法を利用した機械学習モデルを備えて構成され、前記構造物の画像が入力されると、機械学習によって獲得した能力（欠陥検出能力）に従って、前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する。このように画像が入力されるので、推定モデルにニューラルネットワークが利用される場合では、前記ニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の深層学習に利用されるニューラルネットワークであることが好ましい。前記機械学習の手法は、「教師有り学習」および「半教師有り学習」であることが好ましい。

【0042】

確率判定部２３ａは、推定部２２ａから出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定するものである。前記確率判定範囲によって、推定部２２ａから出力された確率によって表される検出結果が、最終的な検出結果として採用される範囲と、一次的な検出結果とされ、ユーザ（技術者等）による２次的な検出が実行され、前記ユーザによる検出結果が最終的な検出結果として採用される範囲とに切り分けられる。すなわち、推定部２２ａから出力された確率が前記確率判定範囲に属しない場合には、欠陥検出支援装置Ｓａの検出結果が最終的な検出結果として採用され、推定部２２ａから出力された確率が前記確率判定範囲に属する場合には、欠陥検出支援装置Ｓａの検出結果が一時的な検出結果とされ、ユーザ（技術者等）による２次的な検出が実行され、前記ユーザによる検出結果が最終的な検出結果とされる。

【0043】

ここで、第１実施形態では、推定部２２ａは、前記欠陥の有無に関する確率Ｐとして欠陥有りの「有り確率Ｐｐ」を出力し（０≦Ｐｐ≦１００［％］）、確率判定部２３ａにおける前記確率判定範囲は、推定部２２ａが「有り確率Ｐｐ」を出力するので、下限を表す下限閾値Ｐｂから、上限を表す第１上限閾値Ｐａまでの範囲である（Ｐｂ≦Ｐｐ≦Ｐａ）。なお、確率判定部２３ａにおける前記確率判定範囲は、前記下限閾値Ｐｂから、前記第１上限閾値Ｐａ未満までの範囲であっても良い（Ｐｂ≦Ｐｐ＜Ｐａ）。また、推定部２２ａは、欠陥有りの「有り確率Ｐｐ」だけでなく、欠陥無しの「無し確率Ｐｖ」も出力しても良い（両者の和を求めると１００［％］になる（有り確率Ｐｐ＋無し確率Ｐｖ＝１００［％］））。

【0044】

この確率判定範囲における下限閾値Ｐｂおよび第１上限閾値Ｐａは、欠陥検出支援装置Ｓａの仕様等に応じて予め適宜に設定できるように手動入力機能（例えば入力部３から入力され設定される）を備えるが、さらに、複数のサンプルから統計的に設定される機能も有している。

【0045】

まず、画像と正解とを組み合わせたデータを複数備える教師有り学習データが初期学習データとして用意され、推定部２２ａの推定モデルが機械学習される。次に、この機械学習後の推定モデルに、前記初期学習データが入力され、前記初期学習データにおける各データの各「有り確率Ｐｐ」が求められる。そして、各「有り確率Ｐｐ」ごとに、データ数が求められる。横軸を「有り確率Ｐｐ」とし、その縦軸をデータ数とした場合におけるグラフの一例が図２に示されている。なお、図２に示すＰｂ＝２０［％］およびＰａ＝９５［％］は、一例であり、ＰｂおよびＰａがこれら数値に限定されるものではない。

【0046】

前記初期学習データには、欠陥の無い構造物の画像と、欠陥の有る構造物との画像が含まれているため、図２に示すように、このグラフには、「有り確率Ｐｐ」が０～５０％の範囲に、欠陥の無い構造物の画像に対する分布Ｄｉｓｂと、「有り確率Ｐｐ」が５０～１００％の範囲に、欠陥の有り構造物の画像に対する分布Ｄｉｓａとが現れる。前記確率判定範囲における下限閾値Ｐｂは、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部２２ａに入力することによって推定部２２ａから出力された「有り確率Ｐｐ」のうちの５０％未満の「有り確率Ｐｐ」の第１平均値μｂおよび第１標準偏差σｂに基づいて決定され、その第１上限閾値Ｐａは、推定部２２ａから出力された前「有り確率Ｐｐ」のうちの５０％を超えた「有り確率Ｐｐ」の第２平均値μａおよび第２標準偏差σａに基づいて決定される。例えば、欠陥の無い構造物の画像に対する分布Ｄｉｓｂのうち下位から約９９．７％までの「有り確率Ｐｐ」は、欠陥が無いとの検出結果として信頼できるとすれば、第１下限閾値Ｐｂ＝μｂ＋３σｂと決定され、欠陥の有り構造物の画像に対する分布Ｄｉｓａのうち上位から約９９．７％までの「有り確率Ｐｐ」は、欠陥が有るとの検出結果として信頼できるとすれば、第１上限閾値Ｐａ＝μａ－３σａと決定される。

【0047】

なお、上述では、３σａや３σｂが用いられたが、他の値、例えば、２σａや２σｂが用いられても良く（Ｐｂ＝μｂ＋２σｂ、Ｐａ＝μａ－２σａ）、σａやσｂが用いられても良い（Ｐｂ＝μｂ＋σｂ、Ｐａ＝μａ－σａ）。また、推定モデルの再機械学習の回数に応じて下限閾値Ｐｂおよび第１上限閾値Ｐａが変更されても良い。例えば、最初の機械学習後や比較的少ない回数の機械学習後では、第１下限閾値Ｐｂ＝μｂ＋２σｂおよび第１上限閾値Ｐａ＝μａ－２σａが用いられ、機械学習の回数が比較多くなった場合（機械学習の回数が予め設定された閾値以上になった場合）に、第１下限閾値Ｐｂ＝μｂ＋３σｂおよび第１上限閾値Ｐａ＝μａ－３σａが用いられる。

【0048】

時間判定部２４は、前記判定時間取得部としての入力部３で取得された判定時間が予め設定された所定の判定閾値Ｔｄ以下であるか否かを判定するものである。前記判定閾値Ｔｄによって、前記確率判定範囲に属する確率Ｐを持つ前記構造物の画像が学習データに採用されるか否かに切り分けられる。前記判定閾値Ｔｄは、欠陥検出支援装置Ｓａの仕様等に応じて予め適宜に設定できるように手動入力機能（例えば入力部３から入力され設定される）を備えるが、さらに、複数のサンプルから統計的に設定される機能も有している。

【0049】

まず、初期学習データ用に、前記構造物の画像が複数用意される。次に、これら複数の前記構造物の画像それぞれに対し欠陥の有無が例えば技術者等の作業者によって判定され、この際に、その各判定時間がそれぞれ計測される。次に、複数の前記構造物の画像それぞれに正解（欠陥有りおよび欠陥無しのいずれか）が対応付けられ、初期学習データが作成される。そして、これら複数の前記構造物の画像に対する欠陥の有無の判定に要した判定時間の第４平均値μｄおよび第４標準偏差σｄに基づいて前記判定閾値Ｔｄが決定される。例えばＴｄ＝μｄ＋３σｄとされる。なお、３σｄに代え２σｄやσｄが用いられても良い。あるいは、Ｔｄ＝μｄとされても良い。

【0050】

記憶処理部２５は、前記判定時間取得部としての入力部３で取得された判定時間が前記所定の判定閾値以下であると時間判定部２４によって判定された場合に、出力部４から出力された前記構造物の画像と入力部３で受け付けた前記欠陥の有無とを互いに対応付けたデータを学習データとして記憶部６の学習データ記憶部６１に記憶するものである。

【0051】

再機械学習部２６は、記憶部６の学習データ記憶部６１に記憶された学習データを用いて推定部２２ａの推定モデルを再度、機械学習するものである。

【0052】

これら制御処理部２ａ、入力部３、出力部４，ＩＦ部５および記憶部６は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。

【0053】

次に、本実施形態の動作について説明する。図４は、前記欠陥検出支援装置の動作を示すフローチャートである。

【0054】

まず、第１に、初期学習データが用意され、この際に、上述のように各画像に対する各判定時間が求められることによって前記判定閾値Ｔｄが決定される。例えば、Ｔｄ＝μｄ＋３σｄとされる。この初期学習データが学習データ記憶部６１に記憶される。

【0055】

次に、この初期学習データを用いて推定モデルが機械学習され、機械学習後の推定モデルが生成され、記憶部６に記憶される。そして、上述のように、機械学習後の推定モデルに初期学習データを用いることによって、前記確率判定範囲が決定される。例えば、Ｐｂ＝μｂ＋３σｂ、Ｐａ＝μａ－３σａとされる。

【0056】

このような準備が終了すると、欠陥検出支援装置Ｓａの運用が開始される。運用では、欠陥検出支援装置Ｓａは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部２ａには、制御部２１、推定部２２ａ、確率判定部２３ａ、時間判定部２４、記憶処理部２５および再機械学習部２６が機能的に構成される。

【0057】

検査対象の構造物に形成された欠陥の検出に当たって、図４において、まず、画像取得部１によって前記構造物の画像が取得される（Ｓ１）。この取得された前記構造物の画像は、画像取得部１から制御処理部２ａへ出力される。

【0058】

次に、制御処理部２ａは、推定部２２ａによって、画像取得部１によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を演算する（Ｓ２ａ）。より具体的には、推定部２２ａの推定モデルに、画像取得部１によって取得された前記構造物の画像が入力され、前記推定モデルから、前記構造物に形成された欠陥の有無に関する確率Ｐが出力される。本実施形態では、欠陥有りの「有り確率Ｐｐ」が出力される。したがって、「有り確率Ｐｐ」が小さいほど、前記構造物の画像に欠陥が有る可能性が低く（すなわち、前記構造物の画像に欠陥が無い可能性が高く）、「有り確率Ｐｐ」が大きいほど、前記構造物の画像に欠陥が有る可能性が高い（すなわち、前記構造物の画像に欠陥が無い可能性が低い）。

【0059】

次に、制御処理部２ａは、確率判定部２３ａによって、推定部２２ａから出力された確率Ｐが、前記確率判定範囲に属するか否かを判定する（Ｓ３ａ）。この判定の結果、前記確率Ｐが前記確率判定範囲に属する場合（Ｙｅｓ）には、制御処理部２ａは、次に、処理Ｓ４を実行し、一方、前記判定の結果、前記確率Ｐが前記確率判定範囲に属しない場合（Ｎｏ）には、制御処理部２ａは、次に、処理Ｓ１１を実行する。より具体的には、本実施形態では、確率判定部２３ａは、推定部２２ａから出力された「有り確率Ｐｐ」が下限閾値Ｐｂ以上から第１上限閾値Ｐａ以下までの範囲内か否かを判定する。この判定の結果、前記「有り確率Ｐｐ」が下限閾値Ｐｂ以上から第１上限閾値Ｐａ以下までの範囲内である場合（Ｙｅｓ、Ｐｂ≦Ｐｐ≦Ｐａ）には、制御処理部２ａは、次に、処理Ｓ４を実行し、一方、前記判定の結果、前記「有り確率Ｐｐ」が下限閾値Ｐｂ以上から第１上限閾値Ｐａ以下までの範囲内ではない場合（Ｎｏ、Ｐｐ＜ＰｂまたはＰｐ＞Ｐａ）には、制御処理部２ａは、次に、処理Ｓ１１を実行する。なお、Ｐｐ＜Ｐｂの場合は、前記構造物の画像に欠陥が無いとの判定が検出結果であり、Ｐｐ＞Ｐａの場合は、前記構造物の画像に欠陥が有るとの判定が検出結果である。

【0060】

処理Ｓ４では、制御処理部２ａは、制御部２１によって、前記画像取得部１で取得され推定部２２ａで確率Ｐを演算した前記構造物の画像を出力部４に出力する。すなわち、確率判定部２３ａで推定部２２ａから出力された確率Ｐが前記確率判定範囲に属すると判定された場合に、前記推定部２２ａから出力された確率Ｐを持つ前記構造物の画像が出力部４から出力される。

【0061】

一方、処理Ｓ１１では、制御処理部２ａは、制御部２１によって、前記画像取得部１で取得され推定部２２ａで演算された確率Ｐを出力部４に出力し、本処理を終了する。本実施形態では、「有り確率Ｐｐ」が出力部４から出力される。なお、「有り確率Ｐｐ」に代え、あるいは、「有り確率Ｐｐ」に加えて検出結果が出力部４から出力されても良い。例えば、Ｐｐ＜Ｐｂの場合は、前記構造物の画像に欠陥が無いことを表す情報（欠陥無し情報）が出力部４から出力され、Ｐｐ＞Ｐａの場合は、前記構造物の画像に欠陥が有ることを表す情報（欠陥有り情報）が出力部４から出力される。前記欠陥無し情報や前記欠陥有り情報は、例えば、その旨を表す文字メッセージ、音声メッセージ、ランプの消灯／点灯およびマークの非表示／表示等である。

【0062】

前記処理Ｓ４に続いて、制御処理部２ａは、制御部２１によって、入力部３に入力があるか否かを判定する（Ｓ５）。この判定の結果、入力部３に入力が有る場合（Ｙｅｓ）には、制御処理部２ａは、次に、処理Ｓ６を実行し、一方、前記入力部３に入力が無い場合（Ｎｏ）には、制御処理部２ａは、処理を処理Ｓ５に戻す。したがって、制御部２１は、入力部３で入力を受け付けるまで、処理Ｓ５を繰り返し実行する。

【0063】

前記構造物の画像から前記構造部に欠陥が形成されているか否かを目視判定する技術者等のユーザは、出力部４から前記構造物の画像が出力されると、この出力された前記構造物の画像に対し、欠陥の有無を判定する。この判定の際に、前記ユーザは、例えばストップウォッチ等を用いることによって、前記欠陥の有無の判定に要した判定時間を計測する。前記ユーザは、欠陥の有無を判定すると、入力部３から、出力部４から出力された前記構造物の画像に対する欠陥の有無とその判定に要した判定時間とを入力する。

【0064】

処理Ｓ５で入力部３に入力が有ると判定されると、上述のように処理Ｓ６が実行される。この処理Ｓ６では、制御処理部２ａは、時間判定部２４によって、入力部３で取得された判定時間が前記判定閾値Ｔｄ以下であるか否かを判定する。この判定の結果、前記判定時間が前記判定閾値Ｔｄ以下ではない場合（Ｎｏ）には、制御処理部２ａは、本処理を終了し、一方、前記判定の結果、前記判定時間が前記判定閾値Ｔｄ以下である場合（Ｙｅｓ）には、制御処理部２ａは、次に、処理Ｓ７を実行する。

【0065】

この処理Ｓ７では、制御処理部２ａは、記憶処理部２５によって、出力部４から出力された前記構造物の画像と入力部３で受け付けた前記欠陥の有無とを互いに対応付けたデータを学習データ（追加学習データ）として記憶部６の学習データ記憶部６１に記憶し、本処理を終了する。

【0066】

そして、他の構造物の画像が有る場合には、上述の処理が構造物の画像ごとに実施される。こうして追加学習データにおける複数のデータが学習データ記憶部６１に蓄積される。

【0067】

追加学習データにおける複数のデータが予め設定された所定数以上になると自動的に、あるいは、前回の機械学習の実施タイミングから、予め設定された所定の時間が経過すると自動的に、あるいは、再機械学習を実行するコマンドを入力部３で受け付けると、制御処理部２ａは、再機械学習部２６によって、記憶部６の学習データ記憶部６１に記憶された学習データを用いて推定部２２ａの推定モデルを再度、機械学習する。この再機械学習では、追加学習データのみを用いて推定部２２ａの推定モデルが再度、機械学習されて良く、あるいは、初期学習データおよび追加学習データを用いて推定部２２ａの推定モデルが再度、機械学習されて良い。

【0068】

以上説明したように、第１実施形態における欠陥検出支援装置Ｓａ、これに実装された欠陥検出支援方法およびその欠陥検出支援プログラムは、構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する機械学習後の推定モデルを用いるので、前記構造物の画像を取得すれば、前記構造物に形成された欠陥の有無に関する確率を得られるから、より汎用性が高い。上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および亀欠陥出支援プログラムは、機械学習後の推定モデルで演算された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を出力するので、技術者は、この欠陥の有無が不確かであると判定されて出力された前記構造物の画像に対し、前記構造物に形成された欠陥の有無を判定すればよいので、すなわち、前記確率が前記所定の確率判定範囲に属するとは判定されなかった前記構造物の画像に対しては、前記構造物に形成された欠陥の有無を判定しなくて済むので、技術者の負担をより軽減できる。このように欠陥検出支援装置Ｓａに判断を任せられる画像は、欠陥検出支援装置Ｓａに判断を任せ、技術者の判断が必要な画像を、技術者が判断し、技術者と欠陥検出支援装置Ｓａとが欠陥の検出に関して協同できる。

【0069】

上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および欠陥検出支援プログラムは、機械学習後の推定モデルで演算された確率が前記所定の確率判定範囲に属すると判定された場合における前記構造物の画像を学習データとして利用できるので、前記推定モデルを再機械学習する際に、学習データを増加できる。しかも、上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および欠陥検出支援プログラムは、前記判定時間が前記所定の判定閾値以下である前記構造物の画像を学習データとするので、技術者によって比較的容易に欠陥の有無を判断できる前記構造物の画像を、学習データにすることが可能となるから、すなわち、技術者によって判断の分かれ易い、欠陥の有無の判断が比較的難しい前記構造物の画像を、学習データにしないことが可能となるから、推定モデルの機械学習に適切な画像を学習データとして採用でき、前記推定モデルを再機械学習する際に、出力精度を劣化し難い。

【0070】

上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および欠陥検出支援プログラムは、前記推定モデルを再度、機械学習するので、出力精度の向上が期待できる。再学習していくことで精度の向上が期待できるので、前記確率が前記確率判定範囲に属するとして出力部４から出力される画像が減少していくことが期待でき、したがって、例えば技術者等のユーザにおける判定作業の軽減化やその短時間化が期待できる。

【0071】

上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および欠陥検出支援プログラムでは、下限閾値Ｐｂおよび第１上限閾値Ｐａが統計的に決定されるので、上記欠陥検出支援装置Ｓａ、欠陥検出支援方法および欠陥検出支援プログラムは、前記欠陥の有無が不確かな確率判定範囲を客観的に決定できる。

【0072】

次に、別の実施形態について説明する。
（第２実施形態）
第１実施形態における欠陥検出支援装置Ｓａでは、構造物に形成された欠陥の有無に関する確率が欠陥有りの有り確率であったが、第２実施形態における欠陥検出支援装置Ｓｂでは、構造物に形成された欠陥の有無に関する確率が欠陥無しの無し確率である。

【0073】

この第２実施形態における欠陥検出支援装置Ｓｂは、例えば図１に示すように、画像取得部１と、制御処理部２ｂと、入力部３と、出力部４と、ＩＦ部５と、記憶部６とを備える。これら第２実施形態の欠陥検出支援装置Ｓｂにおける画像取得部１、入力部３、出力部４、ＩＦ部５および記憶部６は、それぞれ、第１実施形態の欠陥検出支援装置Ｓａにおける画像取得部１、入力部３、出力部４、ＩＦ部５および記憶部６と同様であるので、その説明を省略する。

【0074】

制御処理部２ｂは、欠陥検出支援装置Ｓｂの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、構造物に形成された欠陥の検出を支援するための回路である。制御処理部２ｂは、例えば、ＣＰＵおよびその周辺回路を備えて構成される。制御処理部２ｂは、制御処理プログラムが実行されることによって、制御部２１、推定部２２ｂ、確率判定部２３ｂ、時間判定部２４、記憶処理部２５および再機械学習部２６を機能的に備える。これら第２実施形態の欠陥検出支援装置Ｓｂにおける制御部２１、時間判定部２４、記憶処理部２５および再機械学習部２６は、それぞれ、第１実施形態の欠陥検出支援装置Ｓａにおける制御部２１、時間判定部２４、記憶処理部２５および再機械学習部２６と同様であるので、その説明を省略する。

【0075】

推定部２２ｂは、機械学習後の推定モデルを用いることによって、画像取得部１によって取得された構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力するものである。確率判定部２３ｂは、推定部２２ｂから出力された確率が、前記欠陥の有無が不確かであるとして予め設定された所定の確率判定範囲に属するか否かを判定するものである。

【0076】

ここで、第２実施形態では、推定部２２ｂは、前記欠陥の有無に関する確率Ｐとして欠陥無しの「無し確率Ｐｖ」を出力し（０≦Ｐｖ≦１００［％］）、確率判定部２３ｂにおける前記確率判定範囲は、０［％］から、上限を表す第２上限閾値Ｐｃまでの範囲である（０≦Ｐｖ≦Ｐｃ）。なお、確率判定部２３ｂにおける前記確率判定範囲は、０［％］から、上限を表す第２上限閾値Ｐｃ未満までの範囲であっても良い（０≦Ｐｖ＜Ｐｃ）。この確率判定範囲における第２上限閾値Ｐｃは、欠陥検出支援装置Ｓｂの仕様等に応じて予め適宜に設定できるように手動入力機能（例えば入力部３から入力され設定される）を備えるが、さらに、複数のサンプルから統計的に設定される機能も有している。より具体的には、前記確率判定範囲における第２上限閾値Ｐｃは、前記推定モデルの機械学習に用いられた学習データを前記機械学習後の推定部２２ｂに入力することによって推定部２２ｂから出力された「無し確率Ｐｖ」のうちの５０％を超えた「無し確率Ｐｖ」における第３平均値μｃおよび第３標準偏差σｃに基づいて決定される。例えば、Ｐｃ＝μｃ－３σｃと決定される。なお、第１実施形態と同様に、３σｃの他に、２σｃやσｃが用いられても良い（Ｐｃ＝μｃ－２σｃ、あるいは、Ｐｃ＝μｃ－σｃ）。また、推定モデルの再機械学習の回数に応じて第２上限閾値Ｐｃが変更されても良い。

【0077】

このような第２実施形態における欠陥検出支援装置Ｓｂでは、第１実施形態における欠陥検出支援装置Ｓａと同様に、準備が実施され、前記判定閾値Ｐｄが決定され、前記第２上限閾値Ｐｃが決定される。

【0078】

第２実施形態の欠陥検出支援装置Ｓｂにおける運用では、図４に示すように、画像取得の処理Ｓ１が実行され、確率演算の処理Ｓ２ｂが実行され、確率判定範囲に対する属否判定の処理Ｓ３ｂが実行される。この確率判定範囲に対する属否判定の処理Ｓ３ｂの結果に応じて、確率出力の処理Ｓ１１、あるいは、画像出力の処理Ｓ４が実行される。前記確率出力の処理Ｓ１１が実行されると、その後に本処理が終了される。前記画像出力の処理Ｓ４が実行されると、その後に、入力有無判定の処理Ｓ５が実行され、入力があると、判定時間に対する属否判定の処理Ｓ６が実行される。この判定時間に対する属否判定の処理Ｓ６の結果に応じて、本処理の終了、あるいは、学習データ記憶の処理Ｓ７が実行される。この学習データ記憶の処理Ｓ７が実行されると、その後に本処理が終了される。

【0079】

これら第２実施形態の欠陥検出支援装置Ｓｂにおける画像取得の処理Ｓ１、確率出力の処理Ｓ１１、画像出力の処理Ｓ４、入力有無判定の処理Ｓ５、判定時間に対する属否判定の処理Ｓ６、および、学習データ記憶の処理Ｓ７は、それぞれ、第１実施形態の欠陥検出支援装置Ｓａにおける画像取得の処理Ｓ１、確率出力の処理Ｓ１１、画像出力の処理Ｓ４、入力有無判定の処理Ｓ５、判定時間に対する属否判定の処理Ｓ６、および、学習データ記憶の処理Ｓ７と同様であるので、その説明を省略する。

【0080】

画像取得の処理Ｓ１に続く処理Ｓ２ｂでは、制御処理部２ｂは、推定部２２ｂによって、画像取得部１によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を演算する。より具体的には、推定部２２ｂの推定モデルに、画像取得部１によって取得された前記構造物の画像が入力され、前記推定モデルから、前記構造物に形成された欠陥の有無に関する確率Ｐが出力される。本実施形態では、欠陥無しの「無し確率Ｐｖ」が出力される。したがって、「無し確率Ｐｖ」が小さいほど、前記構造物の画像に欠陥が無い可能性が低く（すなわち、前記構造物の画像に欠陥が有る可能性が高く）、「無し確率Ｐｖ」が大きいほど、前記構造物の画像に欠陥が無い可能性が高い（すなわち、前記構造物の画像に欠陥が有る可能性が低い）。

【0081】

この処理Ｓ２ｂに続く処理Ｓ３ｂでは、制御処理部２ｂは、確率判定部２３ｂによって、推定部２２ｂから出力された確率Ｐが、前記確率判定範囲に属するか否かを判定する。この判定の結果、前記確率Ｐが前記確率判定範囲に属する場合（Ｙｅｓ）には、制御処理部２ｂは、次に、処理Ｓ４を実行し、一方、前記判定の結果、前記確率Ｐが前記確率判定範囲に属しない場合（Ｎｏ）には、制御処理部２ｂは、次に、処理Ｓ１１を実行する。より具体的には、本実施形態では、確率判定部２３ｂは、推定部２２ｂから出力された「無し確率Ｐｖ」が０から第２上限閾値Ｐｃ以下までの範囲内か否かを判定する。この判定の結果、前記「無し確率Ｐｖ」が０から第２上限閾値Ｐｃ以下までの範囲内である場合（Ｙｅｓ、０≦Ｐｖ≦Ｐｃ）には、制御処理部２ｂは、次に、処理Ｓ４を実行し、一方、前記判定の結果、前記「無し確率Ｐｖ」が０から第２上限閾値Ｐｃ以下までの範囲内ではない場合（Ｎｏ、Ｐｃ＜Ｐｖ）には、制御処理部２ｂは、次に、処理Ｓ１１を実行する。なお、Ｐｃ＜Ｐｖの場合は、前記構造物の画像に欠陥が無いとの判定が検出結果である。

【0082】

このような第２実施形態における欠陥検出支援装置Ｓｂ、これに実装された欠陥検出支援方法およびその欠陥検出支援プログラムは、第１実施形態における欠陥検出支援装置Ｓａ、これに実装された欠陥検出支援方法およびその欠陥検出支援プログラムと同様な作用効果を奏する。

【0083】

なお、これら上述の第１および第２実施形態では、判定時間は、マニュアル（手動）で計測され、入力部３から欠陥検出支援装置Ｓａ、Ｓｂに入力されたが、自動的に計測されても良い。例えば、図１に破線で示すように、制御処理部２ａ、２ｂは、前記判定時間取得部として計時部２７を機能的に備えても良い。この計時部２７は、出力部４から前記構造物の画像を出力した第１時点から入力部３で前記欠陥の有無（ユーザの判定結果）を受け付けた第２時点までの時間を前記判定時間として計時するものである。欠陥検出支援装置Ｓａ、Ｓｂの運用では、図４を用いて上述した画像出力の処理Ｓ４において、さらに、計時部２７は、上述のように制御部２１が前記構造物の画像を出力部４に出力した第１時点で計時を開始する。そして、図４を用いて上述した入力有無判定の処理Ｓ５において、さらに、計時部２７は、上述のように制御部２１が入力部３で入力を受け付けた第２時点で前記計時を終了し、前記第１時点での計時の開始から前記第２時点での計時の終了までの時間を判定時間とし、この判定時間を時間判定部２４へ通知する。欠陥検出支援装置Ｓａ、Ｓｂ計時部２７によって、このように判定時間を計測する。

【0084】

また、これら上述の第１および第２実施形態において、図１に破線で示すように、制御処理部２ａ、２ｂは、前記欠陥の無い構造物の画像を学習データとして用いた機械学習によって前記推定モデルを生成する機械学習部２８を機能的に備えても良い。このような欠陥検出支援装置Ｓａ、Ｓｂは、比較的取得の容易な前記欠陥の無い構造物の画像で機械学習できる。このような欠陥検出支援装置Ｓａ、Ｓｂでは、前記学習データ（初期学習データおよび追加学習データ）は、前記欠陥の無い構造物の画像を複数を備える。前記推定モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等の機械学習に用いる手法を利用した機械学習モデルを備えて構成される。前記ＣＮＮにより異常値が演算された画像が欠陥有りの画像となる。第２実施形態では、推定部２２ｂが欠陥無しの「無し確率Ｐｖ」を出力するので、この前記欠陥の無い構造物の画像を学習データとして用いて機械学習した推定モデルは、第２実施形態の推定部２２ｂに用いられることが好ましい。機械学習の手法は、「教師有り学習」および「半教師有り学習」であることが好ましい。

【0085】

さらに、これら上述の第１および第２実施形態では、構造物の画像が取得されるごとに、前記構造物の画像に対する確率が前記確率判定範囲に属する場合に、前記構造物の画像が出力され、前記出力された構造物の画像に対する欠陥の有無およびその判定時間が入力されたが、前記確率判定範囲に属する画像が蓄積（記憶）され、前記確率判定範囲に属する画像が予め設定された所定の数になった場合に、前記蓄積した複数の画像が順次に出力部４に出力され、前記出力された構造物の画像に対する欠陥の有無およびその判定時間が順次に入力されても良い。前記確率判定範囲に属する画像を蓄積（記憶）する場合に、個別に構造物の画像が取得されて良く、あるいは、例えば複数の構造物の画像を１つの電子ファイルに纏めることによって、複数の構造物の画像が纏めて取得されても良い。

【0086】

また、これら上述の第１および第２実施形態において、各閾値Ｐａ、Ｐｂ、Ｐｃ、Ｔｄは、例えば推定モデルの再機械学習の際等に、追加学習データやその際に用いられた判定時間に基づいて再度、第１ないし第４平均値μａ、μｂ、μｃ、μｄおよび第１ないし第４標準偏差σａ、σｂ、σｃ、σｄが演算されることによって、更新（変更）されても良い。

【0087】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0088】

Ｓａ、Ｓｂ 欠陥検出支援装置
１ 画像取得部
２ａ、２ｂ 制御処理部
３ 入力部
４ 出力部
５ インターフェース部（ＩＦ部）
６ 記憶部
２１ 制御部
２２ａ、２２ｂ 推定部
２３ａ、２３ｂ 確率判定部
２４ 時間判定部
２５ 記憶処理部
２６ 再機械学習部
２７ 計時部
２８ 機械学習部
６１ 学習データ記憶部

【図1】

【図2】

【図3】

【図4】