(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】構造物の点検・補修支援システム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240709BHJP
G06Q 50/08 20120101ALI20240709BHJP
【FI】
G01N21/88 Z
G06Q50/08
(21)【出願番号】P 2018216837
(22)【出願日】2018-11-19
【審査請求日】2021-10-13
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(73)【特許権者】
【識別番号】505389695
【氏名又は名称】首都高速道路株式会社
(73)【特許権者】
【識別番号】513220562
【氏名又は名称】首都高技術株式会社
(74)【代理人】
【識別番号】110004059
【氏名又は名称】弁理士法人西浦特許事務所
(74)【代理人】
【識別番号】100091443
【氏名又は名称】西浦 ▲嗣▼晴
(72)【発明者】
【氏名】野里 博和
(72)【発明者】
【氏名】坂無 英徳
(72)【発明者】
【氏名】上原 和樹
(72)【発明者】
【氏名】宮根 俊樹
(72)【発明者】
【氏名】遠藤 啓一郎
(72)【発明者】
【氏名】永田 佳文
(72)【発明者】
【氏名】小杉 剛史
【審査官】平田 佳規
(56)【参考文献】
【文献】特開2018-004541(JP,A)
【文献】特開2014-197342(JP,A)
【文献】国際公開第2018/055014(WO,A1)
【文献】特開2001-156135(JP,A)
【文献】特開2016-126769(JP,A)
【文献】特開2017-033469(JP,A)
【文献】特表2007-527993(JP,A)
【文献】特開2013-167596(JP,A)
【文献】特開2014-115920(JP,A)
【文献】特開2018-120300(JP,A)
【文献】特開2016-142601(JP,A)
【文献】特開2016-045662(JP,A)
【文献】特開2002-236100(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G01B 11/00 - G01B 11/30
G01M 99/00
G01N 17/00
G01N 33/38
G06N 20/00 - G06N 20/20
G06N 99/00
G06T 1/00 - G06T 1/40
G06T 3/00 - G06T 3/60
G06T 5/00 - G06T 5/50
G06T 7/00 - G06T 7/90
G06T 9/00 - G06T 9/40
G06Q 50/08 - G06Q 50/10
H04N 5/222- H04N 5/257
H04N 7/18
H04N 23/00
H04N 23/40 - H04N 23/76
H04N 23/90 - H04N 23/959
(57)【特許請求の範囲】
【請求項1】
点検対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とを撮影装置で撮影した1以上の対象損傷部分を含む画像データを取得する画像データ取得部と、
過去に点検を行って得た複数の損傷部分の画像データと、該複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む前記複数の損傷部分の損傷データを蓄積するデータ蓄積部と、
前記1以上の対象損傷部分を含む前記画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した前記複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、前記1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定する関心領域決定部と、
前記1以上の対象損傷部分
を含む画像の上に前記関心領域を表示した表示画像を画像表示装置の表示画面に表示する表示データを作成する表示データ作成部と、
前記関心領域決定部が決定した前記関心領域を点検者がマニュアル操作で補正したデータを前記検査範囲のデータとして前記データ蓄積部に蓄積する関心領域補正部と、
前記
1以上の対象損傷部分
を含む画像データ及び前記複数の損傷部分
を含む画像データから前
記1以上の対象損傷部分を含む画像の画像特徴量及び前記複数の損傷部分を含む画像の画像特徴量を求める画像特徴量演算部と、
前記画像特徴量演算部の演算結果から、前記
1以上の対象損傷部分
を含む画像に類似する前記複数の損傷部分
を含む画像を複数選択する類似画像選択部を備え、
前記関心領域決定部は、過去に点検を行って得た
前記複数の損傷部分を含む画像データ及び、該複数の損傷部分を含む画像データに対応して、前記点検または補修作業の熟練者が決定した前記複数の損傷部分の検査範囲を含むデータを教師データとして、前記損傷部分及び該損傷部分の周囲における損傷の有無の確率を出力として推定するように構築された前記学習モデルを備え、前記対象損傷部分を含む画像データを入力として前記学習モデルから出力された前記対象損傷部分及び該対象損傷部分の周囲領域における前記損傷の有無の確率が、予め定めた値を超える部分を含む領域を前記関心領域として決定し、
前記表示データ作成部は、前記類似画像選択部が選択した前記複数の損傷部分
を含む画像を前記画像表示装置の前記表示画面に選択可能に表示する表示データを作成し、
前記データ蓄積部には、過去に点検を行って得た前記複数の損傷部分
を含む画像データに対応して前記複数の損傷部分の補修履歴情報が蓄積されており、
前記表示データ作成部は、前記表示画面に表示された前記複数の損傷部分
を含む画像から選択された前記損傷部分
を含む画像に対応する補修履歴情報を前記表示画面に表示する表示データを作成することを特徴とする構造物の点検・補修支援システム。
【請求項2】
前記表示データ作成部は、前記関心領域の表示として、前記点検者が点検をすべき領域の輪郭形状を示す表示または前記輪郭を囲む矩形形状を示す表示を作成する請求項1に記載の構造物の点検・補修支援システム。
【請求項3】
前記画像特徴量演算部が演算する前記画像特徴量は、形状特徴量と色彩特徴量を結合したものである請求項1に記載の構造物の点検・補修支援システム。
【請求項4】
前記対象損傷部分の画像データ及び前記複数の損傷部分の画像データはRGB画像データであり、
前記画像特徴量演算部は、
前記RGB画像データのRGB色空間をL*a*b*表色系に変換し、
前記L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離し、
分離した前記a*b*成分を量子化モデルにより量子化し、
量子化して得た量子化色画像中のピクセルにおける色情報を色領域内Iと色の境界Bの2種類に分類し、
分類した前記色領域内Iと前記色の境界Bについてそれぞれ量子化された各色の出現頻度を前記色彩特徴量として抽出することを特徴とする請求項3に記載の構造物の点検・補修支援システム。
【請求項5】
前記画像特徴量演算部は、
前記RGB画像データをグレースケール画像データに変換し、
変換したグレースケール画像データからノイズを除去し、
ノイズを除去したグレースケール画像データから輪郭を抽出し、
輪郭を抽出したグレースケール画像データからHLAC特徴量を前記形状特徴量として抽出することを特徴とする請求項4に記載の構造物の点検・補修支援システム。
【請求項6】
前記画像特徴量演算部は、前記形状特徴量と前記色彩特徴量を連結し、連結した特徴量を正規化して前記画像特徴量として出力することを特徴とする請求項5に記載の構造物の点検・補修支援システム。
【請求項7】
前記データ蓄積部には、過去に点検を行って得た前記複数の損傷部分の画像データに対応して前記複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されており、
前記表示データ作成部は、前記損傷クラスを前記複数の損傷部分の画像と一緒に前記表示画面に表示する表示データを作成することを特徴とする請求項1に記載の構造物の点検・補修支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンクリート構造物等の構造物の点検・補修をするための情報を提供する構造物の点検・補修支援システムに関するものである。
【背景技術】
【0002】
国内には高度成長期に建設された道路などのインフラが数多く存在し、高齢化した構造物が全体に占める割合は急速に増加している。高齢化した構造物を維持管理するためには、適切な点検及び補修が必要不可欠である。発見された損傷部分は、専門家による目視点検等により損傷ランクが判定され、補修方針が決定される。特に緊急補修が必要な損傷部分においては、迅速かつ正確な判定が必要不可欠である。しかしながら、現在は少子高齢化等による技術者不足が課題となっており、効率的な維持管理が求められている。
【0003】
このような事情から、特許第6347384号公報(特許文献1)には、橋梁点検で取得した変状画像などの点検データをシステムに登録すると、過去の点検データを検索し、類似の事案を提示するシステムが開示されている。具体的には、このシステムでは、損傷部分の変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と、処理対象となる変状情報と予め受け付けた共起条件とに基づいて、共起性情報記憶部に記憶する共起性情報を参照することで、共起性による推薦順位のリストを生成し、処理対象となる変状情報における変状画像情報と、生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成し、共起性による推薦順位のリストと、画像類似性リストに基づいて処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成している。ここで共起性情報とは、事象yが起こるという条件の下で別の事象xが発生する共起確率P(x|y)を示す情報である。そしてこのシステムでは、処理対象となる、新たに登録された未確定の損傷部分の変状情報(クエリ変状情報)の選択を受け付ける。この選択は,ユーザによる選択操作の入力を受け付けることでもよいし、何らかの方法により自動的に選択を受け付けてもよいとされている。
【0004】
また特許第5443055号公報(特許文献2)には、鉄筋コンクリート表面の劣化因子の濃度と、鉄筋コンクリートのかぶりと、鉄筋コンクリートの供用年数とに基づき、鉄筋コンクリートの劣化度を診断するコンクリート診断システムが開示されている。このシステムでは、予め撮影した診断対象となる鉄筋コンクリートの対象構造物の画像上に、診断対象となる領域を設定すると共に、その設定した領域をメッシュに分割し、分割した領域の各メッシュごとに、鉄筋コンクリート表面の劣化因子の濃度、及び鉄筋コンクリートのかぶりを入力して設定すると共に、鉄筋コンクリートの供用年数を入力して設定し、入力された値を基に、各メッシュごとに劣化度を求め、求めた各メッシュの劣化度の大きさに応じて、各メッシュを色分けして表示部に表示する。
【0005】
さらに特許第6042313号公報(特許文献3)には、コンクリート構造物の画像から、コンクリート構造物の表面に生じた劣化部分を画像処理によって自動検出する劣化検出装置が開示されている。この従来の装置では、記コンクリート構造物の画像に基づいて、それぞれ異なる方向のエッジを検出することによりそれぞれ異なる劣化部分候補画素を抽出し、抽出した劣化部分候補画素の論理積を算出することによりノイズ除去画像を生成し、該ノイズ除去画像から劣化部分を検出する。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第6347384号公報
【文献】特許第5443055号公報
【文献】特許第6042313号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の発明では、未確定の損傷部分の特定は、点検者が撮影した画像から点検者が行うことになるため未確定の損傷部分の特定に点検者の熟練度が要求される。また特許文献2の発明でも、損傷部分の特定は点検者が行う必要がある。特許文献3の発明では、コンクリート構造物の表面に生じた劣化部分を画像処理によって自動検出するが、この自動検出では、熟練者の知識が活用できない上、点検者が実際に検査をすべき劣化部分の検査領域(関心領域)を知ることができない。
【0008】
本発明の目的は、点検者が撮影した損傷部分を含む画像から、点検をすることが適切な検査範囲(関心領域)を自動抽出して表示することができる構造物の点検・補修支援システムを提供することにある。
【0009】
また本発明の他の目的は、抽出した検査領域(関心領域)の損傷部分の画像に類似した過去の損傷画像を画像特徴量から検索し、その結果を提示することで、損傷に対する今後の維持管理に適切な支援を可能とする構造物の点検・補修支援システムを提供することにある。
【0010】
さらに本発明の他の目的は、形状特徴量と色彩特徴量を結合した画像特徴量を用いて、検索精度を高めることができる構造物の点検・補修支援システムを提供することにある。
【課題を解決するための手段】
【0011】
本発明の構造物の点検・補修支援システムは、画像データ取得部と、データ蓄積部と、関心領域決定部と、表示データ作成部を備えている。画像データ取得部は、点検対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とを撮影装置で撮影した1以上の対象損傷部分を含む画像データを取得する。データ蓄積部は、過去に点検を行って得た複数の損傷部分の画像データと、該複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む複数の損傷部分の損傷データを蓄積する。そして関心領域決定部は、1以上の対象損傷部分を含む画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定する。その上で、表示データ作成部は、1以上の対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置の表示画面に表示する。
【0012】
本発明によれば、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。
【0013】
関心領域決定部は、過去に点検を行って得た複数の損傷部分を含む画像データ及び、該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして、損傷部分及び該損傷部分の周囲における損傷の有無の確率を出力として推定するように構築された学習モデルと、対象損傷部分を含む画像データを入力として学習モデルから出力された対象損傷部分及び該対象損傷部分の周囲領域における損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定する確率領域決定部とを備えている。本発明によれば、学習モデルが損傷の有無の確率を出力し、損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定するので、高い精度で関心領域を決定できる。
【0014】
表示データ作成部は、関心領域の表示として、点検者が点検をすべき領域の輪郭形状を示す表示または輪郭を囲む矩形形状を示す表示を作成する。輪郭形状であれば、点検範囲が小さくて済む。また矩形状であれば、点検者の点検作業が容易になる。
【0015】
関心領域決定部が決定した関心領域を点検者がマニュアル操作で補正したデータを検査範囲のデータとしてデータ蓄積部に蓄積する関心領域補正部をさらに備えていてもよい。このようにすると新規に点検した損傷部分の点検結果を補正して以後の点検に反映することが可能になる。
【0016】
1以上の対象損傷部分を含む画像データ及び複数の損傷部分を含む画像データから1以上の対象損傷部分を含む画像の画像特徴量及び複数の損傷部分を含む画像の画像特徴量を求める画像特徴量演算部と、画像特徴量演算部の演算結果から、1以上の対象損傷部分を含む画像に類似する複数の損傷部分を含む画像を複数選択する類似画像選択部をさらに備えていてもよい。そして、表示データ作成部は、類似画像選択部が選択した複数の損傷部分の画像を画像表示装置の表示画面に選択可能に表示する表示データを作成するのが好ましい。対象損傷部分の画像に類似する複数の損傷部分の画像を画像特徴量に基づいて選択可能に表示すると、画像特徴量に基づいて選択した過去の複数の損傷部分のデータの中から、点検者の経験を含めて対象損傷部分の修復に必要な過去の類似データを見つけることができる。この場合、データ蓄積部には、過去に点検を行って得た複数の損傷部分を含む画像データに対応して複数の損傷部分の補修履歴情報が蓄積されており、表示データ作成部は、表示画面に表示された複数の損傷部分を含む画像から選択された損傷部分の画像に対応する補修履歴情報を表示画面に表示する表示データを作成するのが好ましい。このようにすれば適切な補修履歴情報を点検者が得ることができる可能性が高くなる。またデータ蓄積部には、過去に点検を行って得た複数の損傷部分を含む画像データに対応して複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されており、表示データ作成部は、損傷クラスを前記複数の損傷部分の画像と一緒に表示画面に表示する表示データを作成するのが好ましい。このようにすると損傷クラスを目安として、点検者が対象損傷部分に近い過去の損傷部分の画像を選択することができる。
【0017】
画像特徴量演算部が演算する画像特徴量は、形状特徴量と色彩特徴量を結合したものである。
【0018】
対象損傷部分の画像データ及び複数の損傷部分の画像データがRGB画像データである場合、画像特徴量演算部は、RGB画像データのRGB色空間をL*a*b*表色系に変換し、L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離し、分離したa*b*成分を量子化モデルにより量子化し、量子化して得た量子化色画像について色領域内Iと色の境界Bの2種類に分類し、分類した色領域内Iと色の境界Bについてそれぞれ量子化された各色の出現頻度を色彩特徴量(量子化BIC特徴量)として抽出するのが好ましい。このようにして色彩特徴量を抽出すると、ある程度の認識できる明るさで撮影されていれば、画像の明るさの変化に依存しないで、データに基づいた色の違いに着目した特徴量を抽出することができる。したがって色彩特徴量により、例えば、撮影時が晴れであるか、曇りであるかなどの撮影条件に左右されることなく、画像データから特徴量を抽出することができる。
【0019】
また画像特徴量演算部は、RGB画像データをグレースケール画像データに変換し、変換したグレースケール画像データからノイズを除去し、ノイズを除去したグレースケール画像データから輪郭を抽出し、輪郭を抽出したグレースケール画像データからHLAC特徴量を形状特徴量として抽出してもよい。このように形状特徴量を抽出すると、簡単に形状特徴量を抽出することができる。
【0020】
画像特徴量演算部は、前記形状特徴量と前記色彩特徴量を連結し、連結した特徴量を正規化して画像特徴量として出力するのが好ましい。正規化して画像特徴量を用いれば、画像の大きさと無関係に画像特徴量を利用することができる。
【図面の簡単な説明】
【0021】
【
図1】本発明の本発明の構造物の点検・補修支援システムの第1の実施の形態の構成を示すブロック図である。
【
図2】(A)乃至(D)は、損傷画像と過去に実際に点検を行った検査範囲を説明するために用いる図である。
【
図3】(A)及び(B)は、矩形以外の関心領域の形状を示す図である。
【
図4】データ蓄積部における損傷画像の蓄積処理の工程を示すフローチャートである。
【
図5】関心領域決定部における処理の工程と、学習モデルを作成する処理の工程を示すフローチャートである。
【
図6】
図5の学習処理のステップST23及びST24の詳細を示すフローチャートである。
【
図7】正解矩形画像と損傷画像検査範囲の例を示す図である。
【
図8】SSDにおける畳み込み演算処理の前半を示す図である。
【
図9】SSDにおける畳み込み演算処理の後半を示す図である。
【
図10】SSDにおけるフィルタリストの各グリッド位置に対する異なるアスペクト比の説明に用いる図である。
【
図11】
図5の推定処理のステップST13の詳細を示すフローチャートである。
【
図12】(A)は対象損傷画像、(B)は関心領域の例を示す図である。
【
図13】CNNベースのVGGモデルによる学習モデルを構成するための学習処理のフローチャートである。
【
図14】VGGモデルからなる学習モデル構築するための損傷画像データ及び対応する損傷画像検査範囲を示す図である。
【
図15】CNNベースの学習モデルを用いた関心領域の推定のフローチャートである。
【
図16】CNN演算で用いるネットワーク構造例を示す図である。
【
図17】CNN手法により関心領域を決定する過程を画像で示す図である。
【
図18】学習モデルとしてのSSDモデルとVGGモデルの比較を示す図である。
【
図19】本発明の第2の実施の形態の構成を示すブロック図である。
【
図20】(A)乃至(C)は、関心領域補正部の動作を説明するために用いる図である。
【
図21】本発明の第3の実施の形態の構成を示すブロック図である。
【
図22】表示データ作成部における表示データ作成処理の工程を示すフローチャートである。
【
図23】画像表示装置の表示画面の表示の一例を示す図である。
【
図24】(A)及び(B)は、損傷部分の画像補修履歴情報の例を説明するために用いる図である。
【
図25】画像特徴量演算部をソフトウエアで実現する場合のアルゴリズムの一例を示す図である。
【
図26】(A)は色量子化モデルを作成する工程を示す図であり、(B)は量子化BIC特徴量を決定するアルゴリズムを示す図である。
【
図29】色量子化された画像中のすべてのピクセルにおける色情報をI(色領域内)とB(色の境界)に分類する例の説明に用いる図である。
【
図30】量子化BIC特徴を算出する例を示す図である。
【発明を実施するための形態】
【0022】
以下図面を参照して、本発明の構造物の点検・補修支援システムの実施の形態を詳細に説明する。
【0023】
[第1の実施の形態]
図1は、本発明の構造物の点検・補修支援システムの第1の実施の形態の構成を示すブロック図である。第1の実施の形態の構造物の点検・補修支援システム1は、画像データ取得部3と、データ蓄積部5と、関心領域決定部7と、表示データ作成部9と画像表示装置11を備えている。本実施の形態では、画像データ取得部3~表示データ作成部9までの主要部は、コンピュータにインストロールしたソフトウエアによってコンピュータの内部に実現されている。画像データ取得部3は、
図2(A)に示すような検査対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とをデジタルカメラ等の撮影装置で撮影した1以上の対象損傷部分a1~a3を含む画像データを取得する。損傷部分は、コンクリート構造物から露出した鉄筋、コンクリートのひび割れや浮き、鋼構造物クラック等である。
【0024】
画像データ取得部3の主要部は、コンピュータの入力ポートによって構成される。本実施の形態では、画像データ取得部3で取得した1以上の対象損傷部分を含む画像データは、関心領域決定部7に入力される。データ蓄積部5には、過去に点検を行って得た複数の損傷部分の画像データと、この複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む複数の損傷部分の損傷データ(実際に点検を行った検査範囲、損傷場所、修復履歴、損傷ランキング等)が蓄積されている。
図2(C)には過去に点検を行って得た損傷部分の画像データの一例を示している。
図2(D)は、
図2(C)の損傷画像に、過去に実際に点検を行った検査範囲D1を表示した画像データを示している。
【0025】
図4は、データ蓄積部5における損傷画像の蓄積処理の工程を示すフローチャートである。ステップST1で過去の損傷画像データを読み込む。ステップST2では、実際に熟練者が点検または補修作業を行った点検範囲D1を損傷画像上に表示するための指定を行う。そしてステップST3で、データ蓄積部5内に構築した損傷画像データベースに損傷画像と点検範囲のデータを蓄積する。
【0026】
関心領域決定部7は、1以上の対象損傷部分a1~a3を含む画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が過去に決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域b1~b3[
図2(B)参照]として決定する。表示データ作成部9は、対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置11の表示画面に表示する表示データを作成する。なお本実施の形態では、表示データ作成部9が、表示データである画像データと点検すべき関心領域を新たなデータとしてデータ蓄積部5に蓄積する。
【0027】
図3(A)及び(B)に示すように画像表示装置11の表示画面に表示する関心領域b4及びb5は、矩形以外の形状であってもよい。関心領域は、点検時に点検者が損傷部分を判定する際に参照(または確認または視認)すべき領域の範囲で、点検経験の少ない技術者に対しては経験を補う有用な情報となり、点検経験の多い熟練の技術者に対しては過去のデータに基づいた客観的な指標となる。
【0028】
図5は、関心領域決定部7における処理の工程と、学習モデルを作成する処理の工程を示すフローチャートである。まずステップST11において、1以上の対象損傷部分a1~a3を含む画像データを読み込む。そしてステップST12で、関心領域の学習モデルを読み込み、ステップST13で関心領域を推定し、ステップST14で関心領域を決定する。具体的には、学習モデルにより画像内から損傷有無の確率を推定する。そして損傷有無の確率に応じて、閾値を超えているか否かに基づいて関心領域(検査領域)を決定する。これは学習モデルにより入力された対象画像内から関心領域箇所の尤度を算出していることになる。
【0029】
学習モデルを作成する場合の処理では、ステップST21で複数の蓄積された過去の複数の損傷部分の画像データを読み出し、ステップST22で過去に点検を行って得た該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が過去に決定した複数の損傷部分の検査範囲を含むデータを教師データとして読み出す。そしてステップST23において学習処理を実行し、ステップST24で関心領域を推定するために用いる学習モデルを生成する。ステップST24では、関心領域決定用に設計した関心領域学習モデルの学習パラメータを決定する。
【0030】
[学習モデルを用いた関心領域の決定]
関心領域決定用の学習モデルの生成と学習モデルを用いた関心領域の推定は、任意の手法を用いることが可能である。例えば、本実施の形態では、SSD(Single Shot multi-box Detector)による手法と、VGGによる手法を用いている。これらの手法については、下記の論文に詳細に説明されている。
【0031】
(SSDの文献) Liu, Wei, et al. "SSD: Single Shot MultiBox Detector." arXiv preprint arXiv:1512.02325 (2015).
(VGGの文献) K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recoginition. In Intl. Conf. on Learning Repre-sentations (ICLR), 2015.。
【0032】
関心領域決定部7の処理は、画像データ取得部3から読み込んだ、対象損傷部分及びその近傍を含む取得画像データに対し、関心領域推定モデル生成処理で生成した関心領域推定の学習モデルを用いて、関心領域の推定を行い、対象損傷部分及びその近傍を含む損傷画像内で、検査者が損傷部分を判定する際に参照(又は確認又は視認)すべき検査領域を決定する。
【0033】
図6は
図5の学習処理のステップST23の詳細を示すフローチャートである。この学習処理では、まず、読み込んだ複数の損傷画像データ及び対応する損傷画像検査範囲を用いて、正解矩形画像を生成する(ST231)。
図7(A-1)及び(A-2)並びに
図7(B-1)及び(B-2)に示すように、正解矩形画像は、データ蓄積部5で蓄積された損傷画像検査範囲を含む矩形領域を1、それ以外の領域を0とする2値画像となる。正解矩形画像は、
図7(C-1)及び(C-2)並びに
図7(D-1)及び(D-2)に示すように損傷画像検査範囲が矩形ではない場合は、その範囲を包含する矩形領域を1、それ以外の領域を0とする2値画像となる。
【0034】
[SSDモデルによる学習モデルでの処理]
複数の損傷画像と対応した正解矩形画像のデータセットを学習用の教師データとして、SSD(Single Shot multi-box Detector)モデルを学習する。SSDモデルは、画像中から物体検出を目的とした深層学習モデルのひとつであり、一般物体検出において高速、高精度に動作する手法である。畳み込みニューラルネットワーク(Convolutional Neural Networks:CNN)を通し、その過程で得られる複数の異なるスケールを持つ特徴マップを生成する。これらの特徴マップにおけるそれぞれの位置について、アスペクト比を変化させながら対象物体との相対位置と尤度を算出する。
【0035】
学習では、すべての教師データの入力画像(本実施例では損傷画像)に対し、SSDモデルにおいて畳み込み演算を繰り返し適用しながら出力される特徴マップについて、グリッド上に分割し、その各位置について異なるアスペクト比(縦横のサイズ比)の関心領域候補と、対応する正解矩形画像から計算された正解ボックスとの重複を計算する。重複が多くなるようにSSDモデルのパラメータを調整しながら学習を進め、所定回繰り返したときのSSDモデルを関心領域の推定のための学習モデルとする。
【0036】
畳込み演算は
図8及び
図9の順に処理される。入力画像について、畳込み処理、バッチ正規化処理、活性化、最大値プーリングを順次適用する。
図8における畳込み処理はconv[層番号1]_[層番号2(あれば)]_[フィルタ数]として表現しており、VGG Outputは
図8における畳込み処理の出力結果を表す。(例えば、
図8中においてconv1_16は16枚のフィルタを持つ1層目の畳込み層を表す)。
図8で得た出力は、
図9に示される処理に入力される。
図9も
図8と同様入力に対し畳込みを適用するが、各層における出力結果をフィルタリストfsに保存する。つまり、フィルタリストにおいては畳込み4層目、7層目、8層目、9層目、10層目、11層目から出力されるそれぞれの畳込み演算後フィルタ画像集合が格納される。これら各フィルタを
図10のようにグリッド状に分割し、各グリッド位置について予め設定したアスペクト比に基づき関心領域有無の確率を推定する。
【0037】
図11は、
図5の推定処理のステップST13の詳細を示している。
図11の推定処理は、損傷画像を推定用の学習モデルに入力し、学習モデル(SSDモデル)において畳み込み演算を繰り返し適用しながら出力される特徴マップについて、グリッド上に分割し、その各位置について異なるアスペクト比(縦横のサイズ比)の関心領域候補の尤度を算出する。指定された尤度の閾値を基に、閾値以上の尤度をもつ候補に絞り、関心領域とする。
図12(A)に示すように、損傷部分が2箇所含まれる対象損傷画像に対し、画像表示装置11には
図12(B)に示す2つの関心領域を推定した結果が表示される。
図12(B)の推定結果は、尤度の閾値を0.5としたときの関心領域である。
【0038】
[VGGモデルによる学習モデルでの処理]
図13は畳み込みニューラルネットワーク(CNN)で構成されるVGGモデルによる学習モデルを構築するための学習処理のフローチャートである。このVGGモデルによる学習モデルの学習処理では、まず、読み込んだ複数の損傷画像データ及び対応する損傷画像検査範囲を用いて、正解画像を生成する(ST231´)。
図14(A-1)及び(A-2)乃至
図14(D-1)及び(D-2)に示すように、正解画像は、データ蓄積部で蓄積された損傷画像検査範囲を含む領域を1、それ以外の領域を0とする2値画像となる。正解画像は、損傷画像検査範囲が矩形ではない場合は、その範囲を包含する矩形領域を1、それ以外の領域を0とする2値画像となる。複数の損傷画像と対応した正解矩形画像のデータセットを学習用の教師データとして、VGGモデルを学習する(ST232´)。
【0039】
CNNに基づく物体検出においては、全結合層までネットワーク処理を通し、出力として得られる画像を構成するピクセルに対応した高次元ベクトルを尤度マップとして再構成する。学習では、後述する
図15のステップST31~ST34が行われて、すべての教師データの入力画像(本実施例では損傷画像)に対し、VGGモデルにおいて畳み込み処理とプーリング処理を順次適用し、最終層における全結合層の出力ベクトルを損傷部分の尤度マップとして正解画像との誤差に基づきネットワークのパラメータを学習する。
【0040】
図15は、学習モデル(VGGモデル)を用いた関心領域の推定のフローチャートである。このフローチャートではステップST31において、関心領域を抽出する画像を読み込む。そしてステップST32で、入力画像を正規化する。すなわち画像のサイズを256×256[px]に変更し、画素値を平均0、分散1となるよう標準化する。次にステップST33でVGGモデルによるCNN演算を実施する。CNN演算では、正規化した画像について、
図16に示すVGGモデルのネットワーク構造を用いて畳込み処理、最大値プーリング処理を順次適用し、最終層において全結合層の出力を一次元配列として出力する。次にステップST34で、一次元配列された全結合層の出力を二次元に再構成する。すなわち、CNN演算において出力された一次元配列を画像状の二次元配列に再構成し、尤度マップとして出力する。次にステップST35で、二値化処理を実行する。この二値化処理では、尤度マップの各要素の値について、閾値を超えた場合は1、そうでない場合は0とする二値化処理を適用する。次にステップST36で、モルフォロジー処理を実行する。モルフォロジー処理では、二値化した尤度マップについて、収縮と膨張の処理を適用しノイズ除去、穴埋めを行う。最後にステップST37で、関心領域の抽出を行う。このステップでは、モルフォロジー処理を適用した尤度マップに対し、blob解析により1を示すピクセルが連結された領域を包含する矩形を関心領域として抽出する。
図17は、VGGモデルにより関心領域を決定する過程を画像で示す。
【0041】
図18は、学習モデルとしてのSSDモデルとVGGモデルの比較を示している。SSDモデルは、スケール依存性が少なく、精度が高い一方、処理速度が遅い。一方VGGモデルはシンプルなネットワーク構成のため、処理速度が速いが、推定精度はSSDモデルより劣る。例えば、経験の浅い技術者にとっては、時間は要したとしても関心領域推定精度が重要なためSSDモデルが適しているが、経験の多い熟練の技術者は、速度重視のVGGモデルによる結果を後述の関心領域補正部において後から補正すればよい。
【0042】
上記第1の実施の形態によれば、過去に点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。
【0043】
また本実施の形態によれば、関心領域決定部7で用いる学習モデルが損傷の有無の確率(尤度)を出力し、損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定するので、高い精度で関心領域を決定できる。
【0044】
[第2の実施の形態]
図19は、本発明の第2の実施の形態の構成を示すブロック図である。
図19には、第1の実施の形態の構成を示す
図1に示した構成要素と同じ構成要素には、
図1に付した符号と同じ符号を付して説明を省略する。本実施の形態では、関心領域決定部7が決定した関心領域を点検者がマニュアル操作で補正したデータを検査範囲のデータとしてデータ蓄積部5に蓄積する関心領域補正部13をさらに備えている。本実施の形態では、関心領域補正部13で補正しない場合でも、表示データ作成部9が作成したデータをデータ蓄積部5に蓄積する。
図20(A)乃至(C)は、関心領域補正部13の動作を説明するために用いる図である。関心領域決定部7が、
図20(A)に示すような関心領域b4及びb5を推定したときに、本実施の形態では、点検者が自分の実際の点検結果あら関心領域b5をもう少し広げるべきだと感じた場合には、
図20(B)に示すように例えばカーソルの移動を利用して関心領域b5を関心領域b5´に補正することができる。この補正は、関心領域の大きさと位置の変更を可能にする。
【0045】
このようにすると新規に点検した損傷部分の点検結果を以後の点検に用いる学習用データとして反映することが可能になる。これにより、本システムが提示した関心領域の精度が悪くても、技術者の介入により精度を向上させることができる。
【0046】
[第3の実施の形態]
図21は、本発明の第3の実施の形態の構成を示すブロック図である。
図21には、第1の実施の形態の構成を示す
図1に示した構成要素と同じ構成要素には、
図1に付した符号と同じ符号を付して説明を省略する。本実施の形態では、
1以上の対象損傷部分
を含む画像データ及び複数の損傷部分
を含む画像データから
1以上の対象損傷部分を含む画像の画像特徴量及び複数の損傷部分を含む画像の画像特徴量を求める画像特徴量演算部15と、画像特徴量演算部15の演算結果から、
1以上の対象損傷部分の画像に類似する複数の損傷部分
を含む画像を複数選択する類似画像選択部17をさらに備えている。そして、表示データ作成部9は、対象損傷部分
を含む画像の上に関心領域を表示した表示画像を画像表示装置11の表示画面に表示する表示データを作成することに加え、類似画像選択部17が選択した複数の損傷部分
を含む画像を画像表示装置11の表示画面に選択可能に表示する表示データを作成する。
図22は、表示データ作成部9における表示データ作成処理の工程(ステップST41~ST43)を示すフローチャートである。
【0047】
図23は、画像表示装置11の表示画面の表示の一例を示す図である。
図23の表示例では、「撮影画像」の欄には、対象損傷部分を含む画像の上に、検出した関心領域が矩形の枠によって表示されている。そして「類似画像検索結果」の欄には、類似度の高い複数の損傷部分の画像が類似の高い順番で表示リストとして表示されており、さらに「付属情報」欄には損傷ランクと、損傷場所の名称が記載されている。本実施例では、類似する複数の損傷部分の画像を選択可能に4つ表示しており、画像を選択することにより、その損傷部分の画像補修履歴情報が表示画面に表示される。なお複数の損傷部分の画像は、必ずしも類似度の高い順番に表示する必要はない。
図24(A)及び
図24(B)は、それぞれ損傷部分の画像補修履歴情報の例である。
図24(A)及び
図24(B)において、損傷が「損傷画像1」の状態から「損傷画像2」の状態に進行したことが示されており、「補修画像」は「損傷画像2」の状態を補修した後の画像を示している。この情報を見ることにより、点検者は補修の必要性及び補修の方法を判断する資料を入手することが可能になる。これを実現するために、データ蓄積部5には、過去に点検を行って得た複数の損傷部分
を含む画像データに対応して複数の損傷部分の補修履歴情報が蓄積されている。
【0048】
またデータ蓄積部5には、過去に点検を行って得た複数の損傷部分の画像データに対応して複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されている。表示データ作成部9は、表示画面に表示された複数の損傷部分
を含む画像から選択された損傷部分の画像に対応する補修履歴情報及び損傷クラスを表示画面に表示する表示データを作成する。また
図23の表示画面中の「類似上位20画像のランク割合」欄には各クラスの割合が「ランク割合」として円グラフで表示されている。このようにすると損傷クラスを目安として、点検者が対象損傷部分に近い過去の損傷部分
を含む画像を選択することができる。
【0049】
本実施の形態のように、対象損傷部分の画像に類似する複数の損傷部分の画像を画像特徴量に基づいて選択可能に表示すると、画像特徴量に基づいて選択した過去の複数の損傷部分のデータの中から、点検者の経験を含めて対象損傷部分の修復の参考になる過去の類似データを見つけることができる。
【0050】
[画像特徴量演算部の説明]
図21の画像特徴量演算部15は、形状特徴量と色彩特徴量を結合したものを画像特徴量として演算する。
【0051】
(画像前処理)
明るさ変動の影響を軽減するため、形状特徴量と色彩特徴量に対し、それぞれ次の前処理を施す。
【0052】
形状特徴量を演算する前には、画像を勾配画像に変換し、隣接画素間の相対値とすることで明るさの変動における画素値の絶対量の変化の影響を排除する。勾配画像は、まず、ガウシアンフィルタによりノイズ除去を適用し、その画像にラプラシアンオペレータを適用することで作成する。この勾配画像から形状特徴を抽出することで、明るさの変動に頑健な形状特徴が得られる。
【0053】
色彩特徴量を演算する前には、画像に対して色空間変換を適用し、明るさと色成分に分離し、明るさ成分をすて、色成分のみから特徴を抽出することで明るさの変動に頑健な色彩特徴を得られる。色空間の変換は、RGBの3チャンネルから構成される画像を、L*a*b*表色系により表現される3チャンネルに変更する。このとき、L*成分は明るさを表し、a*b*成分が色みを表す。
【0054】
角度対応については、損傷領域の方向は一意に定まらないため、角度の変動に対して頑健となる特徴を用いる必要がある。形状特徴に関しては、撮影対象の回転を吸収する後処理を特徴抽出後に適用する。色彩特徴に関しては、画像全体から色の出現頻度を算出するため、回転方向による特徴値の変動はないことから、特別な処理は施さない。
【0055】
サイズ対応については、損傷画像を撮影したときの損傷部分に対する撮影者の距離、及び損傷の絶対的な大きさの違いにより、画像内に撮像される損傷部分のサイズが異なることが想定される。大きさの異なるそれぞれの損傷を同様の条件で扱うため、特徴量の正規化を特徴抽出後に適用する。本実施の形態で適用した形状特徴及び色彩特徴は統計量として算出されるため、画像の全ピクセル数で割ることで正規化できる。
【0056】
[画像特徴量演算部の詳細]
図25は、画像特徴量演算部15をソフトウエアで実現する場合のアルゴリズムの一例を示している。
図25の例では、対象損傷部分
を含む画像データ及び複数の損傷部分
を含む画像データが、RGB画像データとして切り出される(ステップST51)。まずステップST52A~ST55Aにより、形状特徴量の抽出を行う。ステップST52Aでは、RGB画像をグレースケール画像に変換する。そしてステップST53Aでは、グレースケール画像に変換された画像からガウシアンフィルタによりノイズを除去する。そしてステップST54Aでは、ラプラシアンフィルタにより、エッジ(輪郭)抽出をする。最後にステップST55Aでは、HLAC特徴量抽出を行う。HLAC特徴とは、周知の高次局所自己相関特徴(HLAC: Higher-order Local AutoCorrelation)である。HLAC特徴量抽出では、勾配画像に対し、35種類のHLACマスクパターンを適用し、35次元の形状特徴量を算出する。特徴量算出後、各形状について45°回転に対して同じ形状となるマスクパターンについて統合し、回転・反転不変特徴として構成する。
【0057】
次に、画像特徴量演算部15は、ステップST52B~54Bにより、色彩特徴量の抽出を行う。ステップST52Bでは、RGB画像データのRGB色空間をL*a*b*表色系に変換する。次にステップST53Bで、L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離する。そしてステップST54Bで、分離したa*b*成分を量子化モデルにより量子化する。量子化して得た量子化色画像について色領域内Iと色の境界Bの2種類に分類し、分類した色領域内Iと色の境界Bについてそれぞれ量子化された各色の出現頻度を色彩特徴量(量子化BIC特徴量)として抽出する。
【0058】
ここで量子化BIC特徴量は
図26(A)及び(B)の流れにより算出する。図中の各ステップは次の通りである。ステップST60で、予めデータ蓄積部5の画像データベース中の画像群から色量子化モデルを作成する。
【0059】
[色量子化モデルの作成]
色量子化モデルは
図26(A)の手順により作成する。なお
図27は色彩情報抽出の概念を示す図であり、
図28は、代表色決定の概念を示す図である。まずステップST60Aで、画像データベース中から複数枚の画像群を読み込む。次にステップ60Bで、
図27に示すように、入力されたすべての画像について、RGB色空間からL*a*b*色空間への変換を行う。次にステップST60Cで、
図27に示すように、色彩情報の抽出を行う。すなわちL*a*b*で表現された画像群について、a*b*の色情報だけを抽出する。次にステップ60Dで、色量子化モデルを算出して、ステップST60Eで色量子化モデルを出力する。
図28に示すように、複数の損傷画像から色点群を取得する。すなわちa*b*の色情報となった画像群から、ランダムにn点(例えば10,000点)を選択する。「点」はa*b*から構成される二次元ベクトルであり、色を表す。そしてこれから色量子化モデルを作成する。すなわちランダムに選択したn点について、k-meansなどのクラスタリング手法により代表色を決定する。なおkの値は32などで量子化する。
図28は、代表色(k=3)の例である。
【0060】
[量子化BIC特徴の算出]
ステップST61では、ステップ53Bで色彩情報を分離して得た色成分(a*b*成分)画像について、前述の色量子化モデルに基づき色成分を量子化する。次にステップST63で、
図29に示すように、色量子化された画像中のすべてのピクセルにおける色情報をI(色領域内)とB(色の境界)に分類する。この例では3色の代表色の色量子化モデルを用いている。
【0061】
分類基準は次の通りである。
【0062】
・上下左右4近傍が同じ色であればIとする。
【0063】
・4近傍中一つでも異なる色が含まれていればBとする。
【0064】
図29の一番右側の図が、上記分類基準で分類した結果の一例である。
【0065】
そしてステップST64で、量子化BIC特徴を算出する。すなわち
図30に示すように、分類したIとBそれぞれについて量子化された色の出現頻度を算出し、ステップST65で量子化BIC特徴ベクトルとして出力する。
【0066】
このようにして求めた量子化BIC特徴ベクトルを色彩特徴量とすると、ある程度の認識できる明るさで撮影されていれば、画像の明るさの変化に依存しないで、データに基づいた色の違いに着目した特徴量を抽出することができる。
【0067】
なおBIC特徴については、下記の文献でも紹介されている。
「R. Stehling, et al. “A compact and efficient image retrieval approach based on border/interior pixel classification”, Proceedings of the 11th international conference on information and knowledge management」.。
【0068】
図25に示すように、画像特徴量演算部15では、ステップST56で形状特徴量と色彩特徴量を連結し、ステップST57で連結した特徴量を正規化して、ステップST58で画像特徴量として出力する。正規化した画像特徴量を用いれば、画像の大きさと無関係に画像特徴量を利用することができる。
【0069】
[類似画像選択部及び表示データ作成部の説明]
類似画像選択部17では、特徴量ベースの類似画像検索を行う。類似画像の選択は、例えば、検索対象画像の画像特徴量と、データベース内の画像特徴量とのユークリッド距離を比較し、距離が小さい上位n枚について検索候補を提示する。そして類似画像検索結果を読込んで、n枚の検索候補について、類似画像リスト、補修情報リスト、損傷ランクリスト生成する。
【0070】
そして表示データ作成部9は、検索結果画像に対する付随情報も画像表示装置に表示する。表示データ作成部9は、検索結果画像のランクを割合で表示する検索上位のランク割合表示や、各ランクについて、それぞれ検索結果を表示する検索上位のランク別集計表示をしてもよい。また表示データ作成部9は、データベースの補修履歴等の情報提示や、DB付属情報、補修カルテ(処置、予後など)各検索結果に対して、損傷の詳細情報や補修情報について表示するようにしてもよい。
【産業上の利用可能性】
【0071】
本発明によれば、過去に点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて1以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。
【符号の説明】
【0072】
1 構造物の点検・補修支援システム
3 画像データ取得部
5 データ蓄積部
7 関心領域決定部
9 表示データ作成部
11 画像表示装置
13 関心領域補正部
15 画像特徴量演算部