ホーム > 特許ランキング > 日鉄テックスエンジ株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 日鉄住金テックスエンジ株式会社の特許一覧 ▶ 創屋株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230927BHJP
G01N 21/88 20060101ALI20230927BHJP
E04G 23/00 20060101ALI20230927BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 610
G01N21/88 J
E04G23/00 ESW
【請求項の数】
11
(21)【出願番号】P 2019155745
(22)【出願日】2019-08-28
(65)【公開番号】P2020155086
(43)【公開日】2020-09-24
【審査請求日】2022-06-22
(31)【優先権主張番号】P 2019049030
(32)【優先日】2019-03-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000203977
【氏名又は名称】日鉄テックスエンジ株式会社
(73)【特許権者】
【識別番号】507049533
【氏名又は名称】創屋株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100175802
【弁理士】
【氏名又は名称】寺本 光生
(74)【代理人】
【識別番号】100134359
【弁理士】
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100188592
【弁理士】
【氏名又は名称】山口 洋
(72)【発明者】
【氏名】平佐田 崇
(72)【発明者】
【氏名】山本 茂樹
(72)【発明者】
【氏名】中嶋 康晴
(72)【発明者】
【氏名】松村 卓也
(72)【発明者】
【氏名】島口 嵩史
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１９－０１６２４９（ＪＰ，Ａ）
【文献】特開２０１８－１９８０５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０１Ｎ ２１／８８
Ｅ０４Ｇ ２３／００
(57)【特許請求の範囲】
【請求項1】
画像処理装置であって、構造物の撮像画像を取得するデータ取得部と、
前記撮像画像を複数の分割画像に分割するメッシュ処理部と、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類部と、 前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出部と、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類部と、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部と、を備え、
前記メッシュ処理部は、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理装置。
【請求項2】
前記特徴画像抽出部は、前記分割画像から局所的特徴を有する複数の特徴画像を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記分割画像ラベル及び前記特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含むことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項4】
前記分割画像ラベル及び前記特徴画像ラベルは、異常の度合いに応じた複数の異常ラベルを含むことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項5】
前記分割画像分類部又は前記特徴画像分類部は、画像を入力することで前記分割画像ラベル又は前記特徴画像ラベルを出力する学習済みモデルを有することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項6】
前記分割画像ラベル及び前記特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と前記誤分類ラベルとのデータセットが、前記学習済みモデルに学習されている
ことを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記ラベル補正部は、前記特徴画像ラベルを優先して選択して補正ラベルとして出力することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項8】
前記分割画像ラベル及び前記補正ラベルに基づいて前記構造物の劣化評価を出力する出力部と、を備えることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項9】
前記劣化評価は、前記構造物の全域の画像を複数の区画領域に区画し、前記区画領域ごとに、前記分割画像ラベル又は前記補正ラベルに基づく評価度合いを表示する評価分布画像であることを特徴とする請求項８に記載の画像処理装置。
【請求項10】
画像処理方法であって、構造物の撮像画像を取得する撮像画像取得ステップと、
前記撮像画像を複数の分割画像に分割するメッシュ処理ステップと、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類ステップと、
前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出ステップと、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類ステップと、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正ステップと、を備え、
前記メッシュ処理ステップでは、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理方法。
【請求項11】
画像処理プログラムであって、コンピュータに、構造物の撮像画像を取得するステップと、
前記撮像画像を複数の分割画像に分割するステップと、
前記複数の分割画像のそれぞれに対して分割画像ラベルを出力するステップと、
前記撮像画像から局所的特徴を有する特徴画像を抽出するステップと、
前記特徴画像のそれぞれに対して特徴画像ラベルを出力するステップと、
前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するステップと、
を実行させ、
前記撮像画像を複数の分割画像に分割するステップでは、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割する
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、判定対象の建物屋根を撮影した異なる時期の複数の屋根画像間での画素値の変化量が所定の劣化判定閾値を超えたことに基づいて、当該建物屋根の劣化部分を判定する建物屋根の劣化判定方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第５０９００６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の劣化判定方法は、劣化判定閾値等に応じて劣化判定結果が大きく変わるものであり、劣化判定の信頼性に改善の余地があった。
本発明は、信頼性の高い構造物の劣化評価を可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
本発明は、信頼性の高い構造物の劣化評価を可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
（１）本発明の一態様は、画像処理装置であって、構造物の撮像画像を取得するデータ取得部と、前記撮像画像を複数の分割画像に分割するメッシュ処理部と、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類部と、前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出部と、前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類部と、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部と、を備える。
（２）上記（１）において、前記特徴画像抽出部は、前記分割画像から局所的特徴を有する複数の特徴画像を抽出してよい。
（３）上記（１）又は（２）において、前記分割画像ラベル及び前記特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでよい。
（４）上記（１）から（３）のいずれかにおいて、前記分割画像ラベル及び前記特徴画像ラベルは、異常の度合いに応じた複数の異常ラベルを含んでよい。
（５）上記（１）から（４）のいずれかにおいて、前記分割画像分類部又は前記特徴画像分類部は、画像を入力することで前記分割画像ラベル又は前記特徴画像ラベルを出力する学習済みモデルを有してよい。
（６）上記（５）において、前記分割画像ラベル及び前記特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と前記誤分類ラベルとのデータセットが、前記学習済みモデルに学習されていてよい。
（７）上記（１）から（６）のいずれかにおいて、前記ラベル補正部は、前記特徴画像ラベルを優先して選択して補正ラベルとして出力してよい。
（８）上記（１）から（７）のいずれかにおいて、前記メッシュ処理部は、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してよい。
（９）上記（１）から（８）のいずれかにおいて、前記分割画像ラベル及び前記補正ラベルに基づいて前記構造物の劣化評価を出力する出力部と、を備えてよい。
（１０）上記（９）において、劣化評価は、前記構造物の全域の画像を複数の区画領域に区画し、前記区画領域ごとに、前記分割画像ラベル又は前記補正ラベルに基づく評価度合いを表示する評価分布画像であってよい。
（１１）本発明の一態様は、画像処理方法であって、構造物の撮像画像を取得する撮像画像取得ステップと、前記撮像画像を複数の分割画像に分割するメッシュ処理ステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類ステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出ステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類ステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正ステップと、を備える。
（１２）本発明の一態様は、画像処理プログラムであって、コンピュータに、構造物の撮像画像を取得するステップと、前記撮像画像を複数の分割画像に分割するステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力するステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出するステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力するステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するステップと、を実行させる。
（２）上記（１）において、前記特徴画像抽出部は、前記分割画像から局所的特徴を有する複数の特徴画像を抽出してよい。
（３）上記（１）又は（２）において、前記分割画像ラベル及び前記特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでよい。
（４）上記（１）から（３）のいずれかにおいて、前記分割画像ラベル及び前記特徴画像ラベルは、異常の度合いに応じた複数の異常ラベルを含んでよい。
（５）上記（１）から（４）のいずれかにおいて、前記分割画像分類部又は前記特徴画像分類部は、画像を入力することで前記分割画像ラベル又は前記特徴画像ラベルを出力する学習済みモデルを有してよい。
（６）上記（５）において、前記分割画像ラベル及び前記特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と前記誤分類ラベルとのデータセットが、前記学習済みモデルに学習されていてよい。
（７）上記（１）から（６）のいずれかにおいて、前記ラベル補正部は、前記特徴画像ラベルを優先して選択して補正ラベルとして出力してよい。
（８）上記（１）から（７）のいずれかにおいて、前記メッシュ処理部は、前記撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してよい。
（９）上記（１）から（８）のいずれかにおいて、前記分割画像ラベル及び前記補正ラベルに基づいて前記構造物の劣化評価を出力する出力部と、を備えてよい。
（１０）上記（９）において、劣化評価は、前記構造物の全域の画像を複数の区画領域に区画し、前記区画領域ごとに、前記分割画像ラベル又は前記補正ラベルに基づく評価度合いを表示する評価分布画像であってよい。
（１１）本発明の一態様は、画像処理方法であって、構造物の撮像画像を取得する撮像画像取得ステップと、前記撮像画像を複数の分割画像に分割するメッシュ処理ステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類ステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出する特徴画像抽出ステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類ステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正ステップと、を備える。
（１２）本発明の一態様は、画像処理プログラムであって、コンピュータに、構造物の撮像画像を取得するステップと、前記撮像画像を複数の分割画像に分割するステップと、前記複数の分割画像のそれぞれに対して分割画像ラベルを出力するステップと、前記撮像画像から局所的特徴を有する特徴画像を抽出するステップと、前記特徴画像のそれぞれに対して特徴画像ラベルを出力するステップと、前記特徴画像と重なる前記分割画像に対応する分割画像ラベルを、前記分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するステップと、を実行させる。
【発明の効果】
【0006】
上記態様によれば、信頼性の高い構造物の劣化評価を可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供できる。
【図面の簡単な説明】
【0007】
【図1】実施形態に係る構造物の撮像状況を示す図である。
【図2】実施形態に係る画像処理装置の構成を示す概略ブロック図である。
【図3】実施形態に係る分割画像分類部又は特徴画像分類部の構成の例を示す図である。
【図4】実施形態に係る評価モデルの学習方法を示すフローチャートである。
【図5】実施形態に係る画像処理方法を示すフローチャートである。
【図6】実施形態に係る撮像画像の一例を示す図である。
【図7】実施形態に係る複数の分割画像に分割された撮像画像の一部を抜き出した概念図である。
【図8】実施形態に係る劣化評価画像の例を示す図である。
【図9】実施形態に係る評価分布画像の例を示す図である。
【発明を実施するための形態】
【0008】
〈実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、実施形態に係る構造物の撮像状況を示す図である。
図１に示すように、画像処理装置３００は、撮像装置２１０から撮像画像を取得し、撮像対象となった屋根１１０等の構造物１００の劣化評価を示す情報を生成する。屋根１１０を撮像できる範囲には、撮像装置２１０が配置される。なお、構造物１００は、使用環境によって劣化するようなものであれば、家屋、工場等の建造物又は建築物並びにアスファルト舗装等の道路構造であってよい。
撮像装置２１０は、ＣＣＤやＣＭＯＳ等の撮像素子を用いた光学機器であり、例えば、飛翔体２００に備えられている。なお、撮像装置２１０は、人間によって移動させてもよく、構造物等に固定されていてもよい。撮像装置２１０は、撮像した撮像画像を記憶するメモリ（不図示）と、撮像画像を出力装置３５０（図２参照）に出力可能な出力部（不図示）と、を有している。
飛翔体２００は、例えば、ドローンであり、電池等の所望の駆動源による翼の回転で得られる揚力により飛行可能である。飛翔体２００は、撮像対象となる屋根１１０の全体を撮像可能な空間において、指定の空間に飛行し、指定の空間で停止飛行させるように制御可能となっている。
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、実施形態に係る構造物の撮像状況を示す図である。
図１に示すように、画像処理装置３００は、撮像装置２１０から撮像画像を取得し、撮像対象となった屋根１１０等の構造物１００の劣化評価を示す情報を生成する。屋根１１０を撮像できる範囲には、撮像装置２１０が配置される。なお、構造物１００は、使用環境によって劣化するようなものであれば、家屋、工場等の建造物又は建築物並びにアスファルト舗装等の道路構造であってよい。
撮像装置２１０は、ＣＣＤやＣＭＯＳ等の撮像素子を用いた光学機器であり、例えば、飛翔体２００に備えられている。なお、撮像装置２１０は、人間によって移動させてもよく、構造物等に固定されていてもよい。撮像装置２１０は、撮像した撮像画像を記憶するメモリ（不図示）と、撮像画像を出力装置３５０（図２参照）に出力可能な出力部（不図示）と、を有している。
飛翔体２００は、例えば、ドローンであり、電池等の所望の駆動源による翼の回転で得られる揚力により飛行可能である。飛翔体２００は、撮像対象となる屋根１１０の全体を撮像可能な空間において、指定の空間に飛行し、指定の空間で停止飛行させるように制御可能となっている。
【0009】
《画像処理装置》
図２は、実施形態に係る画像処理装置の構成を示す概略ブロック図である。
図２に示すように、画像処理装置３００は、ストレージ３６０、プロセッサ３２０、メインメモリ３３０、インタフェース３４０、出力装置３５０を備える。
図２は、実施形態に係る画像処理装置の構成を示す概略ブロック図である。
図２に示すように、画像処理装置３００は、ストレージ３６０、プロセッサ３２０、メインメモリ３３０、インタフェース３４０、出力装置３５０を備える。
【0010】
メインメモリ３３０は、記憶部の一例であり、例えば、揮発性メモリ等である。
【0011】
インタフェース３４０は、撮像装置２１０及びその他の周辺機器と接続され、撮像画像等の信号の授受を行う。
【0012】
プロセッサ３２０は、ストレージ３６０から画像処理プログラムを読み出してメインメモリ３３０に展開し、画像処理プログラムに従って処理を実行する。プロセッサ３２０は、画像処理プログラムに従ってメインメモリ３３０に記憶領域を確保する。
【0013】
プロセッサ３２０は、画像処理プログラムの実行により、構造物の撮像画像を取得するデータ取得部３２１と、撮像画像を複数の分割画像に分割するメッシュ処理部３２２と、複数の分割画像のそれぞれに対して分割画像ラベルを出力する分割画像分類部３２３と、撮像画像から局所的特徴を有する複数の特徴画像を抽出する特徴画像抽出部３２４と、複数の特徴画像のそれぞれに対して特徴画像ラベルを出力する特徴画像分類部３２５と、特徴画像と重なる分割画像に対応する分割画像ラベルを、分割画像ラベルと前記特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部３２６と、表示信号を出力する出力制御部３２７と、を備える。
【0014】
画像処理プログラムは、画像処理装置３００に発揮させる機能の一部を実現するためのものであってもよい。例えば、画像処理プログラムは、ストレージ３６０に既に記憶されている他のプログラムとの組み合わせ、又は他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、画像処理装置３００は、上記構成に加えて、又は上記構成に代えて、ＰＬＤ（Programmable Logic Device）等のカスタマイズされた集積回路であるカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ３２０の機能の一部又は全部がカスタムＬＳＩによって実現されてよい。
【0015】
データ取得部３２１は、撮像装置２１０からデータを取得する。すなわち、データ取得部３２１は、撮像装置２１０（又は飛翔体２００）の姿勢及び位置並びに撮像画像を取得する。データ取得部３２１は、画像取得部の一例である。なお、以下、撮像装置２１０の姿勢及び位置を、飛翔体２００の姿勢及び位置という場合がある。撮像装置２１０が飛翔体２００に設けられる場合、撮像装置２１０の姿勢及び位置は、飛翔体２００の姿勢及び位置としてよい。
【0016】
メッシュ処理部３２２は、データ取得部３２１が取得した撮像画像を分割して、複数の分割画像を出力する。メッシュ処理部３２２は、撮像画像を、例えば、同じ面積の正方形を縦横に整列させて網目状に分割して、複数の分割画像を出力する。分割画像は、一辺が、撮像画像に写る（屋根１１０の上に露出している）ボルト又はねじ等の締結具の配置間隔を整数で割った値であると、後述する分類部がその締結具をその他のラベル（例えば、「孔」）と誤分類する可能性を低減できるので、分類の精度が向上する。例えば、締結具の配置間隔が５００ｍｍであった場合、分割画像は、一辺が、その配置間隔を４で割った１２５ｍｍである正方形とする。なお、締結具の配置間隔は、撮像画像から算出してよく、屋根１１０に関する設計図書に記載された寸法でもよい。
【0017】
分割画像分類部３２３は、複数の分割画像のそれぞれに対して、分割画像ラベルを出力して分類する。分割画像分類部３２３は、画像を入力することでラベルを出力する学習モデルを有している。分割画像分類部３２３は、分割画像を学習モデルである評価モデルＭ１に入力し、分割画像ラベルを出力させる。
分割画像ラベルは、屋根１１０の異常を示す異常ラベル又は非異常を示す非異常ラベルを含んでいる。分割画像ラベルは、例えば、「孔」、「補修箇所」、「錆」、「塗装劣化」等の異常を示す異常ラベル、又は、「締結具」、「背景・ゴミ」、「チョーク」、「影」、「その他」等の非異常を示す非異常ラベルの中から選択される。なお、分割画像ラベルは、これらの異常ラベル又は非異常ラベルの全てを含んでもよい。「孔」の分割画像ラベルは、屋根１１０の分割画像の中に孔があることを示す。「補修箇所」の分割画像ラベルは、屋根１１０の分割画像の中に過去に補修した箇所があることを示す。「錆」の分割画像ラベルは、屋根１１０の分割画像の中に錆があることを示す。なお、「錆」の分割画像ラベルのような異常ラベルは、更に、「錆度合い低」、「錆度合い中」、「錆度合い高」のように、異常の度合いに応じて複数段階に細分化されてもよい。「塗装劣化」の分割画像ラベルは、屋根１１０の分割画像の中に塗装が劣化した部分があることを示す。「背景・ゴミ」の分割画像ラベルは、屋根１１０の分割画像の中に背景（屋根でない部分）又はゴミがあることを示す。「チョーク」の分割画像ラベルは、屋根１１０の分割画像の中にチョークによるマーキングがあることを示す。「影」の分割画像ラベルは、屋根１１０の分割画像の中に影があることを示す。「その他」の分割画像ラベルは、屋根１１０の分割画像の中に、上記分割画像ラベルのいずれにも当てはまらない箇所があることを示す。
分割画像ラベルは、屋根１１０の異常を示す異常ラベル又は非異常を示す非異常ラベルを含んでいる。分割画像ラベルは、例えば、「孔」、「補修箇所」、「錆」、「塗装劣化」等の異常を示す異常ラベル、又は、「締結具」、「背景・ゴミ」、「チョーク」、「影」、「その他」等の非異常を示す非異常ラベルの中から選択される。なお、分割画像ラベルは、これらの異常ラベル又は非異常ラベルの全てを含んでもよい。「孔」の分割画像ラベルは、屋根１１０の分割画像の中に孔があることを示す。「補修箇所」の分割画像ラベルは、屋根１１０の分割画像の中に過去に補修した箇所があることを示す。「錆」の分割画像ラベルは、屋根１１０の分割画像の中に錆があることを示す。なお、「錆」の分割画像ラベルのような異常ラベルは、更に、「錆度合い低」、「錆度合い中」、「錆度合い高」のように、異常の度合いに応じて複数段階に細分化されてもよい。「塗装劣化」の分割画像ラベルは、屋根１１０の分割画像の中に塗装が劣化した部分があることを示す。「背景・ゴミ」の分割画像ラベルは、屋根１１０の分割画像の中に背景（屋根でない部分）又はゴミがあることを示す。「チョーク」の分割画像ラベルは、屋根１１０の分割画像の中にチョークによるマーキングがあることを示す。「影」の分割画像ラベルは、屋根１１０の分割画像の中に影があることを示す。「その他」の分割画像ラベルは、屋根１１０の分割画像の中に、上記分割画像ラベルのいずれにも当てはまらない箇所があることを示す。
【0018】
分割画像ラベルは、更に、異常ラベルとは異なるラベルであって、実際には非異常であるが学習済みモデル（評価モデルＭ１）によって異常を示す異常ラベルが付されて誤分類された誤分類ラベルを含んでもよい。誤分類ラベルは、非異常を示す非異常ラベルの一種である。誤分類される画像と誤分類ラベルとのデータセットは、学習済みモデルに学習されている。分割画像ラベルの誤分類ラベルの例としては、「孔のような影」という項目であり、この誤分類ラベル（「孔のような影」）は、画像に写っているものが実際には非異常を示す影であっても、学習済みモデルによって異常ラベルである「孔」と分類されやすい紛らわしいことを示す。このように、紛らわしい画像及び誤分類ラベル（「孔のような影」）のデータセットを、学習済みモデルに学習させることで、分類の精度が向上させることができる。
【0019】
ストレージ３６０は、記憶部の一例であり、画像処理方法を実行するための画像処理プログラムが記憶されている。ストレージ３６０は、例えば、ＨＤＤ（Hard Disk Drive）、不揮発性メモリ等である。ストレージ３６０は、画像処理装置３００に設けられたバスに直接接続された内部メディアであってもよいし、インタフェース３４０又は通信回線を介して画像処理装置３００に接続された外部メディアであってもよい。
【0020】
ストレージ３６０は、評価モデルＭ１及び特徴点抽出アルゴリズムＭ２を記憶している。なお、ストレージ３６０は、撮像装置２１０の位置、構造物と撮像装置２１０との位置関係、及び撮像装置２１０の姿勢を示す情報であるカメラパラメータを記憶していてもよい。なお、画像処理装置３００は、カメラパラメータを用いて撮像画像を補正してもよい。
【0021】
図３は、実施形態に係る分割画像分類部又は特徴画像分類部の構成の例を示す図である。図３に示すように、分割画像分類部３２３又は特徴画像分類部３２５は、評価モデルＭ１を含む。評価モデルＭ１は、ニューラルネットワーク３０を含む。評価モデルＭ１は、例えば、深層ニューラルネットワークＤＮＮ（Deep Neural Network）のうち、畳み込みニューラルネットワークＣＮＮ（Convolution Neural Network）の学習済みモデルによって実現される。学習済みモデルは、学習モデルと学習済みパラメータの組み合わせによって構成される。
ニューラルネットワーク３０は、入力層３１、１つ又は複数の中間層３２（隠れ層）、及び出力層３３を含む。入力層３１、中間層３２及び出力層３３は、１又は複数のニューロンＮを備えている。中間層３２のニューロンＮの数は、適宜設定することができる。出力層３３は、ラベル(異常ラベル、非異常ラベル、誤分類ラベル)の数に応じて適宜設定することができる。
ニューラルネットワーク３０は、入力層３１、１つ又は複数の中間層３２（隠れ層）、及び出力層３３を含む。入力層３１、中間層３２及び出力層３３は、１又は複数のニューロンＮを備えている。中間層３２のニューロンＮの数は、適宜設定することができる。出力層３３は、ラベル(異常ラベル、非異常ラベル、誤分類ラベル)の数に応じて適宜設定することができる。
【0022】
互いに隣接する層のニューロンＮ同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンＮの結合数は、適宜設定されてよい。各ニューロンＮには閾値が設定されており、各ニューロンＮへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンＮの出力値が決定される。
【0023】
入力層３１には、分割画像、特徴画像が入力される。入力層３１には、学習時において、学習用データセットの入力サンプルとなる画像が入力される。出力層３３からは、分割画像又は特徴画像に、異常を示す異常ラベル（「孔」、「補修箇所」、「錆度合い低」、「錆度合い中」、「錆度合い高」、「塗装劣化」）、非異常を示す非異常ラベル（「締結具」、「背景・ゴミ」、「チョーク」、「影」、「その他」等）及び誤分類ラベル（「孔のような影」）が存在する確率を示す出力値が出力される。ここで、「錆度合い低」、「錆度合い中」、「錆度合い高」の順に異常の度合いが高くなっている。このように、分割画像ラベル及び特徴画像ラベルの種類は、異常の度合いに応じた複数の項目を含んでいる。
出力層３３はラベルごとの確率を示すラベル確率分布を出力し、その値は、ラベル決定部Ｄに入力される。そして、ラベル決定部Ｄは、各異常ラベルに対応する確率の中から最も高い確率の異常ラベルを出力する。例えば、異常ラベルである「孔」の確率が８０％で、異常ラベルである「塗装劣化」の確率が１０％で、それら以外のラベルの確率がこれらより小さい場合、ラベル決定部Ｄは、最も高い確率の異常ラベルである「孔」を出力する。
出力層３３はラベルごとの確率を示すラベル確率分布を出力し、その値は、ラベル決定部Ｄに入力される。そして、ラベル決定部Ｄは、各異常ラベルに対応する確率の中から最も高い確率の異常ラベルを出力する。例えば、異常ラベルである「孔」の確率が８０％で、異常ラベルである「塗装劣化」の確率が１０％で、それら以外のラベルの確率がこれらより小さい場合、ラベル決定部Ｄは、最も高い確率の異常ラベルである「孔」を出力する。
【0024】
評価モデルＭ１は、屋根１１０が写る撮像画像の分割画像又は特徴画像が入力されると、その分割画像又は特徴画像のラベルを出力するように訓練された学習済みモデルである。
評価モデルＭ１は、例えば、屋根１１０が写る撮像画像の分割画像を入力サンプルとし、その分割画像のラベルを出力サンプルとする学習用データセットを用いて訓練される。なお、本実施形態において「入力サンプル」とは、学習モデルの訓練時に入力層３１に入力されるデータをいう。本実施形態において「出力サンプル」とは、ニューラルネットワーク３０の出力層３３の値と比較するための正解となるデータ（教師データ）である。本実施形態において「学習用データセット」とは、入力サンプルと出力サンプルの組み合わせをいう。学習によって得られた評価モデルＭ１の学習済みパラメータは、ストレージ３６０に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク３０の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
評価モデルＭ１は、例えば、屋根１１０が写る撮像画像の分割画像を入力サンプルとし、その分割画像のラベルを出力サンプルとする学習用データセットを用いて訓練される。なお、本実施形態において「入力サンプル」とは、学習モデルの訓練時に入力層３１に入力されるデータをいう。本実施形態において「出力サンプル」とは、ニューラルネットワーク３０の出力層３３の値と比較するための正解となるデータ（教師データ）である。本実施形態において「学習用データセット」とは、入力サンプルと出力サンプルの組み合わせをいう。学習によって得られた評価モデルＭ１の学習済みパラメータは、ストレージ３６０に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク３０の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
【0025】
評価モデルＭ１のニューラルネットワーク３０の構成としては、例えば、顔器官検出に用いられるＤＮＮ構成や、人物の姿勢推定に用いられるＤＮＮ構成を用いることができる。なお、他の実施形態に係る評価モデルＭ１は、教師なし学習又は強化学習によって訓練されたものであってもよい。
【0026】
図２に戻り、特徴画像抽出部３２４は、撮像画像から局所的特徴を有する特徴画像を抽出する。特徴画像抽出部３２４は、特徴点抽出アルゴリズムＭ２により、例えば、入力した画像中のコントラスト値等の色情報の特徴量を、空間フィルタを用いて低次元のベクトルに変換し、そのベクトルに基づいて特徴点を抽出する。特徴画像抽出部３２４は、具体的には、例えば、オープンソースのＫＡＺＥのような、特徴点抽出アルゴリズムＭ２によって局所的な特徴点を算出し、その特徴点を中心とする画像を特徴画像として抽出する。なお、特徴画像の面積は、先述の分割画像の面積と同じとすることが好ましい。特徴画像抽出部３２４は、メッシュ処理部３２２が出力した分割画像から局所的特徴を有する特徴画像を抽出してもよい。
【0027】
特徴画像分類部３２５は、特徴画像のそれぞれに対して特徴画像ラベルを出力する。特徴画像分類部３２５は、画像を入力することでラベルを出力する学習モデルを有している。図３に示すように、特徴画像分類部３２５は、分割画像分類部３２３と同様に、特徴画像を学習モデルである評価モデルＭ１に入力し、特徴画像ラベルを出力させる。特徴画像ラベルは、分割画像ラベルと同様に、屋根１１０の異常を示す異常ラベル又は非異常を示す非異常ラベルを含んでいる。特徴画像ラベルは、例えば、異常ラベル（「孔」、「補修箇所」、「錆」、「塗装劣化」）、非異常ラベル（「締結具」、「背景・ゴミ」、「チョーク」、「影」、「その他」）、又は、誤分類ラベル（「孔のような影」）等のラベルから選択される。
【0028】
図２に戻り、ラベル補正部３２６は、特徴画像と重なる分割画像に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して、補正ラベルとして出力する。これについては、後述する。
【0029】
出力制御部３２７は、屋根１１０の劣化評価の結果を示す画像を表示する表示信号をディスプレイ等の出力装置３５０に出力する。
【0030】
学習部３２８は、評価モデルＭ１の学習処理を行う。なお、学習部３２８は、画像処理装置３００とは別の装置に設けられてもよい。この場合、別の装置において学習された学習済みモデルが、ストレージ３６０に記憶されることとなる。
【0031】
《学習方法》
図４は、実施形態に係る評価モデルの学習方法を示すフローチャートである。
（１）まず、データ取得部３２１は、図４に示すように、入力サンプルを取得する（ステップＳ１０１）。例えば、評価モデルＭ１における入力サンプルは、屋根１１０が写る画像である。入力サンプルは、撮像装置２１０が撮像した撮像画像から取得してもよい。また、他の撮像装置が撮像した画像から取得してもよい。なお、様々な種類の屋根が写る画像を入力サンプルとしてもよい。様々な種類の屋根を入力サンプルとすることで、屋根認識のロバスト性を向上することができる。
（２）次に、学習部３２８は、評価モデルＭ１（図３参照）の学習を行う。学習部３２８は、ステップＳ１０１で取得した入力サンプル（屋根１１０が写る画像）と、屋根１１０のラベルである出力サンプルとの組み合わせを学習用データセットとして、評価モデルＭ１の学習を行う（ステップＳ１０２）。例えば、学習部３２８は、入力サンプルを入力として用いて、ニューラルネットワーク３０の順伝播方向の演算処理を行う。これにより、学習部３２８は、ニューラルネットワーク３０の出力層３３から出力される出力値を得る。なお、学習用データセットは、メインメモリ３３０又はストレージ３６０のいずれに記憶してもよい。出力層３３からの出力値は、例えば、ラベルごとの確率を表すラベル確率分布である。出力サンプルは、教師データとなるラベルである。
（３）次に、学習部３２８は、出力層３３からの出力値と、出力サンプルとの誤差を算出する。学習部３２８は、教師データとなるラベルと算出した出力値との誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、学習部３２８は、算出した各誤差に基づいて、評価モデルＭ１のパラメータ、例えば、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う（ステップＳ１０３）。
（４）学習部３２８は、学習の終了条件を満たすか否かを判定する（ステップＳ１０４）。学習の終了条件は、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合である。したがって、学習部３２８は、教師データとなるラベルと算出した出力値との誤差が所定の閾値以上である場合（ステップＳ１０４：ＮＯ）、ステップ１０１に戻り、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満となるまで、上記のステップＳ１０１からステップＳ１０３の処理を繰り返す。それにより、評価モデルＭ１（学習モデル）のパラメータが最適化され、評価モデルＭ１を学習させることができる。
（５）学習の終了条件を満たす場合、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合（ステップＳ１０４：ＹＥＳ）、学習部３２８は、学習によって最適化されたパラメータを含む学習済みモデルである評価モデルＭ１を、ストレージ３６０に記憶する（ステップＳ１０５）。
図４は、実施形態に係る評価モデルの学習方法を示すフローチャートである。
（１）まず、データ取得部３２１は、図４に示すように、入力サンプルを取得する（ステップＳ１０１）。例えば、評価モデルＭ１における入力サンプルは、屋根１１０が写る画像である。入力サンプルは、撮像装置２１０が撮像した撮像画像から取得してもよい。また、他の撮像装置が撮像した画像から取得してもよい。なお、様々な種類の屋根が写る画像を入力サンプルとしてもよい。様々な種類の屋根を入力サンプルとすることで、屋根認識のロバスト性を向上することができる。
（２）次に、学習部３２８は、評価モデルＭ１（図３参照）の学習を行う。学習部３２８は、ステップＳ１０１で取得した入力サンプル（屋根１１０が写る画像）と、屋根１１０のラベルである出力サンプルとの組み合わせを学習用データセットとして、評価モデルＭ１の学習を行う（ステップＳ１０２）。例えば、学習部３２８は、入力サンプルを入力として用いて、ニューラルネットワーク３０の順伝播方向の演算処理を行う。これにより、学習部３２８は、ニューラルネットワーク３０の出力層３３から出力される出力値を得る。なお、学習用データセットは、メインメモリ３３０又はストレージ３６０のいずれに記憶してもよい。出力層３３からの出力値は、例えば、ラベルごとの確率を表すラベル確率分布である。出力サンプルは、教師データとなるラベルである。
（３）次に、学習部３２８は、出力層３３からの出力値と、出力サンプルとの誤差を算出する。学習部３２８は、教師データとなるラベルと算出した出力値との誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、学習部３２８は、算出した各誤差に基づいて、評価モデルＭ１のパラメータ、例えば、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う（ステップＳ１０３）。
（４）学習部３２８は、学習の終了条件を満たすか否かを判定する（ステップＳ１０４）。学習の終了条件は、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合である。したがって、学習部３２８は、教師データとなるラベルと算出した出力値との誤差が所定の閾値以上である場合（ステップＳ１０４：ＮＯ）、ステップ１０１に戻り、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満となるまで、上記のステップＳ１０１からステップＳ１０３の処理を繰り返す。それにより、評価モデルＭ１（学習モデル）のパラメータが最適化され、評価モデルＭ１を学習させることができる。
（５）学習の終了条件を満たす場合、例えば、教師データとなるラベルと算出した出力値との誤差が所定の閾値未満である場合（ステップＳ１０４：ＹＥＳ）、学習部３２８は、学習によって最適化されたパラメータを含む学習済みモデルである評価モデルＭ１を、ストレージ３６０に記憶する（ステップＳ１０５）。
【0032】
《画像処理方法》
次に、図５及び図６を用いて、画像処理装置を用いた画像処理方法を説明する。
図５は、実施形態に係る画像処理方法を示すフローチャートである。図６は、実施形態に係る撮像画像の一例を示す図である。なお、以下のステップ（手順）は、画像処理プログラムによって、コンピュータに実行させるものであってよい。
（１）まず、データ取得部３２１により、図６に一例として示すような、屋根１１０の撮像画像を取得する（撮像画像取得ステップＳ１）。なお、図６に示す撮像画像は、実際には、左下に孔があり、中央下に錆がある屋根を撮像した画像の例である。
（２）メッシュ処理部３２２により、撮像画像を複数の分割画像に分割する（メッシュ処理ステップＳ２）。この際、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。
（３）メッシュ処理ステップＳ２で得られた複数の分割画像に基づき、分割画像分類部３２３（図３参照）により、複数の分割画像のそれぞれに対して分割画像ラベルを出力する（分割画像分類ステップＳ３）。すなわち、一の分割画像を一の分割画像ラベルに対応付けるステップを、分割画像の数だけ繰り返す。
（４）メッシュ処理ステップＳ２と並行して、特徴画像抽出部３２４により、撮像画像から局所的特徴を有する特徴画像を抽出する（特徴画像抽出ステップＳ４）。
（５）特徴画像抽出ステップＳ４で抽出された特徴画像に基づき、特徴画像分類部３２５（図３参照）により、特徴画像のそれぞれに対して特徴画像ラベルを出力する（特徴画像分類ステップＳ５）。すなわち、一の特徴画像を一の特徴画像ラベルに対応付けるステップを、特徴画像の数だけ繰り返す。
（６）分割画像分類ステップＳ３で出力された分割画像ラベルと、特徴画像分類ステップＳ５で出力された特徴画像ラベルとに基づき、ラベル補正部３２６により、特徴画像と重なる分割画像に対応する分割画像ラベルを補正して補正ラベルとして出力する（ラベル補正ステップＳ６）。
ここで、ラベル補正ステップＳ６について、図７及び図８を用いて更に説明する。図７は、実施形態に係る複数の分割画像に分割された撮像画像の一部を抜き出した概念図である。図８は、実施形態に係る劣化評価画像の例を示す図である。
図７において、例えば、ａ列の１３行目にある画像を分割画像ａ１３と表す。図７に示すように、撮像画像の一部（ａ１１～ｆ１６）には、分割画像ａ１３、ｂ１３、ｂ１４に亘って実際には孔があっても、分割画像分類ステップＳ３において分割画像ａ１１からｆ１６までに対応する分割画像ラベルは、全て「影」であったとする。すなわち、分割画像ａ１３、ｂ１３、ｂ１４について出力された分割画像ラベルは、それぞれ、非異常ラベルである、「影」、「影」、「影」であったとする。一方、特徴画像分類ステップＳ５において特徴画像ＳＰ１、ＳＰ２、ＳＰ３について出力された特徴画像ラベルは、それぞれ、異常ラベルである、「孔」、「孔」、「孔」であったとする（図７の上図参照）。この場合、ラベル補正ステップＳ６では、特徴画像ＳＰ１、ＳＰ２、ＳＰ３と重なる分割画像ａ１２～ａ１５及びｂ１２～ｂ１５に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力する。ここでは、ラベル補正部３２６は、ラベル補正ステップＳ６において、異常ラベルである特徴画像ラベルを非異常ラベルである分割画像ラベルより優先的に選択して、分割画像ａ１２～ａ１５及びｂ１２～ｂ１５に対応する分割画像ラベルを、全て「孔」として、補正ラベルとして出力する（図７の下図参照）。
（７）異常位置（領域）を特定する（異常位置特定ステップＳ７）。
具体的には、図８に示すように、撮像画像（図６参照）に重ねるようにして、例えば、「孔」、「締結具」、「錆度合い低」、「錆度合い中」又は「錆度合い高」の異常ラベル又は補正ラベルが付された分割画像の領域（「孔」：Ｂ９、Ｂ１０、「締結具」：Ｊ４、Ｍ４、Ｐ４、Ｃ５、Ｄ５、Ｆ５、Ｇ５、Ｉ５、Ｊ５、Ｍ５、Ｐ５、Ｆ７、Ｍ７、Ｅ１０、Ｆ１０、Ｍ１０、「錆度合い低」：Ｈ９、「錆度合い中」：Ｈ１０、Ｉ９、Ｉ１０、「錆度合い高」：Ｉ１１、Ｊ１１）を、ラベルの種類に応じて色分け、文字列等（図８においてはハッチング）の区別可能な方法で表示した劣化評価画像を、ディスプレイに表示する。
（８）劣化評価を出力する（評価ステップＳ８）。劣化評価の基準は、適宜設定可能である。例えば、撮像画像の屋根の面積に占める、異常位置に該当する分割画像（異常ラベル又は補正ラベルが付された分割画像の領域）の面積の合計の割合を算出し、所定の閾値を超える場合に、不良であると評価し、ディスプレイに表示する。なお、この劣化評価は、前述の劣化評価画像に付加してもよい。
劣化評価の出力は、前述の劣化評価画像（図８参照）とは異なる評価分布画像Ｇ（図９参照）としてよい。この場合、劣化評価は、撮像画像から推定する構造物（屋根等）の全域の画像を複数の区画領域Ｄに区画し、区画領域Ｄごとに、分割画像ラベル又は補正ラベルに基づく評価度合いを表示する評価分布画像Ｇである。なお、撮像画像から構造物（屋根等）の全域の画像は、上空から直接的に撮像した画像であってよく、その構造物の設計図面、撮像画像から抽出したボルト又はねじ等の締結具の配置間隔、撮像装置２１０の向き、撮像倍率等から間接的に推定した画像であってもよい。なお、撮像画像から構造物（屋根等）の全域の画像は、構造物の境界（例えば、構造物が屋根の場合、屋根の縁）又は地表のサイン（例えば、道路の白線等）を画像処理によって抽出した結果から推定した画像であってもよい。
図９は、実施形態に係る評価分布画像Ｇの例を示す図である。
図９に示すように、評価分布画像Ｇは、分割画像ラベル（異常ラベルを含む）又は補正ラベルが付された分割画像の領域Ｃを、ラベルの種類に応じて区別可能な方法で表示した劣化評価画像（図８参照）とは異なり、撮像画像における屋根の全域（又は屋根の縁を除いた略全域）を、例えば、一辺が構造物の柱間に相当する１０ｍである正方形のような、所望の大きさの区画領域Ｄで、複数に区画している。区画領域Ｄは、分割画像の領域Ｃ（例えば、一辺が１２５ｍｍの正方形）より大きい。なお、メッシュ状に配置された複数の分割画像の領域Ｃは、評価分布画像Ｇの全域にあるが、図９では、複数の区画領域Ｄのうちの一つである区画領域Ｄ１において、メッシュ状に配置された複数の分割画像の領域Ｃのうちの一部が代表して表されている。さらに、図９は、複数の区画領域Ｄのうちの一つである区画領域Ｄ１において、ラベルの種類が「錆度合い高」となる領域Ｃを比較的中程度の濃度のハッチングとし、ラベルの種類が「孔」となる領域Ｃを比較的高い濃度のハッチングとして表している。
そして、評価分布画像Ｇは、各区画領域Ｄに対して、評価度合いＲ（％、ランク等）に応じて色分け、文字列等（図９においては、評価度合いＲの高い順に４段階でランク付けられた、I、II、III、IVの文字列）の区別可能な方法で表示するものである。
詳細には、まず、面積Ａを有する区画領域Ｄにおいて、例えば、「孔」又は「錆度合い高」等の、同じ異常ラベル又は補正ラベルが付された面積Ｂを有する分割画像の領域Ｃの数ｎから、同じ異常ラベル又は補正ラベルが付された総面積ΣＢ（＝ｎＢ）を求め、総面積ΣＢを区画領域Ｄの面積Ａで除した値を、区画領域Ｄにおける評価度合いＲとする。すなわち、Ｒ＝ΣＢ／Ａとする。そして、図９に示すように、評価度合いＲに応じた色分け、文字列等を、区画領域Ｄに対応させて表示する。
例えば、７５％≦Ｒの場合、文字列「I」を、５０％≦Ｒ＜７５％の場合、文字列「II」を、２５％≦Ｒ＜５０％の場合、文字列「III」を、０％≦Ｒ＜２５％の場合、文字列「IV」を、それぞれの区画領域Ｄごとに対応させて表示する。
例えば、図９において、左下隅にある区画領域Ｄ１において、同じ「孔」又は「錆度合い高」の異常ラベルが付された１２５ｍｍ四方の正方形の面積Ｂを有する分割画像の領域Ｃの数ｎが５１２０であり、区画領域Ｄ１が１０ｍ四方の正方形の面積Ａを有する場合、評価度合いＲ１は、８０％であるので、文字列「I」を区画領域Ｄ１に対応させて表示する。
そして、図９に示すような評価分布画像Ｇをみれば、区画領域Ｄ１における評価度合いＲ１が、ランク「I」であることがわかるので、管理者は、評価度合いＲが著しく高い、ランク「I」に属する箇所が、屋根の全域における特定の区画領域Ｄ１であること、及び、全１２区画のうちの１区画であることを確認できる。
なお、区画領域Ｄごとに表示する評価度合いＲは、上述のような、異常ラベルが付された分割画像の領域Ｃの面積の割合に限らず、区画領域Ｄにおいて、異常ラベルが付された分割画像がどのように分布しているかを、分散又は集中という観点から評価するような、平均最近隣距離法、Ｋ－関数法等によって算出された指標であってもよい。
なお、評価分布画像Ｇ（図９参照）は、適宜、前述の撮像画像（図６参照）又は前述の劣化評価画像（図８参照）と重ねるようにして、ディスプレイに表示されてよい。
このように、評価分布画像Ｇを表示することで、評価対象が構造物の屋根等の面積の広いものであっても、構造物の管理者は、複数に区画された区画領域Ｄごとの評価度合いＲを把握できる。よって、評価対象の全域における評価度合いＲの位置関係及び評価対象の全域における評価度合いＲの分布を簡単に把握できる。
次に、図５及び図６を用いて、画像処理装置を用いた画像処理方法を説明する。
図５は、実施形態に係る画像処理方法を示すフローチャートである。図６は、実施形態に係る撮像画像の一例を示す図である。なお、以下のステップ（手順）は、画像処理プログラムによって、コンピュータに実行させるものであってよい。
（１）まず、データ取得部３２１により、図６に一例として示すような、屋根１１０の撮像画像を取得する（撮像画像取得ステップＳ１）。なお、図６に示す撮像画像は、実際には、左下に孔があり、中央下に錆がある屋根を撮像した画像の例である。
（２）メッシュ処理部３２２により、撮像画像を複数の分割画像に分割する（メッシュ処理ステップＳ２）。この際、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。
（３）メッシュ処理ステップＳ２で得られた複数の分割画像に基づき、分割画像分類部３２３（図３参照）により、複数の分割画像のそれぞれに対して分割画像ラベルを出力する（分割画像分類ステップＳ３）。すなわち、一の分割画像を一の分割画像ラベルに対応付けるステップを、分割画像の数だけ繰り返す。
（４）メッシュ処理ステップＳ２と並行して、特徴画像抽出部３２４により、撮像画像から局所的特徴を有する特徴画像を抽出する（特徴画像抽出ステップＳ４）。
（５）特徴画像抽出ステップＳ４で抽出された特徴画像に基づき、特徴画像分類部３２５（図３参照）により、特徴画像のそれぞれに対して特徴画像ラベルを出力する（特徴画像分類ステップＳ５）。すなわち、一の特徴画像を一の特徴画像ラベルに対応付けるステップを、特徴画像の数だけ繰り返す。
（６）分割画像分類ステップＳ３で出力された分割画像ラベルと、特徴画像分類ステップＳ５で出力された特徴画像ラベルとに基づき、ラベル補正部３２６により、特徴画像と重なる分割画像に対応する分割画像ラベルを補正して補正ラベルとして出力する（ラベル補正ステップＳ６）。
ここで、ラベル補正ステップＳ６について、図７及び図８を用いて更に説明する。図７は、実施形態に係る複数の分割画像に分割された撮像画像の一部を抜き出した概念図である。図８は、実施形態に係る劣化評価画像の例を示す図である。
図７において、例えば、ａ列の１３行目にある画像を分割画像ａ１３と表す。図７に示すように、撮像画像の一部（ａ１１～ｆ１６）には、分割画像ａ１３、ｂ１３、ｂ１４に亘って実際には孔があっても、分割画像分類ステップＳ３において分割画像ａ１１からｆ１６までに対応する分割画像ラベルは、全て「影」であったとする。すなわち、分割画像ａ１３、ｂ１３、ｂ１４について出力された分割画像ラベルは、それぞれ、非異常ラベルである、「影」、「影」、「影」であったとする。一方、特徴画像分類ステップＳ５において特徴画像ＳＰ１、ＳＰ２、ＳＰ３について出力された特徴画像ラベルは、それぞれ、異常ラベルである、「孔」、「孔」、「孔」であったとする（図７の上図参照）。この場合、ラベル補正ステップＳ６では、特徴画像ＳＰ１、ＳＰ２、ＳＰ３と重なる分割画像ａ１２～ａ１５及びｂ１２～ｂ１５に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力する。ここでは、ラベル補正部３２６は、ラベル補正ステップＳ６において、異常ラベルである特徴画像ラベルを非異常ラベルである分割画像ラベルより優先的に選択して、分割画像ａ１２～ａ１５及びｂ１２～ｂ１５に対応する分割画像ラベルを、全て「孔」として、補正ラベルとして出力する（図７の下図参照）。
（７）異常位置（領域）を特定する（異常位置特定ステップＳ７）。
具体的には、図８に示すように、撮像画像（図６参照）に重ねるようにして、例えば、「孔」、「締結具」、「錆度合い低」、「錆度合い中」又は「錆度合い高」の異常ラベル又は補正ラベルが付された分割画像の領域（「孔」：Ｂ９、Ｂ１０、「締結具」：Ｊ４、Ｍ４、Ｐ４、Ｃ５、Ｄ５、Ｆ５、Ｇ５、Ｉ５、Ｊ５、Ｍ５、Ｐ５、Ｆ７、Ｍ７、Ｅ１０、Ｆ１０、Ｍ１０、「錆度合い低」：Ｈ９、「錆度合い中」：Ｈ１０、Ｉ９、Ｉ１０、「錆度合い高」：Ｉ１１、Ｊ１１）を、ラベルの種類に応じて色分け、文字列等（図８においてはハッチング）の区別可能な方法で表示した劣化評価画像を、ディスプレイに表示する。
（８）劣化評価を出力する（評価ステップＳ８）。劣化評価の基準は、適宜設定可能である。例えば、撮像画像の屋根の面積に占める、異常位置に該当する分割画像（異常ラベル又は補正ラベルが付された分割画像の領域）の面積の合計の割合を算出し、所定の閾値を超える場合に、不良であると評価し、ディスプレイに表示する。なお、この劣化評価は、前述の劣化評価画像に付加してもよい。
劣化評価の出力は、前述の劣化評価画像（図８参照）とは異なる評価分布画像Ｇ（図９参照）としてよい。この場合、劣化評価は、撮像画像から推定する構造物（屋根等）の全域の画像を複数の区画領域Ｄに区画し、区画領域Ｄごとに、分割画像ラベル又は補正ラベルに基づく評価度合いを表示する評価分布画像Ｇである。なお、撮像画像から構造物（屋根等）の全域の画像は、上空から直接的に撮像した画像であってよく、その構造物の設計図面、撮像画像から抽出したボルト又はねじ等の締結具の配置間隔、撮像装置２１０の向き、撮像倍率等から間接的に推定した画像であってもよい。なお、撮像画像から構造物（屋根等）の全域の画像は、構造物の境界（例えば、構造物が屋根の場合、屋根の縁）又は地表のサイン（例えば、道路の白線等）を画像処理によって抽出した結果から推定した画像であってもよい。
図９は、実施形態に係る評価分布画像Ｇの例を示す図である。
図９に示すように、評価分布画像Ｇは、分割画像ラベル（異常ラベルを含む）又は補正ラベルが付された分割画像の領域Ｃを、ラベルの種類に応じて区別可能な方法で表示した劣化評価画像（図８参照）とは異なり、撮像画像における屋根の全域（又は屋根の縁を除いた略全域）を、例えば、一辺が構造物の柱間に相当する１０ｍである正方形のような、所望の大きさの区画領域Ｄで、複数に区画している。区画領域Ｄは、分割画像の領域Ｃ（例えば、一辺が１２５ｍｍの正方形）より大きい。なお、メッシュ状に配置された複数の分割画像の領域Ｃは、評価分布画像Ｇの全域にあるが、図９では、複数の区画領域Ｄのうちの一つである区画領域Ｄ１において、メッシュ状に配置された複数の分割画像の領域Ｃのうちの一部が代表して表されている。さらに、図９は、複数の区画領域Ｄのうちの一つである区画領域Ｄ１において、ラベルの種類が「錆度合い高」となる領域Ｃを比較的中程度の濃度のハッチングとし、ラベルの種類が「孔」となる領域Ｃを比較的高い濃度のハッチングとして表している。
そして、評価分布画像Ｇは、各区画領域Ｄに対して、評価度合いＲ（％、ランク等）に応じて色分け、文字列等（図９においては、評価度合いＲの高い順に４段階でランク付けられた、I、II、III、IVの文字列）の区別可能な方法で表示するものである。
詳細には、まず、面積Ａを有する区画領域Ｄにおいて、例えば、「孔」又は「錆度合い高」等の、同じ異常ラベル又は補正ラベルが付された面積Ｂを有する分割画像の領域Ｃの数ｎから、同じ異常ラベル又は補正ラベルが付された総面積ΣＢ（＝ｎＢ）を求め、総面積ΣＢを区画領域Ｄの面積Ａで除した値を、区画領域Ｄにおける評価度合いＲとする。すなわち、Ｒ＝ΣＢ／Ａとする。そして、図９に示すように、評価度合いＲに応じた色分け、文字列等を、区画領域Ｄに対応させて表示する。
例えば、７５％≦Ｒの場合、文字列「I」を、５０％≦Ｒ＜７５％の場合、文字列「II」を、２５％≦Ｒ＜５０％の場合、文字列「III」を、０％≦Ｒ＜２５％の場合、文字列「IV」を、それぞれの区画領域Ｄごとに対応させて表示する。
例えば、図９において、左下隅にある区画領域Ｄ１において、同じ「孔」又は「錆度合い高」の異常ラベルが付された１２５ｍｍ四方の正方形の面積Ｂを有する分割画像の領域Ｃの数ｎが５１２０であり、区画領域Ｄ１が１０ｍ四方の正方形の面積Ａを有する場合、評価度合いＲ１は、８０％であるので、文字列「I」を区画領域Ｄ１に対応させて表示する。
そして、図９に示すような評価分布画像Ｇをみれば、区画領域Ｄ１における評価度合いＲ１が、ランク「I」であることがわかるので、管理者は、評価度合いＲが著しく高い、ランク「I」に属する箇所が、屋根の全域における特定の区画領域Ｄ１であること、及び、全１２区画のうちの１区画であることを確認できる。
なお、区画領域Ｄごとに表示する評価度合いＲは、上述のような、異常ラベルが付された分割画像の領域Ｃの面積の割合に限らず、区画領域Ｄにおいて、異常ラベルが付された分割画像がどのように分布しているかを、分散又は集中という観点から評価するような、平均最近隣距離法、Ｋ－関数法等によって算出された指標であってもよい。
なお、評価分布画像Ｇ（図９参照）は、適宜、前述の撮像画像（図６参照）又は前述の劣化評価画像（図８参照）と重ねるようにして、ディスプレイに表示されてよい。
このように、評価分布画像Ｇを表示することで、評価対象が構造物の屋根等の面積の広いものであっても、構造物の管理者は、複数に区画された区画領域Ｄごとの評価度合いＲを把握できる。よって、評価対象の全域における評価度合いＲの位置関係及び評価対象の全域における評価度合いＲの分布を簡単に把握できる。
【0033】
《作用・効果》
このように、本実施形態によれば、画像処理装置は、特徴画像と重なる分割画像に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部を備える。これにより、実施形態に係る画像処理装置は、データ量の大きい撮像画像ではなくその撮像画像の分割画像を分類するので、一回の分類に関わる計算量を低減できるとともに、分類の精度を向上させられる。また、実施形態に係る画像処理装置は、分割画像ラベルと特徴画像ラベルのいずれか一方だけの分類に依らず、両方から分類できる。これにより、撮像画像の位置ごとに精度の高い分類ができ、信頼性の高い構造物の劣化評価ができる。そして、分割画像分類部による分類と特徴画像分類部による分類とを総合することで、劣化の種類とその位置（領域）とを精度良く認識できる。
また、実施形態に係る画像処理装置の特徴画像抽出部は、分割画像から局所的特徴を有する複数の特徴画像を抽出してもよい。これにより、撮像画像から局所的特徴を有する複数の特徴画像を抽出することに比べて、より精度良く異常箇所を特定し、分類できる。 また、実施形態に係る画像処理装置の分割画像ラベル及び特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでもよい。これにより、構造物に特有の異常箇所を特定し、異常及び非異常を分類できる。
また、実施形態に係る画像処理装置において、分割画像ラベル及び特徴画像ラベルは、異常の度合いに応じた複数のラベルを含んでもよい。これにより、構造物に特有の、例えば、屋根材の錆による異常箇所を特定し、錆の度合いに応じて分類できる。
また、実施形態に係る画像処理装置の分割画像分類部又は特徴画像分類部は、画像を入力することでラベルを出力する学習済みモデルを有してもよい。これにより、より精度良く異常箇所を特定し、分類できる。
また、実施形態に係る分割画像ラベル及び特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と誤分類ラベルとのデータセットを、学習済みモデルに学習させてもよい。これにより、非異常であるのに異常であると誤分類される画像に対して、誤ったラベルが付されることを抑止できるので、より精度良く異常を分類できる。
また、実施形態に係る画像処理装置において、ラベル補正部は、特徴画像ラベルを優先して選択して補正ラベルとして出力する。これにより、分割画像ラベルに比べて、特徴点近傍における異常の分類について信頼性の高い特徴画像ラベルを優先するので、より精度よく異常を分類できる。
また、実施形態に係る画像処理装置のメッシュ処理部は、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。これにより、構造物の屋根に特有の、屋根材を固定するボルト又はねじ等の締結具を確実に特定でき、孔等他の異常箇所と誤分類することを低減できる。
また、実施形態に係る画像処理装置は、分割画像ラベル及び補正ラベルに基づいて構造物の劣化評価を出力する出力部を備える。これにより、分割画像ラベル又は特徴画像ラベルのいずれか一方のラベルによる分類に基づく劣化評価に比べて、精度良く構造物の劣化評価ができるとともに、その劣化評価を確認できる。
このように、本実施形態によれば、画像処理装置は、特徴画像と重なる分割画像に対応する分割画像ラベルを、分割画像ラベルと特徴画像ラベルとに基づいて補正して補正ラベルとして出力するラベル補正部を備える。これにより、実施形態に係る画像処理装置は、データ量の大きい撮像画像ではなくその撮像画像の分割画像を分類するので、一回の分類に関わる計算量を低減できるとともに、分類の精度を向上させられる。また、実施形態に係る画像処理装置は、分割画像ラベルと特徴画像ラベルのいずれか一方だけの分類に依らず、両方から分類できる。これにより、撮像画像の位置ごとに精度の高い分類ができ、信頼性の高い構造物の劣化評価ができる。そして、分割画像分類部による分類と特徴画像分類部による分類とを総合することで、劣化の種類とその位置（領域）とを精度良く認識できる。
また、実施形態に係る画像処理装置の特徴画像抽出部は、分割画像から局所的特徴を有する複数の特徴画像を抽出してもよい。これにより、撮像画像から局所的特徴を有する複数の特徴画像を抽出することに比べて、より精度良く異常箇所を特定し、分類できる。 また、実施形態に係る画像処理装置の分割画像ラベル及び特徴画像ラベルは、異常を示す異常ラベルと、非異常を示す非異常ラベルと、を含んでもよい。これにより、構造物に特有の異常箇所を特定し、異常及び非異常を分類できる。
また、実施形態に係る画像処理装置において、分割画像ラベル及び特徴画像ラベルは、異常の度合いに応じた複数のラベルを含んでもよい。これにより、構造物に特有の、例えば、屋根材の錆による異常箇所を特定し、錆の度合いに応じて分類できる。
また、実施形態に係る画像処理装置の分割画像分類部又は特徴画像分類部は、画像を入力することでラベルを出力する学習済みモデルを有してもよい。これにより、より精度良く異常箇所を特定し、分類できる。
また、実施形態に係る分割画像ラベル及び特徴画像ラベルは、異常であると誤分類される誤分類ラベルを含み、誤分類される画像と誤分類ラベルとのデータセットを、学習済みモデルに学習させてもよい。これにより、非異常であるのに異常であると誤分類される画像に対して、誤ったラベルが付されることを抑止できるので、より精度良く異常を分類できる。
また、実施形態に係る画像処理装置において、ラベル補正部は、特徴画像ラベルを優先して選択して補正ラベルとして出力する。これにより、分割画像ラベルに比べて、特徴点近傍における異常の分類について信頼性の高い特徴画像ラベルを優先するので、より精度よく異常を分類できる。
また、実施形態に係る画像処理装置のメッシュ処理部は、撮像画像に写る締結具の配置間隔に基づく面積の分割画像に分割してもよい。これにより、構造物の屋根に特有の、屋根材を固定するボルト又はねじ等の締結具を確実に特定でき、孔等他の異常箇所と誤分類することを低減できる。
また、実施形態に係る画像処理装置は、分割画像ラベル及び補正ラベルに基づいて構造物の劣化評価を出力する出力部を備える。これにより、分割画像ラベル又は特徴画像ラベルのいずれか一方のラベルによる分類に基づく劣化評価に比べて、精度良く構造物の劣化評価ができるとともに、その劣化評価を確認できる。
【0034】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上記実施形態に係る画像処理方法は、構造物の屋根が写る撮像画像を対象としたが、これに限らず、構造物の壁であってよい。
また、例えば、上記実施形態に係る画像処理方法は、構造物が写る撮像画像を対象としたが、これに限らず、道路のアスファルト等の舗装であってよい。対象が道路のアスファルト等の舗装が写る撮像画像である場合、ラベルは、「孔」、「補修箇所」、「わだち」、「影」、「その他」等であってよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上記実施形態に係る画像処理方法は、構造物の屋根が写る撮像画像を対象としたが、これに限らず、構造物の壁であってよい。
また、例えば、上記実施形態に係る画像処理方法は、構造物が写る撮像画像を対象としたが、これに限らず、道路のアスファルト等の舗装であってよい。対象が道路のアスファルト等の舗装が写る撮像画像である場合、ラベルは、「孔」、「補修箇所」、「わだち」、「影」、「その他」等であってよい。
【符号の説明】
【0035】
３０ ニューラルネットワーク
３１ 入力層
３２ 中間層
３３ 出力層
１００ 構造物
１１０ 屋根
２００ 飛翔体
２１０ 撮像装置
３００ 画像処理装置
３２０ プロセッサ
３２１ データ取得部
３２２ メッシュ処理部
３２３ 分割画像分類部
３２４ 特徴画像抽出部
３２５ 特徴画像分類部
３２６ ラベル補正部
３２７ 出力制御部
３２８ 学習部
３３０ メインメモリ
３４０ インタフェース
３５０ 出力装置
３６０ ストレージ
Ａ 区画領域の面積
Ｂ 分割画像の領域の面積
Ｃ 分割画像の領域
Ｄ 区画領域
Ｇ 評価分布画像
Ｒ 評価度合い
３１ 入力層
３２ 中間層
３３ 出力層
１００ 構造物
１１０ 屋根
２００ 飛翔体
２１０ 撮像装置
３００ 画像処理装置
３２０ プロセッサ
３２１ データ取得部
３２２ メッシュ処理部
３２３ 分割画像分類部
３２４ 特徴画像抽出部
３２５ 特徴画像分類部
３２６ ラベル補正部
３２７ 出力制御部
３２８ 学習部
３３０ メインメモリ
３４０ インタフェース
３５０ 出力装置
３６０ ストレージ
Ａ 区画領域の面積
Ｂ 分割画像の領域の面積
Ｃ 分割画像の領域
Ｄ 区画領域
Ｇ 評価分布画像
Ｒ 評価度合い
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】