(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187567
(43)【公開日】2022-12-20
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221213BHJP
【ＦＩ】
G06T7/00 610B
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021095611
(22)【出願日】2021-06-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】清水 智之
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096DA01
5L096EA13
5L096EA14
5L096EA35
5L096FA17
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】画像処理技術による保守、点検作業と利用者による確認、修正作業とを効率的に両立できる。
【解決手段】画像から部材や構造物の劣化、損傷を判定するシステムにおいて、判定対象の損傷度の判定結果と、当該損傷度判定に関する既知の事前情報とを比較して、利用者が判定結果を確認する必要があるか否かを判定する。利用者による確認が必要であると判定した場合は、当該比較内容に関する情報を、利用者に確認作業の補助情報として提示する。
【選択図】図２
【解決手段】画像から部材や構造物の劣化、損傷を判定するシステムにおいて、判定対象の損傷度の判定結果と、当該損傷度判定に関する既知の事前情報とを比較して、利用者が判定結果を確認する必要があるか否かを判定する。利用者による確認が必要であると判定した場合は、当該比較内容に関する情報を、利用者に確認作業の補助情報として提示する。
【選択図】図２
【特許請求の範囲】
【請求項1】
判定対象の画像を取得する画像取得手段と、
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定手段と、
前記判定対象または前記損傷度判定手段による判定に関する事前情報を取得する事前情報取得手段と、
前記損傷度判定手段による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定手段と、
前記結果判定手段により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成手段と、
を有することを特徴とする情報処理装置。
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定手段と、
前記判定対象または前記損傷度判定手段による判定に関する事前情報を取得する事前情報取得手段と、
前記損傷度判定手段による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定手段と、
前記結果判定手段により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記損傷度判定手段は、複数の損傷度の尤度を前記判定結果として出力し、
前記事前情報取得手段は、前記損傷度判定手段による判定に関する事前情報として、前記複数の損傷度の中の２つの損傷度の尤度差の閾値を示す情報を取得し、
前記２つの損傷度の何れかが最も高い尤度であり、かつ前記２つの損傷度の尤度差を比較して、該尤度差が前記閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
前記事前情報取得手段は、前記損傷度判定手段による判定に関する事前情報として、前記複数の損傷度の中の２つの損傷度の尤度差の閾値を示す情報を取得し、
前記２つの損傷度の何れかが最も高い尤度であり、かつ前記２つの損傷度の尤度差を比較して、該尤度差が前記閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記損傷度判定手段は、複数の損傷度の尤度を前記判定結果として出力し、
前記事前情報取得手段は、前記損傷度判定手段による判定に関する事前情報として、前記複数の損傷度の境界のうち、予め定められた境界、および、前記予め定められた境界に隣接する２つの損傷度の尤度差の閾値を示す情報を取得し、
前記２つの損傷度の何れかが最も高い尤度であり、かつ前記２つの損傷度の尤度差を比較して、該尤度差が前記閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
前記事前情報取得手段は、前記損傷度判定手段による判定に関する事前情報として、前記複数の損傷度の境界のうち、予め定められた境界、および、前記予め定められた境界に隣接する２つの損傷度の尤度差の閾値を示す情報を取得し、
前記２つの損傷度の何れかが最も高い尤度であり、かつ前記２つの損傷度の尤度差を比較して、該尤度差が前記閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記出力生成手段は、前記境界に隣接する２つの損傷度とその尤度とを示す情報を生成して出力することを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記出力生成手段は、前記判定結果が曖昧である旨のメッセージを提示するための情報を生成して出力することを特徴とする請求項２～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記事前情報取得手段は、前記判定対象に関する事前情報として、前記判定対象の損傷度の過去の判定結果に関する情報を取得し、
前記損傷度判定手段による今回の判定結果と前記過去の判定結果とを比較して、経年変化に不整合がある場合に、前記結果判定手段は、利用者による今回の判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
前記損傷度判定手段による今回の判定結果と前記過去の判定結果とを比較して、経年変化に不整合がある場合に、前記結果判定手段は、利用者による今回の判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
【請求項7】
前記事前情報は、前記過去の判定結果が得られた後の前記判定対象に対する補修の有無に関する情報をさらに含み、
前記今回の判定結果と前記過去の判定結果とを比較して、さらに前記補修の有無を含めて経年変化に不整合がある場合に、前記結果判定手段は、利用者による今回の判定結果の確認が必要であると判定することを特徴とする請求項６に記載の情報処理装置。
前記今回の判定結果と前記過去の判定結果とを比較して、さらに前記補修の有無を含めて経年変化に不整合がある場合に、前記結果判定手段は、利用者による今回の判定結果の確認が必要であると判定することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記判定対象に対する補修がされていない、かつ、今回の判定結果が過去の判定結果より改善している場合に、前記結果判定手段は、利用者による今回の判定結果の確認が必要であると判定することを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記出力生成手段は、過去の判定結果と今回の判定結果とを対比させた情報を生成して出力することを特徴とする請求項６～８のいずれか１項に記載の情報処理装置。
【請求項10】
前記事前情報取得手段は、前記判定対象に関する事前情報として、前記画像取得手段により取得した判定対象の画像に、前記判定対象が存在することを示す情報を取得し、
前記判定対象が存在することを示す情報が取得され、前記損傷度判定手段により判定結果が得られなかった場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
前記判定対象が存在することを示す情報が取得され、前記損傷度判定手段により判定結果が得られなかった場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
【請求項11】
前記出力生成手段は、最も大きな損傷度を初期値として示す情報を出力することを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
前記事前情報取得手段は、前記判定対象に関する事前情報として、前記判定対象において検出された変状部分に係る変状情報を取得し、
前記損傷度判定手段は、前記変状情報と前記判定対象の画像とに基づいて、前記判定対象の損傷度を判定し、
前記事前情報と前記判定結果とを比較して、前記判定対象に変状があり、かつ、前記判定対象の損傷度が閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
前記損傷度判定手段は、前記変状情報と前記判定対象の画像とに基づいて、前記判定対象の損傷度を判定し、
前記事前情報と前記判定結果とを比較して、前記判定対象に変状があり、かつ、前記判定対象の損傷度が閾値以下である場合に、前記結果判定手段は、利用者による前記判定結果の確認が必要であると判定することを特徴とする請求項１に記載の情報処理装置。
【請求項13】
前記出力生成手段は、前記変状情報と前記判定結果とを合わせて示す情報を生成して出力することを特徴とする請求項１２に記載の情報処理装置。
【請求項14】
前記出力生成手段は、前記変状情報と前記判定結果とを重畳表示するための情報を生成して出力することを特徴とする請求項１２に記載の情報処理装置。
【請求項15】
前記判定対象は壁面であることを特徴とする請求項１２～１４のいずれか１項に記載の情報処理装置。
【請求項16】
前記画像取得手段は、複数の判定対象の画像を取得して、
前記損傷度判定手段は、前記複数の判定対象の画像から前記複数の判定対象それぞれの損傷度を判定し、
前記結果判定手段は、前記複数の判定対象それぞれについて、利用者による前記判定結果の確認が必要であるか否かを判定し、
前記出力生成手段は、前記結果判定手段により利用者による確認が必要であると判定された判定結果を優先して提示する補助情報を出力すること特徴とする請求項１～１５のいずれか１項に記載の情報処理装置。
前記損傷度判定手段は、前記複数の判定対象の画像から前記複数の判定対象それぞれの損傷度を判定し、
前記結果判定手段は、前記複数の判定対象それぞれについて、利用者による前記判定結果の確認が必要であるか否かを判定し、
前記出力生成手段は、前記結果判定手段により利用者による確認が必要であると判定された判定結果を優先して提示する補助情報を出力すること特徴とする請求項１～１５のいずれか１項に記載の情報処理装置。
【請求項17】
前記画像取得手段は、複数の判定対象の画像を取得して、
前記損傷度判定手段は、前記複数の判定対象の画像から前記複数の判定対象それぞれの損傷度を判定し、
前記結果判定手段は、前記複数の判定対象それぞれについて、利用者による前記判定結果の確認が必要であるか否かを判定し、
前記出力生成手段は、前記結果判定手段により利用者による確認が必要であると判定された判定結果を強調して提示する補助情報を出力すること特徴とする請求項１～１５のいずれか１項に記載の情報処理装置。
前記損傷度判定手段は、前記複数の判定対象の画像から前記複数の判定対象それぞれの損傷度を判定し、
前記結果判定手段は、前記複数の判定対象それぞれについて、利用者による前記判定結果の確認が必要であるか否かを判定し、
前記出力生成手段は、前記結果判定手段により利用者による確認が必要であると判定された判定結果を強調して提示する補助情報を出力すること特徴とする請求項１～１５のいずれか１項に記載の情報処理装置。
【請求項18】
判定対象の画像を取得する画像取得工程と、
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定工程と、
前記判定対象または前記損傷度判定工程による判定に関する事前情報を取得する事前情報取得工程と、
前記損傷度判定工程による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定工程と、
前記結果判定工程により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成工程と、
を有することを特徴とする情報処理方法。
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定工程と、
前記判定対象または前記損傷度判定工程による判定に関する事前情報を取得する事前情報取得工程と、
前記損傷度判定工程による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定工程と、
前記結果判定工程により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成工程と、
を有することを特徴とする情報処理方法。
【請求項19】
判定対象の画像を取得する画像取得工程と、
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定工程と、
前記判定対象または前記損傷度判定工程による判定に関する事前情報を取得する事前情報取得工程と、
前記損傷度判定工程による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定工程と、
前記結果判定工程により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成工程と、
をコンピュータに実行させるためのプログラム。
前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定工程と、
前記判定対象または前記損傷度判定工程による判定に関する事前情報を取得する事前情報取得工程と、
前記損傷度判定工程による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定工程と、
前記結果判定工程により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、トンネルや橋梁といった社会インフラの老朽化が進んでおり、保守、点検作業の負荷が増大している。従来の保守、点検作業は、トンネルや橋梁などの現場に点検作業員が赴き、現場を目視で確認しながら、専門的な知識と照らして行っていた。近年は、点検対象の数に対して、専門的な知識を有し、点検を行うことができる作業員の数が大きく不足しており、それが保守、点検作業の負荷の増大の一因として挙げられる。
【0003】
一方で、大量の正解画像データを利用して多層のＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、ＣＮＮと呼ぶ）のパラメータを学習（最適化）することにより、高精度に画像中の物体の種類や状態を判定する画像処理技術がある。十分に学習を進めることで、人を超えるような判定精度が出ることも知られており、画像を利用した様々な分野で広く普及しつつある。社会インフラの保守、点検作業においても、このような画像処理技術を適用する試みが進んできている。すなわち、橋梁やトンネルといった構造物の外観を撮影しておき、撮影した画像に対して前述したような画像処理を適用することによって、外観のひび割れや漏水などの変状箇所を検知したり、損傷の度合いを判定したりすることが考えられている。特許文献１には、変状箇所を検知する技術が開示されている。
現場の作業員は画像を撮影できれば従来ほどの特別なスキルは必要無く、また、その判定処理を画像処理によって自動化できることから、うまく運用できれば、社会インフラの保守、点検作業を効率的に行うことができる。
現場の作業員は画像を撮影できれば従来ほどの特別なスキルは必要無く、また、その判定処理を画像処理によって自動化できることから、うまく運用できれば、社会インフラの保守、点検作業を効率的に行うことができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－２００５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、社会インフラ点検においては、構成部材や設置環境、使用目的等によって構造物の劣化、損傷の仕方が多様であることから、前述したような画像処理技術を適用するにあたって重要な、網羅的な正解データを大量に用意することが難しい。学習データからの乖離が大きい画像に対しては、正しい結果を出力することはできないため、その結果、誤った判定をすることもあり、自動判定結果を、利用者が確認、修正する作業が必要になることが多い。
【0006】
また、計算機の性能は日々向上しており、多くの画像を処理することができるようになったが、これに伴い、前述したように利用者による確認、修正作業も増加することになる。そのため、確認、修正作業の増加がボトルネックとなって、社会インフラの保守、点検に画像処理技術を利用する場合のスループットが十分に向上しない可能性がある。
【0007】
本発明は前述の問題点に鑑み、画像処理技術による保守、点検作業と利用者による確認、修正作業とを効率的に両立できるようにすることを目的としている。
【課題を解決するための手段】
【0008】
本発明に係る情報処理装置は、判定対象の画像を取得する画像取得手段と、前記判定対象の画像から前記判定対象の損傷度を判定する損傷度判定手段と、前記判定対象または前記損傷度判定手段による判定に関する事前情報を取得する事前情報取得手段と、前記損傷度判定手段による判定結果と前記事前情報とを比較し、利用者による前記判定結果の確認が必要であるか否かを判定する結果判定手段と、前記結果判定手段により利用者による確認が必要であると判定された場合に、前記比較した情報に基づいて、利用者による確認を補助するための補助情報を生成して出力する出力生成手段と、を有することを特徴とする。
【発明の効果】
【0009】
本発明によれば、画像処理技術による保守、点検作業と利用者による確認、修正作業とを効率的に両立することができる。
【図面の簡単な説明】
【0010】
【図1】情報処理装置のハードウェア構成例を示すブロック図である。
【図2】情報処理装置の機能構成例を示すブロック図である。
【図3】情報処理装置の処理手順の一例を示すフローチャートである。
【図4】損傷度の判定結果および重要クラス境界の概要を説明するための図である。
【図5】補助情報を提示する例を示す図である。
【図6】補助情報を提示する例を示す図である。
【図7】補助情報を提示する例を示す図である。
【図8】不整合があったパッチを提示する例を示す図である。
【図9】損傷度の初期値を提示する例を示す図である。
【図10】過去の判定対象と今回の判定対象とを比較する表示例を示す図である。
【図11】判定対象を含むように撮影した画像例を示す図である。
【図12】判定対象を位置と大きさをそろえて切り出した画像例を示す図である。
【図13】第３の実施形態における情報処理装置の機能構成例を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照し、本発明を実施するための形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
（第１の実施形態）
本実施形態に係る情報処理装置のハードウェア構成について、図１のブロック図を参照して説明する。本実施形態に係る情報処理装置は単一のコンピュータ装置で実現しているが、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで接続されている。
（第１の実施形態）
本実施形態に係る情報処理装置のハードウェア構成について、図１のブロック図を参照して説明する。本実施形態に係る情報処理装置は単一のコンピュータ装置で実現しているが、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで接続されている。
【0012】
図１において、情報処理装置１００は単一のコンピュータ装置で実現されており、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、入力デバイスインタフェース１０５と、出力デバイスインタフェース１０６と、通信インタフェース１０７と、システムバス１０８と、を有している。
ＣＰＵ１０１は、情報処理装置１００全体を制御する。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶する。
ＣＰＵ１０１は、情報処理装置１００全体を制御する。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶する。
【0013】
外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置１００から着脱可能なＣＤなどの光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む記憶装置である。
入力デバイスインタフェース１０５は、利用者の操作を受けてデータを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインタフェースである。出力デバイスインタフェース１０６は、情報処理装置１００の保持するデータや供給されたデータやプログラムの実行結果を出力するためのモニタなどの出力デバイス１１０とのインタフェースである。通信インタフェース１０７は、ＷＡＮやＬＡＮといったネットワーク１１１に接続するための通信インタフェースである。システムバス１０８は、情報処理装置１００の各構成要素を通信可能に接続する。
入力デバイスインタフェース１０５は、利用者の操作を受けてデータを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインタフェースである。出力デバイスインタフェース１０６は、情報処理装置１００の保持するデータや供給されたデータやプログラムの実行結果を出力するためのモニタなどの出力デバイス１１０とのインタフェースである。通信インタフェース１０７は、ＷＡＮやＬＡＮといったネットワーク１１１に接続するための通信インタフェースである。システムバス１０８は、情報処理装置１００の各構成要素を通信可能に接続する。
【0014】
次に、本実施形態に係る情報処理装置の機能構成について，図２のブロック図を参照して説明する。情報処理装置１００は、画像取得部２０１と、損傷度判定部２０２と、事前情報取得部２０３と、結果判定部２０４と、出力生成部２０５と、を有する。
ここで、図１１および図１２を用いて、本実施形態における損害度の判定対象（以下、単に判定対象とも称する）について説明する。本実施形態では、損傷度の判定対象が、点検対象の橋梁やトンネルなどにおけるボルトである場合を例として説明する。橋梁やトンネルなどでは、通常多くのボルトが使用されており、図１１は、その一部を撮影した画像例である。現場の作業員は、点検対象の橋梁やトンネルのボルトを網羅するように、少しずつ撮影範囲をずらしながら、全体を撮影するものとする。そのため、図１１のような画像が多数撮影されることとなる。
ここで、図１１および図１２を用いて、本実施形態における損害度の判定対象（以下、単に判定対象とも称する）について説明する。本実施形態では、損傷度の判定対象が、点検対象の橋梁やトンネルなどにおけるボルトである場合を例として説明する。橋梁やトンネルなどでは、通常多くのボルトが使用されており、図１１は、その一部を撮影した画像例である。現場の作業員は、点検対象の橋梁やトンネルのボルトを網羅するように、少しずつ撮影範囲をずらしながら、全体を撮影するものとする。そのため、図１１のような画像が多数撮影されることとなる。
【0015】
本実施形態では、こうして得た図１１のような画像から、さらに個々の判定対象のボルトをあらかじめ切り出した画像を作成しておく。図１２は、図１１の画像中のボルト１１０１を切り出した画像の例である。図１２のように判定対象のボルトが概ね中心となるようにしたうえで、おおよその大きさをそろえて切り出す。一般的には、図１２のように位置および大きさが正規化された入力画像を利用することによって、画像処理による判定精度が向上することが知られている。そこで、本実施形態でもあらかじめ切り出しを行っておき、当該画像を、損傷度判定の対象画像（以下、判定画像とも称する）として、外部記憶装置１０４に逐次保存、管理しておく。
【0016】
このように、多数の判定画像が外部記憶装置１０４に保存、管理された状態を前提として、図２に記載した機能構成において、判定対象それぞれの損傷度判定を行うものとする。
次に、各機能部について説明する。
画像取得部２０１は、外部記憶装置１０４から、判定画像を取得する。本実施形態では、前述した通り、損傷度の判定対象はボルトなどの部材であり、当該判定対象があらかじめ切り出された画像を取得する。ただし、これに限るものではなく、図１１のように複数の部材が写った画像を取得し、後述する損傷度判定部２０２がボルト１１０１などの各部材を検出して切り出す処理を内部的に行って、部材毎の損傷度を判定するような処理を行う構成であっても構わない。その場合は、ここで取得する画像は、事前に切り出された画像である必要はない。
次に、各機能部について説明する。
画像取得部２０１は、外部記憶装置１０４から、判定画像を取得する。本実施形態では、前述した通り、損傷度の判定対象はボルトなどの部材であり、当該判定対象があらかじめ切り出された画像を取得する。ただし、これに限るものではなく、図１１のように複数の部材が写った画像を取得し、後述する損傷度判定部２０２がボルト１１０１などの各部材を検出して切り出す処理を内部的に行って、部材毎の損傷度を判定するような処理を行う構成であっても構わない。その場合は、ここで取得する画像は、事前に切り出された画像である必要はない。
【0017】
損傷度判定部２０２は、画像取得部２０１が取得した判定画像に対して損傷度の判定を実施し、損傷度の判定結果（以下、単に判定結果とも称する）を出力する。損傷度の判定は、例えば、正解の損傷度を付与された大量の学習用画像データを用意して、多層のニューラルネットワークで構成したモデルを利用した多クラス分類器をあらかじめ学習しておくことで行えばよい。なお、多層のニューラルネットワークのモデルとしては、ＶＧＧやＲｅｓＮｅｔなどのＣＮＮを多層化した既知のネットワークを利用すればよい。ただし、ＣＮＮに限定するものではなく、画像を入力として、後述する結果判定部２０４で利用する損傷度の判定結果を出力できれば、特に限定するものではない。
【0018】
また、本実施形態では、損傷度をＡ～Ｃの３つのクラスに分類するものとする。Ａが最も損傷度が大きく、Ｃが最も損傷度が小さいものとする。上記のようなＣＮＮモデルの学習時には、各クラスの尤度分布を出力するように出力層を学習する方法が知られている。損失関数としてｃｒｏｓｓ－ｅｎｔｒｏｐｙ ｌｏｓｓを利用するこの方法は、ＣＮＮを利用した多クラス分類として一般的な方法であり、本実施形態でも当該方法に倣った構成を取るものとする。
【0019】
事前情報取得部２０３は、損傷度の判定対象または判定結果に関する既知の事前情報を取得する。本実施形態では、損傷度判定部２０２において多クラス判別した際に重要となるクラス境界がどこであるかの情報、および当該クラス境界に関する尤度差の閾値情報（以下、両者を合わせて重要クラス境界情報と称する）を事前情報とする。後述するが、当該閾値情報は、当該重要クラス境界の２クラス間に閾値以上の差があるか否かを判定するために使用する。損傷度のように順序があるクラスでは、隣接するクラス間で判断が難しい例については尤度差が小さくなりがちである。当該隣接クラスのいずれが正解かが曖昧であると言え、利用者による確認の必要性が高くなる。
【0020】
なお、重要クラス境界情報は、利用者の損傷度の判定結果の利用目的などによって都度変わりうる。例えば、保守、点検の再調査を実施するか否かのクラス境界、閾値であったり、報告書への記載義務があるか否かのクラス境界、閾値であったり、というように、利用目的毎に変わりうるため、逐次利用目的に応じて設定されうるものとする。なお、事前情報は、ＲＯＭ１０２やＲＡＭ１０３、外部記憶装置１０４などの記憶装置に事前に保存されていてもよいし、利用時に利用者が入力デバイス１０９を用いて入力し、入力デバイスインタフェース１０５を介して逐次取得してもよい。
【0021】
結果判定部２０４は、損傷度判定部２０２における損傷度の判定結果と、事前情報取得部２０３が取得した事前情報とを比較して、利用者による判定結果の確認が必要であるか否かを判定する。本実施形態では、結果判定部２０４は、事前情報として取得した重要クラス境界情報と損傷度の判定結果とを比較する。そして、結果判定部２０４は、判定結果が重要クラス境界に隣接する２クラスのいずれかであって、かつ、当該２クラスの尤度差が閾値以下である場合に、利用者による判定結果の確認が必要であると判定する。
【0022】
図４の例を用いて、結果判定部２０４の判定処理について具体的に説明する。図４は、損傷度判定部２０２の出力例を示した図である。先に述べた通り、本実施形態では損傷度判定部２０２は、Ａ～Ｃの３クラスの尤度で損傷度を出力する。また、本実施形態では、重要クラス境界は境界４０１であり、クラスＡおよびクラスＢは当該境界に隣接する。閾値として設定された尤度差は０．２とする。
図４（ａ）の例では、重要クラス境界の一端であるクラスＡの尤度は０．９で最高尤度であるため、クラスＡが損傷度の判定結果となる。重要クラス境界のもう一端のクラスＢの尤度は０．０８であることから、クラスＡとクラスＢとの尤度差は０．８２となり、当該尤度差は閾値である尤度差０．２よりも大きいため、結果判定部２０４は、利用者による判定結果の確認が必要でないと判定する。
図４（ａ）の例では、重要クラス境界の一端であるクラスＡの尤度は０．９で最高尤度であるため、クラスＡが損傷度の判定結果となる。重要クラス境界のもう一端のクラスＢの尤度は０．０８であることから、クラスＡとクラスＢとの尤度差は０．８２となり、当該尤度差は閾値である尤度差０．２よりも大きいため、結果判定部２０４は、利用者による判定結果の確認が必要でないと判定する。
【0023】
これに対し、図４（ｃ）の例では、クラスＡの尤度が０．５で最大尤度であるため、クラスＡが損傷度の判定結果となる。クラスＢの尤度は０．４であることから、クラスＡとクラスＢとの尤度差が０．１となり、当該尤度差は閾値である尤度差０．２よりも小さいため、結果判定部２０４は、利用者による判定結果の確認が必要であると判定する。
一方で、図４（ｂ）の例では、クラスＢの尤度が０．５で最大尤度であるため、クラスＢが損傷度の判定結果となる。ここで、クラスＢとクラスＣとの尤度差は０．１しかないが、クラスＣは重要クラス境界に隣接するクラスではないため、結果判定部２０４は、利用者による判定結果の確認が必要でないと判定する。図４（ｂ）の場合、実際にはクラスＣが正しい判定結果であったとしても、重要クラス境界に隣接するクラスではないため、利用者にとっての影響は少ないものとみなす。
一方で、図４（ｂ）の例では、クラスＢの尤度が０．５で最大尤度であるため、クラスＢが損傷度の判定結果となる。ここで、クラスＢとクラスＣとの尤度差は０．１しかないが、クラスＣは重要クラス境界に隣接するクラスではないため、結果判定部２０４は、利用者による判定結果の確認が必要でないと判定する。図４（ｂ）の場合、実際にはクラスＣが正しい判定結果であったとしても、重要クラス境界に隣接するクラスではないため、利用者にとっての影響は少ないものとみなす。
【0024】
出力生成部２０５は、結果判定部２０４の判定結果に従い、利用者による判定結果の確認、修正作業を支援する補助的な情報（以下、補助情報とも称する）を生成して、補助情報を利用者に提示する。ここで、補助情報とは、損傷度の判定結果と事前情報とを比較した内容に関する情報であり、本実施形態においては、例えば、図４（ｃ）のような、重要クラス境界の尤度差がわかる情報である。
【0025】
ここで、図５および図６を用いて、補助情報の提示方法の一例について説明する。
図５は、損傷度の判定結果の一覧表である。損傷度５０１および損傷度５０２は、それぞれ図４（ａ）および図４（ｂ）に示す判定結果に対応する損傷度であり、損傷度５０３は、図４（ｃ）に示す判定結果に対応する損傷度である。出力生成部２０５は、図５に示すような一覧表を出力デバイス１１０に表示することによって、利用者に補助情報を提示することができる。
図５は、損傷度の判定結果の一覧表である。損傷度５０１および損傷度５０２は、それぞれ図４（ａ）および図４（ｂ）に示す判定結果に対応する損傷度であり、損傷度５０３は、図４（ｃ）に示す判定結果に対応する損傷度である。出力生成部２０５は、図５に示すような一覧表を出力デバイス１１０に表示することによって、利用者に補助情報を提示することができる。
【0026】
すなわち、結果判定部２０４が、利用者による判定結果の確認が必要でないと判定した場合は、損傷度５０１や損傷度５０２のように、損傷度の判定結果をそのまま提示する。これに対し、本実施形態において、重要クラス境界での尤度差が閾値以下であり、結果判定部２０４が、利用者による確認が必要と判定した場合は、損傷度５０３のように、当該重要クラス境界に隣接する２クラスの尤度を提示する。損傷度５０３に示した情報が、補助情報である。
これにより、利用者は、損傷度５０３に示したような表示のある損傷度の判定対象について、他方のクラスが正解である可能性を考慮にいれた上で、判定結果の確認作業を進めることができる。
これにより、利用者は、損傷度５０３に示したような表示のある損傷度の判定対象について、他方のクラスが正解である可能性を考慮にいれた上で、判定結果の確認作業を進めることができる。
【0027】
なお、図５に示すように、前述した図１２に相当する、損傷度判定部２０２が用いた判定画像を合わせて提示することにより、利用者が判定対象を見て、判定結果を確認できるようにしてもよい。このようにすることで、利用者は、多数の判定対象の判定結果を効率的に確認することができる。また、確認作業の効率をより上げるためには、利用者が多数の判定結果の中から注目できるように、利用者による確認が必要な判定結果については強調表示をしてもよい。例えば、通常の判定結果を黒色、確認が必要な判定結果は赤色にするなど、異なる色で表示する、太字や大きな文字を利用する、図やアニメーションで目立たせるなどの方法で、判定結果を強調表示することができる。
また、図５のような一覧表において、利用者による確認が必要と判定された判定結果を優先して、上から順に表示するようにしてもよい。
また、図５のような一覧表において、利用者による確認が必要と判定された判定結果を優先して、上から順に表示するようにしてもよい。
【0028】
なお、図５は判定結果の一覧表を示したが、より精緻に利用者が判定対象の画像を見るなどしないと判定結果の確認が困難な場合もある。そこで、例えば、図６に示すような個々の判定結果の詳細を出力デバイス１１０に表示し、利用者に補助情報を提示するようにしてもよい。
判定結果の詳細画面６０１において、画像６０２は、判定対象の切り出し画像である。ペイン６０３には、判定対象の補助情報として、損傷度の各クラスの尤度を表示するとともに、修正のためのチェックボックスを合わせて表示している。画像６０４は、判定対象の周辺を含む画像であり、判定対象は破線枠で囲まれている。このようにすることで、利用者は判定対象の周辺の状況を見ながら、判定結果の確認、修正を実施することができる。
判定結果の詳細画面６０１において、画像６０２は、判定対象の切り出し画像である。ペイン６０３には、判定対象の補助情報として、損傷度の各クラスの尤度を表示するとともに、修正のためのチェックボックスを合わせて表示している。画像６０４は、判定対象の周辺を含む画像であり、判定対象は破線枠で囲まれている。このようにすることで、利用者は判定対象の周辺の状況を見ながら、判定結果の確認、修正を実施することができる。
【0029】
利用者による確認を実施した場合に、損傷度の判定結果が正しくないと当該利用者が判断した場合には、損傷度の判定結果を修正する必要がある。その場合に、ペイン６０３に示すように、利用者が修正内容を選択できるような仕組みを持たせることで、確認、修正作業全体の負荷を下げることができる。特に、図４（ｃ）で示したように、損傷度の判定結果の重要クラス境界で尤度差が少ない場合は、利用者により、損傷度が他のクラス、例えば図５、図６ではクラスＢに修正される可能性がある。そのため、これらを選択肢の候補として提示するようにすれば、修正が必要な場合の作業を支援することができる。このように、結果判定部２０４が比較する内容によって、確認や修正作業を効率化しうる情報であれば、いずれを補助情報として提示してもよい。
【0030】
また、確認が必要と判定された損傷度の判定結果を優先して提示するようにしてもよい。例えば、図６に示すような個々の判定対象の損傷度の判定結果は、結果判定部２０４で利用者による確認が必要と判定結果から順に表示するようにする。そして、利用者が前に送るボタン６０５や次へ送るボタン６０６を選択することによって、画像６０２、ペイン６０３、および画像６０４の表示が切り替わり、別の判定結果について確認、修正できる。なお、図６に示すような個々の判定結果は、例えば、図５の一覧表において利用者が確認、修正したい判定結果を選択することによって表示されるようにしてもよい。
前述した説明は、補助情報の提示方法を限定するものではなく、前述したような損傷度の判定結果と事前情報との比較内容を補助情報として利用者に提示する方法の一例として示したものである。概念的にこれらの表示内容を含むような表示であれば、いずれの表示であっても構わない。
前述した説明は、補助情報の提示方法を限定するものではなく、前述したような損傷度の判定結果と事前情報との比較内容を補助情報として利用者に提示する方法の一例として示したものである。概念的にこれらの表示内容を含むような表示であれば、いずれの表示であっても構わない。
【0031】
次に、本実施形態に係る情報処理装置における処理の手順について、図３のフローチャートを参照して説明する。なお、前述した通り、本実施形態では損傷度の判定対象を切り出した画像は多数あるが、本フローはそのうちの一つの画像に対して損傷度判定を行う場合のフローである。損傷度判定の対象画像の数分、図３に示したフローを繰り返すことで得た結果を統合して、図５や図６に示したような最終的な表示を行うものとする。
まず、ステップＳ３０１において、画像取得部２０１は、外部記憶装置１０４から損傷度判定の対象画像を取得する。本実施形態では、前述した通り、損傷度の判定対象はボルトなどの部材であり、画像取得部２０１は、当該判定対象が切り出された画像を取得するする。
まず、ステップＳ３０１において、画像取得部２０１は、外部記憶装置１０４から損傷度判定の対象画像を取得する。本実施形態では、前述した通り、損傷度の判定対象はボルトなどの部材であり、画像取得部２０１は、当該判定対象が切り出された画像を取得するする。
【0032】
ステップＳ３０２において、損傷度判定部２０２は、ステップＳ３０１で取得した判定画像を入力として、判定対象の損傷度を判定し、判定結果を出力する。なお、本実施形態では、前述した通り、損傷度判定部２０２は、判定対象が損傷度を表すＡ～Ｃの３つのクラスのいずれに属するかの尤度を判定し、当該尤度を損傷度の判定結果として出力するように学習済みであるものとする。
ステップＳ３０３において、事前情報取得部２０３は、判定対象の損傷度判定に関する既知の事前情報を取得する。本実施形態では、前述した通り、重要クラス境界情報を取得する。ここでは、先に示した例と同様に、クラスＡとクラスＢの間が重要クラス境界であり、尤度差の閾値は０．２とする。
ステップＳ３０３において、事前情報取得部２０３は、判定対象の損傷度判定に関する既知の事前情報を取得する。本実施形態では、前述した通り、重要クラス境界情報を取得する。ここでは、先に示した例と同様に、クラスＡとクラスＢの間が重要クラス境界であり、尤度差の閾値は０．２とする。
【0033】
ステップＳ３０４において、結果判定部２０４は、ステップＳ３０２およびステップＳ３０３で得た、損傷度の判定結果と事前情報とを入力として、両者の比較によって損傷度の判定結果の確認が必要か否かを判定する。本実施形態では、前述した通り、損傷度判定部２０２の出力が図４（ｃ）のような場合に、重要クラス境界の一端であるクラスＡの尤度が０．５で最大尤度であり、当該重要クラス境界で隣接するもう一方のクラスであるクラスＢの尤度が０．４である。結果判定部２０４は、クラスＡとクラスＢとの尤度差が０．１であり、重要クラス境界情報として取得した尤度差の閾値である０．２よりも小さいことから、利用者による損傷度の判定結果の確認が必要であると判定する。
【0034】
ステップＳ３０５において、結果判定部２０４は、利用者による損傷度の判定結果の確認が必要とであると判定した場合には、処理をステップＳ３０６に進める。一方、結果判定部２０４は、確認が必要でないと判定した場合は、本フローの処理を終えて、損傷度の判定結果を出力し、前述した通り、残りの画像について、本フローの処理を繰り返す。
ステップＳ３０６において、出力生成部２０５は、ステップＳ３０４で比較した内容を取得し、利用者の確認作業を支援する補助情報として出力する。本実施形態では、前述したように、例えば図５の損傷度５０３のように、利用者が損傷度の判定結果を確認する画面上などで、重要クラス境界での出力尤度などの情報を表示する。
ステップＳ３０６において、出力生成部２０５は、ステップＳ３０４で比較した内容を取得し、利用者の確認作業を支援する補助情報として出力する。本実施形態では、前述したように、例えば図５の損傷度５０３のように、利用者が損傷度の判定結果を確認する画面上などで、重要クラス境界での出力尤度などの情報を表示する。
【0035】
以上のように情報処理装置は、損傷度の判定結果と事前情報として取得した重要クラス境界情報とを比較し、重要クラス境界において閾値以下の尤度差である場合は、利用者による確認の必要があると判定し、尤度などの情報を補助情報として利用者に提示する。これにより、重要クラス境界での損傷度の判定ミスによる、利用目的に対する深刻な問題を回避しやすくなるという効果が期待できる。
【0036】
（第２の実施形態）
以降の実施形態では、第１の実施形態と重複する部分の説明は省略し、第１の実施形態と異なる部分についてのみ説明する。また、以降の実施形態に係る情報処理装置のハードウェア構成は、第１の実施形態に係る情報処理装置のハードウェア構成と同様である。
第１の実施形態では、事前情報取得部２０３は、事前情報として、重要クラス境界情報を取得するようにした。これに対して本実施形態では、例えば、判定対象毎の損傷度の判定情報を外部記憶装置１０４に保存、管理するようにする。そして、図３のステップＳ３０３において、事前情報取得部２０３は、事前情報として、同一の判定対象の過去の損傷度の判定情報を取得する。ここで、過去の損害度の判定情報とは、例えば、過去の判定における損傷度を表すクラス、損害度の判定を実施した日時などの情報である。なお、過去に複数回、損害度の判定を行っている場合は、現在から最も近い時点に行った損害度の判定情報のみを事前情報として、取得することとしてもよい。
この時、ステップＳ３０４、Ｓ３０５において、結果判定部２０４は、今回の損傷度の判定結果と当該事前情報とを比較し、下記に示すような経年変化の不整合がある場合に確認の必要があると判定する。例えば、結果判定部２０４は、補修等を行っていないのに今回の損傷度のクラスが過去の損傷度の判定結果よりも改善しているような場合に、不整合ありとして利用者による判定結果の確認の必要ありと判定するなどしてもよい。
以降の実施形態では、第１の実施形態と重複する部分の説明は省略し、第１の実施形態と異なる部分についてのみ説明する。また、以降の実施形態に係る情報処理装置のハードウェア構成は、第１の実施形態に係る情報処理装置のハードウェア構成と同様である。
第１の実施形態では、事前情報取得部２０３は、事前情報として、重要クラス境界情報を取得するようにした。これに対して本実施形態では、例えば、判定対象毎の損傷度の判定情報を外部記憶装置１０４に保存、管理するようにする。そして、図３のステップＳ３０３において、事前情報取得部２０３は、事前情報として、同一の判定対象の過去の損傷度の判定情報を取得する。ここで、過去の損害度の判定情報とは、例えば、過去の判定における損傷度を表すクラス、損害度の判定を実施した日時などの情報である。なお、過去に複数回、損害度の判定を行っている場合は、現在から最も近い時点に行った損害度の判定情報のみを事前情報として、取得することとしてもよい。
この時、ステップＳ３０４、Ｓ３０５において、結果判定部２０４は、今回の損傷度の判定結果と当該事前情報とを比較し、下記に示すような経年変化の不整合がある場合に確認の必要があると判定する。例えば、結果判定部２０４は、補修等を行っていないのに今回の損傷度のクラスが過去の損傷度の判定結果よりも改善しているような場合に、不整合ありとして利用者による判定結果の確認の必要ありと判定するなどしてもよい。
【0037】
なお、順序関係のある損傷度クラスのような場合、隣接クラスへ変動することは起こり得るため、一定のクラス以上離れたクラスまで改善しているような場合に不整合ありとするようにしてもよい。
また、補修による改善の可能性もあるので、損傷度の判定対象の判定結果を保存、管理する際に、補修の実施有無を合わせて管理しておくようにし、事前情報として取得する際に、当該補修の実施有無も合わせて取得するようにしてもよい。この時、結果判定部２０４は、事前情報との比較時に、補修を実施した記録がないにも関わらず、損傷度のクラスが改善している場合に不整合ありとするようにしてもよい。このようにすることで、利用者が確認する対象を限定することができるため、さらに利用者の作業効率の改善が見込める。
また、補修による改善の可能性もあるので、損傷度の判定対象の判定結果を保存、管理する際に、補修の実施有無を合わせて管理しておくようにし、事前情報として取得する際に、当該補修の実施有無も合わせて取得するようにしてもよい。この時、結果判定部２０４は、事前情報との比較時に、補修を実施した記録がないにも関わらず、損傷度のクラスが改善している場合に不整合ありとするようにしてもよい。このようにすることで、利用者が確認する対象を限定することができるため、さらに利用者の作業効率の改善が見込める。
【0038】
なお、過去の損傷度の判定結果との不整合であれば、上記の不整合に限定するものではない。例えば、一般的な損傷度の悪化の進み具合とその期間とを、あらかじめ結果判定部２０４に設定しておく。結果判定部２０４は、損傷度のクラスの変化と経過時間とが、当該設定された期間よりも短期間に悪化が進んでいるような場合などに、通常の劣化、損傷のプロセスに対して整合性が取れていないとして、利用者による確認が必要であると判定してもよい。
【0039】
このように、損傷度の判定結果と事前情報とを比較して前述のような不整合がある場合は、ステップＳ３０６において、出力生成部２０５は、当該比較に利用した、過去の損傷度判定時の情報を補助情報として提示する。例えば、第１の実施形態において前述した図５のような一覧であれば、図７のような出力をすればよい。すなわち、損傷度７０１には、今回の損傷度の判定結果のクラス「Ｃ」に加えて、過去の損傷度判定の日時である「２０２０．０９．３０」および過去の判定結果のクラス「Ａ」を提示している。これにより、利用者は、過去の判定結果と今回の判定結果とを対比し、過去の損傷度判定時よりも今回の損傷度判定のクラスが自然に改善していること、つまり、損傷度のクラス「Ａ」が「Ｃ」になっていることを効率的に知ることができる。
【0040】
なお、出力の仕方については、図５のような一覧表示に限定するものではなく、先に述べた図６のような個別の表示をしてもよい。あるいは、不整合内容が過去の損傷度の判定結果との不整合であるので、当該過去の判定時に利用した判定画像が取得できるのであれば、図１０に示すような比較表示をしてもよい。一般的に点検作業において経年の変化は重要であるため、通常は過去の損傷度の判定結果の一部として、判定に利用した画像は当該結果と合わせて保存、管理されている。このため、当該保存、管理されている画像を取得するようにすればよい。図１０（ａ）のペイン１００１は、今回の損傷度判定の対象画像および判定結果を表示しており、ペイン１００２は、過去の同じ判定対象の損傷度判定時の画像、当該判定結果、当該判定の実施日、補修有無などを表示している。
【0041】
なお、ペイン１００１では今回の損傷度の判定結果としてクラス「Ｃ」を提示しているが、当該判定結果は誤っている可能性があり、利用者が修正することが考えられる。図１０（ｂ）は、損傷度の判定結果を修正するためのプルダウンリスト１００３を備えている様子を示している。このプルダウンリスト１００３は、損傷度の判定結果候補を利用者に提示し、利用者が選択することによって簡易に損傷度を修正できるようにしている。この時、プルダウンリストの損傷度の判定結果候補は、利用者が選択する可能性が高い損傷度のクラスを、最も上位の位置に表示して、利用者が容易に選択できるようにしてもよい。例えば本実施形態では、補修等を行っていないのに時間経過により改善したという結果の不整合を確認、修正させるための補助情報を提示していることから、少なくとも前回判定時のクラスをプルダウンリストの最上位として提示している。図１０（ｂ）のプルダウンリスト１００３は、前回の損傷度のクラス「Ａ」が、プルダウンリストの最上位に表示されている様子を示している。
【0042】
（第３の実施形態）
第１の実施形態では、損傷度の判定対象の部材であるボルトが写った画像を、人の操作によってあらかじめ切り出した画像が、外部記憶装置１０４に保存、管理されている例について説明した。この場合は、当該画像中には必ず損傷度の判定対象の部材が写っていると言える。そこで本実施形態では、事前情報取得部２０３は、判定対象が画像に必ず存在しているという情報（以下、存在情報と称する）を事前情報として取得する。
画像中に損傷度の判定対象が必ず存在すると言えるような場合は他にも考えられ、例えば、部材を現地で撮影してくる撮影者が、部材が中心に来るように必ず撮影する、といった画像取得時の作業の制約がある場合なども判定対象が必ず存在すると言える。事前に人の操作によって判定対象の画像を切り出す場合や、作業の制約がある場合などは、事前に存在情報がわかるため、本実施形態において取得する画像には、あらかじめ存在情報を関連付けて外部記憶装置１０４で保存、管理する。これにより、事前情報取得部２０３は、図３のステップＳ３０３において、当該存在情報を事前情報として取得できる。
第１の実施形態では、損傷度の判定対象の部材であるボルトが写った画像を、人の操作によってあらかじめ切り出した画像が、外部記憶装置１０４に保存、管理されている例について説明した。この場合は、当該画像中には必ず損傷度の判定対象の部材が写っていると言える。そこで本実施形態では、事前情報取得部２０３は、判定対象が画像に必ず存在しているという情報（以下、存在情報と称する）を事前情報として取得する。
画像中に損傷度の判定対象が必ず存在すると言えるような場合は他にも考えられ、例えば、部材を現地で撮影してくる撮影者が、部材が中心に来るように必ず撮影する、といった画像取得時の作業の制約がある場合なども判定対象が必ず存在すると言える。事前に人の操作によって判定対象の画像を切り出す場合や、作業の制約がある場合などは、事前に存在情報がわかるため、本実施形態において取得する画像には、あらかじめ存在情報を関連付けて外部記憶装置１０４で保存、管理する。これにより、事前情報取得部２０３は、図３のステップＳ３０３において、当該存在情報を事前情報として取得できる。
【0043】
本実施形態においては、結果判定部２０４が事前情報として存在情報を取得したが、損傷度判定部２０２から判定対象の損傷度の判定結果が得られない場合がある。このような場合は、判定対象が存在しているにも関わらず判定結果が得られないという不整合が生じる。そこで、ステップＳ３０４において、結果判定部２０４は、このような不整合が生じた場合に利用者による判定結果の確認が必要と判定する。
【0044】
なお、前述した第１の実施形態で説明した損傷度判定部２０２は、判定対象の損傷度が何らかのクラスに属するものとして判定結果を出力する。本実施形態では、図１３に示すように、損傷度判定部２０２は、入力された画像から判定対象が含まれる位置等を特定する検出部１３０１をさらに含むものとする。そして、損傷度判定部２０２は、検出部１３０１が判定画像から判定対象を検出できなかった場合に、損傷度の判定結果が得られなかったものとする。なお、検出部１３０１も、損傷度判定部２０２と同様に、前述したようなＣＮＮを利用したものが一般的に良く知られており（Ｆａｓｔｅｒ Ｒ－ＣＮＮやＳＳＤやＹＯＬＯなど）、当該一般的な検出器であればよい。
この時、前述した通り、インフラなどの構造物の損傷は、部材の種類や環境によっては、学習時に想定できないような劣化や損傷が生じる場合がある。このような場合に、検出部１３０１では検出に失敗し、損傷度の判定結果が得られないことになる。
この時、前述した通り、インフラなどの構造物の損傷は、部材の種類や環境によっては、学習時に想定できないような劣化や損傷が生じる場合がある。このような場合に、検出部１３０１では検出に失敗し、損傷度の判定結果が得られないことになる。
【0045】
ステップＳ３０６において、出力生成部２０５は、判定対象が存在するはずの判定画像を入力したにも関わらず、損傷度の判定結果が得られなかったことを、補助情報として出力する。多数の損傷度の判定結果から利用者が確認する対象を見つけやすいように強調表示をするなどして他と区別した表示を行う点では、第１の実施形態の説明で前述した図５の例と同等でよい。一方で、本実施形態では損傷度の判定結果が得られておらず確定していないため、利用者が確認していずれかのクラスを入力する必要がある。よって、例えば図９（ａ）のプルダウンリスト９０１のように、利用者が入力可能な表示をする。なお、判定対象があるはずなのに検出できないほどの画像であったことから、判定対象が想定外の状態である可能性があるため、初期値として最も高い損傷度を提示するようにしてもよい。図９（ａ）では最も損傷度の大きいクラスＡがあらかじめ提示されている。なお、図９（ｂ）に示すように、プルダウンリスト９０１を展開した場合に、損傷度の高い順に並べて表示するようにしてもよい。
【0046】
以上のように、利用者による確認対象の損傷度の判定結果の数が多い場合は、確認して損傷度を修正するといった作業も利用者にとっては負荷の高いものになるため、初期値を提示することによって、利用者の負荷軽減をさらに増進するという効果が期待できる。
【0047】
（第４の実施形態）
第３の実施形態では、人の操作により事前に切り出した画像を損傷度判定の対象画像とすることによって、事前情報として存在情報を取得する例を述べた。これに対して本実施形態では、例えば、点検対象の構造物の図面に対応付けた画像から、図面に記載された部材部分に相当する画像範囲を切り出して判定画像にすることにより、当該画像には、判定対象が写っているはず、という存在情報が事前情報として得られる。これ以降の処理は、第３の実施形態と同様に実施することができる。
なお、図面と画像との対応付け方法は、特に限定するものではなく、事前に人の操作によって行っておいてもよいし、ランドマークとなるような識別可能な部位を含むように撮影して対応付けるようにしてもよい。あるいは、撮影位置座標とカメラ向きなどから対応付けを行うなどしてもよい。
第３の実施形態では、人の操作により事前に切り出した画像を損傷度判定の対象画像とすることによって、事前情報として存在情報を取得する例を述べた。これに対して本実施形態では、例えば、点検対象の構造物の図面に対応付けた画像から、図面に記載された部材部分に相当する画像範囲を切り出して判定画像にすることにより、当該画像には、判定対象が写っているはず、という存在情報が事前情報として得られる。これ以降の処理は、第３の実施形態と同様に実施することができる。
なお、図面と画像との対応付け方法は、特に限定するものではなく、事前に人の操作によって行っておいてもよいし、ランドマークとなるような識別可能な部位を含むように撮影して対応付けるようにしてもよい。あるいは、撮影位置座標とカメラ向きなどから対応付けを行うなどしてもよい。
【0048】
（第５の実施形態）
第１の実施形態では、損傷度の判定対象の部材としてボルトの損傷度を判定する例について記載したが、判定対象はボルトのようなパーツに限らない。例えば、損傷度判定部２０２は、コンクリート壁面の損傷度を判定するようにしてもよい。本実施形態では、図３のフローチャートおよび図８を参照して、コンクリート壁面の損傷度の判定をする例について説明する。
第１の実施形態では、損傷度の判定対象の部材としてボルトの損傷度を判定する例について記載したが、判定対象はボルトのようなパーツに限らない。例えば、損傷度判定部２０２は、コンクリート壁面の損傷度を判定するようにしてもよい。本実施形態では、図３のフローチャートおよび図８を参照して、コンクリート壁面の損傷度の判定をする例について説明する。
【0049】
図８（ａ）の画像８０１は、コンクリート壁面全体を表す画像であり、損傷度判定が可能なサイズに画像８０１を分割する分割線が表示されている。以降、分割した画像をパッチ画像と称する。図８（ａ）の例では、縦４×横６の画像に分割したパッチ画像が得られる。本実施形態では、当該壁面のパッチ画像の中から、ひび割れや漏水などによる変状部分が予め検出されている。なお、変状部分の検出は図３の処理を開始する前に予め行われるものとし、検出処理は情報処理装置１００が行ってもよく、他の装置により行われてもよい。変状部分の検出結果（以下、変状情報）は外部記憶装置１０４に保存、管理するようにする。
【0050】
ステップＳ３０１では、画像取得部２０１は、判定対象としてパッチ画像を外部記憶装置１０４から取得するとともに、変状情報を取得する。そして、ステップＳ３０２において、損傷度判定部２０２は、当該変状情報をもとに壁面の損傷度を判定する。図８（ａ）では、変状８０２が検出されたひび割れ変状であり、当該検出された変状情報をステップＳ３０３において、事前情報取得部２０３が別途事前情報として取得するようにする。そして、ステップＳ３０４において、結果判定部２０４は、損傷度の判定結果と、変状情報とを取得して、比較する。
【0051】
本実施形態では、ステップＳ３０５において、結果判定部２０４は、変状が検出されているにもかかわらず、損傷度判定部２０２の出力が「損傷なし」であった場合など損傷度が閾値以下である場合に、利用者による判定結果の確認が必要であると判定する。この時、出力生成部２０５が提示する補助情報は、比較した両者の結果であり、例えば、図８（ｂ）に示すように、壁面全体の各パッチの損傷度の判定結果と変状情報とを重畳表示する。パッチ８０３のように、損傷度判定部２０２が「損傷あり」と判定したパッチは色を付けるなどして強調表示している。このとき、パッチ８０４は、ひび割れ変状８０２があるにも関わらず、パッチ８０３のような色付けがなされておらず、「損傷なし」の判定であった様子がわかるため、利用者は当該箇所を確認すればよい。
【0052】
なお、多くのパッチから当該箇所を探しやすくするために、確認が必要であるパッチと必要ではないパッチを区別するような強調表示をさらに加えてもよい。例えば、図８（ｂ）のパッチ８０４のように、確認が必要であるパッチを太枠で囲うなどして、強調表示してもよい。これにより、利用者は、壁面の損傷度判定の判定ミスがあるか否かを確認しやすくなる。
【0053】
なお、変状が検出されているにも関わらず、「損傷なし」の判定となった不整合の例について前述したが、これに限るものではない。変状が検出されていないにも関わらず、「損傷あり」の判定が出力された場合についても、同様に利用者にとって確認すべき対象であるため、上記と同様な強調表示を行うようにしてもよい。
【0054】
以上のように本実施形態によれば、コンクリート壁面の損傷についても、損傷度の判定結果と、事前情報とに基づいて、利用者が確認、修正がするための補助情報を得ることができる。なお、本実施形態においてはコンクリートの壁面を例に説明したが、ひび割れや漏水など変状部分が生じうる壁面であれば、モルタルなどその他の壁面においても同様に適用できる。
【0055】
（第６の実施形態）
第１の実施形態では、利用者による損傷度の判定結果の確認が必要か否かの判定に、重要クラス境界の隣接する２クラスの尤度差を利用した。順序関係のある損傷度クラスの尤度が隣接するクラスで近い場合は、損傷度判定部２０２の判定結果が曖昧である可能性があることは前述した通りである。一方、隣接しておらず、離れたクラスであっても、クラス間の尤度差が小さい場合に、順序関係のある損傷度の判定が正しく行われていない可能性がある。よって、事前情報として、隣接していないクラスとの尤度差の閾値を取得するようにしてもよい。例えば、判定結果である最高尤度のクラスの尤度と、隣接していないクラスの尤度とをそれぞれ求めて、クラス間の尤度差が当該閾値以下であった場合に、結果判定部２０４は、利用者による確認の必要があると判定するようにしてもよい。
第１の実施形態では、利用者による損傷度の判定結果の確認が必要か否かの判定に、重要クラス境界の隣接する２クラスの尤度差を利用した。順序関係のある損傷度クラスの尤度が隣接するクラスで近い場合は、損傷度判定部２０２の判定結果が曖昧である可能性があることは前述した通りである。一方、隣接しておらず、離れたクラスであっても、クラス間の尤度差が小さい場合に、順序関係のある損傷度の判定が正しく行われていない可能性がある。よって、事前情報として、隣接していないクラスとの尤度差の閾値を取得するようにしてもよい。例えば、判定結果である最高尤度のクラスの尤度と、隣接していないクラスの尤度とをそれぞれ求めて、クラス間の尤度差が当該閾値以下であった場合に、結果判定部２０４は、利用者による確認の必要があると判定するようにしてもよい。
【0056】
（第７の実施形態）
第１の実施形態では、補助情報として重要クラス境界の尤度差を提示する例について述べた。尤度差を提示することにより、利用者は、判定結果がどの程度曖昧であるかがわかるため、判定結果を確認する際の補助情報として有用である。しかし、利用者によっては尤度差を提示する必要がなく、判定結果が曖昧であることがわかれば補助情報としては十分である場合もある。そのような場合には、例えば、曖昧であった２つのクラスのみを提示したり、「損傷度の判定結果は曖昧である」といったメッセージを提示したりするようにしてもよい。
第１の実施形態では、補助情報として重要クラス境界の尤度差を提示する例について述べた。尤度差を提示することにより、利用者は、判定結果がどの程度曖昧であるかがわかるため、判定結果を確認する際の補助情報として有用である。しかし、利用者によっては尤度差を提示する必要がなく、判定結果が曖昧であることがわかれば補助情報としては十分である場合もある。そのような場合には、例えば、曖昧であった２つのクラスのみを提示したり、「損傷度の判定結果は曖昧である」といったメッセージを提示したりするようにしてもよい。
【0057】
（第８の実施形態）
前述した実施形態では、事前情報の種類毎に各補助情報を提示する処理について説明したが、当該補助情報は、複数種類混在させて提示してもよい。以下、図３のフローチャートを参照して、複数種類の補助情報を提示する処理例を説明する。
図３のステップＳ３０３において、事前情報取得部２０３は、複数種類の事前情報を取得する。例えば、事前情報として、重要クラス境界情報および存在情報を取得する。その後、ステップＳ３０４、Ｓ３０５において、結果判定部２０４は、複数種類の事前情報に対して、それぞれ判定結果と比較して、利用者による判定結果の確認が必要かどうかを判定する。
ステップＳ３０６において、出力生成部２０５は、利用者による判定結果の確認が必要であると判定された判定結果に対して、補助情報を作成する。出力生成部２０５は、複数種類の補助情報を生成する際に、どのようにして得た補助情報であるかを区別できるような情報を、当該補助情報に含めるようにしてもよい。例えば、事前情報が重要クラス境界情報であった場合に要確認となった対象については「損傷度の判定結果が曖昧」、事前情報が存在情報であった場合に要確認となった対象については「判定対象の存在を要確認」等の情報を含めて、それらを区別可能に提示する。
前述した実施形態では、事前情報の種類毎に各補助情報を提示する処理について説明したが、当該補助情報は、複数種類混在させて提示してもよい。以下、図３のフローチャートを参照して、複数種類の補助情報を提示する処理例を説明する。
図３のステップＳ３０３において、事前情報取得部２０３は、複数種類の事前情報を取得する。例えば、事前情報として、重要クラス境界情報および存在情報を取得する。その後、ステップＳ３０４、Ｓ３０５において、結果判定部２０４は、複数種類の事前情報に対して、それぞれ判定結果と比較して、利用者による判定結果の確認が必要かどうかを判定する。
ステップＳ３０６において、出力生成部２０５は、利用者による判定結果の確認が必要であると判定された判定結果に対して、補助情報を作成する。出力生成部２０５は、複数種類の補助情報を生成する際に、どのようにして得た補助情報であるかを区別できるような情報を、当該補助情報に含めるようにしてもよい。例えば、事前情報が重要クラス境界情報であった場合に要確認となった対象については「損傷度の判定結果が曖昧」、事前情報が存在情報であった場合に要確認となった対象については「判定対象の存在を要確認」等の情報を含めて、それらを区別可能に提示する。
【0058】
提示の方法は限定するものではなく、上記の文字情報を表示して区別してもよいし、さらに文字情報に異なる色を割り当てることで区別するようにしてもよい。また、提示したい情報にそれぞれ異なるアイコンを割り当てて、当該アイコンを付与して区別するようにしてもよい。このようにすることで、利用者は、対象を確認する際にどのような観点で確認すればよいかがわかるため、作業の効率化が見込める。
【0059】
（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0060】
２０１ 判定画像取得部、２０２ 損傷度判定部、２０３ 事前情報取得部、２０４ 結果判定部、２０５ 出力生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】