特許 7547069 情報処理装置、情報処理装置の情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】情報処理装置、情報処理装置の情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240902BHJP

   G06T 7/155 20170101ALI20240902BHJP

   G01N 21/88 20060101ALI20240902BHJP

【ＦＩ】

G06T7/00 300B

G06T7/00 610B

G06T7/155

G01N21/88 J

【請求項の数】 19

(21)【出願番号】P 2020068321

(22)【出願日】2020-04-06

(65)【公開番号】P2021165888

(43)【公開日】2021-10-14

【審査請求日】2023-04-04

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】野上 敦史

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１８－００４５４１（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１７１８５（ＷＯ，Ａ１）

【文献】特開２０１２－２０２８５８（ＪＰ，Ａ）

【文献】特開２０１９－０９６１２０（ＪＰ，Ａ）

【文献】特開２０１４－００６２２２（ＪＰ，Ａ）

【文献】特開２０１８－１９８０５３（ＪＰ，Ａ）

【文献】特開２０１９－１９４５６２（ＪＰ，Ａ）

【文献】特開２０１９－１０２０３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００９８１３０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

構造物を撮影した第１の画像に基づく前記構造物の局所範囲情報に基づいて、前記構造物に生じた変状を検出する検出手段と、
前記検出手段による前記変状の検出結果と、前記第１の画像より解像度が低い第２の画像に基づく広域範囲情報であって、前記局所範囲情報が示す前記構造物の領域より広域な領域の情報を示す前記広域範囲情報とに基づいて、前記構造物の広域状態を判定する第１の判定手段と、
前記第１の判定手段による前記構造物の広域状態の判定結果に基づいて、前記構造物の所定領域の損傷の度合いを判定する第２の判定手段と、
を有し、
前記第１の判定手段は、前記広域範囲情報として、前記検出手段による検出結果を示す局所判定マップに基づいて、前記広域状態を判定することを特徴とする情報処理装置。

【請求項2】

構造物を撮影した第１の画像に基づく前記構造物の局所範囲情報に基づいて、前記構造物に生じた変状を検出する検出手段と、
前記検出手段による前記変状の検出結果と、前記第１の画像より解像度が低い第２の画像に基づく広域範囲情報であって、前記局所範囲情報が示す前記構造物の領域より広域な領域の情報を示す前記広域範囲情報とに基づいて、前記構造物の広域状態を判定する第１の判定手段と、
前記第１の判定手段による前記構造物の広域状態の判定結果に基づいて、前記構造物の所定領域の損傷の度合いを判定する第２の判定手段と、
前記検出手段による検出結果を示す第１の局所判定マップを第２の局所判定マップに変換する変換手段と、
を有し、
前記第１の判定手段は、前記第２の局所判定マップを用いて前記広域状態を判定することを特徴とする情報処理装置。

【請求項3】

前記変換手段は、前記第１の局所判定マップを縮小処理することにより、前記第２の局所判定マップを作成することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記変換手段は、前記第１の局所判定マップに含まれる前記検出手段による検出結果を膨張処理した後に、前記膨張処理した前記第１の局所判定マップを縮小処理することにより、前記第２の局所判定マップを作成することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記変換手段は、前記第１の局所判定マップのフィルタ対象範囲内の代表値に基づいて、前記第２の局所判定マップを作成することを特徴とする請求項２に記載の情報処理装置。

【請求項6】

前記変換手段は、前記第１の局所判定マップに含まれる前記検出手段による検出結果をベクタデータに変換し、前記ベクタデータを用いて前記第２の局所判定マップを作成することを特徴とする請求項２に記載の情報処理装置。

【請求項7】

前記第２の画像は、前記第１の画像を縮小した画像であることを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記第１の判定手段は、前記第２の局所判定マップと前記第２の画像を用いて、前記広域状態を判定することを特徴とする請求項２に記載の情報処理装置。

【請求項9】

前記第１の画像は、構造物のコンクリート壁面を撮影した画像であることを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記第２の判定手段により判定された損傷の度合いを画素とした損傷度マップを作成する作成手段をさらに有することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項11】

前記検出手段により検出された前記構造物に生じた変状の属性を判定する第３の判定手段をさらに有し、
前記第１の判定手段は、前記検出手段による検出結果と前記属性を用いて、前記広域状態を判定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項12】

前記検出手段による検出結果を表示させる表示制御手段と、
ユーザーの操作に応じて、前記検出手段による検出結果を修正する修正手段とをさらに有し、
前記第１の判定手段は、前記修正手段により修正された前記検出手段による検出結果を用いて、前記広域状態を判定することを特徴とする請求項１に記載の情報処理装置。

【請求項13】

前記第２の判定手段は、前記検出手段により検出されたひび割れと、当該ひび割れの幅と、前記第１の判定手段により判定された、前記検出手段により検出されたひび割れが格子状であるか、または、前記検出手段により検出されたひび割れが閉合しているかを示す前記広域状態とに基づいて、前記損傷の度合いを判定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項14】

前記第１の判定手段は、前記広域範囲情報として、前記第１の画像の部分領域より前記構造物においてより広域な範囲に対応する部分領域であって、前記第１の画像を縮小した画像である前記第２の画像の部分領域を用いて、前記構造物の広域状態として、前記検出手段により検出された変状が格子状であるか、または、前記検出手段により検出された変状が閉合であるかを判定することを特徴とする請求項１３に記載の情報処理装置。

【請求項15】

前記第２の判定手段は、
前記検出手段により検出された前記構造物のひび割れの幅と、
前記検出手段による漏水または遊離石灰の検出結果と、
前記第１の判定手段による、前記検出手段により検出されたひび割れが格子状であるか、または、前記検出手段により検出された変状が閉合ひび割れであるかの判定結果と、に基づいて前記損傷の度合いを判定することを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

前記検出手段により検出されたひび割れの幅を推定する推定手段をさらに有し、
前記第１の判定手段は、前記検出手段により検出されたひび割れの形状状態を、前記広域状態として判定し、
前記第２の判定手段は、前記ひび割れ幅と、前記ひび割れの形状状態を基に、前記損傷の度合いを判定することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項17】

構造物を撮影した第１の画像に基づく前記構造物の局所範囲情報に基づいて、前記構造物に生じた変状を検出する検出ステップと、
前記検出ステップによる前記変状の検出結果と、前記第１の画像より解像度が低い第２の画像に基づく広域範囲情報であって、前記局所範囲情報が示す前記構造物の領域より広域な領域の情報を示す前記広域範囲情報とに基づいて、前記構造物の広域状態を判定する第１の判定ステップと、
前記第１の判定ステップによる前記構造物の広域状態の判定結果に基づいて、前記構造物の所定領域の損傷の度合いを判定する第２の判定ステップと、
を有し、
前記第１の判定ステップでは、前記広域範囲情報として、前記検出ステップによる検出結果を示す局所判定マップに基づいて、前記広域状態を判定することを特徴とする情報処理装置の情報処理方法。

【請求項18】

構造物を撮影した第１の画像に基づく前記構造物の局所範囲情報に基づいて、前記構造物に生じた変状を検出する検出ステップと、
前記検出ステップによる前記変状の検出結果と、前記第１の画像より解像度が低い第２の画像に基づく広域範囲情報であって、前記局所範囲情報が示す前記構造物の領域より広域な領域の情報を示す前記広域範囲情報とに基づいて、前記構造物の広域状態を判定する第１の判定ステップと、
前記第１の判定ステップによる前記構造物の広域状態の判定結果に基づいて、前記構造物の所定領域の損傷の度合いを判定する第２の判定ステップと、
前記検出ステップによる検出結果を示す第１の局所判定マップを第２の局所判定マップに変換する変換ステップと、
を有し、
前記第１の判定ステップでは、前記第２の局所判定マップを用いて前記広域状態を判定することを特徴とする情報処理装置の情報処理方法。

【請求項19】

コンピュータを、請求項１～１６のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の情報処理方法およびプログラムに関する。

【背景技術】

【0002】

コンクリート構造物の点検では、コンクリート壁面のひび割れ発生状況などに基づいて、構造物の部分的な損傷度を判定している。例えば、国土交通省の橋梁定期点検要領には、発生したひび割れのひび割れ幅と、ひび割れが格子状であること、漏水・遊離石灰の発生状況に基づいて、コンクリート壁面の損傷度ランクを分類することが記載されている。

【0003】

一方、作業コストの削減や、作業者による損傷度判定のばらつきを避けるため、情報処理装置により損傷度の判定を自動化することが望まれている。従来、損傷度の判定を自動化する技術として、例えば、特許文献１がある。特許文献１には、画像からひび割れを画像処理により抽出し、抽出したひび割れに基づいて損傷度を判定する方法が開示されている。特許文献１では、抽出したひび割れの向きに基づいて、損傷度を判定している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－３５５２８号公報

【文献】特開２０１８－１９８０５３号公報

【非特許文献】

【0005】

【文献】Vijay Badrinarayanan, Alex Kendall and Roberto Cipolla "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation." PAMI, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、前述の国土交通省の橋梁点検要領のように、ひび割れ幅とひび割れが格子状であることに基づいて、損傷度を自動判定する場合について考える。まず、画像中のひび割れを検知し、そのひび割れ幅を推定するためには、高解像画像の局所範囲の情報から判定する必要がある。一方、ひび割れが格子状であることを判定するためには、複数のひび割れを含む広域の範囲の情報を用いて判定を行う必要がある。しかし、特許文献１には、このように、局所の判定と広域の判定に基づいて、損傷度を求める方法は開示されていない。

【0007】

本発明の目的は、局所範囲と広域の範囲を基に、広域の範囲の状態を判定することができるようにすることである。

【課題を解決するための手段】

【0008】

本発明の情報処理装置は、構造物を撮影した第１の画像に基づく前記構造物の局所範囲情報に基づいて、前記構造物に生じた変状を検出する検出手段と、前記検出手段による前記変状の検出結果と、前記第１の画像より解像度が低い第２の画像に基づく広域範囲情報であって、前記局所範囲情報が示す前記構造物の領域より広域な領域の情報を示す前記広域範囲情報とに基づいて、前記構造物の広域状態を判定する第１の判定手段と、前記第１の判定手段による前記構造物の広域状態の判定結果に基づいて、前記構造物の所定領域の損傷の度合いを判定する第２の判定手段と、を有し、前記第１の判定手段は、前記広域範囲情報として、前記検出手段による検出結果を示す局所判定マップに基づいて、前記広域状態を判定する。

【発明の効果】

【0009】

本発明によれば、局所範囲と広域の範囲を基に、広域の範囲の状態を判定することができる。

【図面の簡単な説明】

【0010】

【図1】情報処理装置のハードウェア構成例を示すブロック図である。

【図2】情報処理装置の機能構成例を示すブロック図である。

【図3】損傷度ランクを説明する図である。

【図4】画像を説明する図である。

【図5】情報処理方法を示すフローチャートである。

【図6】情報処理装置の処理を説明する図である。

【図7】画像変換部の処理を説明する図である。

【図8】状態判定部を説明する図である。

【図9】表示部の表示内容を説明する図である。

【図10】情報処理装置の機能構成例を示すブロック図である。

【図11】情報処理方法を示すフローチャートである。

【図12】情報処理装置の処理を説明する図である。

【図13】状態判定部を説明する図である。

【図14】情報処理装置の処理を説明する図である。

【図15】表示部の表示内容を説明する図である。

【図16】情報処理装置の処理を説明する図である。

【発明を実施するための形態】

【0011】

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。

【0012】

＜実施形態１＞
（ハードウェア構成）
図１は、実施形態１に係る情報処理装置１００のハードウェア構成例を示すブロック図である。情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、通信部１０７と、システムバス１０８とを有している。ＣＰＵ１０１は、中央演算装置（Central Processing Unit）であり、各種処理のための演算や論理判断等を行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Read-Only Memory）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の主メモリとワークエリア等の一時記憶領域として用いられる。なお、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現してもよい。

【0013】

ＨＤＤ１０４は、電子データやプログラムを記憶しておくためのハードディスクである。ＨＤＤ１０４と同様の役割を果たすものとして、外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等である。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

【0014】

表示部１０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を表示するデバイスである。なお、表示部１０５は、情報処理装置１００と有線あるいは無線で接続された外部デバイスでもよい。操作部１０６は、キーボードやマウスなどを含み、ユーザーによる各種操作を受け付ける。通信部１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線または無線による双方向の通信を行う。

【0015】

情報処理装置１００は、例えば、インフラ構造物のコンクリート壁面の損傷度を判定する。なおここでいう「壁面」には、必ずしも地面に対して垂直または交差する方向に向けて建造された面だけでなく、例えば橋梁の床板など、地面に対して水平または水平に近い角度で設置されたもの全般も含む。情報処理装置１００が判定する損傷度について、図３を用いて説明する。図３は、損傷度ランクの判定基準を示している。図３の損傷度ランクの判定基準は、ひび割れ幅と、ひび割れが格子状であることと、漏水・遊離石灰の発生状況から、損傷度を判定するものである。例えば、発生したひび割れの幅が０．１ｍｍ以下で、ひび割れの方向が１方向のみ、且つ、漏水・遊離石灰が発生していないコンクリート壁面は、損傷度ｂと判定される。また、発生したひび割れの幅が０．２ｍｍ以下で、ひび割れが格子状に発生しており、且つ、漏水・遊離石灰が発生していないコンクリート壁面は、損傷度ｅと判定される。情報処理装置１００は、損傷度判定対象画像の各部分領域に対して、このような損傷度を出力する。

【0016】

次に、図４を用いて、損傷度判定対象のコンクリート壁面画像の具体例を説明する。まず、図４（Ａ）は、インフラ構造物の壁面画像であり、例えば、橋梁の床版の画像である。この床版には、ひび割れ４０１や、漏水４０２が発生している。図４（Ａ）の画像は、コンクリート壁面のひび割れが写るように、高解像度で撮影した画像である。点検画像の撮影では、例えば、０．１ｍｍ幅のひび割れが画像中で確認できるような高精細な画像を撮影する必要があるので、コンクリート壁面を高解像度で撮影する必要がある。具体的には、画素当たりの実サイズが１ｍｍとなる程度の解像度でコンクリート壁面を撮影する。このような高解像度で、大きなインフラ構造物の壁面を撮影するためには、壁面を部分ごとに撮影して、複数の画像を連結した画像を作成する。図４（Ａ）は、このようにして作成した画像であり、複数の画像を連結して作成していることにより、大きなサイズの画像となる。例えば、撮影対象の床版の実寸が１０ｍ×２０ｍのサイズであり、１画素１ｍｍの解像度の画像を作成する場合、１００００×２００００画素の大きな画像となる。

【0017】

損傷度の自動判定のために、ひび割れの検知とひび割れ幅を推定する処理は、このような高解像度画像に対して実施する。図４（Ａ）のように、大きな画像に対して検知などの処理を行う場合、処理ウィンドウをスライドさせて、部分画像ごとに処理を行い、部分画像の結果を統合して処理結果を作成する。例えば、図４（Ａ）には、ひび割れを検知するための検知ウィンドウ４０３を示しており、ひび割れ検知処理は、検知ウィンドウ４０３内の画像に対して検知処理を行う。このような部分的な検知処理を、検知ウィンドウ４０３の位置を変化させながら実施し、検知結果を統合することで、図４（Ａ）のような大きな画像に対する検知処理を実施する。

【0018】

一方、ひび割れが格子状であることを判定するためには、比較的、広域の範囲の情報に基づいて、判定を行う必要がある。例えば、１画素１ｍｍの画像から、格子間が５０ｃｍの格子状のひび割れを判定するためには、５００×５００画素よりも大きな範囲（例えば１０００×１０００画素範囲）の情報を基に判定を行う必要がある。このようなサイズの画像をそのまま処理することが困難な場合、画像を縮小して判定処理を行う。図４（Ｂ）には、図４（Ａ）の画像を縮小した画像を示している。画像を縮小することにより、図４（Ａ）の高解像度画像に対して、図４（Ｂ）の画像は低解像度画像となる。

【0019】

図４（Ｂ）には、ひび割れが格子状であることを判定するための判定ウィンドウ４１３を示している。図４（Ｂ）の例では、この判定ウィンドウ４１３内の画像を基に、判定ウィンドウ４１３内のひび割れが格子状であるかどうかを判定する。判定ウィンドウ４１３は、図４（Ａ）の検知ウィンドウ４０３と同サイズのウィンドウであるが、低解像度画像を対象としているので、検知ウィンドウ４０３よりも広域の範囲の画像を含む。このようにすることで、広域の範囲の情報から、ひび割れの状態を判定することができる。

【0020】

しかし、ひび割れは細いので、図４（Ａ）の高解像度画像でも、サブピクセルレベルでしか解像しない。従って、図４（Ｂ）のように、元の高解像度画像を縮小した画像では、ひび割れが消えてしまったり、非常に分かりにくくなったりしてしまう。図４（Ｂ）では、ひび割れを点線で示しているが、これは、画像を低解像度にすることにより、ひび割れが見えにくくなっている状態を示している。このような画像を対象に、ひび割れの状態を判定することは非常に困難になる。

【0021】

情報処理装置１００は、このような問題を回避するために、ひび割れ検知結果を縮小したマップを用いて、ひび割れの形状の状態を判定する。

【0022】

（機能構成）
図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部２０１と、局所判定部２０２と、画像変換部２０３と、状態判定部２０４と、領域検知部２０５と、統合判定部２０６と、表示制御部２０７とを有している。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、そのプログラムを実行し、後述する各フローチャートに従った処理を行うことで実現される。そして、ＣＰＵ１０１は、各処理の実行結果をＲＡＭ１０３またはＨＤＤ１０４に保持する。また、例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

【0023】

次に、図２の各機能部について説明する。画像取得部２０１は、損傷度の判定対象画像を取得し、この判定対象画像を第一の画像とする。局所判定部２０２は、第一の画像からひび割れの検知や、ひび割れ幅の推定を行い、第一の局所判定マップを作成する。画像変換部２０３は、第一の画像を縮小処理することにより、第二の画像を作成するとともに、第一の局所判定マップを第二の局所判定マップに変換する。状態判定部２０４は、第二の画像と第二の局所判定マップから、ひび割れの状態を判定して、状態マップを作成する。領域検知部２０５は、第一の画像または第二の画像から漏水・遊離石灰などの変状領域を検知して変状領域マップを作成する。統合判定部２０６は、ひび割れ幅の情報と、ひび割れの状態の情報と、変状領域マップの情報に基づいて、損傷度を判定する。表示制御部２０７は、判定対象画像と損傷度の情報を表示部１０５に表示するための制御を行う。なお、これらの各機能部は、全て情報処理装置１００に含まれている必要はなく、少なくともその一部の機能が情報処理装置１００と接続可能な外部装置で実施されてもよい。

【0024】

（処理）
図５は、情報処理装置１００の情報処理方法を示すフローチャートである。図６は、情報処理装置１００の画像入力から損傷度判定までの処理の具体的な事例を示している。以下、これらの図を用いて、情報処理装置１００の処理について説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。

【0025】

（画像取得部）
まず、Ｓ５０１では、画像取得部２０１は、損傷度を判定する対象の画像を取得する。この画像は、図４（Ａ）を用いて説明したような高解像度画像である。この高解像度画像は、コンクリート壁面を高精細に撮影するため、コンクリート壁面を部分ごとに撮影した複数の画像を連結して作成している。以下、この高解像度画像を第一の画像と呼ぶ。図６には、以下の処理の処理対象画像として、第一の画像６０１を示している。第一の画像６０１には、図４（Ａ）と同様に、ひび割れ６１１や漏水６１２が写っている。

【0026】

（局所判定部）
次に、Ｓ５０２では、局所判定部２０２は、第一の画像の局所範囲を基に対象物の検知処理を実施し、その検知処理の結果を基に第一の局所判定マップを作成する。局所判定部２０２は、高解像度画像を対象にすることで、第一の画像の局所範囲に基づいて、対象物の検知を実施する。画像から検知する対象物は、コンクリート壁面中のひび割れである。また、さらに、局所判定部２０２は、第一の画像（高解像度画像）と検知結果から、各検知処理結果の属性の判定も実施する。局所判定部２０２は、この検知処理結果の属性として、検知したひび割れのひび割れ幅を推定する。局所判定部２０２は、ひび割れ幅を推定するためにも、画像の詳細な情報が必要となるため、高解像度画像を対象とした局所判定処理により、ひび割れ幅を推定する。局所判定部２０２は、第一の画像の処理結果として、第一の局所判定マップを出力する。

【0027】

局所判定部２０２は、高解像度画像である第一の画像と同じ画像サイズの第一の局所判定マップを作成する。この第一の局所判定マップを第一のひび割れマップとも呼ぶ。以下、第一の局所判定マップ（第一のひび割れマップ）を作成するための、局所判定部２０２の処理について説明する。

【0028】

局所判定部２０２は、第一のひび割れマップを作成するために、第一の画像に対して、ひび割れの検知処理を実施する。ここで、図４（Ａ）で説明したように、高解像度で画像サイズが大きな第一の画像に対して、１度の処理で全画像領域のひび割れを検知することは困難である。従って、局所判定部２０２は、第一の画像の局所範囲の部分画像に対して、ひび割れ検知処理を実施し、この部分画像の結果を統合して、第一のひび割れマップを作成する。例えば、局所判定部２０２は、図４（Ａ）のように、ひび割れを検知するための検知ウィンドウ４０３を第一の画像に対してスライドさせることで、第一の画像の全体に対してひび割れ検知処理を行う。

【0029】

ある部分画像（検知ウィンドウ４０３の画像）に対するひび割れ検知処理は、例えば、予め機械学習によりひび割れを学習したひび割れ検知モデルを画像に適応することで実施する。ひび割れ検知モデルは、具体的には、予め、画像と、画像中のひび割れ位置を示す教師データのペアからなる学習データを、ニューラルネットワーク等の機械学習アルゴリズムにより学習することで作成する。ここで、ひび割れ検知モデルは、入力画像の各画素について、ひび割れらしさを示すスコアを出力するものとする。局所判定部２０２は、第一の画像の部分画像にひび割れ検知モデルを適用し、部分画像の各画素のひび割れスコアを算出する。そして、局所判定部２０２は、部分画像のひび割れスコアを統合することで、第一の画像のサイズの画像に、各画素のひび割れらしさのスコアを格納したデータを作成する。以下、この各画素のひび割れらしさのスコアを格納したデータをスコアマップと呼ぶ。局所判定部２０２は、さらにスコアマップを閾値処理し、スコアが閾値より大きく、ひび割れの可能性が高い画素だけを残し、細線化することでひび割れが存在する画素を特定する。局所判定部２０２は、このような処理により、第一の画像のひび割れ検知結果を作成する。図６には、局所判定部２０２が第一の画像６０１を処理した結果として、第一のひび割れマップ６０２を示している。この第一のひび割れマップ６０２は、ひび割れ画素が黒（０）、ひび割れ以外の画素が白（２５５）で表された画像である。

【0030】

また、上記では、局所判定部２０２のひび割れ検知処理を機械学習に基づく方法により実施する例を説明したが、ひび割れ検知処理には、他の方法を用いてもよい。例えば、局所判定部２０２は、ひび割れ検知処理を、Ｓｏｂｅｌオペレータなどのフィルタを用いたエッジ検出手法により構成してもよい。このようなフィルタを用いる手法では、一般に３×３画素のフィルタが利用される。

【0031】

さらに、後述する統合判定部２０６の損傷度の判定に利用するため、局所判定部２０２は、検知したひび割れのひび割れ幅を推定する。局所判定部２０２は、ひび割れと同様に、第一の画像の局所範囲の情報を用いて、ひび割れ幅を推定する。ひび割れ検知結果と、画像の局所的な情報に基づくひび割れ幅の推定方法は、例えば、特許文献２のような方法で実施することができる。特許文献２には、ひび割れ検知結果に基づいて、１本のひび割れの周辺の画像特徴を抽出し、抽出した画像特徴からひび割れの幅を推定する方法が記載されている。これにより、局所判定部２０２は、各ひび割れの最大ひび割れ幅を推定することができる。また、特許文献２の方法では、各ひび割れの最大ひび割れ幅を求めているが、局所判定部２０２は、これに限らず、例えば、ひび割れが存在する画素のエッジ強度に基づいて、各ひび割れ画素位置でのひび割れ幅を求めるようにしてもよい。

【0032】

図６には、局所判定部２０２が、ひび割れ幅を推定したひび割れ幅推定結果６０７を示している。局所判定部２０２は、第一の画像の局所範囲を基にひび割れ幅を推定し、ひび割れ幅推定結果６０７を作成する。ひび割れ幅推定結果６０７では、図示の都合上、推定したひび割れ幅をひび割れの線の太さで表現しているが、ひび割れ幅のデータ格納方法は他の形態でもよい。例えば、局所判定部２０２は、ひび割れの各画素に、推定したひび割れ幅の値を格納した画像としてひび割れ幅データを構成してもよい。

【0033】

以上、局所判定部２０２は、第一の画像６０１から、第一のひび割れマップ６０２と、ひび割れ幅推定結果６０７を生成する。

【0034】

（画像変換部）
次に、Ｓ５０３とＳ５０４では、画像変換部２０３は、第一の局所判定マップ（第一のひび割れマップ）と第一の画像を縮小する。これらの縮小処理は、後述する状態判定部２０４において、広域の範囲の画像に基づいて、ひび割れの状態の判定（格子状の判定）を行うために実施される。

【0035】

画像変換部２０３は、バイリニア補間や、最近傍補間などの一般的な画像拡大縮小アルゴリズムを用いて、第一の局所判定マップと第一の画像を縮小する。画像変換部２０３は、第一の局所判定マップを縮小処理することにより、第二の局所判定マップを作成する。また、画像変換部２０３は、第一の画像を縮小処理することにより、第二の画像を作成する。図６には、第一の画像６０１を縮小した低解像度画像である第二の画像６０３と、第一のひび割れマップ（第一の局所判定マップ）６０２を縮小した第二のひび割れマップ（第二の局所判定マップ）６０４を示している。これらの画像は、例えば、元の画像を縦横５０％サイズに縮小した画像である。

【0036】

前述したように、一般的に、ひび割れは細いので、高解像度画像でも、サブピクセルレベルでしか映っておらず、元の高解像度画像を縮小した画像では、ひび割れが消えてしまったり、非常に分かりにくくなったりしてしまう。なお、図６の第二の画像６０３では、ひび割れを点線で示しているが、これは、画像縮小により、ひび割れが見えにくい状態になっていることを示している。従って、第二の画像から、ひび割れが格子状であるか否かを判定しようとしても、第二の画像は、ひび割れが十分に確認できない画像である場合があり、このような画像を対象に、ひび割れの状態を判定することは非常に困難になる。そこで、状態判定部２０４は、第二の画像と共に、第一のひび割れマップを縮小した第二のひび割れマップも用いて、ひび割れの状態を判定する。第二のひび割れマップは、ひび割れのみを示した第一のひび割れマップを縮小した画像なので、第二の画像よりもひび割れの情報が保持された画像となる。状態判定部２０４は、この第二のひび割れマップも用いて、ひび割れの状態を判定することにより、第二の画像のみからひび割れの状態を判定するよりも正しくひび割れの状態を判定することができる。

【0037】

画像変換部２０３は、ひび割れの情報を保持しながら縮小処理を行うことができる。以下、ひび割れの情報を保持しながら縮小処理を行う例について説明する。まず、Ｓ５０３では、画像変換部２０３は、第一の局所判定マップを縮小し、第二の局所判定マップを作成する。図７（Ａ）は、第一の局所判定マップを縮小して、第二の局所判定マップを作成する様子を示す図である。図７（Ａ）において、第一の局所判定マップは、第一のひび割れマップ７０１として示されており、第二の局所判定マップは、第二のひび割れマップ７０２として示されている。ここで、例えば、図７（Ａ）の点線枠７１１の拡大図７１２に示すように、第一のひび割れマップ７０１には、ひび割れが１画素幅の情報として格納されている。一方、第二のひび割れマップ７０２の点線枠７２１は、縮小後の第二のひび割れマップ７０２における第一のひび割れマップ７０１の点線枠７１１と同一の部分を示している。ここで、一般的な画像拡大縮小アルゴリズムを用いて第一のひび割れマップ７０１を縮小すると、第二のひび割れマップの点線枠７２１の画像は拡大図７２３のようになる。拡大図７２３では、ひび割れを示す情報７３３が弱くなっている。また、縮小倍率によってはひび割れを示す画素が途切れたり、消えたりしてしまう場合もある。好ましくは、拡大図７２２のように、ひび割れを示す情報７３２が明確な縮小マップを作成したい。

【0038】

そこで、画像変換部２０３は、第一の局所判定マップに含まれる検知処理の結果を膨張処理した後に、その膨張処理した第一の局所判定マップを縮小処理することにより、第二の局所判定マップを作成する。画像変換部２０３は、第一のひび割れマップのひび割れ情報を保持するように、第一のひび割れマップを縮小する。例えば、画像変換部２０３は、第一のひび割れマップのひび割れを膨張処理した後に、その膨張処理した第一のひび割れマップを縮小処理することにより、第二のひび割れマップを作成する。また、別の方法として、画像変換部２０３は、縮小時に、所定範囲にひび割れを含む情報が存在する場合には、それをそのまま残して縮小を実行する。具体的な説明のため、図７（Ｂ）に、図７（Ａ）の拡大図７１２から拡大図７２２へ縮小する様子を示す。図７（Ｂ）では、画像変換部２０３は、画像サイズを５０％に縮小する。このため、画像変換部２０３は、拡大図７１２に対して、２×２フィルタをかけて、フィルタ範囲にひび割れの情報が含まれていれば、それを縮小画像にそのまま残す。例えば、画像変換部２０３は、２×２フィルタ７４１の範囲にはひび割れが含まれないため、縮小後の画素７５１もひび割れ無し（画素値２５５）、とする。一方、画像変換部２０３は、フィルタ７４２には、ひび割れの画素が１画素以上含まれているため、縮小後の画像はひび割れ有（画素値０）とする。画像変換部２０３は、このように第一のひび割れマップ７０１のフィルタ内の代表値を複製して縮小画像の第二のひび割れマップ７０２を作成することで、縮小処理によりひび割れの情報が欠落しないようにすることができる。

【0039】

以上では、第一のひび割れマップの縮小方法の例について説明したが、第一の画像の縮小においても、可能な限りひび割れの情報を保持するような縮小アルゴリズムを利用するようにしてもよい。このための方法としては、縮小後画像で画像エッジが保存されるような縮小方法であれば、どのような方法を用いてもよい。例えば、画像変換部２０３は、第一の画像から縮小処理を行うときに、一般的な縮小アルゴリズムにより画像を縮小した後に、エッジ強調処理を実施した画像を作成し、この画像を第二の画像としてもよい。

【0040】

以上説明したように、画像変換部２０３は、第二の画像と第二のひび割れマップを生成する。

【0041】

（状態判定部）
次に、Ｓ５０５では、状態判定部２０４は、第二の局所判定マップと第二の画像における上記の局所範囲よりも広域範囲の状態を判定する。この処理により、状態判定部２０４は状態マップを出力する。状態判定部２０４は、広域範囲の状態として、ひび割れの状態を判定する。より具体的には、状態判定部２０４は、部分領域のひび割れが、格子状と判断できるかを判定する。従って、以下の説明では、状態判定部２０４が出力する状態マップを、具体的な例として、ひび割れ格子状マップとも呼ぶ。また、以下では、ひび割れの状態として、ひび割れが格子状であることを判定する例について説明するが、状態判定部２０４は、これに限らず、他の状態を判定としてもよい。例えば、状態判定部２０４は、部分領域のひび割れの状態の判定として、部分領域に含まれるひび割れが閉合ひび割れであるか否か、を判定してもよい。このように、広域の範囲の情報を用いて判定するひび割れの状態は、ひび割れの形状状態であることが好ましい。部分領域のひび割れが閉合ひび割れであるか否か、を判定する例では、後述する統合判定部２０６の損傷度判定において、閉合ひび割れの情報も含めて損傷度ランクを判定する。

【0042】

なお、ひび割れが格子状であることは、第二の局所判定マップのみからも判定することができるが、本実施形態のように、第二の画像も用いて判定することにより、画像の特徴も加えて格子状であることを判定することができる。これにより、格子状の判定精度が向上することが期待できる。

【0043】

状態判定部２０４の処理の説明について、まず、図６を用いて説明する。図６の第二の画像６０３には、状態判定ウィンドウ６２１を示し、第二のひび割れマップ６０４にもまた、状態判定ウィンドウ６２２を示す。なお、状態判定ウィンドウ６２１と６２２は、元の画像（第一の画像）において、同じ部分領域を示しているものとする。状態判定部２０４は、これらの部分画像を用いて、画像の部分のひび割れの状態を判定する。状態判定部２０４は、部分画像中のひび割れが格子状であるか否かを判定し、これを画像全体に対して実施して、ひび割れが格子状となっている部分を示すひび割れ格子状マップを作成する。図６では、状態判定部２０４がひび割れ格子状マップ６０６を作成する様子を示している。状態判定部２０４は、第二の画像６０３と第二のひび割れマップ６０４を基に、ひび割れの状態を判定し、割れ格子状マップ６０６を作成する。図６のひび割れ格子状マップ６０６では、マップ中の斜線部分がひび割れ格子状（格子間２０ｃｍ～５０ｃｍ）であると判定されたことを示している。

【0044】

状態判定ウィンドウ６２１と６２２は、前述した局所判定の検知ウィンドウ４０３よりも元の画像（第一の画像）において広域の範囲を示す。ここで、仮に、局所判定部２０２がひび割れを検知する検知ウィンドウ４０３と、状態判定部２０４の状態判定ウィンドウ６２１が、各画像上で同サイズであったとする。状態判定部２０４の状態判定ウィンドウ６２１は、縮小した画像である第二の画像を対象とするため、状態判定部２０４が判定する画像中の範囲は、局所判定部２０２が対象とする範囲よりも広域の範囲となる。これにより、ひび割れ検知やひび割れ幅推定のような画像中の詳細な情報を必要とする処理は、局所的に判定しつつ、ひび割れの形状の状態判定のような大局的な情報が必要な処理は、広域の情報に基づいて判定することができる。なお、状態判定ウィンドウ６２１と６２２は、ひび割れの検知方法をＳｏｂｅｌフィルタ等のフィルタ処理とした場合にも、例えば３×３サイズのフィルタよりも広域の範囲となる。

【0045】

以下、状態判定部２０４が、広域の範囲の情報から、ひび割れが格子状であるかを判定する具体的な処理について説明する。状態判定部２０４は、第二の画像の部分画像と、第二のひび割れマップの部分マップを、予め学習した識別器に入力することにより、部分領域のひび割れの状態を判定する。この識別器は、入力画像に格子状のひび割れが含まれるかを判定するもので、画像を入力として、多クラス識別するものであれば、どのようなアルゴリズムを用いてもよい。識別器の具体的なアルゴリズムとしては、入力画像から所定の画像特徴量を抽出し、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどの機械学習アルゴリズムを適用する方法を用いることができる。また、識別器は、ニューラルネットワークを利用して、結合重み付け係数を学習するものでもよい。以下では、図８を用いて、識別器にニューラルネットワークを用いる構成について説明する。

【0046】

図８では、状態判定ウィンドウ６２１と６２２から得られる第二の画像の部分画像８０１と第二のひび割れマップの部分マップ８０２を、ニューラルネットワーク８０３の入力層８０４へ入力している。ここで、部分画像８０１は、ＲＧＢの３チャンネル画像とし、部分マップ８０２は、ひび割れの位置を示す２値画像であって、１チャンネル画像である。このような画像の場合、入力層８０４には、部分画像８０１と部分マップ８０２を結合した４チャンネル画像を入力する。なお、ニューラルネットワーク８０３への部分画像８０１と部分マップ８０２の入力方法は、これに限らず、それぞれ異なる入力層からネットワークへ画像を入力するようなニューラルネットワークのアーキテクチャを採用してもよい。

【0047】

この入力に対して、ニューラルネットワーク８０３は、出力層８０５から格子状ラベルを出力する。格子状ラベルの種類は、図３のひび割れの状態の分類に従って、「なし」「１方向のみ」「格子状（格子間５０ｃｍ以上）」「格子状（格子間２０ｃｍ～５０ｃｍ）」の４種類とする。なお、この格子状ラベルの例は、図３の損傷度ランクの判定基準に従った分類であって、格子状ラベルの種類はこれに限定されない。図８では、部分画像８０１の範囲のひび割れが、「格子状（格子間２０ｃｍ～５０ｃｍ）」と判定されている。なお、識別器は、ひび割れが格子状であることを判定するとともに、格子間の間隔を数値で出力するようにしてもよい。これにより、状態判定部２０４は、格子状の有無と、格子間隔の数値からなる格子状ラベルを生成するようにしてもよい。

【0048】

以上のように、状態判定部２０４の識別器は、ひび割れの状態を判定する。この識別器は、例えば以下のようにして学習することができる。図８には、ニューラルネットワーク８０３を学習するための学習データ８１０を示している。学習データ８１０には、画像と教師データのペアが大量に格納されている。学習データ８１０の画像は、コンクリート壁面の部分画像であり、ニューラルネットワーク８０３に入力するデータと同様に、画像とひび割れマップからなる４チャンネル画像である。また、各画像には、その画像中のひび割れの状態を示す格子状ラベルが教師データとして与えられている。この学習データ８１０を用いて、ニューラルネットワーク８０３の学習を行う。学習は、学習データ８１０の画像をニューラルネットワーク８０３に入力したときの判定結果と教師データの誤差が小さくなるように、ニューラルネットワーク８０３の重み係数を変更することで実施する。

【0049】

以上のようにして、状態判定部２０４は、局所判定部２０２の判定よりも広域の範囲について、ひび割れの状態を判定する。また、状態判定部２０４は、第二のひび割れマップの各部分マップに対して状態判定を行い、この結果を連結することで、ひび割れ格子状マップを作成する。ひび割れ格子状マップは、各画素に、判定された格子状ラベルを格納したマップである。

【0050】

なお、状態判定部２０４は、ひび割れの状態を判定するため、ひび割れが存在しない部分領域に対しては、状態判定の処理をスキップするようにしてもよい。具体的には、状態判定部２０４は、状態判定ウィンドウ６２２をスライドさせて、第二のひび割れマップ６０４から部分マップを取得し、取得した部分マップにひび割れが含まれていないと判定できる場合には、状態判定を実施しないようにする。

【0051】

（領域検知部）
さらに、領域検知部２０５は、図３の損傷度ランクの判定基準に従って、損傷度を判定するため、漏水、遊離石灰の検知を実施する。Ｓ５０６では、領域検知部２０５は、第一の画像から漏水、遊離石灰などの変状の領域を検知する。漏水、遊離石灰の検知は、既存のセマンティック・セグメンテーションの技術を用いることで実施することができる。これは、例えば、非特許文献１のような技術である。セマンティック・セグメンテーションでは、ニューラルネットワーク等の識別器を用いて、画像と、検知対象領域を示した教師データのペアを学習する。そして、領域検知部２０５は、学習した識別器を用いて、検知対象画像を処理することで、画像中の検知対象の画素を特定し、変状領域マップを作成する。このセマンティック・セグメンテーションの技術については、公知の技術を利用すればよいので、詳細な説明は割愛する。セマンティック・セグメンテーションを、漏水、遊離石灰の検知に適応するためには、画像と漏水領域を示した教師データのペア、または、画像と遊離石灰領域を示した教師データのペアからなる学習データでニューラルネットワーク等の識別器を学習する。領域検知部２０５は、この学習した識別器を用いて、第一の画像中の漏水領域や遊離石灰領域（変状領域）を検知し、変状領域マップを作成する。図６には、変状領域マップの具体的な例として、第一の画像６０１から漏水領域を検知した漏水マップ６０５を示している。漏水マップ６０５には、第一の画像６０１の漏水６１２が検知された漏水検知結果６３１が示されている。なお、図示の都合上、図６では省略しているが、領域検知部２０５は、漏水の検知と同様に、遊離石灰領域も検知し、遊離石灰マップも作成する。以下、遊離石灰の検知と遊離石灰マップの利用については、漏水の検知と同様に実施すればよいので、説明を省略する。

【0052】

なお、第一の画像は、高解像度で大きなサイズの画像であるため、領域検知部２０５も、第一の画像を部分画像に分割して、各部分画像の領域検知結果を作成した後に、部分画像の検知結果を連結して領域検知結果を作成する。また、漏水、遊離石灰などは、様々なサイズで発生する。そのため、領域検知部２０５は、第一の画像（高解像度画像）だけでなく、第二の画像（低解像度画像）からも領域検知処理を実施して、これらの異なる画像から検知した結果を統合して、漏水、遊離石灰の検知結果を作成するようにしてもよい。このようにすることで、領域検知部２０５は、小さなサイズの漏水、遊離石灰を、高解像度画像から検知し、大きなサイズの漏水、遊離石灰を、低解像度画像から検知することができる。また、領域検知部２０５は、小さな漏水、遊離石灰を無視してよい場合、第二の画像のみから漏水、遊離石灰を検知するようにしてもよい。

【0053】

また、図３の損傷度ランクの判定基準に従うため、領域検知部２０５が検知するコンクリート変状を漏水、遊離石灰としたが、領域検知部２０５は、これら以外の変状領域を検知するようにしてもよい。例えば、領域検知部２０５は、剥離・剥落、鉄筋露出などの領域を検知するようにしてもよい。剥離・剥落、鉄筋露出などの領域を検知する場合、後述する統合判定部２０６は、これらの検知結果の情報も含めて、損傷度ランクを判定する。

【0054】

（統合判定部）
以上の処理により、図６に示すように、ひび割れ格子状マップ６０６と、ひび割れ幅推定結果６０７と、漏水マップ６０５が作成される。Ｓ５０７では、統合判定部２０６は、ひび割れ格子状マップ６０６と、ひび割れ幅推定結果６０７と、漏水マップ６０５に基づいて、損傷度を判定する。統合判定部２０６は、図３の損傷度ランクの判定基準を参照して、ルールベースで損傷度ランクを判定する。

【0055】

統合判定部２０６が実施する損傷度ランクの判定について、具体的な例を、図６を用いて説明する。図６のひび割れ格子状マップ６０６と、ひび割れ幅推定結果６０７と、漏水マップ６０５には、それぞれ、元画像（第一の画像）において同一の部分領域を示す統合判定ウィンドウ６４５、６４６、６４７を示している。なお、ひび割れ格子状マップ６０６と、ひび割れ幅推定結果６０７と、漏水マップ６０５は、元画像のサイズの画像である。この場合、状態判定部２０４は、状態判定の処理結果のマップを、元画像サイズに拡大して、ひび割れ格子状マップ６０６を作成している。

【0056】

統合判定部２０６は、各マップの統合判定ウィンドウ６４５、６４６、６４７の情報を用いて、この部分領域についての損傷度ランクを判定し、損傷度判定結果６０８を生成する。損傷度ランクの判定は、図３の損傷度ランク判定基準に従い、例えば、以下のように判定する。まず、漏水マップ６０５の統合判定ウィンドウ６４５の範囲には、漏水が含まれていない。次に、ひび割れ格子状マップ６０６の統合判定ウィンドウ６４６の範囲には、「格子状（格子間２０ｃｍ～５０ｃｍ）」と判定された領域が含まれている。次に、ひび割れ幅推定結果６０７の統合判定ウィンドウ６４７の範囲には、複数のひび割れが含まれており、これらのひび割れ中での最大のひび割れ幅が０．２ｍｍであったとする。統合判定部２０６は、以上の各統合判定ウィンドウ６４５～６４７の範囲の情報と、図３の損傷度ランク判定基準を照らし合わせて、条件が一致する損傷度ランクを、この統合判定ウィンドウ６４５～６４７の損傷度ランクとする。これにより、図６の統合判定ウィンドウ６４５～６４７の範囲の損傷度ランクは、損傷度ランクｅと判定することができる。この結果、図６の損傷度判定結果６０８には、画像範囲６４８が損傷度ランクｅであることが示されている。統合判定部２０６は、以上と同様の処理を、画像中の各部分に対して実施して、画像の各部分の損傷度ランクを判定する。具体的には、統合判定部２０６は、統合判定ウィンドウ６４５～６４７の位置を順次スライドさせて、各部分領域について損傷度ランクを判定していく。この処理により、図６では、画像範囲６４８など、他の部分領域についても損傷度ランクが判定されている。なお、図３に従うと、ひび割れがない部分は損傷度ランクａとなるが、損傷度ランクａの部分は図示を省略している。

【0057】

また、上記では、部分領域ごとに損傷度判定を行う例を説明したが、損傷度判定の対象範囲を画像全体としてもよい。統合判定部２０６は、図６のひび割れ格子状マップ６０６と、ひび割れ幅推定結果６０７と、漏水マップ６０５を参照し、画像全体のひび割れ格子状の種類（格子状の有無と格子間隔）、ひび割れの幅、漏水の有無を収集し、損傷度ランク判定基準を比較する。そして、統合判定部２０６は、画像全体の損傷度を判定する。図６の例では、画像全体では、「格子状（格子間２０ｃｍ～５０ｃｍ）」、「ひび割れ幅０．２ｍｍ」、「漏水あり」となるので、画像全体の損傷度ランクは損傷度ｇと判定される。さらにまた、損傷度判定を行う範囲は、点検対象構造物の部分や、構造物全体としてもよい。例えば、構造物の全体に対して損傷度を判定する場合、まず、構造物の各部分の第一の画像を準備する。具体的には、橋梁の橋脚間の各床版について第一の画像を準備する。この複数の第一の画像に対し、上記で説明したように、ひび割れ格子状マップ、ひび割れ幅推定結果、漏水マップを作成する。統合判定部２０６は、複数の第一の画像から得られたひび割れ幅の情報、ひび割れ格子状の有無、漏水発生の有無の情報を収集し、損傷度ランク判定基準と比較することで、構造物全体の損傷度ランクを判定する。

【0058】

また、以上の説明では、図３の損傷度ランク判定基準に基づいて、ルールベールで損傷度ランクを判定する例について説明した。損傷度ランク判定基準は、図３の基準に限らず、任意の基準を用いてもよい。さらに、図３のように、明確な損傷度ランク判定基準を設定せずに、機械学習により損傷度判定識別器を学習し、学習した損傷度判定識別器を用いて損傷度ランクを判定ようにしてもよい。この場合、統合判定部２０６への入力データと、その入力データに対する教師データのペアを多数準備して、これを学習データとする。以下、具体的な例を説明する。まず、統合判定部２０６への入力データは、図６における各マップの統合判定ウィンドウ６４５～６４７の情報である。このような統合判定ウィンドウ６４５～６４７から得られる統合判定部２０６への入力データに対して、人間がデータを確認して損傷度ランクを判定した結果を教師データとする。この入力データと教師データのペアからなる学習データを用いて、統合判定部２０６の損傷度判定識別器を学習する。学習アルゴリズムにはどのような方法を用いてもよいが、例えば、決定木や、Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅなどのアルゴリズムを用いて損傷度判定識別器を学習することが好ましい。

【0059】

（表示制御部）
以上の処理により、図６の損傷度判定結果６０８が生成される。次に、Ｓ５０８では、表示制御部２０７は、損傷度判定結果６０８を表示部１０５へ表示する。以下、図９を用いて、表示制御部２０７が実施する表示の制御について説明する。

【0060】

図９は、表示制御部２０７が損傷度判定結果を表示するアプリケーションウィンドウ９００を示している。また、アプリケーションウィンドウ９００には、画像表示領域９０１と、損傷度ランク表示領域９０２と、各種データの表示／非表示を切り替えるトグルスイッチ９０３が表示される。画像表示領域９０１には、損傷度判定の処理対象画像、ひび割れや漏水、遊離石灰の検知結果、および、損傷度判定結果が表示される。なお、ひび割れの検知結果は、ひび割れ幅推定結果の情報と合わせて表示することが好ましい。このための方法としては、ひび割れの傍に、ひび割れ幅の数値を表示する方法や、ひび割れの色をひび割れ幅に応じて変化させる方法などがある。また、図９では、画像と、損傷度判定結果が表示されている様子を示しており、例えば、損傷度判定結果の領域９１０と損傷度ランクが表示されている。これらの画像表示領域９０１の表示内容は、トグルスイッチ９０３により、任意の項目の表示／非表示を切り替えることができる。このような表示を行うことで、損傷度判定結果と画像や検知結果を関連付けて確認することができるようになる。

【0061】

また、損傷度ランク表示領域９０２には、閲覧中の画像の損傷度判定結果の一覧が表示されている。損傷度ランク表示領域９０２は、任意の損傷度判定結果を選択することで、その損傷度の領域を強調表示することができる。例えば、マウスカーソル９１１を損傷度ランクｅに合わせてダブルクリックすると、損傷度判定結果の領域９１０を囲む枠が点滅する。また、別の強調表示方法として、損傷度判定結果の領域９１０が拡大表示されるようにしてもよい。さらに、損傷度ランク表示領域９０２の一覧表示を、損傷度ランクの順にソートできるようにする。これらの機能により、損傷度ランクの高い部分を優先的に確認することができるようになり、損傷度判定結果の確認が容易になる。

【0062】

さらにまた、損傷度判定結果の表示をクリック、またはホバーすると、損傷度ランク判定の根拠を示してもよい。例えば、損傷度判定結果の領域９１０をマウスでクリックすると、損傷度ランク判定の根拠として、「ひび割れ４本、最大ひび割れ幅０．２ｍｍ、格子状あり、格子間隔５０ｃｍ、漏水なし、遊離石灰なし」のような表示がされるようにしてもよい。また、これらの情報は、損傷度ランク表示領域９０２に、表示するようにしてもよい。

【0063】

以上、説明したように、情報処理装置１００は、局所の判定によりひび割れの検知とひび割れ幅の推定を実施し、局所の判定よりも広域の範囲の判定によりひび割れの状態を判定して、これらの結果を統合することで損傷度ランクを求めることができる。さらに、情報処理装置１００は、広域の判定に、ひび割れ検知結果を縮小した画像を利用することで、ひび割れの情報が保持されたデータを対象にしてひび割れの状態を判定することができる。

【0064】

（バリエーション）
上記の実施形態１では、情報処理装置１００は、第一のひび割れマップを作成し、これを画像変換部２０３において、画像の拡大縮小アルゴリズムを用いて縮小することで第二のひび割れマップを作成した。画像変換部２０３での第二のひび割れマップの作成方法は、画像の拡大縮小アルゴリズムを用いずに、別の方法を用いることができる。この方法では、まず、画像変換部２０３は、第一の画像から検知した第一のひび割れマップに含まれるひび割れの検知処理結果をベクタデータに変換し、そのベクタデータを用いて第二のひび割れマップを作成する。上記の実施形態１では、第一の画像からのひび割れ検知結果を細線化する処理まで説明したが、画像変換部２０３は、細線化したひび割れをさらにベクタデータに変換する。このひび割れのベクタデータは、ひび割れ位置を示す複数の線分の座標を、第一の画像の画像座標系で表したデータである。次に、第二のひび割れマップの作成では、まず、画像変換部２０３は、第二のひび割れマップの座標系へ、ベクタデータの座標を変換する。そして、画像変換部２０３は、座標変換したベクタデータを用いて、第二のひび割れマップへひび割れを示す線分を描画する。例えば、画像変換部２０３が、図６の第二のひび割れマップ６０４のように、ひび割れ画素を黒（０）、ひび割れ以外の画素を白（２５５）とする第二のひび割れマップを作成する場合について説明する。この場合、まず、画像変換部２０３は、第二のひび割れマップのサイズで、全画素が白（２５５）の画像を準備する。画像変換部２０３は、この画像に対して、ベクタデータの情報に従って、ひび割れ画素が黒（０）となるように線分を描画する。このようにすることで、画像変換部２０３は、画像拡大縮小アルゴリズムの影響により、ひび割れ検知結果の線分が薄くなったり、欠落したりすることを避けて、第二のひび割れマップを作成することができる。

【0065】

また、実施形態１では、状態判定部２０４は、第二の局所判定マップ（第二のひび割れマップ）と第二の画像（低解像度画像）の２つの画像を用いて、ひび割れの状態を判定する例について説明した。これにより、状態判定部２０４は、ひび割れの検知結果と、画像の特徴に基づいて、ひび割れの状態を判定することができる。このバリエーションとして、状態判定部２０４は、第二の局所判定マップのみを用いて状態判定を行うようにしてもよい。第二の局所判定マップのみからひび割れの状態を判定する場合には、図８のニューラルネットワーク８０３に入力するデータを第二のひび割れマップから得られる部分マップのみとする。これにより、状態判定部２０４は、第二の局所判定マップのみから、ひび割れの状態を判定することができるようになり、処理を簡略化することができる。このように、第二の局所判定マップのみを利用して状態判定を行う場合は、第二の画像のための縮小処理などを省略することができる。

【0066】

また、実施形態１では、図６の第二の画像６０３と第二のひび割れマップ６０４のように、画像変換部２０３は、５０％解像度の縮小画像を作成した。画像変換部２０３が作成する縮小画像は、実施形態１のように、１種類ではなく、異なる複数の縮小解像度で複数の縮小画像を作成するようにしてもよい。具体的には、まず、画像変換部２０３は、異なる複数の縮小倍率で第一の画像を縮小し、複数の第二の画像を作成する。また、画像変換部２０３は、同様の複数の縮小倍率で第一のひび割れマップを縮小し、複数の第二のひび割れマップを作成する。次に、各縮小サイズの第二の画像と、第二のひび割れマップを用いて、状態判定部２０４は、ひび割れの状態を判定する。この結果、異なる縮小サイズのそれぞれでのひび割れ格子状マップ（状態マップ）が作成されるが、これを統合することで、最終的に状態判定部２０４が出力するひび割れ格子状マップを作成する。これは、ひび割れの格子状の位置を多重解像度で判定した結果である。以下、このひび割れ格子状マップと、ひび割れ幅推定結果と、漏水マップ（変状領域マップ）を用いて、統合判定部２０６は、統合判定処理を行う。この処理は、実施形態１と同様に実施することができる。

【0067】

＜実施形態２＞
実施形態１では、状態判定部２０４が、ひび割れの状態（ひび割れが格子状であること）を判定する例について説明した。状態判定部２０４が判定する状態は、これに限らない。実施形態２では、状態判定部２０４が判定する状態が、損傷度である例について説明する。

【0068】

まず、実施形態２の概要について説明する。実施形態１では、統合判定部２０６が損傷度ランクを判定するために、状態判定部２０４は、中間情報としてひび割れが格子状であることを判定した。一方、実施形態２では、ひび割れの状態を明示的に判定せずに、状態判定部２０４は、画像とひび割れ検知結果から、直接、損傷度を判定する。これにより、状態判定部２０４は、損傷度の判定において、画像の特徴や、ひび割れの出現位置や数などの詳細な情報も直接利用して、損傷度を判定することができる。

【0069】

（構成）
図１０は、実施形態２に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部１００１と、局所判定部１００２と、画像変換部１００３と、状態判定部１００４と、領域検知部１００５と、表示制御部１００６を有している。なお、実施形態２では、状態判定部１００４が損傷度を出力するため、実施形態１の統合判定部２０６が不要になる。従って、図１０のブロック図は、実施形態１のブロック図（図２）と比べると、統合判定部２０６が含まれていない。各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、そのプログラムを実行し、後述する各フローチャートに従った処理を行うことで実現される。そして、ＣＰＵ１０１は、各処理の実行結果をＲＡＭ１０３またはＨＤＤ１０４に保持する。また、例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

【0070】

（処理）
図１１は、実施形態２に係る情報処理装置１００の情報処理方法を示すフローチャートである。また、図１２は、実施形態２における、画像入力から損傷度判定までの処理の具体的な事例を示している。

【0071】

まず、Ｓ１１０１では、画像取得部１００１は、損傷度を判定する対象の画像を取得する。実施形態２でも、実施形態１と同様に、この画像は、図４（Ａ）を用いて説明したような高解像度画像である。以下、この高解像度画像を第一の画像と呼ぶ。図１２には、以下の処理の処理対象画像として、第一の画像１２０１を示している。第一の画像１２０１には、ひび割れ１２１１や漏水１２１２が写っている。

【0072】

（局所判定部）
次に、Ｓ１１０２では、局所判定部１００２は、第一の画像から局所判定を実施する。局所判定部１００２は、実施形態１と同様に、第一の画像（高解像度画像）を対象にすることで、詳細な画像情報から、ひび割れの検知とひび割れ幅の推定を行い、第一の局所判定結果として、ひび割れ幅の情報を格納した第一のひび割れマップを作成する。ひび割れの検知とひび割れ幅の推定は、実施形態１と同様の処理で実施することができる。

【0073】

実施形態１と異なる点として、実施形態２では、局所判定部１００２は、検知処理の結果の属性を判定し、第一のひび割れマップに検知処理の結果の属性を付与する。具体的には、局所判定部１００２は、第一のひび割れマップに、ひび割れ幅の情報（属性）を付与する。これは、後述する状態判定部１００４が、ひび割れとひび割れ幅の情報を用いて、損傷度の判定を行うためである。図１２には、局所判定部１００２の出力として、ひび割れ幅情報が付与された第一のひび割れマップ１２０２が示されている。この第一のひび割れマップ１２０２は、実施形態１のひび割れ幅推定結果６０７と同様のデータであり、具体的には、ひび割れを示す画素に、そのひび割れのひび割れ幅の値を格納したマップである。

【0074】

（画像変換部）
次に、Ｓ１１０３とＳ１１０４では、画像変換部１００３は、第一の局所判定マップ（第一のひび割れマップ）と第一の画像を縮小する。Ｓ１１０４の第一の画像の縮小処理については、実施形態１と同様の方法で実施することができる。

【0075】

Ｓ１１０３では、画像変換部１００３は、実施形態１で説明した処理方法の内、バイリニア補間や最近傍補間のような一般的な画像拡大縮小アルゴリズム以外を利用することが好ましい。具体的な説明のため、第一のひび割れマップのひび割れ位置の画素には、そのひび割れのひび割れ幅の値が格納されているとする。このマップをバイリニア補間や最近傍補間のようなアルゴリズムで補間処理してしまうと、縮小後の第二のひび割れマップの画素におけるひび割れ幅の値が変化し、誤ったひび割れ幅情報となってしまう。

【0076】

したがって、実施形態２において、画像変換部１００３は、ひび割れ幅の情報を含む第一のひび割れマップを縮小する処理では、例えば、図７（Ｂ）を用いて説明したフィルタ内の代表値を複製する方法を用いて、第二のひび割れマップを作成する。具体的には、例えば、画像変換部１００３は、５０％サイズに縮小処理を行う場合には、２×２フィルタの範囲のひび割れ幅の値の最大値を縮小画像の対応する画素の値とする。これは所謂、Max Poolingと同様の処理となる。これにより、画像変換部１００３は、ひび割れ幅の情報、特に、太いひび割れ幅の情報を正しく残しながら、縮小した第二のひび割れマップを作成することができる。

【0077】

また、ひび割れ幅情報が付与された第一のひび割れマップを縮小する別の方法として、実施形態１のバリエーションとして説明したベクタデータを介して縮小処理を行う方法がある。この場合、まず、画像変換部１００３は、ひび割れ検知結果を基に、ひび割れの線分を示すベクタデータを作成し、各線分のベクタデータに、その部分のひび割れ幅の情報を関連付けておく。次に、画像変換部１００３は、縮小画像に対して、ベクタデータの情報を基に、ひび割れ位置を示す線分を描画するときに、その線分に関連付けられたひび割れ幅の値で線分を描画する。この方法でも、各画素にひび割れ幅の値を正しく格納した第二のひび割れマップを作成することができる。

【0078】

以上により、画像変換部１００３は、図１２の第二の画像１２０４と、第二のひび割れマップ１２０５を作成する。

【0079】

（領域検知部）
次に、Ｓ１１０５では、領域検知部１００５は、第一の画像を基に漏水、遊離石灰などの変状領域を検知し、変状領域マップを作成する。この領域検知処理は、実施形態１と同様の方法で実施することができる。また、実施形態１と同様に、領域検知部１００５は、第一の画像と第二の画像から変状領域を検知してもよいし、これらのいずれかの画像を用いて変状領域を検知するようにしてもよい。

【0080】

実施形態２においては、領域検知部１００５が作成する変状領域マップは、第二の画像、および第二のひび割れマップと同サイズの画像とする。このため、領域検知部１００５は、画像変換部１００３を用いて、第一の画像のサイズの変状領域マップを第二の画像のサイズに縮小するようにしてもよい。

【0081】

図１２には、領域検知部１００５が出力する漏水マップ１２０３を示している。この漏水マップ１２０３は、変状領域マップであり、第二の画像１２０４および第二のひび割れマップ１２０５と同サイズのマップである。領域検知部１００５の出力としては、漏水マップ１２０３のみならず、遊離石灰マップなど、他の変状領域マップも出力するようにしてもよい。以下の処理では、これらの他の変状領域マップも、漏水マップと同様に利用することができるので、以下の説明では他の変状領域マップについては説明を割愛する。

【0082】

（状態判定部）
次に、Ｓ１１０６では、状態判定部１００４は、第二の局所判定マップと第二の画像と変状領域マップを基に、広域範囲の状態を判定する。状態判定部１００４は、広域範囲の状態として、その広域範囲の損傷度ランクを判定する。図１２には、状態判定部１００４が、漏水マップ１２０３と、第二の画像１２０４と、第二のひび割れマップ１２０５から、損傷度判定結果１２０６を作成した様子を示している。実施形態２では、状態判定部１００４は、中間情報としてひび割れの状態を出力していないが、第二のひび割れマップを入力として、広域の範囲で損傷度を判定することにより、ひび割れが格子状であることも考慮した損傷度を求めることができる。

【0083】

また、本実施形態では、以下に説明するように、機械学習により、損傷度判定の識別器を作成する。状態判定部１００４は、識別器により損傷度を判定することにより、ひび割れの数、密度、または画像の状態（コンクリート壁面のテクスチャ感）など、様々な情報に基づいて損傷度を判定することができる。これにより、ルールベースの判定よりも、複雑な基準で損傷度を判定することができるようになる。

【0084】

図１３は、第二の画像１２０４と、第二のひび割れマップ１２０５と、漏水マップ１２０３を、状態判定部１００４の識別器に入力して、損傷度を判定する図を示している。図１３の例では、識別器は、ニューラルネットワーク１３１０である。図１３では、第二の画像１２０４と、第二のひび割れマップ１２０５と、漏水マップ１２０３の状態判定ウィンドウ１３０１、１３０２、１３０３の範囲の情報を、ニューラルネットワーク１３１０の入力層１３１１に入力している。ここで、第二の画像１２０４の状態判定ウィンドウ１３０１の部分画像は、ＲＧＢの３チャンネル画像とする。また、第二のひび割れマップ１２０５は、ひび割れ位置にひび割れ幅の値が格納されたグレースケール画像である。一方、漏水マップ１２０３は、漏水の位置とそれ以外の部分が［０、２５５］で表された２値画像である。このように、第二のひび割れマップ１２０５と漏水マップ１２０３は、１チャンネル画像であるため、これらの状態判定ウィンドウ１３０２、１３０３の部分マップも、それぞれ１チャンネル画像である。このような部分画像と部分マップをニューラルネットワーク１３１０に入力する場合、これらを統合して、５チャンネル画像として、入力層１３１１へ入力する。なお、ニューラルネットワーク１３１０への部分画像および部分マップの入力方法は、これに限らず、それぞれ異なる入力層からネットワークへ画像を入力するようなニューラルネットワークのアーキテクチャを採用してもよい。

【0085】

この入力に対して、ニューラルネットワーク１３１０は、出力層１３１２から、損傷度判定結果１３１３を出力する。本実施形態では、損傷度判定結果１３１３は、入力した状態判定ウィンドウ１３０１～１３０３の範囲の画像について、各画素に損傷度ランクを格納した損傷度マップとして出力される。図１３の損傷度判定結果１３１３の網掛部分は、損傷度ｅと判定された画像領域を示している。

【0086】

このように、状態判定部１００４の識別器は、損傷度判定結果として、損傷度マップを出力する。このような識別器は、例えば、以下のようにして学習することができる。図１３には、ニューラルネットワーク１３１０を学習するための学習データ１３２０を示している。学習データ１３２０には、画像と教師データのペアが大量に格納されている。学習データ１３２０の画像は、ニューラルネットワーク１３１０に入力するデータと同様に、画像とひび割れマップ、および漏水マップからなる５チャンネル画像である。各画像には、その画像の各画素の損傷度ランクを記録した教師データが与えられている。この教師データは、人間が画像を確認して、損傷度ランクを領域ごとに判定し、記録することにより作成する。また、１つの画像に対して、複数の損傷度を含む教師データを作成してもよい。学習データ１３２０には、損傷度ａと損傷度ｃを含む教師データが存在している例を示している。なお、人間が判定する損傷度ランクは、図３のような損傷度ランク判定基準に従って判定してもよいし、点検エキスパートが直感的に損傷度ランクを判定してもよい。いずれの判断により作成された教師データであっても、学習データ１３２０を学習することにより、統計的に適切な損傷度判定を行う識別器を学習することができる。

【0087】

状態判定部１００４の識別器は、以上のようにして準備した学習データ１３２０を用いて学習する。損傷度をマップとして出力する識別器は、学習データ１３２０を用いて、セマンティック・セグメンテーションのアルゴリズムにより学習することができる。図１３のニューラルネットワーク１３１０は、セマンティック・セグメンテーションに用いるアルゴリズムの一例であり、状態判定部１００４の識別器には、他のアルゴリズムを利用してもよい。学習データ１３２０を用いたニューラルネットワーク１３１０の学習は、以下のように実施することができる。まず、学習データ１３２０の画像をニューラルネットワーク１３１０に入力して、出力結果の損傷度マップを作成する。この損傷度マップと、教師データを比較して、誤差が小さくなるように、ニューラルネットワーク１３１０の重み係数を変更する。以上の処理を入力する学習データの画像を変更しながら、繰り返し実施することでニューラルネットワーク１３１０の学習を実施する。このようにして学習したニューラルネットワーク１３１０により、入力データから損傷度マップを出力することができるようになる。

【0088】

以上のようにして、状態判定部１００４は、局所判定部１００２の局所範囲の判定よりも広域の範囲について、各画素に損傷度ランクを格納した損傷度マップを作成する。状態判定部１００４は、状態判定ウィンドウ１３０１～１３０３をスライドさせて、各部分領域の損傷度マップを出力し、画像全体の損傷度マップを作成するために、各部分領域の損傷度マップを結合して、損傷度判定結果を作成する。

【0089】

（表示制御部）
以上の処理により、図１２の損傷度判定結果１２０６が生成される。次に、Ｓ１１０７では、表示制御部１００６は、損傷度判定結果１２０６を表示部１０５へ表示する。実施形態１では、損傷度ランクの判定結果の表示は、矩形範囲で表示される例を説明したが、実施形態２では、損傷度判定結果１２０６のように、損傷度ランクの範囲は、任意の形状で表示される。このように損傷度判定結果１２０６の範囲表示が異なる以外の表示制御部１００６の処理は、実施形態１と同様に実施することができるので、説明を省略する。

【0090】

以上、実施形態２では、状態判定部１００４は、第二の画像１２０４と、第二のひび割れマップ１２０５と、漏水マップ１２０３から損傷度判定結果１２０６を作成する。状態判定部１００４の識別器で用いる情報は、これらに限らず、他の情報も加えて損傷度を判定するようにしてもよい。例えば、識別器に入力する情報に、損傷度判定対象の構造物の使用経過年数、場所、部材、工法、などの情報も加えて、損傷度を判定するようにしてもよい。このようにすることにより、例えば、構造物が存在する場所が寒冷地であれば、凍害が発生しやすい、または、沿岸であれば、塩害が発生しやすい、などの情報も含め、損傷度を判定することができるようになる。

【0091】

＜実施形態３＞
以上の実施形態では、第一のひび割れマップは、局所判定部のひび割れ検知処理の結果を第一のひび割れマップとする例を説明した。第一のひび割れマップに用いる情報は、これに限らず、ひび割れ検知処理の中間情報としてもよい。実施形態３では、第一のひび割れマップに、ひび割れ検知処理の中間情報を用いる例について説明する。なお、実施形態３のハードウェア構成と機能構成は、実施形態１と同様であるので、説明を省略する。

【0092】

図１４は、実施形態３の画像入力から損傷度判定までの処理の具体的な事例を示している。まず、実施形態３では、局所判定部２０２は、第一の画像１４０１からひび割れ検知処理を実施する。実施形態１では、局所判定部２０２は、ひび割れ検知処理の結果として、スコアマップを閾値処理、および細線化した結果を第一のひび割れマップとする。実施形態３では、局所判定部２０２は、ひび割れ検知処理の中間情報として、スコアマップを用いて第一のひび割れマップを作成する。図１４では、局所判定部２０２が、第一の画像１４０１から第一のひび割れマップ１４０２を作成している様子を示している。第一のひび割れマップ１４０２は、ひび割れ検知処理の中間情報のスコアマップであり、各画素にひび割れらしさを示すスコアが格納されたマップである。図１４では、網掛部１４１０は、ひび割れらしさの値を格納した画素を示している。

【0093】

実施形態３では、以降の処理は、実施形態１と同様に実施することができる。例えば、画像変換部２０３は、第一のひび割れマップ１４０２を縮小することで、第二のひび割れマップ１４０４を作成する。画像変換部２０３は、第一の画像１４０１を縮小することで、第二の画像１４０３を作成する。さらに、状態判定部２０４は、第二の画像１４０３と第二のひび割れマップ１４０４を用いて、ひび割れの状態を判定し、ひび割れ格子状マップ１４０６を作成する。局所判定部２０２は、第一の画像１４０１からひび割れ幅推定結果１４０７を生成する。領域検知部２０５は、第一の画像１４０１から漏水マップ１４０５を作成する。統合判定部２０６は、漏水マップ１４０５とひび割れ格子状マップ１４０６とひび割れ幅推定結果１４０７を基に、損傷度判定結果１４０８を生成する。表示制御部２０７は、損傷度判定結果１４０８を表示部１０５に表示する。

【0094】

以上のように、情報処理装置１００は、ひび割れ検知処理の中間情報を利用することで、ひび割れ検知処理の閾値処理などにより消失する情報も加えて、ひび割れの状態を判定することができる。

【0095】

なお、実施形態３では、中間情報としてスコアマップを利用する例を説明したが、実施形態３で利用する中間情報は、これに限らない。例えば、ひび割れ検知処理が、ＣＮＮ（Convolutional Neural Network）で構成される場合、ＣＮＮの中間層の情報を第一のひび割れマップとしてもよい。また、第一のひび割れマップに利用するＣＮＮの中間層は、ＣＮＮネットワークの任意の中間層を利用してよい。さらにまた、ＣＮＮネットワークから、複数の異なるＣＮＮの中間層を抽出し、これらを結合したＣＮＮマップを第一のひび割れマップとしてもよい。

【0096】

さらにまた、実施形態３では、実施形態１と同様に、状態判定部２０４がひび割れの状態を判定する例を説明したが、状態判定部２０４は、実施形態２と同様に、損傷度を直接判定してもよい。

【0097】

＜実施形態４＞
実施形態３では、第一のひび割れマップに、ひび割れ検知処理の中間情報を用いる例について説明した。実施形態４では、第一のひび割れマップに利用する情報について、さらに異なる例について説明する。実施形態４では、ひび割れ検知結果をユーザーが確認し、修正した修正ひび割れ検知結果を第一のひび割れマップとして利用する例について説明する。なお、実施形態４のハードウェア構成と機能構成は、実施形態１と同様であるので、説明を省略する。

【0098】

実施形態４では、局所判定部２０２が、ひび割れ検知処理が完了した後に、表示制御部２０７は、局所判定部２０２のひび割れ検知処理の結果を表示部１０５に表示する。図１５には、ひび割れ検知結果を表示するユーザーインターフェースを示している。まず、図１５には、ひび割れ検知結果を示すアプリケーションウィンドウ１５０１が示されている。アプリケーションウィンドウ１５０１には、検知結果表示領域１５０２が含まれており、この検知結果表示領域１５０２にひび割れ検知結果が表示されている。なお、図１５の例では、ひび割れ検知結果に加え、領域検知部２０５が検知した漏水検知結果も示されている。これらの検知結果は、元の画像に重畳表示され、画像と検知結果を比較できるように表示している。

【0099】

さらに、図１５のユーザーインターフェース（ＵＩ）には、検知結果を修正するためのＵＩを備える。これにより、ひび割れ検知処理の結果に、未検知や誤検知が含まれている場合、ユーザーはこれを修正することができる。例えば、ユーザーは、操作部１０６を介して、マウスカーソル１５０３を操作することにより、ひび割れの追加や削除といったひび割れ検知結果の修正を行うことができる。

【0100】

ユーザーは、ひび割れの修正処理が完了した後に、「損傷度判定実行」ボタン１５０４をクリックする。図１５には、「損傷度判定実行」ボタン１５０４をクリックした後に、確認のダイアログボックス１５０５が表示されている様子を示している。ユーザーがダイアログボックス１５０５で「はい」を選択すると、局所判定部２０２は、ユーザーの操作に応じて、ひび割れ検知処理の結果を修正し、第一のひび割れマップを作成する。以下、この第一のひび割れマップを用いて、実施形態１または実施形態２と同様の処理により、損傷度を判定することができる。

【0101】

以上の実施形態４により、情報処理装置１００は、ひび割れ検知の結果に誤りが含まれる場合に、その結果を修正して、損傷度を判定することができる。

【0102】

また、ひび割れ検知の結果が不十分で、修正して利用するレベルに到達していない場合、ひび割れ検知のパラメータを変更して、再度、検知処理を実行できるようにしてもよい。例えば、図１５には、再検知ボタン１５０６を備える。ユーザーは、ひび割れ検知結果が不十分と判断した場合には、再検知ボタン１５０６をクリックし、検知処理のパラメータなどの条件を変更して、再検知を実行する命令を入力することができる。この場合、局所判定部２０２は、受け付けたパラメータなどの条件に従い、再検知を実行する。

【0103】

＜実施形態５＞
以上の実施形態では、画像変換部が第一の画像と第一の局所判定マップを縮小して、状態判定部が状態判定を実施する例について説明した。実施形態５では、第一の画像と第一の局所判定マップを縮小しないで、局所的な判定と広域の範囲の判定を実施する例について説明する。なお、実施形態５のハードウェア構成と機能構成は、実施形態１とほぼ同様であるので、説明を省略する。機能構成の違いとして、実施形態５では、実施形態１の画像変換部２０３が不要となる。

【0104】

実施形態５では、まず、これまでの実施形態と同様に、局所判定部２０２は、画像の局所範囲の情報から、ひび割れを検知して、第一のひび割れマップを作成する。この検知処理では、例えば、検知ウィンドウ４０３の範囲の情報から、ひび割れを検知する。

【0105】

次に、状態判定部２０４は、ひび割れの状態を判定する。実施形態５では、画像変換部２０３は、第一のひび割れマップを縮小する処理を実施しない。状態判定部２０４は、第一のひび割れマップから直接、ひび割れの状態を判定する。この時、状態判定ウィンドウは、ひび割れ検知処理の検知ウィンドウ４０３よりも広域の範囲を示すウィンドウとする。これにより、状態判定部２０４は、局所的な検知処理よりも広域の範囲から、ひび割れの状態を判定することができ、複数のひび割れからなるひび割れの形状状態を判定することができる。なお、状態判定部２０４でのひび割れの状態の判定方法は、実施形態１で説明した方法と同様に、識別器を学習することで実施することができる。この場合、本実施形態では、識別器へ入力するひび割れマップの部分マップは、第一のひび割れマップから取得した部分マップとなる。

【0106】

＜実施形態６＞
以上の実施形態では、インフラ構造物のコンクリート壁面の点検における損傷度判定について説明した。用途はこれに限らず、他の目的に利用してもよい。実施形態６では、工場等で製品の画像を撮影し、キズなどの欠陥を検知する装置（外観検査装置）について説明する。なお、実施形態６のハードウェア構成と機能構成は、実施形態１または実施形態２と同様であるので、説明を省略する。

【0107】

図１６は、本実施形態における画像入力から損傷度判定までの処理の具体的な事例を示している。まず、画像取得部２０１は、検査対象の第一の画像１６０１を取得する。第一の画像１６０１は、検査対象の製品１６１０を、細かいキズも検知できるように高解像度で撮影した画像である。例えば、第一の画像１６０１の製品１６１０には、キズ１６１１などが生じている。なお、以下の説明では、検知対象をキズとしているが、検知する対象の欠陥は、キズに限らず、ムラ、汚れ、異物、などを含んでもよい。

【0108】

本実施形態では、情報処理装置１００は、このような製品のキズを検知するとともに、そのキズの状態から欠陥種類を判定する。例えば、単独で発生したキズは欠陥種類Ａと定義され、複数のキズが同じ方向に発生しているケースは欠陥種類Ｅと定義される。これらの欠陥種類は、説明のための例であり、欠陥種類の定義は、これ以外の定義を含んでもよい。外観検査においては、このような欠陥種類の判定結果を製品の良品・不良品判定に利用することができる。また、欠陥種類によって、製品に欠陥が生じた原因を判断することもできる場合がある。

【0109】

このように、キズの検知と、キズの状態を判定する場合、まず、キズの検知では、キズは非常に細かいので高解像度の画像を用いる必要がある。一方、キズの状態は、ある程度広域の範囲のキズの発生状況に応じて判定する必要がある。従って、実施形態１と同様に、本実施形態でも、情報処理装置１００は、高解像度画像によるキズの検知と、それを縮小した縮小画像を用いたキズの状態判定を行う。

【0110】

図１６には、局所判定部２０２が、第一の画像１６０１（高解像度画像）から、第一の局所判定マップ１６０２を作成している様子を示している。なお、第一の画像１６０１には、局所判定部２０２のキズ検知ウィンドウ１６２１を示している。また、第一の局所判定マップ１６０２には、キズの検知結果１６１２を示している。

【0111】

画像変換部２０３は、第一の画像１６０１と第一の局所判定マップ１６０２を縮小処理することで、第二の画像（低解像度画像）１６０３と第二の局所判定マップ１６０４を作成する。第二の画像１６０３のキズ１６１３が点線で示されているのは、第一の画像１６０１の縮小処理により、キズが分かりにくくなっている様子を示している。一方、第二の局所判定マップ１６０４は、第一の局所判定マップ１６０２を縮小するため、キズの情報が保持されたマップとなっている。

【0112】

状態判定部２０４は、第二の画像１６０３と、第二の局所判定マップ１６０４を基に、キズの状態を判定する。第二の画像１６０３と、第二の局所判定マップ１６０４には、状態判定部２０４の状態判定ウィンドウ１６２２と１６２３を示している。状態判定部２０４の識別器は、この状態判定ウィンドウ１６２２と１６２３の部分画像および部分マップを入力することで、局所判定よりも広域の範囲からキズの状態を判定する。状態判定部２０４の識別器は、画像およびキズ検知マップを入力すると、欠陥種類のラベルを出力する識別器である。状態判定部２０４の識別器は、他の実施形態と同様に学習することができるため、詳細な説明は割愛する。状態判定部２０４は、各部分のキズ状態の判定結果を統合して、欠陥状態マップを作成する。

【0113】

図１６には、状態判定部２０４の処理の結果である欠陥状態マップ１６０５が出力された様子を示している。欠陥状態マップ１６０５には、キズの状態の判定結果１６３１と１６３２が生成された様子を示している。状態の判定結果１６３１および１６３２は、そのキズの状態に基づいて、それぞれ欠陥種類Ａおよび欠陥種類Ｅと判定されている。以上のように、本実施形態は、外観検査装置に適応することができる。

【0114】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0115】

なお、上記実施形態は、何れも本発明を実施するにあたっての具体例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0116】

２０１ 画像取得部、２０２ 局所判定部、２０３ 画像変換部、２０４ 状態判定部、２０５ 領域検知部、２０６ 統合判定部、２０７ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】