特開 2023-183235 画像処理装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183235

(43)【公開日】2023-12-27

(54)【発明の名称】画像処理装置、制御方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231220BHJP

   G01N 21/88 20060101ALI20231220BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610B

G01N21/88 J

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022096752

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】日塔 雄一

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051EB10

2G051EC01

2G051FA01

5L096BA03

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

【課題】変状検出を行うための画像処理に最適な設定を従来よりも容易に行える技術を実現する。
【解決手段】検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置において、前記変状検出を行う画像を含む第１の情報に応じて前記事例情報を取得する取得手段と、前記取得手段により取得した事例情報を提示する提示手段と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置において、
前記変状検出を行う画像を含む第１の情報に応じて前記事例情報を取得する取得手段と、
前記取得手段により取得した事例情報を提示する提示手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記第１の情報を受信する受信手段をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の情報は、前記変状検出を行う画像および前記検査対象の構造物の情報を含むことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記検査対象の構造物の情報は、当該検査対象の構造物の種別および部材を含むことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記事例情報は、前記変状検出を行った画像、前記変状検出を行うための画像処理に用いた第２の情報を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記第２の情報は、前記画像処理に用いた学習済みモデルおよびパラメータを含むことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記事例情報は、さらに前記変状検出により得られた変状情報、前記検査対象の構造物の種別および部材を含むことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記事例情報は、さらに前記事例情報の公開範囲および前記事例情報の適正度を含むことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記提示手段は、前記学習済みモデルを選択可能に提示することを特徴とする請求項６に記載の画像処理装置。

【請求項10】

前記提示手段は、さらに前記学習済みモデルを用いて変状検出を行った画像および前記学習済みモデルの説明を提示することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記提示手段は、選択された学習済みモデルを用いて変状検出を行った画像の適性および前記検査対象の構造物の種別の統計を提示することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記提示手段は、選択された学習済みモデルのパラメータを設定可能に提示することを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記第１の情報に基づいて前記変状検出を行う検出手段をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項14】

前記検出手段により前記変状検出を行った結果を事例情報として登録する登録手段をさらに有することを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

前記登録手段は、前記事例情報の公開範囲および前記事例情報の適正度を登録可能であることを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置の制御方法であって、
前記変状検出を行う画像を含む第１の情報に基づいて前記事例情報を取得するステップと、
前記第１の情報に基づいて取得された事例情報を提示するステップと、を有することを特徴とする制御方法。

【請求項17】

コンピュータを、請求項１から１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象を撮影した画像から変状を検出する技術に関する。

【背景技術】

【0002】

インフラ構造物の点検において、検査対象を撮影した画像から変状を検出する技術として、ＡＩ（人工知能）の機械学習や機械学習の一種である深層学習により作成された学習済みモデルを用いて画像処理を行う方法がある。この場合、変状を精度良く検出するためには、処理対象の画像に合わせて最適なモデルを設定し、パラメータを調整することが望ましい。

【0003】

一方で、検査対象を撮影した画像から変状を検出するための画像処理は、高精細に撮影した画像が必要であり、所望の結果が得られるまで設定と処理が繰り返し行われる。このように、画像処理に必要な解像度で撮影した画像は非常に大きいサイズとなるため、処理に時間がかかると共に、設定と処理を繰り返しながら適切な設定を見出すのに手間がかかる。

【0004】

特許文献１には、画像の修整を行った画像処理の事例と設定とを組み合わせて記録しておき、画像処理の事例と設定を選択可能に提示する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６６７５５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、提示された画像処理の事例の中から、ユーザが目標となる事例を選択する必要がある。しかしながら、学習済みモデルやパラメータを用いて変状検出を行う画像処理について処理対象の画像や検出結果などを見ただけでは、ユーザが最適な事例を判断し選択することが難しい場合がある。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、変状検出を行うための画像処理に最適な設定を従来よりも容易に行える技術を実現することである。

【課題を解決するための手段】

【0008】

上記課題を解決し、目的を達成するために、本発明は、検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置において、前記変状検出を行う画像を含む第１の情報に応じて前記事例情報を取得する取得手段と、前記取得手段により取得した事例情報を提示する提示手段と、を有する。

【発明の効果】

【0009】

本発明によれば、変状検出を行うための画像処理に最適な設定を従来よりも容易に行えるようになる。

【図面の簡単な説明】

【0010】

【図1】本実施形態の画像処理装置のハードウェア構成を示すブロック図。

【図2】本実施形態の画像処理装置の機能ブロック図。

【図3】本実施形態の画像処理装置による制御処理を説明するフローチャート。

【図4】本実施形態の変状検出用情報を入力するためのＵＩ画面を例示する図。

【図5】本実施形態の事例情報のデータ構成を例示する図。

【図6】本実施形態の事例情報の提示処理を説明するフローチャート。

【図7】事例情報を提示するためのＵＩ画面を例示する図。

【図8】事例情報を登録するためのＵＩ画面を例示する図。

【図9】新規に登録された事例情報を含む事例情報のデータ構成を例示する図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下では、本発明の画像処理装置を、検査対象の一例であるコンクリート構造物などのインフラ構造物の点検に用いられるコンピュータ装置に適用した実施形態について説明する。

【0013】

本実施形態では、コンピュータ装置が画像処理装置として動作し、変状検出を行う対象の画像を含む変状検出用情報（第１の情報）に基づいて、以前に行った変状検出処理結果である事例情報を提示することにより、変状検出を行う画像処理に用いる画像処理用情報（第２の情報）の設定を可能とした例について説明する。

【0014】

なお、本実施形態において、「検査対象」とは、自動車専用道路、橋梁、トンネル、ダムなどの点検を行う対象のコンクリート構造物である。画像処理装置は、ユーザが検査対象を撮像した画像を用いてひび割れなどの変状の有無や状態を検出する変状検出処理を行う。また、「変状」とは、例えば、コンクリート構造物の場合、コンクリートのひび割れや浮き、剥落である。その他、エフロレッセンス（白華現象）、鉄筋露出、錆、漏水、水垂れ、腐食、損傷（欠損）、コールドジョイント、析出物、ジャンカなどを含む。

【0015】

＜ハードウェア構成＞
まず、図１を参照して、本実施形態の画像処理装置１００のハードウェア構成について説明する。

【0016】

図１は、本実施形態の画像処理装置１００のハードウェア構成を示すブロック図である。

【0017】

なお、以下に説明する実施形態の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。

【0018】

画像処理装置１００は、制御部１０１、不揮発性メモリ１０２、ワークメモリ１０３、記憶デバイス１０４、入力デバイス１０５、出力デバイス１０６、ネットワークインターフェース１０７、システムバス１０８を備える。

【0019】

制御部１０１は、画像処理装置１００の全体を統括して制御するＣＰＵ、ＭＰＵ等の演算処理プロセッサを含む。不揮発性メモリ１０２は、制御部１０１のプロセッサが実行するプログラムやモデル、パラメータを格納するＲＯＭである。ここで、プログラムとは、後述する制御処理を実行するためのプログラムのことである。また、モデルおよびパラメータとは、後述するが、検査対象を撮影した画像（以下、検出用画像）から変状検出を行う画像処理に用いられる学習済みモデルおよび学習処理に用いるパラメータのことである。ワークメモリ１０３は、外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭである。

【0020】

記憶デバイス１０４は、画像処理装置１００に内蔵されたハードディスクやメモリカード等の内部機器又は画像処理装置１００に着脱可能に接続されたハードディスクやメモリカード等の外部機器である。記憶デバイス１０４は、半導体メモリや磁気ディスク等から構成されるメモリカードやハードディスク等を含む。また、記憶デバイス１０４は、ＣＤ，ＤＶＤ，Ｂｌｕｅ－ｒａｙ Ｄｉｓｃ等の光ディスクに対してデータの読み出し／書き込みを行うディスクドライブから構成される記憶媒体を含む。

【0021】

制御部１０１は、学習済みモデルおよびパラメータを用いた画像処理により検出用画像から変状を検出する変状検出処理を実行する。学習済みモデルは、例えば、ＡＩ（人工知能）の機械学習や機械学習の一種である深層学習により作成される。学習済みモデルは、例えば、ニューラルネットワークモデルで構成可能である。なお、学習処理をＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行してもよい。ＧＰＵは、コンピュータグラフィックの演算に特化した処理を行うことが可能なプロセッサであり、学習処理に必要な行列演算などを短時間に行う演算処理能力を有する。なお、学習処理は、ＧＰＵに限らず、ニューラルネットワークに必要な行列演算などを行う回路構成を備えていればよい。

【0022】

なお、検査対象を撮影した画像から変状を検出する画像処理に用いられる学習済みモデルおよびパラメータは、ネットワークに接続されたクラウドサーバなどからネットワークインターフェース１０７を介して取得してもよい。また、クラウドサーバに検出用画像およびパラメータを送信し、クラウドサーバで学習済みモデルを用いて画像処理（推論処理）を実行した検出結果を事例情報としてネットワークインターフェース１０７を介して取得してもよい。

【0023】

入力デバイス１０５は、ユーザ操作を受け付けるマウス、キーボード、タッチパネル等の操作部材であり、操作指示を制御部１０１に出力する。出力デバイス１０６は、ＬＣＤや有機ＥＬから構成されるディスプレイやモニタ等の表示装置であり、画像処理装置１００が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース１０７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに通信可能に接続する。システムバス１０８は、画像処理装置１００の各構成要素１０１～１０７をデータの授受が可能に接続する。

【0024】

不揮発性メモリ１０２または記憶デバイス１０４には、制御部１０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ１０２または記憶デバイス１０４には、画像処理装置１００が、後述する検査対象を撮影した画像から変状を検出する画像解析処理を実現するアプリケーションが格納されている。

【0025】

本実施形態の画像処理装置１００の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは画像処理装置１００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置１００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

【0026】

＜機能構成＞
次に、図２を参照して、本実施形態の画像処理装置１００の機能ブロックについて説明する。

【0027】

図２は、本実施形態の画像処理装置１００の機能ブロック図である。

【0028】

画像処理装置１００は、受信部２０１、管理部２０２、取得部２０３、提示部２０４、検出部２０５および登録部２０６を備える。画像処理装置１００の各機能は、ハードウェアおよびソフトウェアにより構成される。なお、各機能部が、１つまたは複数のコンピュータ装置やサーバ装置で構成され、ネットワークにより接続されたシステムとして構成されてもよい。

【0029】

受信部２０１は、記憶デバイス１０４、入力デバイス１０５またはネットワークインターフェース１０７を介して外部のサーバ装置などから検出用画像の画像情報を含む変状検出用情報および画像処理に用いる画像処理用情報を受信する。

【0030】

管理部２０２は、記憶デバイス１０４に記憶されている事例情報の登録、削除および更新などの管理を行う。なお、事例情報は、以前に実行された変状検出処理の設定や結果に関する履歴情報である。

【0031】

取得部２０３は、受信部２０１により受信した変状検出用情報に基づいて管理部２０２から事例情報を取得する。

【0032】

提示部２０４は、取得部２０３により取得した事例情報を表示するなどして、ユーザに提示する。

【0033】

検出部２０５は、受信部２０１により受信した変状検出用情報および画像処理用情報に基づいて検出用画像から変状を検出する処理を実行する。

【0034】

登録部２０６は、検出部２０５により変状検出を行った結果を事例情報として管理部２０２に登録する。

【0035】

＜制御処理＞
次に、図３から図９を参照して、本実施形態の制御処理について説明する。

【0036】

図３は、本実施形態における画像処理装置１００の制御処理を示すフローチャートである。

【0037】

図３の処理は、図１に示す画像処理装置１００の制御部１０１が不揮発性メモリ１０２に格納されているプログラムをワークメモリ１０３に展開して実行することにより、図１に示す各構成要素を制御して図２に示す各機能部として動作することにより実現される。また、図３の処理は、画像処理装置１００が入力デバイス１０５により変状検出処理を開始する指示を受け付けると開始される。

【0038】

Ｓ３０１では、受信部２０１は、変状検出用情報を受信する。この場合、ユーザは、例えば、入力デバイス１０５を操作して、図４に示すＵＩ画面４０１の画像選択欄４０２に検出用画像のファイル名などを入力する。受信部２０１は、画像選択欄４０２に入力された情報に基づいて管理部２０２を介して記憶デバイス１０４に記憶されている検出用画像を受信する。なお、図４に示すＵＩ画面４０１には、画像選択欄４０２以外に、検査対象の構造物の種別や部材を入力する種別入力欄４０３や部材入力欄４０４が設けられており、ユーザは、変状検出用情報として、検査対象の構造物の種別や部材を入力可能である。この場合、受信部２０１は、画像選択欄４０２に入力された検出用画像に加えて、検査対象の構造物の種別や部材の情報を受信する。さらに、図４に示すＵＩ画面４０１には、画像選択欄４０２、種別入力欄４０３および部材入力欄４０４以外に、変状検出用情報の入力を行ったユーザやユーザが属する組織を入力するユーザ入力欄４０５や組織入力欄４０６が設けられており、ユーザは、検出用情報として、ユーザの識別情報や組織の識別情報を入力可能である。この場合、受信部２０１は、画像選択欄４０２、種別入力欄４０３および部材入力欄４０４に入力された情報に加えて、変状検出用情報を入力したユーザの識別情報や組織の識別情報を受信する。なお、変状検出用情報の入力方法は一例であり、図４に示すＵＩ画面４０１を用いた入力方法に限定されるものではない。

【0039】

Ｓ３０２では、取得部２０３は、Ｓ３０１で受信部２０１により受信した変状検出用情報に基づいて管理部２０２を介して記憶デバイス１０４に記憶されている事例情報を取得する。図５（ａ）は、記憶デバイス１０４に記憶されている事例情報５０１Ａのデータ構成を例示している。図５（ａ）において、事例情報５０１Ａの各行は、過去に実行された変状検出処理の設定や結果に関する履歴情報である。履歴情報は、例えば、事例ＩＤ５０２、画像５０３、モデル５０４、パラメータ５０５、検出結果５０６を含む。事例ＩＤ５０２には、事例ごとに付与されている識別情報が登録される。画像５０３には、検出用画像のファイル名が登録される。モデル５０４およびパラメータ５０５には、画像処理用情報として、検出用画像の画像処理に用いられた学習済みモデルの名称および学習処理に用いられたパラメータが登録される。検出結果５０６には、検出用画像から検出された変状情報が登録される。

【0040】

また、履歴情報は、検査対象の構造物の種別５０７および部材５０８などの属性情報を含む。さらに、履歴情報は、付加情報として、事例情報を公開するユーザの範囲を表す公開範囲５０９、変状検出結果の適切さのレベルを表す適正度５１０、事例情報の説明などを記述する説明欄５１１を含む。なお、事例情報には、変状検出処理において学習モデルの学習処理に用いた情報を予め登録しておいてもよいし、学習モデルの学習処理に用いた情報に基づき、画像５０３や検出結果５０６の正解値、特徴などを説明欄５１１に登録しておいてもよい。

【0041】

取得部２０３は、図５（ａ）に示す事例情報５０１Ａの全行の情報またはＳ３０１で受信部２０１により受信した変状検出用情報に対応する行の情報または変状検出用情報に基づいて取捨選択された行の情報を取得する。例えば、取得部２０３が、変状検出用情報として検査対象の構造物の種別「橋梁」および部材「床板」を受信した場合、図５（ｂ）に示す事例情報５０１Ｂから、検査対象の構造物の種別および部材が一致する事例情報５１２を取得する。また、取得部２０３が、変状検出用情報として検査対象の構造物の種別「橋梁」および部材「床板」に加えて、ユーザＩＤ「Ｘ」および組織「Ａ」を受信した場合、図５（ｂ）に示す事例情報５０１Ｂから、検査対象の構造物の種別および部材が一致し、公開範囲がユーザＩＤ「Ｘ」を含む事例情報５１３を取得する。さらに、取得部２０３が、変状検出用情報として取得した検出用画像および検出用画像に付加されたＥＸＩＦ情報が、図５（ｂ）に示す事例情報５０１Ｂに登録されている画像および画像に付加されたＥＸＩＦ情報に類似する事例情報を取得してもよい。

【0042】

Ｓ３０３では、提示部２０４は、受信部２０１が受信した検出用画像と、取得部２０３が取得した事例情報とをユーザに提示する。図５（ｃ）は、Ｓ３０２で取得部２０３により取得した事例情報５０１Ｃの一部を例示している。Ｓ３０３の提示処理は、図６で後述する。

【0043】

Ｓ３０４では、検出部２０５は、受信部２０１が受信した検出用画像に対して、提示部２０４が提示した事例情報５０１Ｃからユーザにより選択された事例情報のモデルおよびパラメータを用いて変状を検出する処理を実行する。

【0044】

Ｓ３０５では、登録部２０６は、検出部２０５で変状検出を行った結果を事例情報として登録する。この場合、ユーザは、例えば、入力デバイス１０５を操作して、例えば、図８に示すＵＩ画面８０１に事例情報を入力することで登録可能である。ＵＩ画面８０１において、設定入力欄８０２には、Ｓ３０４の変状検出処理に用いたモデルやパラメータの設定が入力可能であり、入力情報が表示される。検出結果欄８０３には、Ｓ３０４の変状検出処理結果の変状情報が入力可能であり、入力された変状情報が表示される。公開範囲欄８０４には、登録する事例情報を公開する範囲の選択肢がプルダウンメニューから選択可能に表示される。適正度欄８０４には、登録する事例情報の変状検出結果の適正度の選択肢がプルダウンメニューから選択可能に表示される。ユーザが終了ボタン８０６を操作すると、図８のＵＩ画面８０１に入力された事例情報が、図５（ａ）の事例情報５０１Ａに追加登録される。

【0045】

図９は、Ｓ３０５において追加登録された事例情報９０２を含む事例情報９０１を例示している。事例情報９０２には、新たに作成された識別情報が事例ＩＤ５０２に登録される。また、Ｓ３０１で受信部２０１により受信した検出用画像（図４のＵＩ画面４０１の画像選択欄４０２に入力された画像）、検査対象の構造物の種別および部材が画像５０３、種別５０７および部材５０８にそれぞれ登録される。また、Ｓ３０４で検出部２０５により実行された変状検出処理に用いたモデルおよびパラメータ、変状検出結果がモデル５０４およびパラメータ５０５、検出結果５０６にそれぞれ登録される。さらに、Ｓ３０５において図８のＵＩ画面８０１に入力された公開範囲および適正度が公開範囲５０９および適正度５１０にそれぞれ登録される。なお、図８のＵＩ画面８０１において、公開範囲欄８０４の選択肢として「なし」が選択された場合は、図８のＵＩ画面８０１に入力された事例情報を登録しないようにしてもよい。

【0046】

＜事例情報の提示処理＞
次に、図６を参照して、図３のＳ３０３における事例情報の提示処理について説明する。

【0047】

図６は、図３のＳ３０３の事例情報の提示処理を説明するフローチャートである。図７は、事例情報を提示するためのＵＩ画面を例示している。

【0048】

Ｓ６０１では、提示部２０４は、図３のＳ３０２で取得部２０３により取得した事例情報を出力デバイス１０６に表示する。提示部２０４は、例えば、図７（ａ）に示す事例情報一覧画面７００を表示する。事例情報一覧画面７００には、図３のＳ３０４で検出部２０５により実行される変状検出処理において設定可能なモデルのモデル名７０１と事例７０２が一覧表示される。事例７０２は、モデルごとの事例の説明７０３および１つまたは複数の事例の画像７０４が表示される。事例の説明７０３および事例の画像７０４には、モデルごとの事例の説明と画像がセットで表示される。例えば、事例の説明７０３には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」と一致する事例情報５１５の説明欄５１１に記述された内容が表示される。同様に、事例の画像７０４には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」と一致する事例情報５１５の画像５０３に登録された画像のサムネイルが表示される。なお、図７（ａ）に示す事例情報一覧画面７００において、ユーザがモデル名７０１を選択することにより、図３のＳ３０４で検出部２０５により実行される変状検出処理に用いるモデルを設定可能としてもよい。

【0049】

Ｓ６０２では、受信部２０１は、例えば、図７（ｂ）に示すモデル設定画面７０５や図７（ｃｂ）に示すパラメータ設定画面７１０において、入力デバイス２０５を操作して、図３のＳ３０４で検出部２０５により実行される変状検出処理に用いるモデルまたはパラメータの設定指示を受信する。

【0050】

Ｓ６０３では、提示部２０４は、受信部２０１が受信した設定指示が設定完了であるか否かを判定する。提示部２０４は、受信部２０１が受信した設定指示が設定完了である場合は処理を終了して、図３のＳ３０４に進む。また、提示部２０４は、受信部２０１が受信した設定指示が設定完了ではない場合は処理をＳ６０４に進める。

【0051】

Ｓ６０４では、提示部２０４は、受信部２０１が受信した設定指示がモデル設定であるか否かを判定する。提示部２０４は、受信部２０１が受信した設定指示がモデル設定である場合は処理をＳ６０５に進める。提示部２０４は、受信部２０１が受信した設定指示がモデル設定ではない場合は処理をＳ６０６に進める。

【0052】

Ｓ６０５では、提示部２０４は、Ｓ６０２で受信部２０１が受信した設定指示（モデル設定）により選択されたモデルの事例情報を出力デバイス１０６に表示する。提示部２０４は、例えば、図７（ｂ）に示すモデル設定画面７０５を表示する。モデル設定画面７０５には、選択されたモデルを用いて変状検出処理が実行された検査対象の構造物ごとの統計量７０６、検出用画像の適性を示す好適例７０７および不適例７０８が表示される。統計量７０６には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」と一致する事例情報５１５の種別５０７に登録されている検査対象の構造物の種別ごとの頻度を表すグラフが表示される。また、好適例７０７には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」と一致し、適正度が最も高いレベル５の事例情報５１６の画像５０３および検出結果５０６に登録されている検出用画像および検出結果が表示される。同様に、不適例７０８には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」と一致し、適正度が最も低いレベル１の事例情報５１７の画像５０３および検出結果５０６に登録されている検出用画像および検出結果が表示される。なお、モデル設定画面７０５のパラメータ設定ボタン７０９を操作することにより、ユーザがパラメータを設定するためのＵＩ画面が表示される。

【0053】

Ｓ６０６では、提示部２０４は、受信部２０１が受信した設定指示がパラメータ設定であるか否かを判定する。提示部２０４は、受信部２０１が受信した設定指示がパラメータ設定である場合は処理をＳ６０７に進める。また、提示部２０４は、受信部２０１が受信した設定指示がパラメータ設定ではない場合は処理をＳ６０２へ戻す。

【0054】

Ｓ６０７では、提示部２０４は、Ｓ６０５で選択されたモデルについて、Ｓ６０２で受信部２０１が受信した設定指示（パラメータ設定）により設定されたパラメータの事例情報を出力デバイス１０６に表示する。この場合、提示部２０４は、例えば、図７（ｃ）に示すパラメータ設定画面７１０を表示する。パラメータ設定画面７１０には、パラメータごとにパラメータを設定可能な複数（３種類）のスライダ７１１および設定されているモデルおよびパラメータにおける検出結果例７１２が表示される。図７（ｃ）の例では、スライダ７１１によってパラメータ「３，３，３」が設定されている。この場合、検出結果例７１２には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」かつパラメータが「３，３，３」と一致する事例情報５１６の検出結果５０６に登録されている検出結果が表示される。次に、スライダ７１３によってパラメータ「５，３，３」が設定された場合、検出結果例７１４には、図５（ｃ）に示す事例情報５０１Ｃの中で、モデル名が「モデル００１」かつパラメータが「５，３，３」と一致する事例情報５１８の検出結果５０６に登録されている検出結果が検出結果例７１４として表示される。なお、図５（ｃ）に示す事例情報５０１Ｃの中にパラメータが一致する事例情報が複数存在する場合は複数表示してもよい。さらに、図５（ｃ）に示す事例情報５０１Ｃの中で、Ｓ３０１で受信部２０１により受信した検査対象の構造物の種別や部材に一致する事例情報、または、適正度が最も高いレベルの事例情報などを選択して表示してもよい。また、図５（ｃ）に示す事例情報５０１Ｃの中にパラメータが一致する事例情報がない場合、事例情報５０１Ｃのパラメータ５０５に登録されているパラメータの中で、図７（ｃ）のパラメータ設定画面７１０で設定されたパラメータに最も類似するパラメータが登録されている事例情報の検出結果を表示してもよい。

【0055】

なお、ユーザが入力デバイス２０５により、図７（ｃ）のパラメータ設定画面７１０の設定完了７１５を操作することにより、Ｓ６０３において、提示部２０４は、パラメータおよびモデルの設定完了が指示されたと判定し処理を終了する。

【0056】

また、パラメータ設定に応じた検出結果例の提示方法として、パラメータを設定するスライダと対応付けて検出結果例を提示するようにしてもよい。例えば、図７（ｄ）に示すようにパラメータを設定するスライダ７１６のパラメータ値７１７に対応する位置に検出結果例７１８を表示する。この場合、パラメータ値７１７に対応する事例情報が存在することを表すように強調表示７１９を行ってもよい。さらに、図７（ｅ）に示すようにパラメータを設定するスライダ７２０のパラメータ値７２１に色付けなどをして強調表示７２２してもよい。加えて、パラメータ値７２１に対応する検出結果とパラメータ値７２１よりも小さいパラメータ値に対応する検出結果との差分を抽出し、抽出した領域を拡大表示するなどして強調表示７２３してもよい。

【0057】

なお、図３のＳ３０３（図６のＳ６１０）において事例情報を提示する方法は、図７（ａ）の事例情報一覧画面７００に限らず、図７（ｂ）のモデル設定画面７０５を一覧表示してもよいし、図６のＳ６０５で図７（ｃ）のパラメータ設定画面７１０を併せて表示してもよい。また、図６のＳ６０１、Ｓ６０５、Ｓ６０７の処理のいずれかを行わないようにしたり、ＵＩ画面の一部を表示しないようにしたりしてもよい。

【0058】

また、本実施形態においては、取得部２０３が取得した事例情報を提示部２０４により提示する例を説明したが、受信部２０１が変状検出用情報を受信するごとに取得部２０３が事例情報を取得し、提示部２０４が事例情報を提示する処理を繰り返し行ってもよい。 以上したように、本実施形態によれば、ユーザにより入力された変状検出用情報に応じた事例情報を提示することにより、最適なモデルやパラメータの設定を従来よりも容易に行えるようになり、検出精度を保ちながら、効率的に検出処理を行うことができる。その結果、画像処理による変状検出の信頼性が向上し、点検作業を効率化することが可能となる。

【0059】

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0060】

本明細書の開示は、以下の画像処理装置、制御方法およびプログラムを含む。
［構成１］
検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置において、
前記変状検出を行う画像を含む第１の情報に応じて前記事例情報を取得する取得手段と、
前記取得手段により取得した事例情報を提示する提示手段と、を有することを特徴とする画像処理装置。
［構成２］
前記第１の情報を受信する受信手段をさらに有することを特徴とする構成１に記載の画像処理装置。
［構成３］
前記第１の情報は、前記変状検出を行う画像および前記検査対象の構造物の情報を含むことを特徴とする構成２に記載の画像処理装置。
［構成４］
前記検査対象の構造物の情報は、当該検査対象の構造物の種別および部材を含むことを特徴とする構成３に記載の画像処理装置。
［構成５］
前記事例情報は、前記変状検出を行った画像、前記変状検出を行うための画像処理に用いた第２の情報を含むことを特徴とする構成１から４のいずれか１項に記載の画像処理装置。
［構成６］
前記第２の情報は、前記画像処理に用いた学習済みモデルおよびパラメータを含むことを特徴とする構成５に記載の画像処理装置。
［構成７］
前記事例情報は、さらに前記変状検出により得られた変状情報、前記検査対象の構造物の種別および部材を含むことを特徴とする構成５または６に記載の画像処理装置。
［構成８］
前記事例情報は、さらに前記事例情報の公開範囲および前記事例情報の適正度を含むことを特徴とする構成５から７のいずれか１項に記載の画像処理装置。
［構成９］
前記提示手段は、前記学習済みモデルを選択可能に提示することを特徴とする構成６に記載の画像処理装置。
［構成１０］
前記提示手段は、さらに前記学習済みモデルを用いて変状検出を行った画像および前記学習済みモデルの説明を提示することを特徴とする構成９に記載の画像処理装置。
［構成１１］
前記提示手段は、選択された学習済みモデルを用いて変状検出を行った画像の適性および前記検査対象の構造物の種別の統計を提示することを特徴とする構成９または１０に記載の画像処理装置。
［構成１２］
前記提示手段は、選択された学習済みモデルのパラメータを設定可能に提示することを特徴とする構成９から１１のいずれか１項に記載の画像処理装置。
［構成１３］
前記第１の情報に基づいて前記変状検出を行う検出手段をさらに有することを特徴とする構成１から１２のいずれか１項に記載の画像処理装置。
［構成１４］
前記検出手段により前記変状検出を行った結果を事例情報として登録する登録手段をさらに有することを特徴とする構成１３に記載の画像処理装置。
［構成１５］
前記登録手段は、前記事例情報の公開範囲および前記事例情報の適正度を登録可能であることを特徴とする構成１４に記載の画像処理装置。
［構成１６］
検査対象を撮影した画像に対して変状検出を行った結果を事例情報として管理する画像処理装置の制御方法であって、
前記変状検出を行う画像を含む第１の情報に基づいて前記事例情報を取得するステップと、
前記第１の情報に基づいて取得された事例情報を提示するステップと、を有することを特徴とする制御方法。
［構成１７］
コンピュータを、構成１から１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【0061】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0062】

１００…画像処理装置、１０１…制御部、２０１…取得部、２０２…管理部、２０３…取得部、２０４…提示部、２０５…検出部、２０６…登録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】