特許 7434032 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240213BHJP

   G01N 21/88 20060101ALI20240213BHJP

【ＦＩ】

G06T7/00 610B

G01N21/88 J

【請求項の数】 24

(21)【出願番号】P 2020063890

(22)【出願日】2020-03-31

(65)【公開番号】P2021163190

(43)【公開日】2021-10-11

【審査請求日】2023-02-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】星野 彰市

(72)【発明者】

【氏名】野上 敦史

(72)【発明者】

【氏名】御手洗 裕輔

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１０－０５５３００（ＪＰ，Ａ）

【文献】特開２０１０－１７７７４１（ＪＰ，Ａ）

【文献】特開２０１８－００７０８２（ＪＰ，Ａ）

【文献】特開２０１３－２４３６９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

被写体を撮影した画像に対応するデフォーカスマップを作成するマップ作成手段と、
認識対象を設定する対象設定手段と、
前記デフォーカスマップに基づいて、前記画像について前記認識対象の認識が可能かどうかを位置ごとに判定する判定手段と、
前記認識対象を認識可能かどうかの位置ごとの判定結果を、表示装置に表示されている前記画像における対応する位置に表示させる表示手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記デフォーカスマップは、前記画像が撮影された際の合焦の度合を画像内の位置毎に示すデフォーカス値の分布を表すことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記判定手段は、前記デフォーカスマップの各位置におけるデフォーカス値に基づいて、前記画像の位置毎に前記判定を行うことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記画像のテクスチャに関連した追加データを設定する追加設定手段を有し、
前記判定手段は、前記デフォーカスマップと前記追加データとを用いて前記判定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記追加設定手段は、前記画像に対して所定の画像処理を施して前記追加データを生成することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記追加設定手段は、前記所定の画像処理によって前記画像の各画素の値を変化させたデータを前記追加データとして生成することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記所定の画像処理は高速フーリエ変換処理であり、前記追加データは前記高速フーリエ変換処理で得られた高周波成分のデータであることを特徴とする請求項５または６に記載の情報処理装置。

【請求項8】

前記所定の画像処理はエッジ輪郭成分を抽出する処理であり、前記追加データは前記エッジ輪郭成分を含むデータであることを特徴とする請求項５または６に記載の情報処理装置。

【請求項9】

前記追加データは前記撮影により得られたＲＧＢの３チャネルの画像であることを特徴とする請求項４に記載の情報処理装置。

【請求項10】

前記判定の結果に基づいて前記画像を分割して、前記分割した画像ごとに画像特徴量を取得し、前記分割した画像ごとの前記画像特徴量から、前記判定の結果に対する判定根拠を決定する決定手段をさらに有することを特徴とする請求項４乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記判定の結果に基づいて前記画像を分割して、前記分割した画像ごとにデフォーカス値を取得し、前記分割した画像ごとの前記デフォーカス値から、前記判定の結果に対する判定根拠を決定する決定手段をさらに有することを特徴とする請求項４乃至９のいずれか１項に記載の情報処理装置。

【請求項12】

前記判定の結果に対する前記判定根拠を表示装置に表示する根拠表示手段を有することを特徴とする請求項１０または１１に記載の情報処理装置。

【請求項13】

前記認識対象とは、構造物の表面に生じたひび割れを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項14】

被写体を撮影した画像に対応するデフォーカスマップを作成するマップ作成手段と、
認識対象を設定する対象設定手段と、
前記デフォーカスマップと前記画像から取得した特徴量との、少なくともいずれかを基に、前記画像のなかの前記認識対象が認識可能かどうかを判定する判定手段と、
前記判定手段による１度目の判定の結果に基づいて、２度目の判定を行うか否かを判断する判断手段と、
前記２度目の判定を行うと判断された場合に、前記１度目の判定の結果に基づく画像範囲を設定する範囲設定手段と、
前記設定された前記画像範囲の画像に対して所定の画像加工処理を行う加工手段と、を有し、
前記２度目の判定を行うと判断された場合、前記判定手段は、前記画像加工処理で生成されたデータに基づいて、前記認識対象が認識可能かどうかの２度目の判定を行うことを特徴とする情報処理装置。

【請求項15】

前記所定の画像加工処理は、前記画像範囲の画像の各画素の値を変化させる処理であることを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

前記所定の画像加工処理は、前記画像に対するコントラスト変換処理であることを特徴とする請求項１５に記載の情報処理装置。

【請求項17】

前記所定の画像加工処理は、前記画像に対する超解像処理であることを特徴とする請求項１４に記載の情報処理装置。

【請求項18】

前記所定の画像加工処理は、前記画像に対する低解像化処理であることを特徴とする請求項１４に記載の情報処理装置。

【請求項19】

前記被写体を撮影した画像と前記判定手段による前記１度目の判定の結果と前記２度目の判定の結果とを、位置関係を対応付けて表示装置に表示する結果表示手段を有することを特徴とする請求項１４乃至１８のいずれか１項に記載の情報処理装置。

【請求項20】

前記判定手段は、前記デフォーカスマップに基づいて、前記画像について認識手段によって前記認識対象の認識が可能かどうかを位置ごとに判定することを特徴とする請求項１に記載の情報処理装置。

【請求項21】

前記対象設定手段は、ユーザによって選択された種類に対応する前記認識対象を、認識処理によって前記認識対象を認識できるかどうかを判断するための認識対象として設定することを特徴とする請求項１に記載の情報処理装置。

【請求項22】

情報処理装置が実行する情報処理方法であって、
被写体を撮影した画像に対応するデフォーカスマップを作成するマップ作成工程と、
認識対象を設定する対象設定工程と、
前記デフォーカスマップに基づいて、前記画像について前記認識対象の認識が可能かどうかを位置ごとに判定する判定工程と、
前記認識対象を認識可能かどうかの位置ごとの判定結果を、表示装置に表示されている前記画像における対応する位置に表示させる表示工程と、
を有することを特徴とする情報処理方法。

【請求項23】

情報処理装置が実行する情報処理方法であって、
被写体を撮影した画像に対応するデフォーカスマップを作成するマップ作成工程と、
認識対象を設定する対象設定工程と、
前記デフォーカスマップと前記画像から取得した特徴量との、少なくともいずれかを基に、前記画像のなかの前記認識対象が認識可能かどうかを判定する判定工程と、
前記判定工程による１度目の判定の結果に基づいて、２度目の判定を行うか否かを判断する判断工程と、
前記２度目の判定を行うと判断された場合に、前記１度目の判定の結果に基づく画像範囲を設定する範囲設定工程と、
前記設定された前記画像範囲の画像に対して所定の画像加工処理を行う加工工程と、を有し、
前記２度目の判定を行うと判断された場合、前記判定工程では、前記画像加工処理で生成されたデータに基づいて、前記認識対象が認識可能かどうかの２度目の判定を行うことを特徴とする情報処理方法。

【請求項24】

コンピュータを請求項１乃至２１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識を行う情報処理技術に関する。

【背景技術】

【0002】

橋梁などの構造物壁面の点検や、部品や製品外装の外観検査等では、検査対象を撮影した画像を用いた画像点検が行われている。この画像点検において、近年、パターン認識手法を用いて、ひび割れやキズ等を自動的に認識することによる点検方法が提案されている（特許文献１）。特許文献１に開示されているパターン認識手法において、微細なひび割れを認識する場合、画像の暈け（ピントずれによる暈け）の影響により認識精度が低下することがある。一般的に、暈けの大きな画像は認識処理に適していないため、ピントの合った画像を用いることが望ましい。その一方、太いひび割れを認識する場合には、多少暈けた画像であってもひび割れとして視認できるため、認識精度への影響は小さい。したがって、認識対象の種類によっては、暈けた画像も認識処理に適した画像として活用することができる。

【0003】

使用する画像が認識処理に適しているか否かを判断する場合、ユーザが、画像を目視しながら、画像の位置毎に合焦の程度を確認することになる。ただし、画像のサイズが大きい場合、画像の一部を拡大表示して目視確認し、次に別の一部を拡大表示して目視確認するような作業を繰り返す必要があり、手間がかかる。このような手間を解消可能な技術として、特許文献２には、画角や焦点距離等の撮影条件を固定して撮影した画像から単一の合焦度を算出し、その算出した合焦度に基づいて、認識に適した画像か否かを判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２４２３６５号公報

【文献】特開２０１５－１５３０４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、構造物壁面の撮影では、被写体毎（構造物毎或いは壁面毎）に、その被写体の構造に合わせて画角や焦点距離等を調整しながら撮影する必要があり、画像内で被写体の写る位置や範囲が変化する。そのため、画像全体について合焦の程度を確認しながら、その画像が認識処理に適しているかどうかを判断するようなユーザ作業が必要となる。しかしながらこのような作業は、ユーザにとって負担が大きい作業である。

【0006】

そこで、本発明は、被写体を撮影した画像が認識対象の認識処理に適しているかを判断する際のユーザの作業負担を軽減して作業効率を高めることを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、被写体を撮影した画像に対応するデフォーカスマップを作成するマップ作成手段と、認識対象を設定する対象設定手段と、前記デフォーカスマップに基づいて、前記画像について前記認識対象の認識が可能かどうかを位置ごとに判定する判定手段と、前記認識対象を認識可能かどうかの位置ごとの判定結果を、表示装置に表示されている前記画像における対応する位置に表示させる表示手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体を撮影した画像が認識対象の認識処理に適しているかを判断する際のユーザの作業負担を軽減でき、作業効率を高めることができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る情報処理装置の構成例を示す図である。

【図2】本実施形態の情報処理の概要説明に用いる図である。

【図3】第１の実施形態に係る情報処理のフローチャートである。

【図4】デフォーカスマップの説明に用いる図である。

【図5】認識対象を設定する例の説明に用いる図である。

【図6】判定処理の説明に用いる図である。

【図7】判定結果の表示処理の説明に用いる図である。

【図8】第２の実施形態に係る情報処理装置のブロック図である。

【図9】第２の実施形態に係る情報処理のフローチャートである。

【図10】画像とデフォーカスマップを用いた判定処理の説明に用いる図である。

【図11】第３の実施形態に係る情報処理装置のブロック図である。

【図12】第３の実施形態に係る情報処理のフローチャートである。

【図13】２度目の判定処理の説明に用いる図である。

【図14】複数の判定結果を表示する例の説明に用いる図である。

【図15】第４の実施形態に係る情報処理装置のブロック図である。

【図16】第４の実施形態に係る情報処理のフローチャートである。

【図17】判定根拠の決定処理の説明に用いる図である。

【図18】判定根拠の表示例の説明に用いる図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に限定されるものではない。
＜第１の実施形態＞
図１（ａ）および図１（ｂ）は、第１の実施形態に係る情報処理装置の構成例を示す図である。図２（ａ）～図２（ｅ）は本実施形態の情報処理の概要説明に用いる図である。
以下の実施形態では、検査対象を撮影した撮影画像に対応する合焦の程度を表すマップとして、デフォーカス値の分布を表したデフォーカスマップを用いて、撮影画像内で認識対象を認識可能な範囲を判定する例に挙げて説明する。特に本実施形態では、橋梁などの構造物の経年劣化を点検するような、いわゆるインフラ点検を行うため情報処理システムを例に挙げて説明する。

【0011】

まず本実施形態において説明に用いる各用語について以下のように定義する。以下に述べる用語の定義は、本実施形態の情報処理装置がコンクリート構造物等のインフラ点検に適用される場合の例である。
「検査対象」とは、インフラ点検が行われるコンクリート構造物等である。
「認識対象」とは、コンクリート構造物に生じているコンクリートのひび割れや浮き、剥落、エフロレッセンス、鉄筋露出、錆、漏水、水垂れ、腐食、損傷（欠損）、コールドジョイント、析出物、或いはジャンカなどである。

【0012】

「認識処理」とは、検査対象を撮影した撮影画像から、パターン認識手法などによって認識対象を認識する処理である。例えば認識対象がコンクリート構造物のひび割れである場合、認識処理では、撮影画像から、ひび割れを認識する。
「判定処理」とは、検査対象を撮影した画像から、認識処理によって認識対象を認識可能な範囲を判定する処理である。本実施形態における判定処理の詳細は後述する。
「ユーザ」とは、コンクリート構造物等の検査対象の撮影画像を観ることで、表面にひび割れなどの認識対象があるか否か等の検査を行う検査者である。

【0013】

「デフォーカス」とは、被写体（インフラ点検の場合はコンクリート構造物あるいはその一部）を撮影した場合に、その被写体面に対する撮影時の合焦の程度（ピントずれ）を表し、数値（デフォーカス値）によってその合焦の度合が示される。例えば、デフォーカス値の「０」は被写体面上にピントが合った状態であることを表し、デフォーカス値が「０」からずれている場合はピントずれが発生した状態であることを表す。デフォーカス値はプラス又はマイナスの値で表され、マイナスの値である場合には被写体面よりも手前側にピントが合っている（前ピン）状態であり、プラスの値である場合には被写体面よりも奥行き方向にピントが合っている（後ピン）状態であることを表す。本実施形態では、被写体の撮影画像におけるピントずれによる暈けの程度を表す値として、当該デフォーカス値を用いている。

【0014】

図１（ａ）および図１（ｂ）に示した本実施形態の情報処理装置の構成の詳細を説明する説明する前に、図２（ａ）～図２（ｅ）を参照しながら本実施形態における情報処理の概要を説明する。以下の説明では、インフラ点検の「検査対象」としてコンクリート製の橋梁を挙げ、「認識対象」としてその橋梁の表面に生じたひび割れを検査する例を挙げる。

【0015】

図２（ａ）は、橋梁の壁面を撮影した画像２００を示している。画像２００には、ひび割れ２１１、２１２、２１３などの複数のひび割れが写っているとする。また、画像２００は、インフラ点検に用いるために高解像で撮影した画像であり、例えば１０，０００ｐｉｘ×２０，０００ｐｉｘのような大きなサイズの画像であるとする。

【0016】

ここで、橋梁の表面を撮影した画像２００を用いてひび割れを検査する場合には、その画像２００について、認識処理でひび割れの認識が可能かどうかを判定する必要がある。従来は、ユーザが、画像２００について撮影時の合焦の程度を目視で確認することによって、認識処理でひび割れの認識が可能かどうかを判定している。

【0017】

図２（ｂ）は、図２（ａ）に示した画像２００内において、例えばひび割れ２１１、２１２、２１３を含む範囲２０１を拡大した画像２０２を示した図である。範囲２０１を拡大した画像２０２では、ひび割れ２１１および２１３はピントずれにより暈けており、一方、ひび割れ２１１はピントが合っていて殆ど暈けていないとする。なお図２（ｂ）では、暈けているひび割れ２１１および２１３を点線で表現している。図２（ｂ）に示した画像２０２の場合、ひび割れ２１２はピントが合っていることを確認でき、ひび割れ２１１および２１３はピントが合っていないことがわかる。さらに、ひび割れ２１１は、細いひび割れであり且つ暈けているため、画像２０２内で視認が難しい。したがって、ひび割れ２１１は、認識処理において認識できない可能性がある。一方、ひび割れ２１３は、暈けてはいるが、ある程度の幅がある太いひび割れであるため、画像２０２内で視認が可能である。したがって、ひび割れ２１３は、認識処理において認識できる可能性が高い。

【0018】

このため、ユーザは、画像を拡大して、ピントずれによる暈けと共にひび割れの大きさ（例えば幅）を確認しながら、それぞれのひび割れが認識処理で認識可能であるかどうかを判断する。しかしながら、画像全体について、ひび割れが認識処理で認識可能であるかどうかを判断するためには、画像の一部を拡大して確認する作業を、画像全体に亘って繰り返し行う必要があり、非常に手間がかかる。

【0019】

そこで、本実施形態の情報処理装置１００は、撮影画像について、ひび割れが認識処理で認識可能かどうかを判定する処理を行う。本実施形態の情報処理装置１００は、撮影画像に対応するデフォーカス値の分布を表すデフォーカスマップを生成し、そのデフォーカスマップを基に、撮影画像について、認識処理でひび割れを認識可能な範囲を判定する処理を行う。

【0020】

図２（ｃ）は、検査対象を撮影した画像２００に対応するデフォーカスマップ２０３を示した図である。デフォーカスマップを作成する方法は、例えば参考文献１（特開２０１９－１３４４３１号公報）に開示されているような、画像の画素毎にデフォーカス値を算出して、デフォーカス値の分布を表すデフォーカスマップを作成する方法を用いることができる。図２（ｃ）の領域２２１～２２４は、それぞれが異なるデフォーカス値を示す領域であり、領域２２１はデフォーカス値が０、領域２２２はデフォーカス値が＋１、領域２２３はデフォーカス値が＋２、領域２２４はデフォーカス値が＋３の領域である。情報処理装置１００は、このデフォーカスマップ２０３の各位置におけるデフォーカス値に基づいて、画像２００上で、ひび割れが認識処理で認識可能な範囲を判定して、その判定結果を生成するような判定結果生成処理を実行する。そして、情報処理装置１００は、判定結果生成処理による判定結果と撮影で得られた画像２００との位置関係を対応付け、画像２００に判定結果を重畳させて表示装置の画面上に表示することによって、ユーザに提示する。

【0021】

図２（ｄ）は、認識処理でひび割れを認識可能な範囲の判定処理の結果を可視化した、判定結果２０４の表示例を示した図である。図２（ｄ）において、領域２３１は、太い（幅が広い）ひび割れについては認識処理で認識可能となる範囲を表している。領域２３２は、太いひび割れだけでなく微細なひび割れについても認識処理で認識可能となる範囲を表している。一方、領域２３３は、太いひび割れと微細なひび割れのいずれについても認識処理で認識できない範囲を表している。

【0022】

そして、本実施形態の情報処理装置１００では、図２（ｄ）に示したような判定結果２０４を、画像２００に重畳して表示する。
図２（ｅ）は、画像２００に対して判定結果２０４を重畳した画像２０５の例を示した図である。ユーザは、この画像２０５を観ることで、ひび割れの太さ（幅）ごとに、認識処理で認識可能な範囲を確認することができる。例えば、微細なひび割れ２１１は、微細なひび割れを認識可能な範囲を表している領域２３２の外に位置するため、認識処理での認識が難しいと判断できる。一方、太い（幅が広い）ひび割れ２１３は、太いひび割れを認識可能な範囲を表している領域２３１内に位置するため、認識処理での認識が行えると判断できる。本実施形態の情報処理装置１００によれば、このような判定結果が重畳された画像２０５を表示することにより、ユーザは、画像２００の各位置においてひび割れの認識処理が可能である範囲を容易に確認することができる。

【0023】

図１（ａ）は、第１の実施形態に係る情報処理装置１００のハードウェア構成図である。図１（ａ）に示すように、情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、表示部１０５、操作部１０６、および通信部１０７を有している。

【0024】

ＣＰＵ１０１は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断等を行い、システムバス１０８に接続された各構成要素を制御する。
ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、ＣＰＵ１０１が各種処理手順の実行および制御を行うための制御プログラムを格納している。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリが実現されてもよい。

【0025】

ＨＤＤ１０４は、本実施形態に係るデフォーカスマップの作成処理や判定処理等を含む各種の処理をＣＰＵ１０１が実行するためのプログラムや各種設定情報、画像データなどの各種データを記憶しておくためのハードディスクとその駆動装置からなる。なお、本実施形態に係るプログラムは、ＲＯＭ１０２に記憶されていてもよい。また、ＨＤＤ１０４と同様の役割を果たすものとして外部記憶装置が用いられてもよい。外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

【0026】

表示部１０５は、例えばＣＲＴディスプレイや液晶ディスプレイ等の表示装置とその表示装置の表示を制御する表示制御機能とを有し、ＣＰＵ１０１によって生成された画像やＨＤＤ１０４から読み出された画像等を表示装置に表示する。なお、表示制御機能はＣＰＵ１０１が担い、表示部１０５は表示装置のみであってもよい。また、画像等が表示される表示装置は、情報処理装置１００と有線あるいは無線で接続された外部表示装置であってもよい。
操作部１０６は、キーボードやマウス、タッチパネルの操作装置と、ユーザの操作に応じて操作装置から出力される各操作情報を受け付ける操作情報受付機能とを有する。
通信部１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

【0027】

図１（ｂ）は、情報処理装置１００の機能構成を示す機能ブロック図の一例である。本実施形態の情報処理装置１００は、記憶部１２１、データ管理部１２２、デフォーカスマップ作成部１２３、認識対象設定部１２４、および判定部１２５の各機能部を有する。これらの各機能部は、ＣＰＵ１０１が、ＨＤＤ１０４又はＲＯＭ１０２に格納された本実施形態に係るプログラムをＲＡＭ１０３に展開して実行することにより構成される。そして、本実施形態の情報処理装置１００では、各機能部によって、後述する各フローチャートの処理が実行される。そして、各機能部による処理の実行結果は、適宜、ＲＡＭ１０３に保持される。なお、例えばＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

【0028】

記憶部１２１は、少なくとも、撮像装置が検査対象を撮影した画像と、認識対象の認識処理が可能な範囲の判定処理を行う際に用いるモデル情報とを記憶している。検査対象の撮影画像は、本実施形態に係る判定処理に用いられる画像である。記憶部１２１に記憶されているモデル情報には、学習済みモデルの情報が含まれる。学習済みモデルの詳細は後述する。

【0029】

データ管理部１２２は、記憶部１２１が記憶している撮影画像やモデル情報等を管理する。本実施形態において、撮影画像について認識対象の認識処理が可能な範囲を判定する判定処理が行われる場合、データ管理部１２２は、記憶部１２１から、検査対象の撮影画像を読み出して、デフォーカスマップ作成部１２３と判定部１２５とに転送する。

【0030】

デフォーカスマップ作成部１２３は、例えば参考文献１に開示された方法を用いて、撮影画像の各画素の位置毎のデフォーカス値を算出し、その位置毎のデフォーカス値の分布を表すデフォーカスマップを作成する。すなわちデフォーカスマップ作成部１２３は、検査対象を撮影した撮影画像に対応したデフォーカスマップを作成する。

【0031】

認識対象設定部１２４は、操作部１０６を介してユーザから入力された指示を基に、認識対象を設定し、その認識対象の設定情報を判定部１２５に送る。ユーザからの指示に応じた認識対象設定処理の詳細は後述する。
判定部１２５は、デフォーカスマップを基に、撮影画像について、認識対象の認識処理が可能な範囲を判定する処理を行う。判定部１２５における判定処理の詳細は後述する。

【0032】

図３は、第１の実施形態の情報処理装置１００における情報処理の流れを示すフローチャートである。本実施形態の情報処理装置１００は、操作部１０６を介してユーザから処理開始指示が入力されると、図３のフローチャートの処理を開始する。

【0033】

ステップＳ３０１において、データ管理部１２２は、検査対象の撮影画像を記憶部１２１から読み出してデフォーカスマップ作成部１２３に転送する。
デフォーカスマップ作成部１２３は、その撮影画像から各画素の位置毎のデフォーカス値を算出し、それら画素毎のデフォーカス値の分布を表すデフォーカスマップを作成する。前述したように、デフォーカスマップは、検査対象である被写体を撮影した際の当該被写体面におけるデフォーカス値の分布を表したマップであり、例えば参考文献１に例示される公知の方法を用いて作成可能である。なお、デフォーカスマップは、画像の特定の位置におけるデフォーカス値（ピントのズレ量）が算出できるデータであればよく、ラスターデータに限るものではないが、本実施形態ではラスターデータとして扱うものとする。

【0034】

デフォーカスマップは撮影画像の各画素に相対した位置座標におけるデフォーカス値をマップ化したものであり、ユーザは、このマップデータを一見しただけでは、デフォーカス値の情報を識別することは困難である。そのため、デフォーカスマップ作成部１２３は、デフォーカス値を可視化する処理を行う。デフォーカスマップの可視化方法は、例えばデフォーカス値に応じた色やパターンを用い、画素の位置座標毎にデフォーカス値を色やパターンで分けて提示するような方法を用いることができる。デフォーカスマップ作成部１２３は、デフォーカス値に応じた色やパターンを用いることで、デフォーカス値が変化する部分を境界線として可視化すると共に、各境界線間の領域にデフォーカス値の代表値を可視化した、デフォーカスマップを作成する。

【0035】

図４（ａ）～図４（ｃ）を用いて、デフォーカスマップを可視化する例を説明する。本実施形態では、インフラ構造物の点検例として、図４（ａ）に示す橋梁４０１のようなコンクリート構造物の壁面を点検対象の被写体として撮影したとする。なお、壁面に発生する微細なひび割れなどを認識処理で認識可能にするためには、高解像度で撮影した画像が必要となる。

【0036】

図４（ｂ）は、点検対象の被写体として、橋梁４０１の一部の壁面４０２を撮影した画像４１１の一例を示した図である。図４（ｂ）の画像４１１には、橋梁の壁面４１２と空領域４１３とが写っている。図４（ｃ）は、画像４１１の各位置に対応するデフォーカス値を可視化したデフォーカスマップ４２１の例を示した図である。デフォーカスマップ４２１の中に記されている数値は、各領域のデフォーカス値の代表値である。領域４２２のデフォーカス値の代表値は「０」であり、その領域４２２から外側の領域になるほど、デフォーカス値の代表値の絶対値が大きくなっている。これらのことから、画像４１１は、画像の中央付近でピントが合い、周辺部になるにしたがってピントずれによる暈けが大きくなっている画像であることが判る。なお、空領域４１３のように、被写体面（橋梁４０１の壁面）からの距離が遠い領域では、ピントずれによる暈けが大きくなるため、デフォーカス値の代表値の絶対値が大きくなっている。

【0037】

図３のフローチャートに説明を戻す。
ステップＳ３０１の後、ステップＳ３０２に進むと、認識対象設定部１２４は、撮影画像について認識処理で認識可能か否かの判定が行われる際の認識対象を設定する処理を行う。本実施形態のようにコンクリート構造物の点検が行われる場合、コンクリートの壁面上に発生するひび割れやエフロレッセンス、漏水などが、認識対象として設定される。本実施形態の場合、認識対象設定部１２４は、例えば、ＵＩ（ユーザインタフェース）画面を通じてユーザから指示された認識対象を、認識処理で認識可能か否かの判定が行われる認識対象として設定する。

【0038】

図５（ａ）～図５（ｃ）は、認識対象を選択する際のＵＩ画面の例を示した図である。これらのＵＩ画面に表示される情報は例えばＣＰＵ１０１によって生成される。
図５（ａ）のＵＩ画面５００には、ひび割れやエフロレッセンス、漏水などの複数の認識対象を項目別に並べた認識対象一覧５０１が用意されている。認識対象一覧５０１には、項目毎にチェックボックスが設けられている。ユーザが操作部１０６の操作を通じて所望のチェックボックスにチェックを入れた場合、認識対象設定部１２４は、そのチェックが入れられた項目に対応した認識対象を、認識処理で認識可能か否かの判定が行われる際の認識対象として設定する。

【0039】

また本実施形態において点検対象として挙げているコンクリート構造物は、環境要因などによって劣化が進行すると、当該構造物の壁面に発生するひび割れやエフロレッセンス等が徐々に進展して大きくなっていくことが多い。したがって、コンクリート構造物の劣化度合いの診断等を目的とする点検の場合、大きなサイズの認識対象が特に重視される。このように特定のサイズの認識対象を重視した認識処理が行われる場合を考慮して、認識処理で認識可能か否かの判定が行われる際の認識対象のサイズ（以下、判定サイズとする）についても設定できるようにすることが望ましい。

【0040】

図５（ｂ）は、認識対象の判定サイズを設定可能なＵＩ画面５０２の例を示した図である。図５（ｂ）のＵＩ画面５０２には、複数の認識対象を項目別に並べた認識対象一覧５１１が用意されており、この認識対象一覧５１１には項目毎のチェックボックスに加えて、スライダバー５１０が設けられている。このＵＩ画面５０２の場合、ユーザが操作部１０６を通じて、チェックボックスにチェックを入れると、認識対象設定部１２４は、そのチェックが入れられた項目に対応した認識対象を、認識処理で認識可能か否かの判定が行われる認識対象として設定する。なお、図５（ｂ）のＵＩ画面５０２の例では、ひび割れの項目にチェックが入れられているため、認識対象としてはひび割れが設定されている。

【0041】

そして、その認識対象（ひび割れ）の項目に対応したスライダバー５１０が、操作部１０６を通じてユーザによって操作されると、認識対象設定部１２４は、そのスライダバー５１０の操作情報を基に、当該認識対象の判定サイズも設定する。スライダバー５１０には下限用バー５１２と上限用バー５１３が設けられており、ユーザは、操作部１０６の操作を通じて下限用バー５１２と上限用バー５１３の少なくともいずれかを任意の位置にスライドさせることができる。認識対象設定部１２４は、下限用バー５１２と上限用バー５１３との間の間隔に応じて、認識対象の判定サイズを設定する。これにより、下限用バー５１２と上限用バー５１３との間の間隔に対応したサイズ（例えばひび割れの幅）が、認識処理で認識可能か否かの判定が行われる認識対象の判定サイズとして設定される。

【0042】

なお、下限用バー５１２と上限用バー５１３は、スライダバー５１０のスライド可能範囲内においてそれぞれ別個にスライド操作可能となされているが、下限用バー５１２と上限用バー５１３のスライド動作が連動するようになされていてもよい。つまり、例えば下限用バー５１２と上限用バー５１３との間隔が保持され、一方のスライド操作に連動して他方もスライドするようになされていてもよい。また前述の例では、認識対象としてひび割れを挙げているが、認識対象設定部１２４は、ひび割れ以外の認識対象が選択された場合にも、当該認識対象のサイズを設定可能である。例えば、ひび割れ以外の認識対象の判定サイズを設定する例としては、例えば当該認識対象の面積（面積サイズ）などの属性を設定する場合などが挙げられる。

【0043】

図５（ｂ）では、スライダバー５１０の操作によって認識対象の判定サイズを設定可能にする例を挙げたが、認識対象の判定サイズごとに区分けした認識対象一覧をＵＩ画面に表示させて、その中からユーザが任意のサイズの認識対象を選択する例でもよい。図５（ｃ）は、認識対象の判定サイズごとに区分けした認識対象一覧５２１を表示したＵＩ画面５０３の例を示した図である。図５（ｃ）の認識対象一覧５２１が、ひび割れのサイズ毎に区分けされた一覧の例である。この認識対象一覧５２１にも前述同様に項目毎のチェックボックスが設けられている。認識対象設定部１２４は、図５（ｃ）のＵＩ画面５０３の認識対象一覧５２１のチェックボックスにチェックを入れるユーザの選択操作に基づいて、認識対象およびその認識対象の判定サイズを設定する。

【0044】

図３のフローチャートに説明を戻す。
ステップＳ３０２の後、ステップＳ３０３に進むと、判定部１２５は、検査対象の撮影画像について、認識対象設定部１２４で設定された認識対象の認識処理が可能な範囲を判定する処理を行う。本実施形態の場合、判定部１２５は、デフォーカスマップ作成部１２３からデフォーカスマップを取得し、デフォーカスマップの各位置に対応する判定結果を出力する。本実施形態の判定部１２５における判定処理について、図６（ａ）～図６（ｆ）を用いて説明する。

【0045】

判定部１２５は、デフォーカスマップの各位置におけるデフォーカス値を基に、撮影画像について、認識対象の認識処理が可能な範囲を判定する。デフォーカスマップの各位置のデフォーカス値に基づく判定処理は、式（１）で表すことができる。

【0046】

Ｄt1≦Ｄi≦Ｄt2 式（１）

【0047】

ここで、式（１）で用いるパラメータＤiは、デフォーカスマップの一つの着目画素の位置ｉにおけるデフォーカス値である。パラメータＤt1，Ｄt2はそれぞれ、認識対象の認識処理が可能か否かを判定する際の境界を表すデフォーカス基準値であり、パラメータＤt1はデフォーカス基準値の下限値、パラメータＤt2は上限値である。つまり本実施形態において、デフォーカス基準値は下限値から上限値までの間の幅を有したものとなされている。これらパラメータＤt1，Ｄt2の値は、例えば実験的に求めた値であってもよいし、ユーザが指定した値であってもよい。

【0048】

図６（ａ）は、デフォーカス基準値の一例として、認識対象がひび割れである場合の、ひび割れの大きさ（ひび割れの幅）毎のデフォーカス基準値６０１を示した図である。図６（ａ）に示すように、本実施形態においてデフォーカス基準値は、ひび割れの大きさ（幅）毎に異なる下限値および上限値が決められている。

【0049】

まず図６（ａ）に示したデフォーカス基準値６０１と式（１）とを用いた判定処理の一例として、認識対象である細いひび割れが、認識処理で認識可能か否かの判定処理を挙げて説明する。

【0050】

この場合、判定部１２５は、デフォーカス基準値６０１から、細いひび割れに対するデフォーカス基準値の下限値と上限値とを取得する。図６（ａ）に示したデフォーカス基準値６０１の場合、細いひび割れに対するデフォーカス基準値の下限値は－１であり、上限値は＋１である。このため、判定部１２５は、パラメータＤt1として－１を取得し、パラメータＤt2として＋１を取得する。

【0051】

次に、判定部１２５は、デフォーカスマップの着目画素の位置ｉにおけるデフォーカス値Ｄiを取得する。そして、判定部１２５は、その位置ｉについて取得したデフォーカス値Ｄiを式（１）に代入し、式（１）を満たす場合に、当該位置ｉでは細いひび割れを認識可能であると判定し、そうでない場合、ひび割れを認識できないと判定する。判定部１２５は、この式（１）による判定処理を、着目画素の位置ｉを順次変更しながら、デフォーカスマップの全ての位置ｉについて行う。これにより、判定部１２５は、デフォーカスマップの全ての位置ｉにおける細いひび割れの判定結果を取得することができる。

【0052】

前述したようなデフォーカス基準値と式（１）を用いた判定処理は、複数の認識対象が設定された場合にも適用可能である。例えば、認識対象設定部１２４で二つの認識対象（例えば中程度のひび割れと極細ひび割れなど）が設定された場合、判定部１２５は、まず一つ目の認識対象として中程度のひび割れを選択する。さらに、判定部１２５は、その中程度のひび割れに対するデフォーカス基準値の下限値と上限値を取得する。図６（ａ）に例示したデフォーカス基準値６０１の場合、中程度ひび割れに対するデフォーカス基準値の下限値は－２であり、上限値は＋２であるため、判定部１２５は、パラメータＤt1として－２を取得し、パラメータＤt2として＋２を取得する。そして、判定部１２５は、デフォーカスマップの各位置のデフォーカス値が式（１）を満たすか否か判定することで、デフォーカスマップ全体の判定結果を求める。判定部１２５は、中程度のひび割れに対する判定処理が終了すると、次に、二つ目の認識対象として極細ひび割れを選択する。図６（ａ）のデフォーカス基準値６０１の場合、極細ひび割れに対するデフォーカス基準値の下限値と下限値は共に０であるため、判定部１２５は、パラメータＤt1，Ｄt2としてそれぞれ０を取得する。そして、判定部１２５は、前述同様に、デフォーカスマップの各位置のデフォーカス値が式（１）を満たすか否か判定してデフォーカスマップ全体の判定結果を求める。

【0053】

判定部１２５における判定処理では、例えば、機械学習により学習した学習済みモデルを利用することも可能である。この場合、使用する学習済みモデルは、デフォーカスマップと、デフォーカスマップの各位置における認識対象の判定可否を示す教師データとのペアを学習データとして、機械学習により学習させたモデルである。学習済みモデルは、デフォーカスマップを入力データとして、認識対象が認識可能かもしくは認識不可能かのいずれかを出力するモデルであり、例えばニューラルネットワークモデルで構成可能である。

【0054】

図６（ｂ）には、ひび割れの大きさ（幅）毎の学習済みモデル６０２の例を示した図である。学習済みモデル６０２を用いた判定処理を行う場合、判定部１２５は、認識対象設定部１２４で設定された認識対象に基づいて、当該学習済みモデル６０２の中からいずれかのモデルを選択する。例えば、認識対象設定部１２４において認識対象として太いひび割れが設定された場合、学習済みモデル６０２の中から、太いひび割れを認識対象とするモデルＭ２を選択する。判定部１２５は、このように選択したモデルＭ２を分類器とし、デフォーカスマップを入力として、太いひび割れが認識可能か否かを分類（つまり判定）する。そして、判定部１２５は、その判定処理により、デフォーカスマップの各位置に対する太いひび割れに対する判定結果を出力する。

【0055】

また学習済みモデルを利用する例は、認識対象設定部１２４で複数の認識対象が設定された場合も適用可能である。例えば、認識対象設定部１２４で二つの認識対象（極太ひび割れ、細いひび割れ）が設定された場合、判定部１２５は、まず一つ目の認識対象として極太ひび割れを選択する。次に、判定部１２５は、学習済みモデル６０２の中から、極太ひび割れを認識対象とするモデルＭ１を分類器とする。そして、判定部１２５は、デフォーカスマップの入力に対して判定処理を行う。判定部１２５は、判定処理が終了したならば、二つ目の認識対象として細いひび割れを選択し、同様にモデル選択と判定処理を繰り返す。認識対象がさらに増えた場合も、同様の処理を行えばよい。

【0056】

本実施形態において、分類器に用いるモデルを選択する方法として、ユーザが、モデル一覧の中から直接選択してもよい。ユーザがモデルを選択する場合、判定部１２５は、ユーザの指定したモデルをデータ管理部１２２から取得した後、判定処理を行う。なお、前述の学習済みモデルは、必要に応じて、予め決めた一定の処理後に更新しても良い。

【0057】

前述の実施形態では、ひび割れ幅のような認識対象のサイズ毎の学習済みモデルやデフォーカス基準値を用いて判定処理を行う方法を説明したが、認識対象のサイズによらず、共通の学習済みモデルやデフォーカス基準値を用いてもよい。例えば、図６（ｃ）のような認識対象ごとの学習済みモデルや、図６（ｄ）のようなデフォーカス基準値を予め用意する。そして、判定部１２５は、認識対象設定部１２４で設定された認識対象に合わせて学習済みモデルやデフォーカス基準値を選択すればよい。またさらに、認識対象の種類によらず、共通の学習済みモデルやデフォーカス基準値が用いられてもよい。

【0058】

前述の本実施形態では、デフォーカスマップ全体の位置について同じ判定処理を行う例を挙げたが、例えば、デフォーカスマップを画素単位より大きい領域毎に区分けし、それら区分けした区分領域毎に異なる方法で判定処理を行ってもよい。デフォーカスマップを領域毎に区分けする場合には、例えばデフォーカス値に基づいてデフォーカスマップを区分領域毎に分け、それら区分領域毎に異なる学習済みモデルを分類器として用いて判定処理を行う方法が考えられる。

【0059】

図６（ｅ）は例えばデフォーカス値が＋８と０のような、値が大きく異なる二つのデフォーカス値をもつデフォーカスマップ６１１を示した図である。図６（ｆ）はデフォーカス値毎の学習済みモデル６２１を示した図である。図６（ｅ）に示したデフォーカスマップ６１１は、デフォーカス値によって区分領域６１２と区分領域６１３とに区分けされている。図６（ｆ）に示す学習済みモデル６２１は、デフォーカスマップの特定のデフォーカス値と判定結果の教師データとのペアを主な学習データとして学習させたモデルである。そして、判定部１２５は、デフォーカスマップ６１１を入力として、学習済みモデル６２１を分類器として、ひび割れの判定処理を行うとする。この場合、判定部１２５は、デフォーカスマップ６１１を区分領域６１２と６１３に区分けし、それら区分領域６１２と６１３のデフォーカス値に基づいて、学習済みモデル６２１からそれぞれモデルを選択して判定処理を行う。すなわちこの例の場合、判定部１２５は、区分領域６１２はデフォーカス値が０であるためモデルＭ２１を選択し、区分領域６１３はデフォーカス値が＋８であるためモデルＭ２２を選択する。そして、判定部１２５は、デフォーカス値に応じた区分領域毎に適した学習済みモデルを使用して判定処理を行う。

【0060】

その他にも、デフォーカスマップの区分領域毎に異なる判定処理を行う場合の他の例として、区分領域毎に、学習済みモデルを分類器として判定する方法と、デフォーカス基準値および式（１）を用いた判定方法とが併用されてもよい。

【0061】

図３のフローチャートに説明を戻す。
ステップＳ３０３の後、ステップＳ３０４に進むと、情報処理装置１００は、判定部１２５による判定結果を表示するための表示データを作成し、それを表示する。なお、表示データの作成はＣＰＵ１０１が行う。そして、本実施形態の情報処理装置１００は、判定結果の表示が完了したら、図３のフローチャートの処理を終了する。

【0062】

本実施形態において判定結果を表示する場合、判定結果は、図２（ｄ）に例示したデフォーカスマップの可視化の例と同様に、例えば色やパターン（ただしデフォーカスマップで用いたものとは異なる色やパターン）で分ける方法等により表示することができる。すなわち判定結果は、判定結果が変化する部分が、色やパターンの違いにより境界線として可視化される。また本実施形態において、複数の認識対象についてそれぞれ判定処理が行われた場合には、それら認識対象毎にそれぞれ色やパターンを異ならせるようにして判定結果を可視化する。

【0063】

図７（ａ）～図７（ｅ）は、判定結果の表示方法の説明に用いる図である。
図７（ａ）は、複数の認識対象についてそれぞれ判定処理が行われた場合の判定結果を可視化した判定結果７０１を示した図であり、例えばひび割れとエフロレッセンスについての判定結果を示している。判定結果７０１において、実線で囲われた領域７０２はひび割れについての判定結果を表し、点線で囲われた領域７０３はエフロレッセンスについての判定結果を表している。

【0064】

図７（ｂ）は、図７（ａ）に示した判定結果７０１を撮影画像に重畳して作成した判定結果画像７１１を画面７１２上に表示した例を示した図である。図７（ｂ）のような判定結果７０１を撮影画像に重畳した判定結果画像７１１が表示されることで、ユーザは、撮影画像の各位置で、認識対象が認識可能か否かを容易に確認可能となる。また、本実施形態の情報処理装置１００は、図７（ｂ）に示すように、画面７１２上に、判定処理がなされた各認識対象が項目として表された認識対象一覧７１３も表示することができる。認識対象一覧７１３の各項目にはチェックボックスが配されており、情報処理装置１００は、チェックが入れられた認識対象の判定結果を表す領域を撮影画像に重畳した判定結果画像７１１を表示する。図７（ｂ）の場合、認識対象一覧７１３のひび割れとエフロレッセンスの両方の項目についてチェックが入れられているため、判定結果画像７１１にはひび割れの判定結果を表す領域７０２と、エフロレッセンスの判定結果を表す領域７０３の両方が表示されている。なお、例えばエフロレッセンスの判定結果を非表示にしたい場合、ユーザは、認識対象一覧７１３の項目のうち、エフロレッセンスの項目のチェックボックス７１４のチェックを外す操作を行えばよい。このように、本実施形態の情報処理装置１００では、判定結果の表示のオン、オフを、認識対象一覧７１３のチェックボックスに対するチェックの有無により切り替え可能となされている。すなわち情報処理装置１００は、ユーザ操作に基づいて、判定結果画像７１１を再作成して、画面７１２に表示する処理を再実行可能となされており、複数の認識対象に係る判定結果のうち、特定の認識対象のみを表示するようなことが可能となされている。

【0065】

また、他の表示方法として、本実施形態の情報処理装置１００は、画像中の特定の位置において、認識可能な認識対象リストを表示することも可能である。
例えば図７（ｂ）の画面７１２において、ユーザが、いわゆるマウスオーバー等の操作を行い、判定結果画像７１１上の所望の位置７１５付近にマウスカーソル７１６の先端を合わせたとする。この場合、情報処理装置１００は、そのユーザ操作に基づいて、位置７１５を注目位置として設定し、その注目位置における判定結果を読み込み、図７（ｃ）に示すような認識可能な認識対象リストを生成して表示部１０５の画面上にポップアップ等で表示する。

【0066】

図７（ｃ）中の注目位置座標（ｘ１，ｙ１）は、例えば判定結果画像７１１中の左上頂点を原点（０，０）としたときの、画面水平方向（ｘ方向）と垂直方向（ｙ方向）の位置座標である。図７（ｃ）のような認識対象リストを表示することにより、ユーザは、判定結果画像７１１内の特定の位置において認識可能な認識対象の一覧を確認しやすくなる。なお、異なる位置について認識可能な認識対象の一覧を確認したい場合、ユーザは、マウスカーソル７１６の位置を変更すればよい。すなわち情報処理装置１００は、このようなユーザによるマウスカーソル７１６の位置変更操作に基づいて、注目位置を再設定する。そして、情報処理装置１００は、その変更後の注目位置における判定結果の再読み込みを行い、認識可能な認識対象リストを更新して再表示する。

【0067】

本実施形態において、判定結果を表示する際の他の例として、情報処理装置１００は、判定結果をサマリ表示することも可能である。
図７（ｄ）は、判定結果をサマリ表示する場合の例を示した図である。図７（ｄ）は、ひび割れの大きさ（幅）毎の判定結果７２１のサマリ表示例を示している。判定結果７２１において、認識可能比率とは、撮影画像全体の面積に対し、ひび割れを認識可能と判定した領域の面積比率である。また、判定サマリとは、認識可能比率が高い場合（例えば８０％以上の場合）にＯＫとし、そうでない場合にＮＧとした判定結果である。このようなサマリ表示が行われることにより、ユーザは、画像上で各認識対象が判定可能か否かを確認し易くなる。

【0068】

さらに他の表示方法の例として、情報処理装置１００は、図７（ｅ）のように、認識可能と判定した認識対象ごとのサイズをグラフ形式で表示することも可能である。図７（ｅ）において、例えば認識対象のひび割れを表すグラフの斜線部７３１は、ひび割れの判定結果に基づいて、どのようなサイズまでのひび割れが認識可能かを可視化した結果である。斜線部７３１の下端が認識可能なひび割れのサイズの下限に対応し、斜線部７３１の上端が認識可能なひび割れのサイズの上限に対応している。この図７（ｅ）に例示したような可視化が行われることにより、ユーザは、認識対象ごとに認識可能なサイズを確認し易くなる。

【0069】

＜第１の実施形態の変形例＞
第１の実施形態では、判定部１２５の判定処理において、学習済みモデルを利用する例を挙げて説明したが、学習の不十分なモデルを利用して認識判定を行うような変形例も本実施形態に含めることができる。この例の場合、まず、少ない量の学習データで学習させたモデルを初期モデルとする。そして、判定部１２５は、その初期モデルを分類器とし、デフォーカスマップを入力して、認識対象設定部１２４で設定された認識対象に対する判定処理を行い、その判定結果を出力する。さらにこの例の場合、その判定結果を例えばユーザが修正した場合、その修正結果とデフォーカスマップのペアを学習データとして利用し、初期モデルを機械学習により再学習させる。このような判定処理とモデル学習とを繰り返すことにより、認識判定性能の高い学習済みモデルの作成が可能となる。

【0070】

＜他分野への適用例＞
以上の実施形態では、インフラ点検における検査対象を撮影した画像から、ひび割れ等の認識対象を認識可能な範囲を判定する例を挙げて説明したが、本実施形態に係る情報処理の適用先は特定の分野に限定されない。例えば、製造工場等において、製品を撮影した画像からキズなどの欠陥を確認する作業（外観検査）などにも、本実施形態の情報処理は適用可能である。外観検査では、製造工場等で製造する製品の外観が要求品質を満たすかどうかを、製品の撮影画像を用いた画像認識処理により実施する。この検査において、本実施形態の情報処理を適用することにより、製品画像からキズ等の欠陥を認識可能な範囲の判断に係るユーザの作業を効率化することができる。

【0071】

以上説明したように、第１の実施形態によれば、検査対象の被写体を撮影した画像から、ひび割れ等の認識対象を認識可能な範囲を判断する際のユーザ作業を支援することにより、ユーザ作業を軽減して、作業の効率を高めることができる。

【0072】

＜第２の実施形態＞
第１の実施形態では、撮影画像に対応したデフォーカスマップのみを用いて、当該撮影画像について認識対象を認識可能な範囲を判定する例を挙げた。ここで、インフラ点検において、橋梁やトンネルなどのコンクリート壁面は、経年劣化により汚れ等が蓄積することで、撮影画像におけるテクスチャが複雑化することが多い。テクスチャが複雑化すると、壁面上のひび割れ等が視認し難くなるため、ピントの合った画像であっても、ひび割れ等を認識することが難しくなる可能性がある。

【0073】

そこで、第２の実施形態の情報処理装置では、複雑なテクスチャが含まれる撮影画像について判定処理を行う際、当該撮影画像に対して所定の画像処理を行って得たデータを、画像のテクスチャに関連する追加データとして生成する。そして、第２の実施形態の情報処理装置は、前述同様のデフォーカスマップと画像のテクスチャに関連した追加データとに基づいて判定処理を行う。すなわち第２の実施形態の情報処理装置は、画像のテクスチャに関連した追加データを加味した判定処理を行うことにより、複雑なテクスチャが含まれた撮影画像であっても、認識対象を認識可能な範囲の誤判定を少なくし、高い精度での判定を可能とする。本実施形態の情報処理装置は、撮影画像に対する所定の画像処理として、画像の特徴量を抽出して、画像特徴量からなるマップデータを、追加データとして生成する処理を行う。より具体例には、第２の実施形態では、撮影画像に対し、例えばＦＦＴ処理（高速フーリエ変換処理）を行って、撮影画像の高周波成分のみを抽出し、その高周波成分のみからなるマップデータを、撮影画像のテクスチャに関連する追加データとして生成する。ただし高周波の範囲は任意に定められてよい。

【0074】

以下、第１の実施形態との差分を中心に、第２の実施形態における情報処理装置について説明する。
第２の実施形態に係る情報処理装置のハードウェア構成は、図２（ａ）に示したハードウェア構成に準ずるため、それらの説明は省略する。
図８は、第２の実施形態の構成に係る情報処理装置８００の機能ブロック図の一例を示した図である。図８に示した構成は、第１の実施形態の図２（ｂ）に示した構成に対して、追加データ設定部１２６が設けられている点が異なる。追加データ設定部１２６は、ＣＰＵ１０１により実行される一機能部であって、第２の実施形態での判定処理に用いる追加データを設定する追加設定処理を行う。なお図８の機能ブロックにおいて、追加データ設定部１２６以外の他の機能部は、図２（ａ）に示した各機能部に準ずるため、それらの説明は省略する。

【0075】

図９は、第２の実施形態に係る情報処理装置８００における情報処理の流れを示すフローチャートである。図９のフローチャートにおいて、第１の実施形態で示した図３のフローチャートと同じ参照番号を付した処理ステップでは、第１の実施形態と同様の処理が実行されるため、それらの説明は省略する。

【0076】

第２の実施形態の場合、ステップＳ３０２で認識対象が設定された後、ステップＳ９０１へ進む。ステップＳ９０１に進むと、追加データ設定部１２６は、前述したように撮影画像をＦＦＴ処理して得た高周波成分からなるマップデータを、撮影画像のテクスチャに関連する追加データとして設定する。

【0077】

続くステップＳ９０２において、判定部１２５は、ステップＳ３０１で算出されたデフォーカスマップと、ステップＳ９０１で設定した追加データ（撮影画像の高周波成分からなるマップデータ）とを用いて、認識対象を認識可能な範囲の判定処理を実行する。その後、ステップＳ３０４において、情報処理装置１００は、判定結果を表示部１０５に表示させる。

【0078】

ステップＳ９０１の追加データ設定処理について、図１０（ａ）と図１０（ｂ）を用いて説明する。
図１０（ａ）は、劣化が進行している構造物壁面を撮影した画像１００１の例を示した図である。画像１００１のうち、領域１００２は、壁面汚れによって、ひび割れ１０１１が視認し難い状態になっているとする。一方、領域１００３は、壁面汚れが少ないため、ひび割れ１０１２は視認し易い状態であるとする。

【0079】

図１０（ｂ）は、図１０（ａ）の画像１００１に対応するデフォーカスマップ１００４を示した図である。デフォーカスマップ１００４のデフォーカス値の大部分は０であるとする。したがって、画像１００１は、全体的にピントの合った画像である。ただし、デフォーカスマップ１００４は、被写体面のデフォーカス値の情報は含むが、被写体面のテクスチャの情報を含まない。

【0080】

このため、追加データ設定部１２６は、画像１００１をＦＦＴ処理して高周波数成分を抽出し、その高周波数成分のみを含むマップデータを作成し、当該マップデータを、画像１００１のテクスチャに関連する追加データとして設定する。

【0081】

なお、追加データとしては、高周波数成分のみを含むマップデータの他にも、例えば撮影画像のエッジマップが使用されてもよい。エッジマップを生成する場合、追加データ設定部１２６は、撮影画像からエッジ輪郭成分を抽出し、そのエッジ輪郭成分を含むマップデータを追加データとして設定する。画像からエッジ輪郭成分を抽出する処理としては、いわゆるＣａｎｎｙ法を用いた処理を挙げることができる。さらに他の例として、撮影画像データの例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３チャネルからなるＲＧＢ画像データそのものを、追加データとして設定することも可能である。

【0082】

次にステップＳ９０２にて判定部１２５で行われる、デフォーカスマップと追加データとを用いた判定処理について説明する。
判定部１２５は、認識対象に対する判定処理において、第１の実施形態と同様に、機械学習により学習させた学習済みモデルを、判定処理で用いる分類器として利用することができる。第２の実施形態の学習済みモデルは、デフォーカスマップと追加データとを入力とし、デフォーカスマップの各位置における判定結果を示す教師データのペアを学習データとして学習させたモデルである。この学習済みモデルは、例えば、ニューラルネットワークモデルで構成可能である。各モデルの選択方法や結果出力などは、第１の実施形態と同様であるため、その説明は省略する。

【0083】

第２の実施形態においても前述した第１の実施形態で説明したのと同様に、学習の不十分なモデルを利用して判定処理が行われてもよい。この場合、少ない量の学習データで学習させた初期モデルを用意し、デフォーカスマップと追加データとを入力として、認識対象に対する判定処理を行う。そして、その判定結果をユーザが修正した場合、その修正結果とデフォーカスマップとのペアを学習データとして利用して、初期モデルを機械学習により再学習させる。このような判定処理とモデル学習を繰り返すことにより、判定性能の高いモデルを作成することができる。

【0084】

図１０（ｃ）は、図１０（ａ）に示した画像１００１について、認識対象のひび割れについて、第２の実施形態の判定部１２５による判定処理で判定された結果を可視化した、判定結果１０２１の一例を示した図である。
図１０（ｃ）に示した判定結果１０２１のうち、領域１０２２はひび割れを認識可能と判定した領域であり、一方、領域１０２３はひび割れを認識できないと判定した領域である。領域１０２２と領域１０２３の各位置におけるデフォーカス値は、図１０（ｂ）のデフォーカスマップ１００４で示したように大半が「０」であるため、領域１０２２と領域１０２３のどちらの領域もおよそピントが合っている。第２の実施形態の場合、デフォーカスマップ１００４に加えて、テクスチャに関連する追加データをも使用して判定処理を行うことにより、撮影画像のテクスチャを考慮した判定処理がなされることになる。これにより、第２の実施形態に係る判定処理では、領域１０２３はひび割れを認識できない領域として適切に判定することができる。すなわち、第２の実施形態によれば、撮影した画像中の被写体面が汚れているような場合であっても、画像のテクスチャを考慮した判定処理を行うことができる。

【0085】

＜第３の実施形態＞
第１～２の実施形態で説明した判定処理によって、撮影画像中の各位置で認識対象を認識できないと判定された画像は、通常は、認識処理に適さない画像となる。この場合、代わりの画像を取得するために再撮影が必要となる。しかしながら、インフラ構造物の壁面を高解像度に撮影する作業は手間がかかる。

【0086】

そこで、第３の実施形態では、撮影画像が認識処理に適さない画像である場合に、判定処理に使用する画像データに対して所定の画像加工処理を施し、その画像加工処理後の画像データを使用して再度、判定処理を行う。そして、再判定処理の結果、撮影画像のなかで認識対象を認識可能な範囲が増える（拡大する）と、認識処理に適した画像として活用できる可能性が高くなる。第３の実施形態における所定の画像加工処理としては、例えば、撮影画像のコントラストを変換するような処理を挙げることができる。以下、第３の実施形態では、第２の実施形態との差分を中心に説明する。

【0087】

第３の実施形態に係る情報処理装置のハードウェア構成は、第２の実施形態と同様に、第１の実施形態の図２（ａ）に示した構成に準じるため、その説明を省略する。図１１（ａ）は、第３の実施形態の構成に係る情報処理装置１１００の機能ブロック図の一例を示した図である。第３の実施形態の情報処理装置１１００は、第２の実施形態の図８に示した構成に対して、判断部１２７、範囲設定部１２８、加工部１２９、受付部１３０が設けられている点が異なる。なお、図１１（ｂ）の説明は後述する。

【0088】

受付部１３０は、ＣＰＵ１０１の機能部であって、ユーザからの画像データ入力を受け付ける処理を行う。なお、受付部１３０は、図１（ａ）に示した第１の実施形態の情報処理装置１００や図８に示した第２の実施形態の情報処理装置８００にも、それぞれ備えられていてもよい。

【0089】

判断部１２７は、ＣＰＵ１０１の機能部であって、判定部１２５による１度目の判定処理の結果に基づいて、２度目の判定処理を行うか否かを判断する処理を行う。判断部１２７における判断処理の詳細は後述する。
範囲設定部１２８は、ＣＰＵ１０１の機能部であって、判断部１２７で２度目の判定処理を行うと判断された際に、撮影画像のなかで当該２度目の判定処理を行う画像範囲を設定する処理を行う。範囲設定部１２８における範囲設定処理の詳細は後述する。
加工部１２９は、ＣＰＵ１０１の機能部であって、判断部１２７で２度目の判定処理を行うと判断された際に、範囲設定部１２８で設定された画像範囲の画像データに対して所定の画像加工処理を行う。加工部１２９における画像加工処理の詳細は後述する。

【0090】

図１２は、第３の実施形態に係る情報処理装置１１００が実行する情報処理の流れを示すフローチャートである。図１２のフローチャートにおいて、第１の実施形態で示した図３のフローチャートおよび第２の実施形態で示した図９のフローチャートとそれぞれ同じ処理ステップには前述と同じ参照番号を付し、それらの説明は省略する。

【0091】

ステップＳ１２０１において、受付部１３０は例えばユーザがデジタルスチルカメラ等に代表される汎用的な撮像装置を用いて検査対象の構造物壁面等を撮影した画像のデータ（ＲＧＢデータ）を受け付ける。受付部１３０にて取得された画像データは、データ管理部１２２を介して記憶部１２１に記憶される。そして、第３の実施形態の情報処理装置１１００において１度目の判定処理が行われる場合、データ管理部１２２は、記憶部１２１からその画像データを読み出して、デフォーカスマップ作成部１２３と判定部１２５へ転送する。

【0092】

次のステップＳ３０１において、デフォーカスマップ作成部１２３は、前述の実施形態で説明したのと同様にして、デフォーカスマップを作成する。
続いてステップＳ３０２において、認識対象設定部１２４は、前述の実施形態で説明したのと同様にして認識対象を設定する。
次のステップＳ９０１に進むと、追加データ設定部１２６は、撮影画像に所定の画像処理を施して追加データとして設定する。ただし第３の実施形態の場合、ステップＳ９０１では、構造物壁面を撮影した画像データのＲＧＢの３チャネルからなるＲＧＢ画像が、追加データとして設定される。
そして次のステップＳ９０２において、判定部１２５は、デフォーカスマップと追加データとを用いて、認識対象を認識可能な範囲の判定処理を実行する。このステップＳ９０２での判定処理が、第３の実施形態における１度目の判定処理である。

【0093】

第３の実施形態の場合、ステップＳ９０２の後は、ステップＳ１２０２の処理に進む。ステップＳ１２０２において、判断部１２７は、２度目の判定処理を行うか否かを判断する。この時の判断部１２７は、例えば、１度目の判定処理で認識可能と判定した範囲の面積比率が、撮影画像全体の面積に対して５０％以上である場合には、２度目の判定処理は不要である判断する。判断部１２７において２度目の判定処理は不要である判断された場合、情報処理装置１１００は、ステップＳ３０４に進み、前述同様に判定結果を表示する処理を行った後に図１２のフローチャートの処理を終了する。一方、判断部１２７は、１度目の判定処理で認識可能と判定した範囲の面積比率が、撮影画像全体の面積に対して５０％未満である場合には２度目の判定処理が必要であると判断する。そして、情報処理装置１１００の処理はステップＳ１２０３に進む。

【0094】

ステップＳ１２０３に進むと、範囲設定部１２８は、撮影画像について２度目の判定処理を行う画像範囲を設定する。例えば、範囲設定部１２８は、１度目の判定処理において認識できないと判定された領域を、２度目の判定処理を行う画像範囲として設定する。

【0095】

続くステップＳ１２０４において、加工部１２９は、２度目の判定処理を行うとして設定された画像範囲の画像データに対して所定の画像加工処理を施す。第３の実施形態において、所定の画像加工処理としては、画像の画素値を変換する処理、例えばコントラスト変換処理等を挙げることができる。そして、画像範囲について所定の画像加工処理がなされた後の画像は、追加データ設定部１２６において前述した追加データに加えられる。

【0096】

次にステップＳ１２０５において、判定部１２５は、デフォーカスマップと、ステップＳ１２０４による画像加工処理後の画像を含む追加データとを用いて、２度目の判定処理を実行する。このステップＳ１２０５の後、情報処理装置１１００の処理はステップＳ３０４に進む。これにより、ステップＳ３０４では、２度目の判定処理による判定結果を表示する処理が行われ、その後、図１２のフローチャートの処理が終了する。

【0097】

＜第３の実施形態の変形例＞
第３の実施形態では、図１１（ａ）の各機能部のみで情報処理が実行される例を説明したが、例えば図１１（ｂ）に示すように、ソフトウェア・アズ・ア・サービス（ＳａａＳ）アプリケーション上で動作する例として実現されてもよい。すなわち、図１１（ｂ）は、第３の実施形態を、ＳａａＳアプリケーション上で動作する例として説明するブロック図の一例である。

【0098】

ＳａａＳアプリケーション１１１４は、情報処理装置１１００により動作を実現するサービスである。
撮像装置１１１２は、デジタルスチルカメラ等であり、検査対象であるコンクリート構造物等の被写体を撮影する。

【0099】

クライアントデバイス１１１１は、ネットワーク１１１３を介してＳａａＳアプリケーション１１１４との通信を行う、表示部、操作部、記憶部を持つパーソナルコンピュータに代表される汎用デバイスである。クライアントデバイス１１１１は、撮像装置１１１２と有線もしくは無線により接続され、撮像装置１１１２により撮影された画像データを取り込む。また、クライアントデバイス１１１１は、ＳａａＳアプリケーション１１１４から取得した表示データを、Ｗｅｂブラウザ等を用いて表示したり、画像データ等をＳａａＳアプリケーション１１１４へアップロードしたりする操作を行う。

【0100】

以下、図１３（ａ）～図１３（ｇ）と図１２に示したフローチャートとを用いて、ＳａａＳアプリケーションとして動作する第３の実施形態における情報処理装置１１００の動作を説明する。

【0101】

図１３（ａ）は、ステップＳ１２０１において、ユーザが撮像装置で撮影した画像を受付部１３０が受け付ける際のＵＩ画面の一例を示した図である。ユーザは、テキストボックス１３０１に、クライアントデバイス１１１１内の画像ファイルのパスを入力する。もしくは、ユーザは、画像選択ボタン１３０２をクリック等で指示して画像選択ダイアログを表示させ、その画像選択ダイアログに対する操作を介して画像ファイルを選択する。領域１３０３は、選択中の画像ファイルの画像が表示される領域である。このようにして画像を選択した後、ユーザは、ＯＫボタン１３０４をクリック等する。受付部１３０は、ユーザからのこれらの入力指示を受け付ける。そして、受付部１３０は、ユーザからの入力指示に基づいて、ネットワーク１１１３を介してクライアントデバイス１１１１から画像データを取得し、その画像データを、データ管理部１２２を介して記憶部１２１に記憶させる。

【0102】

本実施形態において、受付部１３０における画像データの受付処理は、撮像装置１１１２による画像撮影のタイミングと連動するようになされていてもよい。この場合、撮像装置１１１２が画像を撮影すると、その撮影画像データがクライアントデバイス１１１１を介してＳａａＳアプリケーション１１１４へ転送される。もしくは、クライアントデバイス１１１１を介さず、撮像装置１１１２から無線ネットワーク経由で直接、ＳａａＳアプリケーション１１１４へ画像データが転送される。受付部１３０は、常時受け付け待ち状態になっており、ネットワーク１１１３を経由して送られてきた画像データを受け付けて、記憶部１２１へ格納する。

【0103】

図１３（ｂ）は、検査対象としてコンクリート構造物の壁面を撮影した画像１３１１の例を示した図である。図１３（ｃ）は、ステップＳ３０１においてデフォーカスマップ作成部１２３が画像１３１１に対応して作成したデフォーカスマップ１３１３の例を示した図である。図１３（ｂ）に示した壁面の画像１３１１のうち、点線で囲った範囲１３１２は、ひび割れが視認し難い例えば影の領域を示しているとする。また、図１３（ｃ）に示したデフォーカスマップ１３１３上の数値は、各領域のデフォーカス値の代表値を示している。デフォーカスマップを作成する処理は、前述した第１或いは第２の実施形態と同様のため、その説明は省略する。

【0104】

なお第３の実施形態において、デフォーカスマップの作成処理は、情報処理装置１１００ではなく外部装置で行われてもよい。例えば、デフォーカスマップ作成部１２３と同等の機能部が、クライアントデバイス１１１１内に用意されていてもよい。この場合、クライアントデバイス１１１１は、撮像装置１１１２から画像を取り込むタイミング、もしくは画像取り込み後にユーザが指示したタイミングで、デフォーカスマップを作成する。また例えば、撮像装置１１１２がデフォーカスマップを作成してもよい。この場合、撮像装置１１１２は、デフォーカスマップ作成部１２３と同等の機能部を有しており、画像を撮影した直後に、当該機能部においてデフォーカスマップを作成する。前述のようにしてクライアントデバイス１１１１もしくは撮像装置１１１２によって作成されたデフォーカスマップは、画像とともに、ネットワーク１１１３を介してＳａａＳアプリケーション１１１４へ転送される。このように情報処理装置１１００の外部装置でデフォーカスマップの作成処理を行う場合、情報処理装置１１００の受付部１３０は、画像とデフォーカスマップのペアを受け付けて記憶部１２１へ格納する処理を行う。

【0105】

図１３（ｄ）は、ステップＳ９０２において、判定部１２５が、図１３（ｂ）の画像１３１１について１度目の判定処理を行った判定結果１３２１の例を示した図である。図１３（ｄ）に示した判定結果１３２１は、図１３（ｃ）のデフォーカスマップ１３１３と前述の追加データとを用いて、例えばひび割れについて判定処理を行った結果を可視化したものである。なお、第３の実施形態の例の場合、追加データはＲＧＢ画像のデータであるため、図１３（ｂ）の画像１３１１が追加データとなる。

【0106】

判断部１２７は、この１度目の判定処理による判定結果１３２１を用いて、判定部１２５による２度目の判定処理が必要かどうかを判断する。図１３（ｄ）に示した第１の判定処理による判定結果１３２１のうち、斜線が描かれた領域１３２２が、ひび割れの認識が可能であると判定された領域を示している。したがって、判断部１２７は、この判定結果１３２１に基づいて、２度目の判定処理が必要かどうかを判断する。具体的には、判断部１２７は、撮影画像全体の面積に対して、認識可能と判定された領域の面積比率に基づいて、２度目の判定処理が必要かどうかを判断する。当該面積比率に基づく判断式は式（２）で表される。

【0107】

Ａd＞Ａ 式（２）

【0108】

ここで式（２）中のパラメータＡは、１度目の判定処理の判定結果において、認識対象を認識可能と判定した領域の面積比率を示しており、本実施形態では、これが判断基準の比率として用いられる。パラメータＡdは、パラメータＡに対する比較パラメータである。本実施形態におけるパラメータＡdは、例えば実験的に求めた値を使用してもよいし、ユーザが直接指定した値が用いられてもよい。そして、式（２）のように、パラメータＡがパラメータＡd未満である場合、判断部１２７は、２度目の判定処理が必要と判断し、これにより情報処理装置１１００の処理はステップＳ１２０３へ進む。一方、パラメータＡがパラメータＡd以上である場合、判断部１２７は、２度目の判定処理は不要であると判断し、これにより情報処理装置１１００はステップＳ３０４へ進み、その判定結果を表示した後に、図１２のフローチャートの処理を終了する。

【0109】

そして、２度目の判定処理が必要であると判断された場合、範囲設定部１２８は、ステップＳ１２０３において、２度目の判定処理を行う画像範囲を設定する。図１３（ｅ）は、図１３（ｂ）に示した画像１３１１のうち、２度目の判定処理を行うとして設定された領域１３３１、つまり範囲設定部１２８で設定された画像範囲を示した図である。例えば、範囲設定部１２８は、１度目の判定処理において認識対象を認識できないと判定された領域を、２度目の判定処理を行う画像範囲として設定する。なお、範囲設定部１２８は、１度目の判定処理で認識対象を認識できないと判定された領域を含む矩形を求め、その矩形の領域を、２度目の判定処理を行う画像範囲として設定してもよい。

【0110】

その後、加工部１２９では、ステップＳ１２０４において、２度目の判定処理に用いる画像範囲の画像データに対する画像加工処理が行われる。本実施形態の場合、画像加工処理は、画像のコントラスト変換処理であり、画像のコントラストを変えることにより、ひび割れ等の認識対象の視認性が変化する。そのため、２度目の判定処理では、１度目の判定処理とは異なる判定結果を得ることができるようになる。

【0111】

図１３（ｆ）は、図１３（ｂ）に示した画像１３１１に対して、コントラスト変換処理によって画素値が変化した後の変換後画像１３４１の例を示した図である。点線で囲った範囲１３４２は、コントラスト変換後も、影の影響によりひび割れを視認しにくい領域を示している。図１３（ｆ）に示した変換後画像１３４１の範囲１３４２と、図１３（ｂ）に示した範囲１３１２とを比較すると、コントラストの変換後画像１３４１では、ひび割れを視認し難い領域が小さくなっていることがわかる。このように、画像をコントラスト変換処理することにより、判定処理に用いる画像のテクスチャを変化させることができる。

【0112】

また本実施形態における画像加工処理は、コントラスト変換処理に限定されず、別の画像加工処理であってもよい。例えば、判定処理が行われる画像（本実施形態では撮影画像）に対する超解像処理であってもよい。超解像処理としては、例えば、バイリニア補間や、バイキュービック補間等を利用した処理が利用可能である。超解像処理を行うことにより、画像中の局所情報の取得が可能となる。さらに他の画像加工処理として、画像に対する低解像度化処理が行われてもよい。低解像化処理が行われた場合、画像の局所的な情報が減少するため、テクスチャの微妙な変化の影響を受け難い判定処理を行うことができる。

【0113】

図１３（ｇ）は、判定部１２５が、ステップＳ１２０５において２度目の判定処理を行った場合の判定結果１３５１の一例を示した図である。図１３（ｇ）に示した判定結果１３５１のうち、斜線で描かれた領域１３５２が、２度目の判定処理において認識可能と判定された領域である。

【0114】

その後、情報処理装置１１００の表示部１０５は、ステップＳ３０４において、判定結果を撮影画像に重畳した画像を作成し、それを表示する。例えば、２度目の判定処理が行われた場合、表示部１０５は、１度目の判定処理による判定結果と、２度目の判定処理による判定結果とを、撮影画像に重畳して表示する。

【0115】

図１４は、１度目と２度目の判定処理による二つの判定結果を画像に重畳した画像１４０２を、画面１４０１上に表示した例を示した図である。画像１４０２のうち、領域１４０３は、１度目の判定処理によってひび割れが認識可能と判定された領域であり、領域１４０４は、２度目の判定処理によってひび割れが認識可能と判定された領域である。このような画面表示がなされることにより、ユーザは、複数の判定結果をまとめて確認することができる。なお、２度目の判定処理の結果を示す領域１４０４は、画像加工処理が行われたという条件付きの判定結果であるため、１度目の判定処理の結果を示す領域１４０３よりも、判定結果の信頼度が相対的に低いと判断することもできる。そのため、画面１４０１には、判定結果表示設定１４０５のチェックボックスにチェックを入れるかどうかにより、その条件付きの判定結果の表示と非表示とを切り替えることができるようにしておくことが望ましい。

【0116】

＜第４の実施形態＞
前述した第１～第３の実施形態における判定処理の判定結果について誤判定が生じているかどうかをユーザが確認する場合、例えば画像サイズが大きいと、画像の各位置の判定結果を確認する作業に手間がかかる可能性がある。
そこで、第４の実施形態の情報処理装置は、判定処理の判定結果に基づいて判定根拠を求め、その判定根拠を判定結果と共に表示する。これにより、ユーザは、判定根拠と共に判定結果が妥当かどうかを判断し易くなる。第４の実施形態の場合、情報処理装置は、例えば判定結果の異なる領域毎に画像特徴量を算出し、その領域毎の画像特徴量に基づいて判定根拠を決定するような根拠決定処理を実行し、さらにその判定根拠を判定結果と共に表示する根拠表示処理を実行する。以下、第４の実施形態に係る情報処理を、第２の実施形態との差分を中心に説明する。

【0117】

第４の実施形態に係る情報処理装置のハードウェア構成は、図２（ａ）に示した構成に準じるため、その説明を省略する。図１５は、第４の実施形態に係る情報処理装置１５００の機能ブロック図の一例を示す図である。第４の実施形態の情報処理装置１５００は、図８に示した構成に対し、判定根拠決定部１３２が設けられている点が異なる。判定根拠決定部１３２は、ＣＰＵ１０１の機能部であって、判定結果に基づいて判定根拠を求める根拠決定処理を行う。

【0118】

図１６は、第４の実施形態の情報処理装置１５００が実行する情報処理の流れを示したフローチャートである。なお図１６のフローチャートにおいて、第２の実施形態で示した図９のフローチャートと同じ処理ステップには前述と同じ参照番号を付してそれらの説は省略する。また本実施形態において、ステップＳ９０１で設定する追加データは、構造物壁面を撮影した画像データ（ＲＧＢ画像）を用いるとする。第４の実施形態の場合、ステップＳ９０２でデフォーカスマップと追加データ（ＲＧＢ画像）とを用いた判定処理が実行された後にステップＳ１６０１へ進み、判定根拠決定部１３２による判定根拠決定処理が行われる。その後、ステップＳ１６０２において、判定結果と判定根拠とを表示部１０５により表示する処理が行われた後、図１６のフローチャートの処理が終了する。以下、ステップＳ１６０１とステップＳ１６０２の処理について説明する。

【0119】

ステップＳ１６０１では、判定根拠決定部１３２が、判定結果に基づいて判定根拠を決定する根拠決定処理を行う。ステップＳ１６０１において、判定根拠決定部１３２は、まず、検査対象の壁面等の撮影画像を、判定結果の異なる画像領域毎に分割する。さらに、判定根拠決定部１３２は、分割した画像領域毎に、一つ以上の画像特徴量を算出する。例えば、判定根拠決定部１３２は、画像特徴量として、画像の明度を示す平均輝度値を算出する。そして、判定根拠決定部１３２は、その画像領域について算出した画像特徴量と、予め定めた基準値とを基に、以下の式（３）に示す判定式を用いて、当該画像特徴量を判定根拠とするか否かを判定する。つまり、判定根拠決定部１３２は、算出した輝度平均値と基準値とを基に、式（３）に示す判定式を用いて輝度平均値（明度差）を判定根拠とするか否かを判定する。

【0120】

｜Ｖ1－Ｖ2｜≧Ｖ 式（３）

【0121】

式（３）のパラメータＶ1，Ｖ2は、判定結果の異なる画像領域からそれぞれ算出した画像特徴量（輝度平均値）であり、パラメータＶは、予め決めた基準値である。本実施形態におけるパラメータＶは、例えば実験的に求めた値を使用してもよいし、ユーザが直接指定した値を用いてもよい。判定根拠決定部１３２は、式（３）を満たす場合、算出した画像特徴量を判定根拠とする。

【0122】

続いて、判定根拠決定部１３２は、画像領域から、先に求めた画像特徴量とは異なる画像特徴量を算出する。この時の判定根拠決定部１３２は、先に求めた画像特徴量とは異なる画像特徴量として、画像の色味を示す特徴量（Ｒ値の平均値、Ｇ値の平均値、Ｂ値の平均値）や、画像のテクスチャ感を示す特徴量（輝度値分散）などを算出する。判定根拠決定部１３２は、それらすべての画像特徴量をそれぞれ求め、それら画像特徴量が各々式（３）を満たすか否かを判断することにより、判定根拠とするすべての画像特徴量を決定する。

【0123】

ここでは一例として、ひび割れの判定結果の判定根拠を決定する処理について説明する。
図１７（ａ）はひび割れが発生している壁面の撮影画像１７０１の一例を示した図である。図１７（ｂ）は図１７（ａ）の撮影画像１７０１に対するひび割れの判定結果１７０２の例を示した図である。判定結果１７０２において、斜線が描かれた領域１７０３は、ひび割れを認識可能と判定された領域であり、領域１７０４は、ひび割れを認識できないと判定された領域である。

【0124】

判定根拠決定部１３２は、図１７（ｂ）に示した判定結果１７０２に基づいて、図１７（ａ）の撮影画像１７０１を分割する。図１７（ｃ）は、撮影画像１７０１を分割した分割画像１７１１を示している。すなわち図１７（ｃ）の分割画像１７１１において、領域１７１２は、ひび割れを認識可能と判定された分割領域であり、領域１７１３は、ひび割れを認識できないと判定された分割領域である。

【0125】

さらに判定根拠決定部１３２は、分割画像１７１１の各領域１７１２，１７１３について、それぞれ画像特徴量を算出する。図１７（ｄ）は、領域毎に算出される画像特徴量の例を示した図である。そして、判定根拠決定部１３２は、図１７（ｄ）に示すような画像特徴量１７２１を、領域１７１２と領域１７１３についてそれぞれ算出し、それら算出された画像特徴量が式（３）を満たすか否かを判定する。例えば、画像特徴量として、画像の明度を示す平均輝度値を判定根拠とするか求める場合、判定根拠決定部１３２は、まず、領域１７１２の平均輝度値をパラメータＶ1、領域１７１３の平均輝度値をパラメータＶ2として求める。次に、判定根拠決定部１３２は、画像特徴量１７２１の中の基準値から、画像の明度に対応する基準値である「５０」をパラメータＶとして取得する。そして、判定根拠決定部１３２は、それらパラメータＶ、Ｖ1、Ｖ2の三つの値を式（３）に代入し、式（３）を満たす場合に、平均輝度値（画像の明度差）を判断根拠とする。その他の画像特徴量についても、同様にして判断根拠を求めることができる。

【0126】

なお判定根拠決定部１３２は、判定根拠の決定の際に画像特徴量以外の値を用いてもよい。例えば、画像のぼけ度合いを表すデフォーカス値を使用して判定根拠が決定されてもよい。この場合、判定根拠決定部１３２は、デフォーカスマップを、判定結果の異なる領域毎に分割し、その分割マップ毎に平均デフォーカス値を求める。そして、判定根拠決定部１３２は、異なる領域の平均デフォーカス値をパラメータＶ1、Ｖ2とし、予め定めたデフォーカス基準値をパラメータＶとして、式（３）を用いてデフォーカス（ピントの度合い）を判断根拠とする否かを決定する。

【0127】

次にステップＳ１６０２に進むと、情報処理装置１５００は、判定結果と撮影画像とを重畳した画像を表示することに加えて、判定根拠を表示部１０５に表示させる、根拠表示処理を行う。
図１８（ａ）は、判定結果を可視化した結果と撮影画像を重畳して作成した判定結果１８０２と、判定根拠一覧１８０６とを表示した画面１８０１の一例を示した図である。判定結果１８０２は、壁面の撮影画像と判定結果とを重畳した画像である。図１８（ａ）は、認識対象選択プルダウン１８０５の操作を通じてユーザにより選択されたひび割れの判定結果が表示された例を示している。

【0128】

判定結果１８０２のうち、斜線が描かれた領域１８０３は、ひび割れの認識が可能であると判定された領域であり、領域１８０４は、ひび割れを認識できないと判定された領域を示している。また、判定根拠一覧１８０６は、認識対象選択プルダウン１８０５で選択されたひび割れの判定結果における判定根拠を示している。

【0129】

この判定根拠一覧１８０６のうち、チェックが入れられている項目は、ひび割れの判定結果の根拠を示している。すなわち、判定根拠一覧１８０６の例の場合、ひび割れの認識が可能と判定された領域１８０３とひび割れを認識できないと判定された領域１８０４とでは、画像の明度、テクスチャ感、デフォーカスが異なるということを表している。

【0130】

一方、判定根拠一覧１８０６のうち、チェックが入っていない項目（例えば画像の色味の項目）は、領域１８０３と領域１８０４との間で大きな差がなかった（つまり、判定根拠の違いを生みだす要因でない）ことを示している。このような表示により、ユーザは、判定根拠とともに判定結果を確認できるため、判定結果の妥当性を判断し易い。また、判定根拠一覧１８０６は、認識対象の選択に合わせて表示内容が更新される。すなわち、ユーザにより、認識対象選択プルダウン１８０５を操作して認識対象を切り替えるような指示が入力されると、情報処理装置１５００は、その操作に連動して、判定根拠一覧１８０６の表示を更新する。

【0131】

また判定根拠は、例えば図１８（ｂ）のようにグラフ表示されてもよい。図１８（ｂ）の例では、判定根拠の項目ごとに、対応する画像特徴量をはじめとする算出値が、グラフ形式で判定基準とともに表示される。これにより、ユーザは、判定根拠の影響の度合いを確認し易い。例えば、判定根拠一覧１８１１において、画像の明度差（平均輝度値）の算出値のグラフ１８１２は、判定基準１８１３を大きく超えている。これにより、画像の明度差は判断根拠の一つであり、影響が大きいことがわかる。また、色味差（青）（つまりＢ値の平均値）の算出値のグラフ１８１４は、判定基準１８１５を大きく下回っている。これにより、画像の青色の色味は、認識判定に対して影響が小さいことがわかる。このように可視化することにより、ユーザは、判定根拠毎の影響の度合いを容易に知ることができる。

【0132】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0133】

１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０５：表示部、１０６：操作部、１２１：記憶部、１２２：データ管理部、１２３：デフォーカスマップ作成部、１２４：認識対象設定部、１２５：判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】