知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-17
(45)【発行日】2023-11-28
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231120BHJP
G06T 7/00 20170101ALI20231120BHJP
G06T 7/80 20170101ALI20231120BHJP
【ＦＩ】
H04N23/60 100
G06T7/00 610C
G06T7/80
H04N23/60 300
【請求項の数】
14
(21)【出願番号】P 2018221559
(22)【出願日】2018-11-27
(65)【公開番号】P2020088647
(43)【公開日】2020-06-04
【審査請求日】2021-11-26
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】野上 敦史
(72)【発明者】
【氏名】御手洗 裕輔
(72)【発明者】
【氏名】真継 優和
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１５－２３１１０１（ＪＰ，Ａ）
【文献】特開２００６－１０８９１５（ＪＰ，Ａ）
【文献】特開２０１５－０８２８３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／８０
(57)【特許請求の範囲】
【請求項1】
所定の撮影パラメータで撮影対象を撮影した撮影画像を取得する第１の取得手段と、前記撮影画像の画像情報に関する検索条件に基づいて、複数の基準画像を取得する第２の取得手段と、
前記第１の取得手段によって取得された前記撮影画像と、前記第２の取得手段によって取得された前記基準画像と、に基づいて、前記基準画像ごとに第１の評価値を推定する推定手段と、
を有し、
前記推定手段は、推定された複数の前記第１の評価値に基づいて、前記撮影対象の撮影に適した撮影方法を、第１の評価値と、当該第１の評価値よりも大きな評価値に対応する撮影手段の撮影パラメータとの関係の学習結果に基づくモデルを用いて推定する
情報処理装置。
【請求項2】
前記第２の取得手段は、前記検索条件に基づき、前記基準画像の候補となる格納画像と前記格納画像の画像情報とを格納する画像格納手段に格納された格納画像から複数の基準画像候補を選択し、選択した基準画像候補を操作部に表示し、前記操作部を介したユーザー操作に基づき前記基準画像を選択する請求項１に記載の情報処理装置。
【請求項3】
前記第１の評価値は、前記撮影画像と前記基準画像との類似度である請求項１又は２に記載の情報処理装置。
【請求項4】
前記モデルは、前記第１の評価値と、当該第１の評価値が得られる撮影パラメータと、当該第１の評価値よりも大きな評価値に対応する撮影パラメータと、の組により作成された学習データを用いて学習されたモデルである、請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項5】
前記撮影パラメータを、前記撮影画像を撮影する撮影部に設定する設定手段を有する請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項6】
前記撮影パラメータを調整しても前記第１の評価値が閾値を超えない場合、前記推定手段は、前記撮影方法として、撮影の位置及び姿勢、撮影時刻、照明条件のいずれかを推定する請求項４に記載の情報処理装置。
【請求項7】
前記推定手段は、前記推定した撮影方法を操作部に表示し、前記操作部を介したユーザー操作に基づき、前記推定した撮影方法を選択するか、前記撮影方法の推定を再度、実行するかを判断する請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項8】
前記第２の取得手段は、複数の基準画像を取得し、前記推定手段は、前記複数の基準画像と、前記撮影画像と、から第１の評価値を求める請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項9】
前記撮影対象は、インフラ構造物のコンクリート壁面であって、前記画像情報には、撮影対象の構造物種類、コンクリート種類、撮影時天候、画像中のターゲット、構造物の設置場所及び地域、経過年数の少なくともいずれかが含まれる請求項１又は３に記載の情報処理装置。
【請求項10】
前記撮影対象は、インフラ構造物のコンクリート壁面であって、前記推定手段は、前記撮影画像と前記基準画像とに含まれる前記コンクリート壁面のひび割れ、目地、型枠のいずれかの部分画像の類似度を求めることで前記第１の評価値を求める請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項11】
前記推定手段は、推定された前記複数の第１の評価値に基づいて、統計値である第２の評価値を推定し、推定された前記第２の評価値に基づいて、記撮影対象の撮影に適した撮影方法を推定する請求項１に記載の情報処理装置。
【請求項12】
前記画像情報は、前記撮影画像の撮影対象および撮影状況の少なくとも一方を含む請求項１又は２に記載の情報処理装置。
【請求項13】
情報処理装置が実行する情報処理方法であって、所定の撮影パラメータで撮影対象を撮影した撮影画像を取得する第１の取得工程と、
前記撮影画像の画像情報に関する検索条件に基づいて、複数の基準画像を取得する第２の取得工程と、
前記第１の取得工程において取得された前記撮影画像と、前記第２の取得工程において取得された前記基準画像と、に基づいて、前記基準画像ごとに第１の評価値を推定する推定工程と、
を含み、
前記推定工程は、推定された複数の前記第１の評価値に基づいて、前記撮影対象の撮影に適した撮影方法を、第１の評価値と、当該第１の評価値よりも大きな評価値に対応する撮影手段の撮影パラメータとの関係の学習結果に基づくモデルを用いて推定する
情報処理方法。
【請求項14】
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
橋梁、ダム、トンネル等の構造物のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れ等の変状を目視で確認することが行われている。このような近接目視と呼ばれる点検作業は作業コストが高いため、近年、コンクリート壁面を撮影した画像で変状を確認する画像点検が行われている。
ここで、細いひび割れ等の見えづらいひび割れを確認できる画像を撮影するためには、撮影パラメータを適切に設定する必要がある。ユーザーは、フォーカス又は露出等の撮影パラメータを、撮影時の天候及び撮影機材に応じて適切に調整して、ひび割れが確認できる画像を撮影しなければならない。しかし、細いひび割れ等、不鮮明な変状を確認するための画像を撮影する撮影パラメータ調整は難しく、微妙な撮影パラメータの違いにより、変状が確認できたり、できなかったりする。
撮影パラメータを調整する方法の従来例として、例えば、特許文献１の方法がある。特許文献１では、まず、複数の異なる撮影パラメータで複数の画像を撮影し、撮影した複数の画像をディスプレイに表示する。ユーザーは、複数の画像の中から、最も好ましいと判断する画像を選択する。この結果、選択された画像を撮影した撮影パラメータが設定される。
ここで、細いひび割れ等の見えづらいひび割れを確認できる画像を撮影するためには、撮影パラメータを適切に設定する必要がある。ユーザーは、フォーカス又は露出等の撮影パラメータを、撮影時の天候及び撮影機材に応じて適切に調整して、ひび割れが確認できる画像を撮影しなければならない。しかし、細いひび割れ等、不鮮明な変状を確認するための画像を撮影する撮影パラメータ調整は難しく、微妙な撮影パラメータの違いにより、変状が確認できたり、できなかったりする。
撮影パラメータを調整する方法の従来例として、例えば、特許文献１の方法がある。特許文献１では、まず、複数の異なる撮影パラメータで複数の画像を撮影し、撮影した複数の画像をディスプレイに表示する。ユーザーは、複数の画像の中から、最も好ましいと判断する画像を選択する。この結果、選択された画像を撮影した撮影パラメータが設定される。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第４５３４８１６号公報
【非特許文献】
【0004】
【文献】Chopra, Sumit, Raia Hadsell, and Yann LeCun. "Learning a similarity metric discriminatively, with application to face verification." Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Vol. 1. IEEE, 2005.
【文献】Xie, Junyuan, Linli Xu, and Enhong Chen. "Image denoising and inpainting with deep neural networks." Advances in Neural Information Processing Systems. 2012.
【文献】Dong, Chao, et al. "Image super-resolution using deep convolutional networks." IEEE transactions on pattern analysis and machine intelligence 38.2 (2016): 295-307.
【文献】Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.
【文献】Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "Image style transfer using convolutional neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、構造物点検のための撮影では、微妙な撮影パラメータ調整が必要となるため、特許文献１の方法を適用すると、画像間の変化が小さな複数画像を表示することになる。ユーザーにとって、このような変化が小さな画像を比較して、最適な画像を選択することは難しい。更に、点検画像は屋外で撮影するため、外光の影響、及び利用可能なディスプレイサイズの問題で、画像の微妙な差を判断することが難しい。
【課題を解決するための手段】
【0006】
本発明は、所定の撮影パラメータで撮影対象を撮影した撮影画像を取得する第１の取得手段と、前記撮影画像の画像情報に関する検索条件に基づいて、複数の基準画像を取得する第２の取得手段と、前記第１の取得手段によって取得された前記撮影画像と、前記第２の取得手段によって取得された前記基準画像と、に基づいて、前記基準画像ごとに第１の評価値を推定する推定手段と、を有し、前記推定手段は、推定された複数の前記第１の評価値に基づいて、前記撮影対象の撮影に適した撮影方法を、第１の評価値と、当該第１の評価値よりも大きな評価値に対応する撮影手段の撮影パラメータとの関係の学習結果に基づくモデルを用いて推定する。
【発明の効果】
【0007】
本発明によれば、撮影画像の詳細を確認できなくても所望の画像を撮影する撮影パラメータを容易に設定することができるようになる。
【図面の簡単な説明】
【0008】
【図1】情報処理装置のハードウェア構成の一例を示す図である。
【図2】情報処理装置の構成の一例を示す図である。
【図3】画像格納部に格納される情報を説明する図である。
【図4】情報処理の一例を示すフローチャートである。
【図5】画像検索時の画面の一例を示す図である。
【図6】撮影パラメータの設定を説明する図である。
【図7】ひび割れ位置の部分画像に基づいた評価値の算出方法を説明する図である。
【図8】各撮影パラメータの評価について説明する図である。
【図9】撮影パラメータ調整を行う場合の操作部について説明する図である。
【図10】実施形態４の情報処理装置の構成の一例を示す図である。
【図11】実施形態５の画像格納部に格納される情報を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面に基づいて説明する。
【0010】
＜実施形態１＞
実施形態１では、インフラ構造物の画像点検のための撮影における撮影パラメータ調整を例にして、説明を行う。インフラ構造物は、例えば、橋梁、ダム、トンネル等であり、画像点検では、これらの構造物のコンクリート壁面を撮影して、点検のための画像を作成する。したがって、本実施形態では、これらのコンクリート壁面が撮影対象となる。画像点検の対象は、他の構造物、コンクリート以外の材質表面を撮影対象とした画像であってもよい。例えば、点検対象が道路の場合、アスファルト表面を撮影対象としてもよい。
本実施形態では、理想的な画質の画像である基準画像を準備し、撮影対象を撮影した画像が基準画像と類似するように撮影方法を調整する。基準画像は、過去に撮影したコンクリート壁面画像のうち、細いひび割れ等の撮影が困難な点検対象が、明瞭に確認できる画像である。つまり、基準画像は、フォーカス、明るさ、色合い等が点検画像として好ましい品質で撮影された画像である。また、本実施形態で調整する主な撮影方法は、撮影部の撮影パラメータで、例えば、露出、フォーカス、ホワイトバランス（色温度）、シャッタースピード、絞り、等である。以下、基準画像を利用した撮影方法の調整方法について説明する。
実施形態１では、インフラ構造物の画像点検のための撮影における撮影パラメータ調整を例にして、説明を行う。インフラ構造物は、例えば、橋梁、ダム、トンネル等であり、画像点検では、これらの構造物のコンクリート壁面を撮影して、点検のための画像を作成する。したがって、本実施形態では、これらのコンクリート壁面が撮影対象となる。画像点検の対象は、他の構造物、コンクリート以外の材質表面を撮影対象とした画像であってもよい。例えば、点検対象が道路の場合、アスファルト表面を撮影対象としてもよい。
本実施形態では、理想的な画質の画像である基準画像を準備し、撮影対象を撮影した画像が基準画像と類似するように撮影方法を調整する。基準画像は、過去に撮影したコンクリート壁面画像のうち、細いひび割れ等の撮影が困難な点検対象が、明瞭に確認できる画像である。つまり、基準画像は、フォーカス、明るさ、色合い等が点検画像として好ましい品質で撮影された画像である。また、本実施形態で調整する主な撮影方法は、撮影部の撮影パラメータで、例えば、露出、フォーカス、ホワイトバランス（色温度）、シャッタースピード、絞り、等である。以下、基準画像を利用した撮影方法の調整方法について説明する。
【0011】
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は後述する図２の撮影部１０１と一体化して、カメラの筐体内に含まれる構成としてもよいし、撮影部１０１で撮影した画像を無線、又は有線により送信し、撮影部１０１を含むカメラとは異なる筐体（例えば、コンピュータ、又はタブレット）で構成してもよい。図１の例では、情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０、記憶部１１、操作部１２、通信部１３を含む。ＣＰＵ１０は、情報処理装置１００の全体を制御する。ＣＰＵ１０が記憶部１１に記憶されたプログラムに基づき処理を実行することによって、後述する図２、図１０の１０２、１０４、１０５で示される構成、及び後述する図４のフローチャートの処理が実現される。記憶部１１は、プログラム、ＣＰＵ１０がプログラムに基づき処理を実行する際に用いるデータ、画像等を記憶する。操作部１２は、ＣＰＵ１０の処理の結果を表示したり、ユーザーの操作をＣＰＵ１０に入力したりする。操作部１２は、カメラ背面のディスプレイ及びタッチパネル、又はノートＰＣのディスプレイ及びインターフェースで構成することができる。通信部１３は、情報処理装置１００をネットワークに接続し、他の装置等との通信を制御する。
【0012】
図２は、実施形態１の情報処理装置１００の構成の一例を示す図である。情報処理装置１００は、構成として、撮影部１０１、基準画像処理部１０２、画像格納部１０３、推定部１０４、撮影パラメータ設定部１０５を含む。但し、上述したように、撮像部は、情報処理装置１００に含まれてもよいし、含まれなくてもよい。基準画像処理部１０２、推定部１０４、撮影パラメータ設定部１０５は、ソフトウェアである。また、画像格納部１０３は、記憶部１１に設けられてもよいし、情報処理装置１００と通信可能なストレージサーバに設けられてもよい。画像格納部１０３がストレージサーバに設けられる場合、基準画像処理部１０２は、ネットワークを介して画像格納部１０３に保存された画像、及び画像に関連した情報を取得する。画像格納部１０３は、基準画像の候補となる画像群を格納するストレージである。
【0013】
図３は、画像格納部１０３に格納される情報を説明する図である。まず、画像格納部１０３には、複数の画像（図３では、画像２０１、２０２）が格納されている。以下、画像格納部１０３に格納された画像２０１、２０２を格納画像と呼ぶ。格納画像は、様々な構造物のコンクリート壁面を撮影した画像から、画像点検に好ましい画質で撮影されている画像を収集して準備された画像である。画像点検に好ましい画質は、人間が画像を確認したときに、ひび割れ等の変状が確認しやすい画質であり、例えば、フォーカス、明るさ、色合い等が好ましい画像である。例えば、格納画像２０１は、ひび割れ２１１が明瞭に確認できる画像である。また、格納画像はひび割れが写っていることに限定されない。格納画像２０２ではコンクリート壁面の目地２１２が写っている画像である。この格納画像２０２は、目地２１２のエッジが明瞭に写っていることから、点検に好ましい画質の画像と判断されたものである。
【0014】
また、撮影画像に対して、ひび割れを自動検知する技術を用いて、撮影画像を点検する場合、自動検知が好適に動作する画質を、画像点検に好ましい画質としてもよい。この場合、自動検知の検知結果の正解率等を算出し、これが高くなる画質の画像を格納画像とする。
図３の画像格納部１０３には、格納画像に画像情報と撮影パラメータとが関連付けられて記録されている。画像情報は、格納画像の撮影内容に関する情報で、例えば、対象物の構造物種類、コンクリート種類、撮影時天候、画像中のターゲット、構造物の設置場所・地域、経過年数、等の情報が含まれる。また、撮影パラメータは、それぞれの基準画像を撮影したときの撮影パラメータである。
図３の画像格納部１０３には、格納画像に画像情報と撮影パラメータとが関連付けられて記録されている。画像情報は、格納画像の撮影内容に関する情報で、例えば、対象物の構造物種類、コンクリート種類、撮影時天候、画像中のターゲット、構造物の設置場所・地域、経過年数、等の情報が含まれる。また、撮影パラメータは、それぞれの基準画像を撮影したときの撮影パラメータである。
【0015】
図４は、情報処理の一例を示すフローチャートである。以下、フローチャートに従って、情報処理装置１００の動作について説明する。
Ｓ３０１及びＳ３０２は、基準画像処理部１０２が実行する処理である。実施形態１の基準画像処理部１０２は、画像格納部１０３に格納された格納画像から基準画像を選択する処理を実行する。図５には、Ｓ３０１及びＳ３０２の実行時に、操作部１２に表示される情報を示している。
Ｓ３０１において、基準画像処理部１０２は、検索条件に基づいて、画像格納部１０３から基準画像候補を検索する。基準画像候補の検索方法としては、画像情報を用いた方法がある。図３に示したように、画像格納部１０３に格納された画像には、画像情報が関連付けられている。基準画像処理部１０２は、この情報を基に、撮影対象に類似する格納画像を検索することができる。図５には、操作部１２で格納画像を検索する画面の例を示している。例えば、撮影対象が橋梁の床版で、撮影時の天候が曇りであったとする。ユーザーは、このような撮影対象、又は撮影状況に関わる条件を画像検索条件に設定する。そして、検索ボタン４１０を選択することで、画像格納部１０３から検索条件に該当する格納画像を検索することができる。検索結果は、基準画像候補として基準画像候補表示欄４２０に表示される。基準画像候補は、検索条件と画像情報とが一致した格納画像だけを基準画像候補としてもよいし、項目の一致度が高い格納画像を所定数選択して基準画像候補としてもよい。また、図５の例では、検索のための画像情報は、構造物種類、コンクリート種類、天候のみを表示しているが、画像検索のための条件はこれらに限定する物ではない。更にまた、図５では、検索の方法としてプルダウンメニューで検索内容を設定する方法を示しているが、ユーザーが検索のための画像情報を入力する方法もこれに限定されない。例えば、自由な文字列をキーワードとして入力することにより、格納画像を検索することができる操作方法でもよい。
Ｓ３０１及びＳ３０２は、基準画像処理部１０２が実行する処理である。実施形態１の基準画像処理部１０２は、画像格納部１０３に格納された格納画像から基準画像を選択する処理を実行する。図５には、Ｓ３０１及びＳ３０２の実行時に、操作部１２に表示される情報を示している。
Ｓ３０１において、基準画像処理部１０２は、検索条件に基づいて、画像格納部１０３から基準画像候補を検索する。基準画像候補の検索方法としては、画像情報を用いた方法がある。図３に示したように、画像格納部１０３に格納された画像には、画像情報が関連付けられている。基準画像処理部１０２は、この情報を基に、撮影対象に類似する格納画像を検索することができる。図５には、操作部１２で格納画像を検索する画面の例を示している。例えば、撮影対象が橋梁の床版で、撮影時の天候が曇りであったとする。ユーザーは、このような撮影対象、又は撮影状況に関わる条件を画像検索条件に設定する。そして、検索ボタン４１０を選択することで、画像格納部１０３から検索条件に該当する格納画像を検索することができる。検索結果は、基準画像候補として基準画像候補表示欄４２０に表示される。基準画像候補は、検索条件と画像情報とが一致した格納画像だけを基準画像候補としてもよいし、項目の一致度が高い格納画像を所定数選択して基準画像候補としてもよい。また、図５の例では、検索のための画像情報は、構造物種類、コンクリート種類、天候のみを表示しているが、画像検索のための条件はこれらに限定する物ではない。更にまた、図５では、検索の方法としてプルダウンメニューで検索内容を設定する方法を示しているが、ユーザーが検索のための画像情報を入力する方法もこれに限定されない。例えば、自由な文字列をキーワードとして入力することにより、格納画像を検索することができる操作方法でもよい。
【0016】
また、別の基準画像候補の検索方法として、仮撮影画像を用いる方法もある。この場合、まず、ユーザーは撮影部１０１で撮影対象を撮影する。この撮影は仮撮影で、このときの撮影パラメータは、オート設定等を用いる。この仮撮影で撮影した画像を仮撮影画像とする。ユーザーは、仮撮影画像を基準画像候補選択の検索キーとして設定する。図５には、基準画像候補選択の検索条件として、仮撮影画像４５０が設定されていることを示す。この状態で、検索ボタン４１０を選択することにより、画像格納部１０３から、仮撮影画像に類似した画像が検索される。検索の結果、類似度が高い上位の格納画像が、基準画像候補として選定され、基準画像候補表示欄４２０に表示される。ここで、仮撮影画像を用いた検索では、例えば、画像全体の特徴（コンクリート壁面の色味、又はテクスチャ感）を基に、格納画像との類似度を算出し、基準画像候補を選択する。これにより、これから点検のための撮影を行う撮影対象のコンクリート壁面が類似した格納画像を検索することができるようになる。また、上述の画像情報（キーワード）による検索と、仮撮影画像による検索とを同時に用いて基準画像候補を検索するようにしてもよい。
以上のようにして、基準画像候補が選択され、基準画像候補表示欄４２０に表示される。
以上のようにして、基準画像候補が選択され、基準画像候補表示欄４２０に表示される。
【0017】
図４のＳ３０２において、基準画像処理部１０２は、基準画像候補表示欄４２０に表示された基準画像候補の中から１枚の画像を基準画像として選択する。まず、基準画像選択の初期値として、自動的に検索の一致度合いが最も高い基準画像候補が基準画像として選択される。図５には、このようにして選択された基準画像４３０が、基準画像表示欄に表示されている様子を示している。ユーザーは、このようにして表示された基準画像を確認することで、撮影方法調整の基準を確認することができる。選択された基準画像４３０が、調整の基準として不適であるとユーザーが判断する場合、ユーザーは基準画像候補から別の画像を基準画像として選択することができる。基準画像候補から別の画像が選択された場合、基準画像処理部１０２は、選択された画像を基準画像とする。
なお、図５の画像には、ひび割れ（例えば４４０、４４１）が写っている。後述するように、ひび割れ部分の画像を用いて評価値を算出する場合には、基準画像にひび割れが含まれている必要がある。また、仮撮影画像４５０にひび割れ４４０を含む画像を設定することで、基準画像候補の検索において、撮影対象のひび割れと類似のひび割れを含む格納画像を検索できるようにしてもよい。
なお、図５の画像には、ひび割れ（例えば４４０、４４１）が写っている。後述するように、ひび割れ部分の画像を用いて評価値を算出する場合には、基準画像にひび割れが含まれている必要がある。また、仮撮影画像４５０にひび割れ４４０を含む画像を設定することで、基準画像候補の検索において、撮影対象のひび割れと類似のひび割れを含む格納画像を検索できるようにしてもよい。
【0018】
Ｓ３０３において、撮影パラメータ設定部１０５は、撮影パラメータの初期値（以下、初期撮影パラメータ）を決定する。初期撮影パラメータの設定は、撮影装置の通常の撮影パラメータ調整方法（オートパラメータ調整）で決定した撮影パラメータを初期パラメータとして設定すればよい。また、別の方法として、基準画像に関連付けられた撮影パラメータを初期パラメータとしてもよい。図３で示したように、画像格納部１０３では、各格納画像について、その画像を撮影したときの撮影パラメータを記録している。したがって、基準画像に関連付けられた撮影パラメータを初期パラメータとする場合には、基準画像処理部１０２は、基準画像として選択された画像に関連付けられた撮影パラメータを画像格納部１０３から呼び出して、初期パラメータとして設定する。
【0019】
Ｓ３０４において、撮影パラメータ設定部１０５は、初期撮影パラメータを基に、複数の撮影パラメータを設定する。図６には、初期撮影パラメータを基に、複数の撮影パラメータを設定する様子を示している。まず、図６（Ａ）は、本実施形態の方法で調整する撮影パラメータの例として、露出（ＥＶ）を調整する実施形態について説明する図である。図６（Ａ）では、初期パラメータとしてＥＶ０が設定されている様子を白三角５０１で示している。撮影パラメータ設定部１０５は、この初期パラメータを中心に、複数の撮影パラメータを設定する。図６（Ａ）では、撮影パラメータ設定部１０５は、ＥＶ０を中心にそれぞれ露出を１段変化させて、ＥＶ－１（図６の黒三角５０２）とＥＶ＋１（図６の黒三角５０３）を複数パラメータとして設定している。この例では、初期撮影パラメータと合わせて３つの撮影パラメータを設定している様子を示しているが、設定する撮影パラメータの数はこれに限らない。例えば、撮影パラメータ設定部１０５は、更に２段異なる露出を設定して、合計５つの撮影パラメータを設定するようにしてもよい。また、この例では、露出を１段変更するルールにより、複数の撮影パラメータを設定しているが、撮影パラメータの変更の刻みは、これ以外の設定方法としてもよい。例えば、撮影パラメータ設定部１０５は、露出を１／２段刻みで設定するようにしてもよいし、初期撮影パラメータ周辺でランダムに設定するようにしてもよい。
【0020】
以上では、撮影パラメータを露出とした場合についての実施形態を説明したが、本実施形態で設定する撮影パラメータは露出に限定されない。撮影部１０１を制御するパラメータであれば、撮影パラメータはどのようなものを用いてもよく、例えば、フォーカス、ホワイトバランス（色温度）、シャッタースピード、絞り、ＩＳＯ感度、画像の彩度、色合い等を撮影パラメータとしてもよい。
また、図６（Ａ）では、露出のみを本実施形態で調整する撮影パラメータとする実施形態について説明したが、複数の撮影パラメータを同時に調整するようにしてもよい。例えば、図６（Ｂ）は、露出とフォーカスとの組み合わせを調整する撮影パラメータとした場合の実施形態について説明する図である。図６（Ｂ）では、ある露出とフォーカスとのパラメータの組み合わせが初期パラメータとして設定されており、白丸５１１として示されている。撮影パラメータ設定部１０５は、この初期パラメータを中心に、例えば黒丸５１２のような撮影パラメータの組み合わせを、複数の撮影パラメータとして設定してもよい。
また、図６（Ａ）では、露出のみを本実施形態で調整する撮影パラメータとする実施形態について説明したが、複数の撮影パラメータを同時に調整するようにしてもよい。例えば、図６（Ｂ）は、露出とフォーカスとの組み合わせを調整する撮影パラメータとした場合の実施形態について説明する図である。図６（Ｂ）では、ある露出とフォーカスとのパラメータの組み合わせが初期パラメータとして設定されており、白丸５１１として示されている。撮影パラメータ設定部１０５は、この初期パラメータを中心に、例えば黒丸５１２のような撮影パラメータの組み合わせを、複数の撮影パラメータとして設定してもよい。
【0021】
なお、調整する対象となる撮影パラメータの組み合わせは、図６（Ｂ）の露出とフォーカスとの組み合わせに限らず、他の撮影パラメータの組み合わせでもよい。また、上記の説明では、２つのパラメータの組み合わせを調整する実施形態について説明したが、撮影パラメータの組み合わせ数もこれに限らず、３つ以上の撮影パラメータの組み合わせを同時に調整するようにしてもよい。
Ｓ３０４では、以上のようにして、撮影パラメータ設定部１０５で複数の撮影パラメータを設定する。以降の処理の説明については、調整する撮影パラメータを、図６（Ａ）のように露出とした場合について説明する。
Ｓ３０４では、以上のようにして、撮影パラメータ設定部１０５で複数の撮影パラメータを設定する。以降の処理の説明については、調整する撮影パラメータを、図６（Ａ）のように露出とした場合について説明する。
【0022】
図４のＳ３０５において、撮影部１０１は、Ｓ３０４で設定された複数の撮影パラメータを用いて、撮影対象を撮影する。より具体的には、図６（Ａ）のように複数の撮影パラメータとして３つの露出が設定された場合には、撮影部１０１は、ユーザーのシャッター操作に応じて露出を変更しながら３枚の画像を自動的に撮影する。以下、このステップで撮影された画像を撮影画像と呼ぶ。
【0023】
図４のＳ３０６以降の処理は主に推定部１０４で実行する処理で、最適な撮影パラメータを選択する処理、又は、最適な撮影パラメータを更に探索するための処理である。
Ｓ３０６において、推定部１０４は、複数の撮影パラメータそれぞれについて評価値を算出する。評価値は、撮影パラメータが点検画像を撮影するために適切であるほど高い値を示すものである。推定部１０４は、この評価値を、各撮影パラメータで撮影した撮影画像と基準画像とを比較することで算出する。より具体的には、撮影画像が基準画像と類似する場合、その撮影画像を撮影した撮影パラメータは好ましいパラメータであると判断することができる。したがって、このような場合には、推定部１０４は、高い評価値を算出するようにする。この評価値算出のためには、撮影画像と基準画像との類似度を算出すればよい。以下では、評価値の算出方法の具体例について説明する。
Ｓ３０６において、推定部１０４は、複数の撮影パラメータそれぞれについて評価値を算出する。評価値は、撮影パラメータが点検画像を撮影するために適切であるほど高い値を示すものである。推定部１０４は、この評価値を、各撮影パラメータで撮影した撮影画像と基準画像とを比較することで算出する。より具体的には、撮影画像が基準画像と類似する場合、その撮影画像を撮影した撮影パラメータは好ましいパラメータであると判断することができる。したがって、このような場合には、推定部１０４は、高い評価値を算出するようにする。この評価値算出のためには、撮影画像と基準画像との類似度を算出すればよい。以下では、評価値の算出方法の具体例について説明する。
【0024】
撮影画像と基準画像との評価値算出方法の一つの例として、まず、画像全体の類似度を算出して評価値として用いる方法について説明する。例えば、画像全体の類似度を、画像全体の明るさで比較する場合は、撮影画像と基準画像とをグレースケール変換した後に、画像全体の輝度ヒストグラムを作成し、撮影画像の輝度ヒストグラムと基準画像の輝度ヒストグラムとの類似度を算出すればよい。ヒストグラムの類似度は、単純にユークリッド距離を算出する方法、又はＨｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏ等の手法で計算することができる。また、画像全体の色あいの類似度を算出する場合には、グレースケール変換を行わずに、ＲＧＢ、又はＹＣｒＣｂ等の色空間を基にそれぞれの画像の色ヒストグラムを作成し、色ヒストグラムの類似度を算出するようにすればよい。画像全体の類似度を判定するための特徴量は、これらのヒストグラム特徴量に限定することなく、他の特徴量を用いてもよい。
【0025】
また、他の評価値算出方法の例として、画像の部分的な類似度を算出するようにしてもよい。例えば、コンクリート壁面の点検画像を撮影したい場合に、興味がある部分は画像中のコンクリート壁面が写っている部分である。したがって、撮影画像及び基準画像にコンクリート壁面以外の部分が写っている場合には、その部分を除いたコンクリート壁面の部分の画像を基に類似度を算出するようにしてもよい。より具体的には、例えば、橋梁の床版を橋梁の下側から撮影するときに、撮影画像に空領域（背景部分）が含まれることがある。このような撮影画像では、推定部１０４は、空領域を除去し、床版のコンクリート壁面の画像部分と、基準画像との類似度を算出することにより評価値を算出する。この類似度の算出では、撮影画像の部分画像と基準画像全体それぞれについて上述のヒストグラム特徴量を作成し、ヒストグラム特徴量間の類似度を算出すればよい。この例は、基準画像は画像全体がコンクリート壁面画像である前提で、撮影画像側の部分画像と基準画像との類似度を算出する例である。しかし、基準画像の一部に背景と見なせる部分が含まれている場合には、基準画像の部分画像と撮影画像との類似度を算出するようにしてもよい。
【0026】
また、更に、画像の部分的な類似度を算出する別の方法を説明する。画像点検のためのコンクリート壁面画像の撮影では、細いひび割れが撮影画像で確認できる画質で撮影を行うことが重要である。基準画像は、細いひび割れが十分に確認できる理想的な点検画像であるとすると、撮影画像の細いひび割れ部分が基準画像の細いひび割れ部分と同様に撮影されることが好ましい。ひび割れ部分が同様に撮影されているかを判定するために、推定部１０４は、画像中のひび割れ部分の部分画像を用いて評価値を算出する。ひび割れ部分の画像の評価値算出方法には、どのような方法を用いてもよいが、以下の例では、ひび割れ部分のエッジ強度が類似するほど高い評価値を算出するようにする。このために、まず、推定部１０４は、撮影画像と基準画像とのひび割れ部分を特定する。このひび割れ部分の特定方法は、自動で実行されるものでもよいし、ユーザーが手動で実施するものでもよい。自動的にひび割れを検知する場合には、推定部１０４は、ひび割れ自動検知の処理を用いるものとする。手動でひび割れ位置を特定する場合には、推定部１０４は、操作部１２を介したユーザーによる画像中のひび割れ位置の入力を受け取る。撮影画像に対しては、これらの処理により撮影後にひび割れ位置を特定する必要があるが、基準画像のひび割れ位置は、予め特定しておいて、画像格納部１０３に格納画像と関連付けて記録しておいてもよい。以上のようにして、撮影画像と基準画像とのひび割れ位置が得られていれば、推定部１０４は、それぞれのひび割れ位置の画像のエッジ強度を算出する。エッジ強度は、単純にひび割れ位置の輝度値としてもよいし、Ｓｏｂｌｅフィルタ等でひび割れ位置の勾配を算出し、その勾配強度をエッジ強度としてもよい。これらのエッジ強度は画素単位で求められるため、撮影画像と基準画像とのエッジ強度の類似度を算出するためには、画像全体のエッジ強度特徴量を作成する必要がある。このためには、例えば、推定部１０４は、ひび割れ位置のエッジ強度をそれぞれの画像でヒストグラム化したヒストグラム特徴量を作成する等すればよい。推定部１０４は、撮影画像と基準画像とのエッジ強度ヒストグラム特徴量の類似度を算出し、類似度が高いほど撮影画像と基準画像との評価値が高くなるようにする。
【0027】
なお、以上のように、ひび割れ部分のエッジ強度に基づいて評価値を算出するためには、撮影画像と基準画像との両方にひび割れが含まれていることが前提となる。撮影画像については、ユーザーが撮影対象のコンクリート壁面から、ひび割れが存在する部分を撮影することで、ひび割れを含む撮影画像を取得することができる。一方、基準画像については、Ｓ３０１～Ｓ３０２の基準画像の選択の工程において、画像格納部１０３に格納された格納画像の中から、ひび割れが含まれる画像が基準画像となるように、ユーザーが検索及び選択する等して設定する。
以上では、ひび割れ位置のエッジ強度を基に、撮影画像と基準画像との評価値を算出したが、撮影対象のコンクリート壁面に、常にひび割れが存在するとは限らない。したがって、推定部１０４は、例えば、コンクリートの目地、又は型枠跡等、コンクリートの構造上、確実に出現する画像エッジ部分のエッジ強度に基づいて評価値を算出するようにしてもよい。この場合、撮影画像及び基準画像に含まれるコンクリート目地、型枠跡の部分のエッジ強度を利用すること以外は、上述のひび割れ部分のエッジを用いた評価値算出方法と同様の手法で評価値を算出することができる。
以上では、ひび割れ位置のエッジ強度を基に、撮影画像と基準画像との評価値を算出したが、撮影対象のコンクリート壁面に、常にひび割れが存在するとは限らない。したがって、推定部１０４は、例えば、コンクリートの目地、又は型枠跡等、コンクリートの構造上、確実に出現する画像エッジ部分のエッジ強度に基づいて評価値を算出するようにしてもよい。この場合、撮影画像及び基準画像に含まれるコンクリート目地、型枠跡の部分のエッジ強度を利用すること以外は、上述のひび割れ部分のエッジを用いた評価値算出方法と同様の手法で評価値を算出することができる。
【0028】
なお、以上のように、コンクリート目地のエッジ強度に基づいて評価値を算出するためには、撮影画像と基準画像との両方にコンクリート目地が含まれていることが前提となる。撮影画像については、ユーザーが撮影対象のコンクリート壁面から、コンクリート目地が存在する部分を撮影することで、ひび割れを含む撮影画像を取得することができる。一方、基準画像については、Ｓ３０１～Ｓ３０２の基準画像の選択の工程において、画像格納部１０３に格納された格納画像の中から、コンクリート目地が含まれる画像が基準画像となるように、ユーザーが検索及び選択する等して設定する。
【0029】
また、ひび割れ位置のエッジ強度を用いた評価値算出の変形として、推定部１０４は、ひび割れ幅の情報を用いて、撮影画像と基準画像とのエッジ強度の評価値を算出するようにしてもよい。この方法では、推定部１０４は、撮影画像と基準画像とで同じ太さの幅のひび割れのエッジ強度が類似するほど、高い評価値を算出するようにする。図７には、ひび割れ幅の情報を用いて、ひび割れ位置の部分画像に基づいた評価値の算出方法を説明する図を示す。まず、図７（Ａ）は、ある撮影パラメータで撮影した撮影画像６２０の例で、コンクリート壁面のひび割れ６００が写った画像であるとする。ひび割れ６００は、１本のひび割れの中の部位によって、様々なひび割れ幅を持つひび割れである。図７（Ａ）では、このひび割れ６００について、局所的なひび割れ幅が計測できているものとする。例えば、図７（Ａ）には、０．１５ｍｍ、０．５０ｍｍ等のひび割れ幅が明らかな箇所が示されている。これらのひび割れ幅は、ユーザーが実際のコンクリート壁面のひび割れ幅を計測し、操作部１２を介して画像を撮影中に入力するものとする。又は、ユーザーが撮影画像を確認して、ひび割れ幅を推定し、操作部１２を介して画像を撮影中に入力してもよい。ＣＰＵ１０は、入力されたひび割れ幅を撮影画像と関連付けて画像格納部１０３に格納する。一方、図７（Ｂ）は基準画像６２１の例で、ひび割れ６１０が写ったコンクリート壁面の画像である。ひび割れ６１０もひび割れ６００と同様に、１本のひび割れの中の部位によって、様々なひび割れ幅を持つひび割れである。ひび割れ６００についても、局所的なひび割れ幅が記録されており、例えば、図７（Ｂ）には０．１０ｍｍ、０．５０ｍｍ等のひび割れ幅が記録されている。これらの基準画像のひび割れ幅情報は、画像格納部１０３に格納されており、基準画像６２１と共に画像格納部１０３から呼び出されるものとする。
【0030】
図７の撮影画像６２０と基準画像６２１との評価値算出では、推定部１０４は、同じひび割れ幅のひび割れ部分のエッジ強度を比較する。例えば、ひび割れ幅０．５０ｍｍの部分として、推定部１０４は、撮影画像６２０の部分的な画像６０１と、基準画像６２１の部分的な画像６１１とのエッジ強度に基づいて類似度を算出する。また、ひび割れ幅０．１０ｍｍの部分として、推定部１０４は、撮影画像６２０の部分的な画像６０２と、基準画像６２１の部分的な画像６１２とのエッジ強度に基づいて類似度を算出する。このように、同じひび割れ幅の画像部分の類似度に基づいて、撮影画像６２０と基準画像６２１との評価値ｓは、以下の式で求められる。
ここで、ｄiは、あるひび割れ幅（例えば、０．１０ｍｍ幅のひび割れ）の画像部分の類似度である。αiは、あるひび割れ幅の評価値への重みである。αiは、例えば、細いひび割れ幅に大きな重みを付けるようにする。このようにすることで、撮影画像の細いひび割れ部分が、基準画像の画質に一致するほど高い評価値が算出される。したがって、細いひび割れ部分が基準画像の画質に近づくことを重視して、撮影条件を調整することができるようになる。
なお、ひび割れ部分の画像を用いて評価値を算出する場合には、撮影画像と基準画像とのコンクリート壁面の撮影解像度は、同解像度とすることが好ましい。より具体的には、撮影画像と基準画像とに写るコンクリート壁面が、例えば１．０ｍｍ／画素となる解像度になるように調整する処理を予め実施する。これは、解像度によって、同じひび割れでもエッジ強度等の見た目が変化するためである。また、画像中のコンクリート壁面が正対するように、あおり補正を予め実施することも好適な実施形態である。
【数1】
なお、ひび割れ部分の画像を用いて評価値を算出する場合には、撮影画像と基準画像とのコンクリート壁面の撮影解像度は、同解像度とすることが好ましい。より具体的には、撮影画像と基準画像とに写るコンクリート壁面が、例えば１．０ｍｍ／画素となる解像度になるように調整する処理を予め実施する。これは、解像度によって、同じひび割れでもエッジ強度等の見た目が変化するためである。また、画像中のコンクリート壁面が正対するように、あおり補正を予め実施することも好適な実施形態である。
【0031】
以上では、撮影画像と基準画像とそれぞれで画像特徴量を作成し、特徴量の距離等に基づいて画像間の類似度を算出して、これを評価値とする実施形態について説明した。画像の類似度を算出する方法は、これに限らず、予め学習した学習モデルを用いて評価値を算出するようにしてもよい。この方法では、入力画像と基準画像とが類似するほど高い評価値を出力するモデルを予め学習しておく。この学習は、例えば、以下のようなデータセットＤを用いて学習することができる。
ここで、ｘnは任意の基準画像である。ｙnは任意の撮影画像である。ｔnは、ｘnとｙnとが類似画像と見なせる場合には１をとり、類似画像と見なせない場合には０をとる教師データである。このデータセットを用いて学習を行う学習方法はどのようなものを用いてもよいが、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた学習方法の例として、非特許文献１のような方法がある。非特許文献１に記載の方法でデータセットＤを学習したモデルは、評価値を算出したい撮影画像と基準画像とをモデルに入力すると、評価値を算出することができる。
以上では、撮影画像と基準画像との評価値の算出方法について様々な手法を説明した。説明した方法以外にも、画像と画像との類似度の算出方法については、従来、様々な方法が提案されている。推定部１０４は、これら公知の手法を用いて本実施形態の評価値を算出してもよい。
【数2】
以上では、撮影画像と基準画像との評価値の算出方法について様々な手法を説明した。説明した方法以外にも、画像と画像との類似度の算出方法については、従来、様々な方法が提案されている。推定部１０４は、これら公知の手法を用いて本実施形態の評価値を算出してもよい。
【0032】
また、以上では、評価値の算出方法について、複数の方法を説明したが、これらの評価値算出手法は、それぞれを単独で用いてもよいし、複数の手法を組み合わせて用いてもよい。複数の手法を組み合わせる場合には、推定部１０４は、例えば、以下の式により最終的な評価値ｓを算出する。
ここで、ｓjは、ある方法により求めた評価値である。ｗjはその方法の重みである。
Ｓ３０６では、以上のような方法で、推定部１０４は、撮影画像と基準画像との評価値を算出する。また、Ｓ３０６では、推定部１０４は、複数の撮影パラメータで撮影した撮影画像それぞれについて評価値を算出する。
【数3】
Ｓ３０６では、以上のような方法で、推定部１０４は、撮影画像と基準画像との評価値を算出する。また、Ｓ３０６では、推定部１０４は、複数の撮影パラメータで撮影した撮影画像それぞれについて評価値を算出する。
【0033】
Ｓ３０７において、推定部１０４は、Ｓ３０６で算出した評価値を基に撮影パラメータの評価を行う。
Ｓ３０８において、推定部１０４は、評価結果に基づいて、撮影パラメータを再調整するか否かを判定する。
撮影パラメータを再調整する場合、Ｓ３０９において、推定部１０４は、影パラメータを改善する方法を推定する。そして、推定部１０４は、Ｓ３０５の複数画像の撮影の処理に戻る。
撮影パラメータを再調整しない場合、Ｓ３１０において、撮影パラメータ設定部１０５は、撮影部１０１に撮影パラメータを設定する。そして、図４に示すフローチャートの処理を終了する。
以下、これらの処理について説明する。
Ｓ３０８において、推定部１０４は、評価結果に基づいて、撮影パラメータを再調整するか否かを判定する。
撮影パラメータを再調整する場合、Ｓ３０９において、推定部１０４は、影パラメータを改善する方法を推定する。そして、推定部１０４は、Ｓ３０５の複数画像の撮影の処理に戻る。
撮影パラメータを再調整しない場合、Ｓ３１０において、撮影パラメータ設定部１０５は、撮影部１０１に撮影パラメータを設定する。そして、図４に示すフローチャートの処理を終了する。
以下、これらの処理について説明する。
【0034】
まず、Ｓ３０７の撮影パラメータ評価では、推定部１０４は、複数の撮影パラメータの評価値から最大の評価値を選択し、所定の閾値と比較する。図８（Ａ）は、各撮影パラメータの評価について説明する図である。本実施形態では、複数の撮影パラメータとして、露出（ＥＶ）を３つ設定した。図８（Ａ）には、複数の撮影パラメータとして、露出－１、０、＋１を設定している様子を、図６（Ａ）と同様に、三角５０１、５０２、５０３で表している。また、図８（Ａ）の下部には、各撮影パラメータで撮影した撮影画像と基準画像とから得られる評価値ｓ-1、ｓ0、ｓ+1を示している。図８（Ａ）では、＋１の露出５０３の評価値ｓ+1が最も高い評価値となっており、かつ、所定の閾値ｓthを超える値を示している。所定の閾値ｓthを超える評価値を示す撮影パラメータが存在する場合、推定部１０４は、その撮影パラメータが点検画像の撮影パラメータとして適した撮影パラメータと判断する。図８（Ａ）の場合、推定部１０４は、＋１の露出５０３を最適パラメータとして選択する。そして、Ｓ３０８では、推定部１０４は、撮影パラメータの再調整は不要と判断し、撮影パラメータ設定のＳ３１０へ進む。Ｓ３１０では、撮影パラメータ設定部１０５が、撮影部１０１に＋１の露出を設定して、図４に示す処理を終了する。
【0035】
図８（Ｂ）は、図８（Ａ）と同様に、露出－１、０、＋１を複数の撮影パラメータとして設定し、評価値を算出した例であるが、図８（Ａ）とは異なる評価値が得られている状況を示す。図８（Ｂ）において、最大の評価値を示しているのは、評価値ｓ+1であるがｓ+1でも所定の閾値ｓthを超えていない。これらの撮影パラメータで撮影した撮影画像は、基準画像との類似度が低く、これらの撮影パラメータは点検画像の撮影パラメータとして適していない。この場合、Ｓ３０８では、推定部１０４は、撮影パラメータの再調整が必要と判断し、Ｓ３０９に進む。Ｓ３０９では、推定部１０４は、撮影パラメータの改善方法を推定する。
【0036】
撮影パラメータの改善方法の推定について、図８（Ｂ）を用いて説明する。図８（Ｂ）では、＋１の露出の評価値ｓ+1は閾値ｓth未満ではあるが、評価値ｓ-1～ｓ+1の中では、最大の評価値を示している。したがって、撮影パラメータの再調整では、推定部１０４は、この撮影パラメータ（＋１の露出）の周辺の撮影パラメータから、複数の撮影パラメータを設定する。例えば、次の撮影パラメータ調整でも、３つの撮影パラメータを設定する場合、推定部１０４は、図８（Ｂ）のように、＋１の露出５０３の周辺の露出７２１、７２２、７２３を複数パラメータとして設定する。そして、Ｓ３０５に戻り、これらの撮影パラメータを、撮影パラメータ設定部１０５を介して撮影部１０１に設定し、再び複数画像を撮影する。そして、推定部１０４は、図４のＳ３０６以降の処理（評価値算出処理）を再び実行し、最適な撮影パラメータを探索する。この撮影パラメータセットの評価でも、閾値ｓth以上となる評価値が得られなかった場合は、推定部１０４は、再び、最大評価値を示す撮影パラメータ周辺で、新しい複数の撮影パラメータを決定する。そして、再度、撮影処理を実行する。このループは、閾値ｓthを超える評価値が得られる撮影パラメータが決定するまで繰り返し実行される。なお、最大の繰り返し回数を予め決めておき、それまでに最適な撮影パラメータ（閾値ｓth以上の評価値が得られる撮影パラメータ）が得られない場合は、処理を打ち切るようにしてもよい。撮影パラメータの調整処理を打ち切った場合には、推定部１０４は、操作部１２に警告を表示してユーザーに撮影パラメータが十分に調整されなかったことを通知する。また、処理の打ち切りまでに得られた最大の評価値を算出した画像を撮影した撮影パラメータを、撮影パラメータ設定部１０５を介して撮影部１０１に設定してもよい。
【0037】
以上の説明では、Ｓ３０７で閾値ｓth以上の評価値が得られない場合のみ、改善撮影パラメータの推定と、繰り返し調整と、を行う実施形態について説明した。しかし、仮に閾値ｓth以上の評価値を示す撮影パラメータが見つかった場合でも、更に高い評価値を示す撮影パラメータを探索するようにしてもよい。この場合、情報処理装置１００は、最大評価値を示した撮影パラメータ周辺の撮影パラメータを改善撮影パラメータとして設定した上で、再び複数画像を撮影し、評価値算出処理を繰り返し実行する。この繰り返し処理の終了条件は、予め決められた繰り返し回数に到達した場合、又は最大評価値付近で撮影パラメータを変更しても評価値に変化が生じなくなった場合とする。
【0038】
一方、ユーザーが撮影パラメータを確認し、撮影パラメータ調整のための繰り返し処理の終了を判断するようにしてもよい。このようにする場合、図４のＳ３０８において、推定部１０４は、評価値の閾値ｓthを用いた最適な撮影パラメータ判定は実施せずに、撮影パラメータの再調整の実行の判断をユーザー操作に基づいて判断する。このために、推定部１０４は、操作部１２にユーザーに必要な情報を提示し、更に操作部１２を介してユーザーからの入力を受け付ける。図９は、ユーザー判断により撮影パラメータ調整を行う場合の操作部１２について説明する図である。以下、図９を用いて、ユーザーに提示する情報、及び、ユーザーの操作について説明する。
まず、図９の操作部１２は、情報を表示するためのディスプレイである。操作部１２に表示された画面中の画像８０１は、露出＋１の撮影パラメータで撮影した撮影画像で、撮影画像８０２、８０３は他の撮影パラメータで撮影された撮影画像である。ディスプレイには、基準画像８０４も表示されており、ユーザーは撮影画像と基準画像とを比較して確認することができる。
また、画像８０１の下部には、撮影パラメータの調整のために複数設定した撮影パラメータが示されている。図９には、複数の撮影パラメータの例として、３段階の露出（ＥＶ）を黒三角で示している。このうち、最大の評価値を示した露出＋１を示す黒三角８１１は強調表示（大きく表示）されている。また、白抜きの三角８１２等は、露出＋１の撮影パラメータ８１１を基にして設定した、撮影パラメータを更に調整するときの複数の撮影パラメータ候補を示す。
まず、図９の操作部１２は、情報を表示するためのディスプレイである。操作部１２に表示された画面中の画像８０１は、露出＋１の撮影パラメータで撮影した撮影画像で、撮影画像８０２、８０３は他の撮影パラメータで撮影された撮影画像である。ディスプレイには、基準画像８０４も表示されており、ユーザーは撮影画像と基準画像とを比較して確認することができる。
また、画像８０１の下部には、撮影パラメータの調整のために複数設定した撮影パラメータが示されている。図９には、複数の撮影パラメータの例として、３段階の露出（ＥＶ）を黒三角で示している。このうち、最大の評価値を示した露出＋１を示す黒三角８１１は強調表示（大きく表示）されている。また、白抜きの三角８１２等は、露出＋１の撮影パラメータ８１１を基にして設定した、撮影パラメータを更に調整するときの複数の撮影パラメータ候補を示す。
【0039】
この実施形態では、ユーザーは操作部１２に表示されたこれらの情報を確認して、現在の撮影パラメータを採択するか、更に撮影パラメータ調整の処理を実行するか、を判断する。より具体的には、ユーザーは、最大の評価値が得られた画像８０１で、撮影画像と基準画像とを対比して、満足する一致度合いであれば、最大の評価値を示した撮影パラメータを採択すると判断することができる。ユーザーは、最大の評価値を示す撮影パラメータを採択する場合、「ｓｅｔ」と表示されているアイコン８２１を選択する。この操作により、撮影パラメータ設定部１０５は、最大の評価値を示す撮影パラメータを、撮影部１０１に設定し（図４のＳ３１０）、撮影パラメータ調整の処理が終了する。一方、画像８０１を確認する等して、現在の最適撮影パラメータに満足しない場合、ユーザーは「再調整」と表示されたアイコン８２２を選択する。この指示により、次の複数の撮影パラメータ（例えば露出８１２等）を用いて、図４のＳ３０６以降の処理（評価値算出処理）が再び実行される。その後、再び、情報処理装置１００は、各種の情報を図９のようにユーザーに提示する。ユーザーは提示された情報を基に、再び撮影パラメータを採択するか、更に撮影パラメータを調整するかの判断を行う。
【0040】
もし、撮影パラメータの調整を途中で辞める場合には、「終了」と表示されたアイコン８２３を選択する。この操作により、情報処理装置１００は、撮影パラメータを調整する処理（図４のフローチャートのループ）を終了させることができる。このとき、情報処理装置１００は、それまでに撮影、評価した撮影パラメータのうち、評価値が最大となる撮影パラメータを撮影部１０１に設定するようにしてもよい。
なお、ユーザー操作で撮影パラメータ調整の継続を判断する場合においても、予め評価値の閾値ｓthを設定しておき、閾値ｓthを超える評価値を得た撮影パラメータが存在することを表示するようにしてもよい。例えば、図９において、撮影パラメータ８１１で撮影した画像の評価値ｓ811が閾値ｓthを超える場合には、情報処理装置１００は、撮影パラメータを示す黒三角８１１を点滅表示するようにしてもよい。ユーザーは、評価値に関わらず撮影パラメータを採択することができるが、このように情報処理装置１００が評価値を超えた撮影パラメータの存在を表示することで、撮影パラメータ採択の判断を補助することができるようになる。
なお、ユーザー操作で撮影パラメータ調整の継続を判断する場合においても、予め評価値の閾値ｓthを設定しておき、閾値ｓthを超える評価値を得た撮影パラメータが存在することを表示するようにしてもよい。例えば、図９において、撮影パラメータ８１１で撮影した画像の評価値ｓ811が閾値ｓthを超える場合には、情報処理装置１００は、撮影パラメータを示す黒三角８１１を点滅表示するようにしてもよい。ユーザーは、評価値に関わらず撮影パラメータを採択することができるが、このように情報処理装置１００が評価値を超えた撮影パラメータの存在を表示することで、撮影パラメータ採択の判断を補助することができるようになる。
【0041】
以上、実施形態１では、撮影パラメータを改善する方法を推定する実施形態について説明したが、本実施形態の方法で推定する撮影方法は、撮影パラメータに限らず、他の撮影方法を推定してもよい。撮影パラメータ以外の撮影方法を推定する実施形態では、図４の処理フローのループを複数回実行しても、所定閾値以上の評価値が得られない場合に、推定部１０４は、更に画像、又は撮影状況を分析して、適切な撮影方法を提案する。例えば、画像の明るさが不足していると判断される場合、又はホワイトバランスの調整が撮影パラメータでは調整不可能と判断される場合には、推定部１０４は、ユーザーに照明を利用して照明条件を変更すること、又は撮影時刻を変更してより明るい時刻での撮影を推薦する通知を行うようにしてもよい。また別の例としては、撮影部１０１の位置及び姿勢が取得できる場合、推定部１０４は、点検対象構造物との位置関係を分析し、撮影を改善する位置及び姿勢を提案する。より具体的には、例えば、点検対象構造物の壁面に対するあおり角度が大きな位置及び姿勢で撮影している場合、推定部１０４は、あおりを減少させる位置及び姿勢で撮影することをユーザーに推薦する。
【0042】
＜実施形態２＞
実施形態１では、画像格納部１０３から１枚の画像を選択し、これを基準画像とした。そして、この選択した１枚の基準画像に基づいて、撮影方法を調整する実施形態を説明した。実施形態２では、複数枚の基準画像を用いて、撮影方法を調整する実施形態について説明する。なお、以降の実施形態では、主に実施形態１と異なる部分について、説明を行う。
まず、実施形態２では、基準画像処理部１０２で、複数の基準画像を選択する。以下では、基準画像処理部１０２でＭ枚の基準画像を選択したとする。このＭ枚の基準画像は、どのような方法を用いて選択してもよいが、例えば、検索結果の上位Ｍ枚の格納画像をＭ枚の基準画像としてもよい。
実施形態１では、画像格納部１０３から１枚の画像を選択し、これを基準画像とした。そして、この選択した１枚の基準画像に基づいて、撮影方法を調整する実施形態を説明した。実施形態２では、複数枚の基準画像を用いて、撮影方法を調整する実施形態について説明する。なお、以降の実施形態では、主に実施形態１と異なる部分について、説明を行う。
まず、実施形態２では、基準画像処理部１０２で、複数の基準画像を選択する。以下では、基準画像処理部１０２でＭ枚の基準画像を選択したとする。このＭ枚の基準画像は、どのような方法を用いて選択してもよいが、例えば、検索結果の上位Ｍ枚の格納画像をＭ枚の基準画像としてもよい。
【0043】
次に、推定部１０４では、撮影画像とＭ枚の基準画像との評価値を算出する。この処理では、まず、撮影画像と各々の基準画像との評価値を算出する。例えば、推定部１０４は、撮影画像とｍ枚目の基準画像の評価値を算出し、この評価値をｓmとする。撮影画像と基準画像との評価値算出方法は、実施形態１の方法と同様である。撮影画像とＭ枚の基準画像との評価値算出により、Ｍ個の評価値が得られたら、推定部１０４は、これらの平均により最終的な評価値ｓを算出する。
以降の処理は、ＣＰＵ１０が、評価値ｓを基に、撮影パラメータの調整を実施する（実施形態１の図４Ｓ３０７以降の処理を実施する）。評価値ｓmの平均を用いることにより、複数の基準画像と全体的に類似する画像が撮影されるように、撮影パラメータが調整される。
【数4】
【0044】
また、複数の基準画像を用いる別の形態として、複数の基準画像のうち、最も類似する１枚の基準画像との評価値に基づいて、撮影パラメータを調整する方法がある。この場合、撮影画像とＭ枚の基準画像との最終的な評価値ｓは、以下の式で求められる。
この方法では、Ｍ枚の基準画像のうち、いずれかに類似するように、撮影パラメータが調整される。Ｍ枚の基準画像は、それぞれ好ましい画質の画像であるから、撮影画像は、そのいずれかに類似していればよい。
【数5】
【0045】
＜実施形態３＞
以上の実施形態では、基準画像は、撮影対象の構造物と異なる構造物で撮影した画像という想定であったが、撮影対象の構造物の過去画像を基準画像としてもよい。インフラ点検では、過去の点検結果と最新の点検結果とを比較するが、この比較のためには、過去画像と最新画像とが同等の画質で撮影されていることが好ましい。撮影対象の構造物の過去画像が存在する場合には、これを基準画像とすることで、過去画像に類似した画像を撮影できるように撮影パラメータの調整を行うことができる。
以上の実施形態では、基準画像は、撮影対象の構造物と異なる構造物で撮影した画像という想定であったが、撮影対象の構造物の過去画像を基準画像としてもよい。インフラ点検では、過去の点検結果と最新の点検結果とを比較するが、この比較のためには、過去画像と最新画像とが同等の画質で撮影されていることが好ましい。撮影対象の構造物の過去画像が存在する場合には、これを基準画像とすることで、過去画像に類似した画像を撮影できるように撮影パラメータの調整を行うことができる。
【0046】
過去画像を基準画像とするために、実施形態３の画像格納部１０３には、撮影対象の構造物の過去画像が格納されている。基準画像処理部１０２は、撮影対象の構造物の情報に基づいて、画像格納部１０３から過去画像を取得し、基準画像として設定する処理を行う。このために、実施形態３の基準画像処理部１０２は、画像格納部１０３の格納画像を、構造物の名称等の固有情報で検索できるようにしてもよい。基準画像に撮影対象の構造物の過去画像を設定した以降の処理は、実施形態１と同様の処理を実施することにより、撮影方法の調整を行うことができる。以上の構成により、過去画像と類似した撮影結果が得られるように、撮影パラメータを調整することができるようになる。
【0047】
基準画像に過去画像を設定する場合、基準画像と撮影画像との撮影範囲を一致させることが好ましい。この場合、撮影対象の構造物に対して、基準画像に設定した過去画像で撮影された範囲と同じ範囲を今回の撮影でも撮影するように、撮影位置、及び撮影範囲を調整する。この撮影位置、及び範囲の調整をサポートするために、画像格納部１０３に格納した過去画像には、撮影位置、及び撮影範囲の情報を関連付けて保存して置いてもよい。
基準画像（過去画像）と撮影画像の撮影範囲が一致している場合、評価値の算出方法は、過去画像と撮影画像との画素間の誤差二乗和の逆数としてもよい。現実的には、過去と現在の撮影を画素レベルで合わせることは極めて困難であるため、若干の位置ずれを許容するような類似度算出方法を用いることが好ましい。
基準画像（過去画像）と撮影画像の撮影範囲が一致している場合、評価値の算出方法は、過去画像と撮影画像との画素間の誤差二乗和の逆数としてもよい。現実的には、過去と現在の撮影を画素レベルで合わせることは極めて困難であるため、若干の位置ずれを許容するような類似度算出方法を用いることが好ましい。
【0048】
また、過去画像にコンクリート壁面の変状が含まれる場合、画像中の変状部分に基づいて評価値を算出するようにしてもよい。この場合、推定部１０４は、過去画像の変状と同じ部分を撮影し、過去画像の変状と撮影画像の変状とが類似するほど高い評価値を算出するようにする。このようにすることで、過去画像に写った変状が撮影画像でも確認できるように、撮影パラメータを調整することができるようになる。更に、推定部１０４は、変状の経年変化を考慮して、過去画像と撮影画像との評価値を算出するようにしてもよい。例えば、過去画像に含まれる変状がひび割れの場合について説明する。過去の点検で記録されたひび割れは、補修作業が実施されない限り、自然に消えることはない。一方、ひび割れは、経年劣化により伸展する可能性がある。したがって、撮影画像のひび割れと過去画像のひび割れとを比較する場合には、推定部１０４は、撮影画像のひび割れの伸展部分の画像は、ひび割れ部分の類似度算出に使わないようにする。
【0049】
＜実施形態４＞
以上の実施形態の基準画像処理部１０２では、画像格納部１０３に格納された画像を検索して、基準画像を設定する実施形態について説明した。実施形態４では、基準画像処理部１０２で画像を生成し、この生成画像を基準画像とする実施形態について説明する。
近年、学習ベースの手法で、画像のノイズ除去及び超解像が発達している。例えば、非特許文献２は、オートエンコーダを用いた画像のノイズ除去技術である。この技術では、ノイズを含む画像とノイズがない画像でオートエンコーダを学習することにより、ノイズ除去モデルを学習する。このノイズ除去モデルに、ノイズ除去を行いたいノイズ画像を入力すると、出力としてノイズを除去した画像が得られる。また、非特許文献３はＦｕｌｌｙ ＣＮＮによる画像の超解像技術である。この技術では、低解像度画像と高解像度画像とでＦｕｌｌｙ ＣＮＮを学習することにより、超解像化モデルを学習する。この超解像化モデルに、高解像化を行いたい低解像度画像を入力すると、出力として高解像度画像が得られる。これらの技術は、学習により、画像の変換モデルを獲得する技術である。実施形態４では、これらの技術を用いて、仮撮影画像から基準画像を生成する。なお、ノイズ除去と超解像との技術を例にしたが、実施形態４で用いる技術は、画像変換を行うことができれば、どのような手法を用いてもよく、非特許文献２及び非特許文献３の技術に限定するものではない。
以上の実施形態の基準画像処理部１０２では、画像格納部１０３に格納された画像を検索して、基準画像を設定する実施形態について説明した。実施形態４では、基準画像処理部１０２で画像を生成し、この生成画像を基準画像とする実施形態について説明する。
近年、学習ベースの手法で、画像のノイズ除去及び超解像が発達している。例えば、非特許文献２は、オートエンコーダを用いた画像のノイズ除去技術である。この技術では、ノイズを含む画像とノイズがない画像でオートエンコーダを学習することにより、ノイズ除去モデルを学習する。このノイズ除去モデルに、ノイズ除去を行いたいノイズ画像を入力すると、出力としてノイズを除去した画像が得られる。また、非特許文献３はＦｕｌｌｙ ＣＮＮによる画像の超解像技術である。この技術では、低解像度画像と高解像度画像とでＦｕｌｌｙ ＣＮＮを学習することにより、超解像化モデルを学習する。この超解像化モデルに、高解像化を行いたい低解像度画像を入力すると、出力として高解像度画像が得られる。これらの技術は、学習により、画像の変換モデルを獲得する技術である。実施形態４では、これらの技術を用いて、仮撮影画像から基準画像を生成する。なお、ノイズ除去と超解像との技術を例にしたが、実施形態４で用いる技術は、画像変換を行うことができれば、どのような手法を用いてもよく、非特許文献２及び非特許文献３の技術に限定するものではない。
【0050】
図１０は、実施形態４の情報処理装置１００の構成の一例を示す図である。実施形態４の情報処理装置１００は、図２（実施形態１）と異なり、画像格納部１０３の代わりにモデル格納部１０６を備える構成となっている。モデル格納部１０６には、基準画像を生成するためのモデルが格納されている。以下、このモデルを基準画像生成モデルと呼ぶ。基準画像生成モデルは、非特許文献２、又は非特許文献３のような技術を用いて、画像の変換方法を学習により獲得するものである。基準画像生成モデルは、例えば、以下の学習データセットＤを用いて学習する。
ここで、ｘnは撮影パラメータを調整が不十分な状態で撮影した画像である。ｘnに対応するｙnは、ｘnと同一の撮影対象を好ましい撮影パラメータで撮影した画像である。この学習データセットＤを用いると、基準画像生成モデルＦの学習は、以下の式で表される。
ここで、Ｆ（ｘn）－ｙnの部分は、基準画像生成モデルＦで画像ｘnを変換した画像と、画像ｙnとの誤差を表す。したがって、データセットＤのＮ個のデータについて、この誤差が最少となる基準が造成性モデルＦを学習することになる。
【数6】
【数7】
【0051】
学習した基準画像生成モデルＦに、撮影パラメータを調整していない画像を入力すると、好ましい撮影パラメータで撮影した画像（生成画像）が出力される。但し、生成画像は、基準画像生成モデルＦにより生成された偽物の画像であるため、そのまま点検画像等に利用するにはリスクがある。基準画像生成モデルの性能にも依存するが、例えば、生成画像には、画像生成処理に伴う細かいアーチファクトを含む可能性等がある。したがって、本実施形態では、生成画像そのものを撮影結果として利用するのではなく、撮影パラメータ調整の基準として用いることにする。
モデル格納部１０６には、以上のようにして学習した基準画像生成モデルＦが格納されている。なお、画像生成モデルの学習方法として、近年、非特許文献４のような、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ）と呼ばれる手法が発展している。基準画像生成モデルＦの学習に、この手法を用いるようにしてもよい。
モデル格納部１０６には、以上のようにして学習した基準画像生成モデルＦが格納されている。なお、画像生成モデルの学習方法として、近年、非特許文献４のような、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ）と呼ばれる手法が発展している。基準画像生成モデルＦの学習に、この手法を用いるようにしてもよい。
【0052】
次に、この画像生成モデルＦを用いた基準画像作成の処理について説明する。まず、ユーザーは撮影部１０１で撮影対象を仮撮影する。この仮撮影の撮影パラメータは、オート設定等を用いるもので、仮撮影画像は撮影対象を撮影する上で、撮影パラメータ調整が不十分な画像であるとする。基準画像処理部１０２では、仮撮影画像をモデル格納部１０６から読み出した画像生成モデルＦに入力することで生成画像を作成し、この生成画像を撮影パラメータ調整の基準画像として設定する。
以上では、仮撮影画像を用いて生成画像を作成したが、撮影対象の情報も用いて生成画像を作成するようにしてもよい。例えば、１つの方法として、まず、基準画像生成モデルＦを撮影対象の構造物種類ごと、又はコンクリート種類ごと等、条件別に学習しておく。モデル格納部１０６には、複数の基準画像生成モデルを、学習条件の情報と共に格納しておく。基準画像を作成する工程では、ユーザーが、撮影対象の条件（例えば、撮影対象の構造物種類）を指定することで、条件に一致する基準画像生成モデルをモデル格納部１０６から呼び出して、画像生成に用いる。以上のようにすることで、撮影対象に適した基準画像生成モデルを用いて、生成画像を作成することができるようになる。
以上では、仮撮影画像を用いて生成画像を作成したが、撮影対象の情報も用いて生成画像を作成するようにしてもよい。例えば、１つの方法として、まず、基準画像生成モデルＦを撮影対象の構造物種類ごと、又はコンクリート種類ごと等、条件別に学習しておく。モデル格納部１０６には、複数の基準画像生成モデルを、学習条件の情報と共に格納しておく。基準画像を作成する工程では、ユーザーが、撮影対象の条件（例えば、撮影対象の構造物種類）を指定することで、条件に一致する基準画像生成モデルをモデル格納部１０６から呼び出して、画像生成に用いる。以上のようにすることで、撮影対象に適した基準画像生成モデルを用いて、生成画像を作成することができるようになる。
【0053】
次に、撮影対象の情報を用いて生成画像を作成する別の実施形態について説明する。この実施形態では、モデル格納部１０６に加え、実施形態１のように、画像格納部１０３を備える。画像格納部１０３は、実施形態１と同様に、撮影対象の理想的な撮影結果画像が格納されている。ユーザーは、画像格納部１０３から、撮影対象の条件と類似する画像を選択する。この画像格納部１０３から画像を選択する操作は、実施形態１の基準画像選択と同様に、撮影対象の情報を基に画像格納部１０３を検索することで実施できる。本実施形態では、画像格納部１０３から選択した画像をスタイル画像と呼ぶ。そして、例えば、非特許文献５のような技術を用いて、仮撮影画像の見た目をスタイル画像に類似した画像に変換する。非特許文献５は、元画像とスタイル画像とを入力すると、元画像の見た目をスタイル画像のスタイルに類似した画像に変換する技術で、例えば、画像の画風を変換することができる技術である。本実施形態では、非特許文献５の元画像に、仮撮影画像を設定することにより、仮撮影画像の見た目をスタイル画像に似せて、理想的な撮影結果画像を作成することができる。このようにして作成した画像を基準画像として利用する。この実施形態によると、撮影対象の情報を用いて画像格納部１０３からスタイル画像を選択することにより、撮影対象に類似した画像を生成しやすくなる。
実施形態４では、以上のようにして、基準画像処理部１０２で生成した生成画像を基準画像とする。以降の処理は、実施形態１と同様に行うことで、基準画像に類似した画像を撮影するための撮影パラメータを調整することができる。
実施形態４では、以上のようにして、基準画像処理部１０２で生成した生成画像を基準画像とする。以降の処理は、実施形態１と同様に行うことで、基準画像に類似した画像を撮影するための撮影パラメータを調整することができる。
【0054】
実施形態４では、更に、複数の撮影パラメータ設定、及び複数回の撮影（図４のＳ３０４、Ｓ３０５）を廃止し、基準画像と１枚の撮影画像から撮影パラメータを調整する実施形態についても説明する。
まず、実施形態４では、ある初期パラメータで、撮影対象の画像を１枚撮影する。この１枚の画像に対して、基準画像との比較により評価値を算出する処理（Ｓ３０６）を実行する。算出した評価値が閾値以上の場合、パラメータ設定を終了する処理（図４のＳ３０７、Ｓ３０８、Ｓ３１０）を実施する。
実施形態１の複数撮影パラメータを用いた構成と異なる処理は、評価値が閾値以下であった場合に、撮影パラメータの改善方法を推定するＳ３０９である。実施形態４では、ある１つの評価値、及びそのときの撮影パラメータから、統計的な手法により改善撮影パラメータを推定する。このために実施形態４では、予め、評価値と改善撮影パラメータとの関係を学習しておく。この関係は、例えば、以下のようなデータを用いた学習することができる。
ここで、式（８）のｐnは撮影パラメータである。ｓnはｐnで撮影した画像から得られた評価値である。ｓnは閾値以下の評価値とする。式（９）のｐdst_nは、（ｓn、ｐn）の状態から撮影パラメータを調整し、最終的に評価値が閾値以上となったときの撮影パラメータである。これらのデータの組をｎ個収集し、学習データ（Ｘ、Ｙ）を作成する。この学習データを用いて、ある閾値未満の評価値ｓと撮影パラメータｐとが入力されたときに、改善パラメータｐdstを出力するモデルＥを学習する。
このモデルの学習には、どのようなアルゴリズムを用いてもよく、例えば、撮影パラメータを連続値であるとすると、線形回帰等の回帰モデルを適用することができる。
まず、実施形態４では、ある初期パラメータで、撮影対象の画像を１枚撮影する。この１枚の画像に対して、基準画像との比較により評価値を算出する処理（Ｓ３０６）を実行する。算出した評価値が閾値以上の場合、パラメータ設定を終了する処理（図４のＳ３０７、Ｓ３０８、Ｓ３１０）を実施する。
実施形態１の複数撮影パラメータを用いた構成と異なる処理は、評価値が閾値以下であった場合に、撮影パラメータの改善方法を推定するＳ３０９である。実施形態４では、ある１つの評価値、及びそのときの撮影パラメータから、統計的な手法により改善撮影パラメータを推定する。このために実施形態４では、予め、評価値と改善撮影パラメータとの関係を学習しておく。この関係は、例えば、以下のようなデータを用いた学習することができる。
【数8】
【数9】
【数10】
【0055】
以上では、評価値ｓと撮影パラメータｐとを入力として、改善パラメータｐdstを算出するモデルを学習する実施形態について説明したが、このモデルに撮影画像の情報を入力するようにしてもよい。撮影画像の情報は、例えば、画像全体の特徴量で、より具体的には画像全体の輝度ヒストグラム等である。撮影画像の情報は、これに限らず、画像の部分的な特徴量でもよいし、モデルに画像そのものを入力する形態でもよい。このように画像情報もモデルに入力することで、評価値と撮影パラメータとだけでなく、撮影画像に基づいて改善パラメータｐdstを推定することができるようになる。
以上のようにして予め準備したモデルＥを、Ｓ３０９の改善パラメータ推定で用いることにより、実施形態４では、１枚の画像のみから改善撮影パラメータを推定することができるようになる。
以上のようにして予め準備したモデルＥを、Ｓ３０９の改善パラメータ推定で用いることにより、実施形態４では、１枚の画像のみから改善撮影パラメータを推定することができるようになる。
【0056】
なお、改善撮影パラメータを求める手法として、学習したモデルを用いる構成は、実施形態１の複数の撮影パラメータで画像を撮影する方法で用いてもよい。すなわち、モデルＥは、１枚の画像から撮影パラメータを推定する構成に限定されず、複数の撮影画像から撮影パラメータを推定する方法で用いてもよい。この場合、実施形態１のように複数の撮影パラメータで撮影した撮影画像と基準画像とから評価値を算出し、複数の撮影パラメータと複数の評価値とを入力して改善パラメータを求めるモデルＥを学習する。このモデルＭを学習するための学習データＸは、撮影パラメータ調整で撮影する複数画像の枚数をＭ枚とすると、式（８）から以下のように書き換えられる。
なお、目的変数（又は教師データ）Ｙは、式（９）と同様である。
【数11】
【0057】
＜実施形態５＞
実施形態４では、基準画像生成モデルを用いて、仮撮影画像から基準画像を生成する実施形態について説明した。基準画像生成モデルは、実施形態４の実施形態に限らず、格納画像から基準画像を生成するために利用する実施形態としてもよい。実施形態５では、予め画像格納部１０３に格納されている格納画像を変換して、基準画像を作成する実施形態について説明する。実施形態１では、画像格納部１０３に格納された格納画像を選択し、選択した格納画像を基準画像として設定したが、実施形態５では、選択した格納画像を撮影条件に応じて変換した上で基準画像として設定する。以下、この実施形態について説明する。
実施形態４では、基準画像生成モデルを用いて、仮撮影画像から基準画像を生成する実施形態について説明した。基準画像生成モデルは、実施形態４の実施形態に限らず、格納画像から基準画像を生成するために利用する実施形態としてもよい。実施形態５では、予め画像格納部１０３に格納されている格納画像を変換して、基準画像を作成する実施形態について説明する。実施形態１では、画像格納部１０３に格納された格納画像を選択し、選択した格納画像を基準画像として設定したが、実施形態５では、選択した格納画像を撮影条件に応じて変換した上で基準画像として設定する。以下、この実施形態について説明する。
【0058】
画像格納部１０３には、様々な撮影条件の多数の格納画像を格納しているが、全ての撮影条件に一致する画像を準備することは困難である。そのため、撮影条件に応じて、格納画像を変換、調整して新しい画像を生成し、この生成した画像を基準画像とする。例えば、撮影条件としてカメラ機種が異なる場合について説明する。まず、格納画像は、ある特定の機種のカメラ（以下、カメラＡ）で撮影した画像のみで構成されているとする。一方、撮影対象を撮影するときのカメラはカメラＡとは異なる機種のカメラ（以下、カメラＢ）であるとする。ここで、カメラＡとカメラＢとは機種が異なるので、その撮影画像の画質は異なる。例えば、撮影画質の色合い等はカメラの機種ごとに異なるので、カメラＡとカメラＢとでは、同一の対象を同一の状況で撮影しても、色合い等の画質が異なる画像が得られる。
実施形態５では、このような場合に、カメラＡ画質の格納画像を、基準画像生成モデルを用いてカメラＢ画質の画像に変換した上で、基準画像として設定する。この場合の基準画像生成モデルは、例えば、カメラＡの色合いをカメラＢの色合いに変換する変換パラメータである。基準画像が設定された以降の処理については、実施形態１と同様の処理を行うことで、基準画像の画質に合わせるための撮影パラメータを調整することができる。
実施形態５では、このような場合に、カメラＡ画質の格納画像を、基準画像生成モデルを用いてカメラＢ画質の画像に変換した上で、基準画像として設定する。この場合の基準画像生成モデルは、例えば、カメラＡの色合いをカメラＢの色合いに変換する変換パラメータである。基準画像が設定された以降の処理については、実施形態１と同様の処理を行うことで、基準画像の画質に合わせるための撮影パラメータを調整することができる。
【0059】
次に、このような処理を実施するための処理について説明する。本実施形態の情報処理装置は、図２の情報処理装置１００に、更にモデル格納部を備え、モデル格納部には撮影条件に応じた基準画像生成モデルが格納されている。まず、初めの処理では、実施形態１と同様に、基準画像処理部１０２は、撮影対象に類似する格納画像を、画像格納部から検索して取得する。実施形態５では、この検索結果の格納画像を仮基準画像とする。次の処理では、基準画像処理部１０２は、撮影条件に基づいて、仮基準画像を基準画像に変換するための基準画像生成モデルを準備する。上述の例では、基準画像処理部１０２は、撮影条件としてカメラの機種（カメラＢ）を設定することにより、カメラＡの色合いからカメラＢの色合いに変換する変換パラメータを含む基準画像生成モデルをモデル格納部から読み出す。このために、ユーザーは撮影条件の情報を、操作部１２を介して入力する。又は、カメラ機種のような自動的に取得可能な撮影条件の情報は、自動的に取得され基準画像生成モデルの検索に用いるようにしてもよい。次の処理では、基準画像処理部１０２は、この基準画像生成モデルを用いて仮基準画像を変換し、基準画像を作成する。
【0060】
上記の例では、撮影条件をカメラ機種として、撮影条件に基づいて基準画像生成モデルを選択し、仮撮影画像を変換して基準画像を生成する実施形態について説明した。基準画像を生成するための撮影条件は、カメラ機種に限らず、他の条件としてもよい。例えば、撮影条件として天候を設定するようにしてもよい。この場合、撮影対象に類似するとして選択された格納画像（仮基準画像）が晴れの天候で撮影された画像で、撮影対象を撮影するときの天候が曇りであったとすると、晴れの画像の画質（色合い、又は明るさ）を曇りの画像の画質に変換する基準画像生成モデルがモデル格納部から選択されるようにする。撮影条件のバリエーションとしては、他にも、撮影時刻、撮影の季節等でもよい。更に、手持ち撮影、三脚撮影、又はドローン等の動体に搭載したカメラでの撮影等の条件を撮影条件の１つとしてもよい。また、このような撮影条件は、複数の条件を合わせたものであってもよい。例えば、「カメラＢ、曇り」という撮影条件において、「カメラＡ、晴れ」の仮基準画像を「カメラＢ、曇り」の画質に変換する画像生成モデルが選択されるようにしてもよい。
【0061】
また、以上では画像生成モデルの例を、画像を変換するパラメータとしたが、実施形態５における画像生成モデルはこれに限らず、実施形態４で説明したような学習に基づくモデルとしてもよい。この場合、例えば、画像を変換したい撮影条件ごとに、画像生成モデルを学習しておき、撮影条件に合わせて画像生成モデルを選択して利用する。この画像生成モデルの学習は、変換前の画像群と、好ましい変換後の画像群からなるデータセットを用いることで、実施形態４の学習と同様に実施できる。
実施形態４及び実施形態５では、基準画像処理部１０２は、生成した基準画像を操作部１２に表示して、ユーザーが基準画像を確認できるようにする。ユーザーは撮影パラメータを調整する基準として、基準画像が相応しくないと判断した場合には、別の基準画像を再び生成できるようにしてもよい。この場合、別の基準画像を生成するための基準画像生成モデルを再選択することができるように、基準画像生成モデルの候補を表示したり、再び基準画像生成モデルを検索できるようにしたりしてもよい。更に、実施形態４と実施形態５との方法を同時に利用する場合に、仮撮影画像を変換した基準画像（実施形態４の方法で作成した基準画像）を利用するか、仮基準画像を変換した基準画像（実施形態５の方法で作成した基準画像）を利用するか、ユーザーが選択できるようにしてもよい。この場合、基準画像処理部１０２は、操作部１２に、仮撮影画像を変換した基準画像と仮基準画像を変換した基準画像とを比較可能な状態で表示し、ユーザーは撮影パラメータの調整の基準として適した基準画像を選択できるようにする。
実施形態４及び実施形態５では、基準画像処理部１０２は、生成した基準画像を操作部１２に表示して、ユーザーが基準画像を確認できるようにする。ユーザーは撮影パラメータを調整する基準として、基準画像が相応しくないと判断した場合には、別の基準画像を再び生成できるようにしてもよい。この場合、別の基準画像を生成するための基準画像生成モデルを再選択することができるように、基準画像生成モデルの候補を表示したり、再び基準画像生成モデルを検索できるようにしたりしてもよい。更に、実施形態４と実施形態５との方法を同時に利用する場合に、仮撮影画像を変換した基準画像（実施形態４の方法で作成した基準画像）を利用するか、仮基準画像を変換した基準画像（実施形態５の方法で作成した基準画像）を利用するか、ユーザーが選択できるようにしてもよい。この場合、基準画像処理部１０２は、操作部１２に、仮撮影画像を変換した基準画像と仮基準画像を変換した基準画像とを比較可能な状態で表示し、ユーザーは撮影パラメータの調整の基準として適した基準画像を選択できるようにする。
【0062】
＜実施形態６＞
以上の実施形態では、本実施形態の情報処理装置１００をインフラ構造物の点検画像撮影に適用する実施形態について説明した。本実施形態の情報処理装置１００は、点検画像撮影に限らず、他の撮影対象における撮影パラメータ調整にも適用することができる。実施形態６では、一般的な写真撮影における撮影パラメータ調整に、上述した処理等を適用する実施形態について説明する。
本実施形態では、一般的な写真撮影に上述した処理等を適用するために、実施形態１の画像格納部１０３に格納する格納画像を変更する。図１１は、実施形態５において、画像格納部１０３に格納される情報について説明する図である。図１１の画像格納部１０３には、図３と同様に、格納画像、画像情報、撮影パラメータが格納されている。図１１の格納画像１０１０は海の風景写真であり、この格納画像の画像情報として、シーン：風景、天候：晴れ、詳細１：海、詳細２：夏、等の情報が記録されている。また、格納画像１０１１は、野球の画像で、この格納画像にも画像内容を示す画像情報が関連付けて記録されている。
以上の実施形態では、本実施形態の情報処理装置１００をインフラ構造物の点検画像撮影に適用する実施形態について説明した。本実施形態の情報処理装置１００は、点検画像撮影に限らず、他の撮影対象における撮影パラメータ調整にも適用することができる。実施形態６では、一般的な写真撮影における撮影パラメータ調整に、上述した処理等を適用する実施形態について説明する。
本実施形態では、一般的な写真撮影に上述した処理等を適用するために、実施形態１の画像格納部１０３に格納する格納画像を変更する。図１１は、実施形態５において、画像格納部１０３に格納される情報について説明する図である。図１１の画像格納部１０３には、図３と同様に、格納画像、画像情報、撮影パラメータが格納されている。図１１の格納画像１０１０は海の風景写真であり、この格納画像の画像情報として、シーン：風景、天候：晴れ、詳細１：海、詳細２：夏、等の情報が記録されている。また、格納画像１０１１は、野球の画像で、この格納画像にも画像内容を示す画像情報が関連付けて記録されている。
【0063】
本実施形態でも、実施形態１と同様に、ユーザーが撮影しようとしている撮影対象の情報を基に、画像格納部１０３から基準画像を選択する。ユーザーは、撮影対象のシーン種類、天候、その他の情報を選択、又はキーワードを入力する。基準画像処理部１０２は、このユーザーの入力情報を基に画像格納部１０３に格納された画像情報を検索し、基準画像として適した格納画像を選択する。基準画像の選択は、実施形態１と同様に、基準画像候補をユーザーに提示して、ユーザーが最適と判断する画像を選択して基準画像を設定してもよいし、検索結果の最上位を自動的に基準画像としてもよい。また、実施形態１と同様に、仮撮影画像を撮影して、仮撮影画像を基に画像格納部１０３から基準画像を検索するようにしてもよい。
【0064】
以上の処理により、一般的な写真撮影の場合でも、撮影画像の撮影パラメータ調整の基準である基準画像を選択することができる。基準画像の設定以降の処理は、上述の実施形態と同様に、撮影画像と基準画像との評価値を算出し、撮影パラメータ調整を実行する。
以上の一般的な写真撮影の実施形態の説明では、画像格納部１０３の格納画像を変更することにより、一般的な写真撮影に上述した構成等を適用する実施形態について説明した。一般的な写真撮影に上述した構成等を適用する実施形態としては、実施形態４のように、基準画像生成モデルを用いて、基準画像を生成する構成にしてもよい。
以上の一般的な写真撮影の実施形態の説明では、画像格納部１０３の格納画像を変更することにより、一般的な写真撮影に上述した構成等を適用する実施形態について説明した。一般的な写真撮影に上述した構成等を適用する実施形態としては、実施形態４のように、基準画像生成モデルを用いて、基準画像を生成する構成にしてもよい。
【0065】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0066】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
【0067】
以上、上述した各実施形態の情報処理装置１００によれば、撮影画像の詳細を確認できなくても所望の画像を撮影する撮影パラメータを容易に設定することができるようになる。
【符号の説明】
【0068】
１０ ＣＰＵ
１１ 記憶部
１２ 操作部
１３ 通信部
１００ 情報処理装置
１１ 記憶部
１２ 操作部
１３ 通信部
１００ 情報処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】