特許 6687962 撮影条件提案システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6687962

(24)【登録日】2020年4月7日

(45)【発行日】2020年4月28日

(54)【発明の名称】撮影条件提案システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200421BHJP

【ＦＩ】

   H04N5/232 220

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2019-238504(P2019-238504)

(22)【出願日】2019年12月27日

【審査請求日】2020年1月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517198517

【氏名又は名称】クリスタルメソッド株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】河合 継

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 国際公開第２０１８／２１２０７８（ＷＯ，Ａ１）

【文献】 特開２０１９−２３８５０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置による撮影条件を提案する撮影条件提案システムにおいて、
撮像された参照用の被写体に基づいて参照用画像を生成する画像生成手段と、
上記画像生成手段により生成された上記参照用画像の参照用評価値を算出する画像評価手段と、
上記画像生成手段により生成された上記参照用画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、上記画像生成手段により生成された上記参照用画像から上記判別対象について参照用対象画像領域を切り出す第１の学習器と、
上記画像評価手段により算出された参照用評価値と、上記第１の学習器により切り出された参照用対象画像領域とを有する組み合わせと、撮影条件との３段階以上の連関度を予め取得する第２の学習器とを備え、
上記画像生成手段は、新たに撮影条件を提案する上で撮像された被写体についての画像を生成し、
上記画像評価手段は、上記画像生成手段により生成された上記画像の評価値を算出し、
上記第１の学習器は、上記画像生成手段により生成された上記画像の特徴量に基づいて上記判別対象について対象画像領域を切り出し、
上記第２の学習器は、上記連関度を参照し、上記画像評価手段により算出された評価値と、上記第１の学習器により切り出された対象画像領域とに基づき、提案すべき撮影条件を探索すること
を特徴とする撮影条件提案システム。

【請求項2】

撮像装置による撮影条件を提案する撮影条件提案システムにおいて、
新たに撮影条件を提案する上で撮像された被写体についての画像を生成する画像生成手段と、
上記画像生成手段により生成された上記画像の評価値を算出する画像評価手段と、
上記画像生成手段により生成された上記画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、上記画像生成手段により生成された上記画像から上記判別対象について対象画像領域を切り出す第１の学習器と、
予め取得した参照用画像の参照用評価値と、上記参照用画像の特徴量に基づいて上記判別対象について切り出した参照用対象画像領域とを有する組み合わせと、撮影条件との３段階以上の連関度を参照し、上記画像評価手段により算出された評価値と、上記第１の学習器により切り出された対象画像領域とに基づき、提案すべき撮影条件を探索する第２の学習器とを備えること
を特徴とする撮影条件提案システム。

【請求項3】

上記第１の学習器は、上記画像から上記対象画像領域として切り出すべき上記判別対象の判定正答率からなる判定精度を求め、
上記第２の学習器は、予め取得した参照用画像における上記判別対象の判定正答率からなる参照用判定精度とを有する上記組み合わせと、撮影条件との３段階以上の連関度を参照し、上記第１の学習器により求められた判定精度とに基づき、提案すべき撮影条件を探索すること
を特徴とする請求項１又は２記載の撮影条件提案システム。

【請求項4】

上記第２の学習器により探索された撮影条件に基づいて、上記撮像装置の撮影条件を制御する制御手段とを備えること
を特徴とする請求項１〜３のうち何れか１項記載の撮影条件提案システム。

【請求項5】

上記第２の学習器は、人工知能におけるニューラルネットワークのノードの各出力の重み付け係数に対応する上記連関度を利用すること
を特徴とする請求項１〜４のうち何れか１項記載の撮影条件提案システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置による撮影条件を提案する撮影条件提案システムに関する。

【背景技術】

【0002】

撮像装置により撮像した画像を人工知能を利用して解析する技術が特に近年において進展している。特に人工知能を利用した画像解析は、医療や監視等においても頻繁に利用されるようになっており、今後も多岐に亘る応用が期待されている。

【0003】

この人工知能を利用した画像解析精度は、撮像装置による画像の撮像条件（ズーム、撮影方向、絞り、フォーカス、照明等）により大きな影響を受ける。特に欠陥や疵、シミ等、微細な判別対象の画像解析精度を高めるためには、その撮影環境に応じた最適な撮影条件を都度選択する必要がある。

【0004】

従来においては、最適な撮影条件を人工知能を利用して制御する技術が提案されているが（例えば、特許文献１参照。）、特に欠陥や疵、シミ等、微細な判別対象の画像解析精度を向上させることを焦点においた技術は特段提案されていないのが現状であった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９−１１８０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、特に欠陥や疵、シミ等、微細な判別対象の画像解析精度を向上させるために、最適な撮影条件を人工知能を利用して探索することが可能な撮影条件提案システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明に係る撮影条件提案システムは、撮像装置による撮影条件を提案する撮影条件提案システムにおいて、撮像された参照用の被写体に基づいて参照用画像を生成する画像生成手段と、上記画像生成手段により生成された上記参照用画像の参照用評価値を算出する画像評価手段と、上記画像生成手段により生成された上記参照用画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、上記画像生成手段により生成された上記参照用画像から上記判別対象について参照用対象画像領域を切り出す第１の学習器と、上記画像評価手段により算出された参照用評価値と、上記第１の学習器により切り出された参照用対象画像領域とを有する組み合わせと、撮影条件との３段階以上の連関度を予め取得する第２の学習器とを備え、上記画像生成手段は、新たに撮影条件を提案する上で撮像された被写体についての画像を生成し、上記画像評価手段は、上記画像生成手段により生成された上記画像の評価値を算出し、上記第１の学習器は、上記画像生成手段により生成された上記画像の特徴量に基づいて上記判別対象について対象画像領域を切り出し、上記第２の学習器は、上記連関度を参照し、上記画像評価手段により算出された評価値と、上記第１の学習器により切り出された対象画像領域とに基づき、提案すべき撮影条件を探索することを特徴とする。

【0008】

本発明に係る撮影条件提案システムは、撮像装置による撮影条件を提案する撮影条件提案システムにおいて、新たに撮影条件を提案する上で撮像された被写体についての画像を生成する画像生成手段と、上記画像生成手段により生成された上記画像の評価値を算出する画像評価手段と、上記画像生成手段により生成された上記画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、上記画像生成手段により生成された上記画像から上記判別対象について対象画像領域を切り出す第１の学習器と、予め取得した参照用画像の参照用評価値と、上記参照用画像の特徴量に基づいて上記判別対象について切り出した参照用対象画像領域とを有する組み合わせと、撮影条件との３段階以上の連関度を参照し、上記画像評価手段により算出された評価値と、上記第１の学習器により切り出された対象画像領域とに基づき、提案すべき撮影条件を探索する第２の学習器とを備えることを特徴とする。

【発明の効果】

【0009】

上述した構成からなる本発明によれば、特段のスキルや経験が無くても、特に欠陥や疵、シミ等、微細な判別対象の画像解析精度を向上させるために、最適な撮影条件を人工知能を利用して探索することが可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明を適用した撮影条件提案システムの全体構成を示すブロック図である。

【図2】図２は、条件提案装置２の具体的な構成を示すブロック図である。

【図3】図３は、本発明を適用した撮影条件提案システムの動作フローを示す図である。

【図4】図４は、特徴部位を可視化するツールにより可視化した画像を取得する例を示す図である。

【図5】図５は、参照用評価値と、参照用対象画像領域との組み合わせの連関度を示す図である。

【図6】図６は、参照用判定精度を盛り込んだ連関度の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明を適用した撮影条件提案システムについて、図面を参照しながら詳細に説明をする。

【0012】

図１は、本発明を適用した撮影条件提案システム１の全体構成を示すブロック図である。撮影条件提案システム１は、撮像装置９と、撮像装置９に接続された条件提案装置２と、条件提案装置２に接続されたデータベース３、並びに撮影条件制御部４とを備えている。

【0013】

撮像装置９は、カメラ等のように画像を撮影可能な装置である。この撮像装置９は、いわゆるデジタルカメラ、ビデオカメラとして具現化される以外に、スマートフォン、タブレット端末、ウェアラブル端末に実装されるカメラとして具現化されるものであってもよい。撮像装置９は、ＣＴカメラ、レントゲン画像、スペクトル画像等を撮像するカメラで構成されていてもよい。

【0014】

データベース３は、撮影条件の提案を行う上で必要な様々な情報が蓄積される。撮影条件の提案を行う上で必要な情報としては、過去において撮像した参照用画像情報、参照用画像情報から算出した参照用評価値、参照用画像から判別対象について参照用対象画像領域を切り出した参照用対象画像領域等が、ユーザに対して提案する撮影条件との関係において蓄積されている。

【0015】

撮影条件制御部４は、条件提案装置２により制御され、撮像装置９による撮影条件を制御する。撮影条件制御部４は、撮像装置９による撮影範囲の拡大、縮小、撮影方向の制御、撮影タイミング、絞りやフォーカス、フラッシュ、照明等を制御する。

【0016】

条件提案装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この条件提案装置２による探索解を得ることができる。ちなみに、撮像装置９、撮影条件制御部、データベース３の何れか１以上、又は全てが、この条件提案装置２内に実装されていてもよい。

【0017】

図２は、条件提案装置２の具体的な構成例を示している。この条件提案装置２は、条件提案装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、各種判断を行う判別部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。

【0018】

制御部２４は、内部バス２１を介して制御信号を送信することにより、条件提案装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。

【0019】

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、判別部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部２５は、前述した撮像装置９として具現化されるものであってもよい。

【0020】

判別部２７は、探索解を判別する。この判別部２７は、判別動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、データベース３に記憶されている各種情報を読み出す。この判別部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。

【0021】

表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。

【0022】

記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。

【0023】

上述した構成からなる撮影条件提案システム１における動作について説明をする。
以下の図３は、本発明を適用した撮影条件提案システム１の動作フローを示している。先ず撮像装置９により参照用の被写体を撮像する。この参照用の被写体とは、後述する第１の学習器３１、第２の学習器３２により学習済みモデルを構築する上で参照するための被写体である。撮像装置９により参照用の被写体が撮像されると、条件提案装置２に送られる。条件提案装置２は、撮像された参照用の被写体に基づいて参照用画像を生成する（ステップＳ１１）。

【0024】

このステップＳ１１において生成された参照用画像は、ステップＳ１２において評価され、参照用評価値が算出される。ステップＳ１２では、参照用画像について、輝度、エッジの強さ、エッジの傾き、類似度、明度、彩度、ＲＧＢ値の距離、ＨＳＶの距離、ＰＳＮＲ（Peak Signal-to-Noise Ratio）、ＳＳＩＭ(Structural Similarity)、ＦＳＩＭ（Feature Similarity）等の各参照用評価値を算出する。このようにして得られた参照用評価値は第２の学習器３２へと送られる。

【0025】

またステップＳ１１において生成された参照用画像は、第１の学習器３１へと送られる。この第１の学習器３１では、機械学習を利用することにより、参照用画像から判別対象となる領域を抽出する。この判別対象としては、例えば建築構造物や土木構造物中に発生した亀裂、医療用の画像中に現れる癌、監視画像中に現れる人物の顔等、ユーザが判別を望むあらゆる対象を含む。

【0026】

第１の学習器３１は、参照用画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、判別対象を抽出する。例えば、判別対象が建築構造物中に発生した亀裂である場合、その亀裂の画像の特徴量を予め求めておく。そして、参照用画像から抽出した特徴量との合致度を求める。そして、この求めた合致度に基づいて参照用画像に映し出された参照用の被写体が、判別対象としての建築構造物中に発生した亀裂であるか否かを判定する。

【0027】

かかる場合において、この第１の学習器３１をディープラーニングを利用して解析するようにしてもよい。

【0028】

この第１の学習器３１では、例えばGrad-CAM（登録商標）に示すように、特徴部位を可視化するツールにより可視化した画像を取得するようにしてもよい。例えば図４（ａ）に示すように、判別対象としての亀裂５１が画像上に映し出されているものとする。この特徴部位を可視化するツールでは、図４（ｂ）に示すように、画像上の特徴量に応じて、ヒートマップの濃淡で表示する。これにより、画像上の特徴部位がヒートマップで強調することが可能となる。判別対象を特徴部位とするのであれば、これを可視化した画像を得ることも可能となる。

【0029】

第１の学習器３１では、図４（ａ）に示す判別対象としの亀裂の画像領域を切り出し、抽出してもよいし、図４（ｂ）画像上の特徴部位の濃淡の画像領域を抽出するようにしてもよい。また、判別対象を切り出した画像領域と、特徴部位の濃淡の画像領域の双方を抽出するようにしてもよい。

【0030】

このようにして判別対象について切り出した画像領域、又は特徴部位の濃淡の画像領域を、以下、参照用対象画像領域という。例えば、被写体としての建築構造物中に含まれる亀裂を判別対象とした場合、この判別対象としての亀裂の画像領域を切り出したものや、当該亀裂を特徴部位とした濃淡の画像領域が参照用対象画像領域になる。このような参照用対象画像領域は、第２の学習器３２へ送られる。

【0031】

第２の学習器３２は、送られてきた参照用評価値と、参照用対象画像領域に基づいて、学習済みモデルを構築する。

【0032】

例えば図５に示すように、参照用評価値と、参照用対象画像領域との組み合わせが形成されていることが前提となる。

【0033】

図５の例では、例えば参照用評価値Ｐ０１〜Ｐ０３が、輝度○○、エッジの傾き○○等であるものとする。また参照用対象画像領域Ｐ１４〜Ｐ１７が、抽出した亀裂の画像領域の各画像であるものとする。

【0034】

入力データとしては、このような参照用評価値と、参照用対象画像領域が並んでいる。このような入力データとしての、参照用評価値に対して、参照用対象画像領域が組み合わさったものが、図５に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、撮影条件Ａ〜Ｅが表示されている。

【0035】

この撮影条件Ａ〜Ｅには、例えばフラッシュの条件、ズームの条件、撮影方向の条件等がそれぞれ規定される。

【0036】

参照用評価値と、参照用対象画像領域との各組み合わせ（中間ノード）は、この出力解としての、撮影条件Ａ〜Ｅに対して３段階以上の連関度を通じて互いに連関しあっている。参照用評価値と、参照用対象画像領域がこの連関度を介して左側に配列し、各撮影条件が連関度を介して右側に配列している。連関度は、左側に配列された参照用評価値と、参照用対象画像領域に対して、何れの撮影条件と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用評価値と、参照用対象画像領域が、いかなる撮影条件に紐付けられる可能性が高いかを示す指標であり、参照用評価値と、参照用対象画像領域から最も確からしい撮影条件を選択する上での的確性を示すものである。図５の例では、連関度としてｗ１３〜ｗ２２が示されている。このｗ１３〜ｗ２２は以下の表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としての撮影条件と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としての撮影条件と互いに関連度合いが低いことを示している。

【0037】

【表1】

【0038】

条件提案装置２は、このような図５に示す３段階以上の連関度ｗ１３〜ｗ２２を予め取得しておく。つまり条件提案装置２は、実際の撮影条件の探索を行う上で、参照用評価値と、参照用対象画像領域、並びにその場合の撮影条件がどの程度であったかのデータを蓄積しておき、これらを分析、解析することで図５に示す連関度を作り上げておく。

【0039】

例えば、参照用評価値Ｐ１１が輝度●△、エッジの傾き×○であり、かつ参照用対象画像領域Ｐ１４が亀裂の画像であるもののややぼやけたイメージである場合ものとする。このとき以前のデータにおいて、いかなる撮影条件に設定すると、判別対象の画像がより鮮明になるかを抽出する。これらのデータは、過去の撮影データから抽出するようにしてもよい。

【0040】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用評価値Ｐ０１で、かつ参照用対象画像領域Ｐ１４である場合に、いかなる撮影条件が好ましかったかを過去のデータから分析する。好ましい撮影条件ほど連関度をより高く設定し、好ましくない撮影条件ほど連関度をより低く設定する。例えば中間ノード６１ａの例では、撮影条件Ａと、撮影条件Ｂの出力にリンクしているが、以前の事例から撮影条件Ａが画像が鮮明であったため、撮影条件Ａにつながるｗ１３の連関度を７点に、撮影条件Ｂにつながるｗ１４の連関度を２点に設定している。

【0041】

また、この図５に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0042】

図５に示す連関度の例で、ノード６１ｂは、参照用評価値Ｐ０１に対して、参照用対象画像領域Ｐ１４の組み合わせのノードであり、撮影条件Ｃの連関度がｗ１５、撮影条件Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用評価値Ｐ０２に対して、参照用対象画像領域Ｐ１５、Ｐ１７の組み合わせのノードであり、撮影条件Ｂの連関度がｗ１７、撮影条件Ｄの連関度がｗ１８となっている。

【0043】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから新たに撮影条件を探索する際において、上述した学習済みデータを利用して撮影条件を探索することとなる。かかる場合には、撮像装置９により、新たに撮影条件を提案する被写体を撮像する。そして、画像生成ステップＳ１１において、この撮像装置９により撮像された被写体の画像を生成する。この画像は、ステップＳ１２において評価され、参照用評価値が算出される。このステップＳ１２における評価では、参照用画像と同様に、この新たに生成した画像についても輝度、エッジの強さ、エッジの傾き、類似度等の各評価値を算出する。このようにして得られた参照用評価値は第２の学習器３２へと送られる。

【0044】

またステップＳ１１において生成された画像は、第１の学習器３１へと送られる。この第１の学習器３１では、参照用画像と同様に、この新たに生成された画像についても特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、判別対象を抽出する。そして画像から抽出した特徴量と、予め判別対象に応じて求めておいた特徴量との合致度を求める。そして、この求めた合致度に基づいて画像に映し出された被写体が、判別対象が含まれているか否かを判定する。

【0045】

このようにして、判定した判別対象を、画像から切り出す。参照用対象画像領域が特徴部位の濃淡の画像領域で構成されている場合には、新たに生成された画像から同様に特徴部位の濃淡の画像領域を抽出する。この判別対象について切り出した画像領域、或いは特徴部位の濃淡の画像領域を、以下、対象画像領域という。例えば、被写体としての建築構造物中に含まれる亀裂を判別対象とした場合、この判別対象としての亀裂の画像領域を切り出したもの、或いは亀裂を特徴部位とした濃淡の画像領域が対象画像領域になる。このような対象画像領域は、第２の学習器３２へ送られる。

【0046】

第２の学習器３２は、新たに送られてきた評価値と、対象画像領域に基づいて、上述した学習済みモデルを参照し、最適な撮影条件を探索する。

【0047】

かかる場合には、予め取得した図５（表１）に示す連関度を参照する。例えば、新たに取得した評価値が参照用評価値Ｐ０２と同一かこれに類似するものである場合であって、対象画像領域が参照用対象画像領域Ｐ１７と同一又は類似である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、撮影条件Ｃがｗ１９、撮影条件Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度のもっと高い撮影条件Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる撮影条件Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0048】

また、入力から伸びている連関度ｗ１〜ｗ１２の例を以下の表２に示す。

【0049】

【表2】

【0050】

この入力から伸びている連関度ｗ１〜ｗ１２に基づいて中間ノード６１が選択されていてもよい。つまり連関度ｗ１〜ｗ１２が大きいほど、中間ノード６１の選択における重みづけを重くしてもよい。しかし、この連関度ｗ１〜ｗ１２は何れも同じ値としてもよく、中間ノード６１の選択における重みづけは何れも全て同一とされていてもよい。

【0051】

条件提案装置２は、このようにして探索された撮影条件を、表示部２３に出力するようにしてもよい。これにより、ユーザは、表示部２３に出力された撮影条件に撮像装置９を設定し、撮像を行うことが可能となる。その結果、特に欠陥や疵、シミ等、微細な判別対象の画像解析精度を向上させることが可能となる。

【0052】

特に第２の学習器３２では、エッジや輝度等といった評価値に応じて、実際の対象画像領域の画像精度が変わることから、これらを互いに説明変数とすることで、解の探索精度をより高めることができる。

【0053】

なお、本発明は、上述した実施の形態に限定されるものでは無く、第１の学習器３２における判別対象の判定正答率を判定精度として求め、この求めた判定精度に基づいて最適な撮影条件を探索するようにしてもよい。

【0054】

この判定正答率を求める方法としては、図４（ａ）に示すように、判別対象の対象画像領域の内容や画像位置も既知であるものとする。このとき、判別対象の対象画像領域の抽出を試み、特徴量に基づいて抽出した判別対象が、既知のものと比較して、内容や画像位置共に正確に検出できているかを判定する。そして、その正確に抽出できている割合を求める。仮に画像中に亀裂が１００個存在するのであれば、その亀裂の判別対象としたときの画像領域の内容と画像位置が既知であるとしたとき、これを特徴量に基づいて抽出することを試みる。その結果、９０個の亀裂を正確に抽出できたのであれば、判定正答率は９０％となる。

【0055】

このような判定正答率からなる判定精度について盛り込んだ、図６に示すような学習済モデルを予め作り上げておく。

【0056】

図６は、上述した参照用評価値と、参照用対象画像領域に加えて、更に参照用判定精度との組み合わせと、当該組み合わせに対する撮影条件との３段階以上の連関度が設定されている例を示している。参照用判定精度は、上述した判定精度について予め調査、分析することで得た学習用データであり、これを構成する判定正答率の求め方は上述と同様である。

【0057】

かかる場合において、連関度は、図６に示すように、参照用評価値と、参照用対象画像領域と、参照用判定精度との組み合わせの集合が上述と同様に中間ノードのノード６１ａ〜６１ｅとして表現されることとなる。

【0058】

例えば、図６において、ノード６１ｃは、参照用評価値Ｐ０２が連関度ｗ３で、参照用対象画像領域Ｐ１５が連関度ｗ７で、参照用判定精度Ｐ１２が連関度ｗ１１で連関している。同様にノード６１ｅは、参照用評価値Ｐ０３が連関度ｗ５で、参照用対象画像領域Ｐ１５が連関度ｗ８で、参照用判定精度Ｐ１１が連関度ｗ１０で連関している。

【0059】

このような連関度が設定されている場合も同様に、新たに取得した評価値と、対象画像領域と、判定精度とに基づいて探索解を判別する。

【0060】

この探索解を判別する上で予め取得した図６に示す連関度を参照する。例えば、取得した評価値が参照用評価値Ｐ０２に同一又は類似で、取得した対象画像領域が参照用対象画像領域Ｐ１５に対応し、更に取得した判定精度が参照用判定精度Ｐ１２に対応する場合、その組み合わせはノード６１ｃが関連付けられており、このノード６１ｃは、撮影条件Ｂが連関度ｗ１７で、また撮影条件Ｄが連関度ｗ１８で関連付けられている。このような連関度の結果、ｗ１７、ｗ１８に基づいて、実際に探索解を求めていくことになる。 このようにして、第１の学習器３１における判定精度を盛り込んで撮影条件を探索することにより、探索する撮影条件の探索精度を向上させることが可能となる。

【0061】

即ち、第１の学習器３１では、撮像した画像から対象画像領域として切り出すべき判別対象の判定正答率からなる判定精度を求める。そして、第２の学習器３２では、予め取得した参照用画像における判別対象の判定正答率からなる参照用判定精度とを有する組み合わせと、撮影条件との３段階以上の連関度を参照し、第１の学習器３１により求められた判定精度とに基づき、提案すべき撮影条件を探索する。

【0062】

なお、判定精度を求める上では、判別対象の対象画像領域について、特徴部位の濃淡の画像領域が、既知の判別対象の画像位置と比較して、正確に検出できているか否かを判定するようにしてもよい。

【0063】

また、判定精度を求める上では、探索条件を探索すべき画像を撮像した場合において、当該画像について判別対象をユーザ自身が検出し、判別対象の正解データを作る。そして、この画像について、実際に、特徴量に基づいて判別対象の検出を試み、或いはGrad-CAM（登録商標）等により特徴部位を濃淡で表すことで、判別対象の検出を試みる。そして、この検出した判別対象と、予め作っておいた正解データと見比べ、判定正答率を算出するようにしてもよい。

【0064】

更にこの判定精度を求める上では、特徴量に基づいて検出した対象画像領域と、Grad-CAM（登録商標）等により検出した特徴部位の濃淡との一致度を、上述した判定正答率として求めるようにしてもよい。

【0065】

また、本発明は、この条件提案装置２により探索された撮影条件を撮影条件制御部４へ送信するようにしてもよい。撮影条件制御部４は、受信した撮影条件に基づいて撮像装置９の撮影条件を制御する。つまり、撮像装置９による撮影は、その欠陥や疵、シミ等、微細な判別対象をより高精度に解析する上で好適な撮影条件に自動的に制御された状態で撮影を行うことが可能となる。

【0066】

なお、本発明では、建築構造物に発生した欠陥や疵以外に、医療診断における癌等の患部の検出等においても適用可能である。これら以外にも学習精度を上げる画像の検査であればあらゆるケースで利用することができる。

【0067】

また、本発明によれば、第１の学習器３１による判別精度を都度、表示部２３に出力するようにしてもよい。第１の学習器３１では、参照用画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較し、判別対象を抽出する。このとき、実際の第１の学習器３１による判定精度を百分率で表示するようにしてもよい。かかる場合には、判別対象が予め既知のサンプルとなる被写体を何種類か準備しておき、これについて実際に第１の学習器３１の学習済みモデルを利用して判別対象を判別する。このとき、判別対象の判定正答率を判定精度として、これを百分率で表示してもよい。

【0068】

また、本発明によれば、３段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した１０段階以外に、例えば０〜１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

【0069】

このような３段階以上の数値で表される連関度に基づいて最も確からしい撮影条件を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。

【0070】

これに加えて、本発明によれば、連関度が１％のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。

【0071】

更に本発明によれば、このような３段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が１％のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

【0072】

更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用評価値、参照用対象画像領域を初めとする各参照用情報を取得し、これらに対する撮影条件策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。

【0073】

つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。

【0074】

また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。

【0075】

また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。

【符号の説明】

【0076】

１ 撮影条件提案システム
２ 条件提案装置
３ データベース
４ 撮影条件制御部
９ 撮像装置
２１ 内部バス
２３ 表示部
２４ 制御部
２５ 操作部
２６ 通信部
２７ 判別部
２８ 記憶部
３１ 第１の学習器
３２ 第２の学習器
６１ 中間ノード

【要約】

【課題】画像解析精度を向上させるために、最適な撮影条件を人工知能を利用して探索する。
【解決手段】被写体の画像の評価値を算出する評価値算出部と、被写体の画像の特徴量を抽出し、判別対象についての１以上の画像について予め求めておいた特徴量と比較することにより、画像から判別対象について対象画像領域を切り出す第１の学習器３１と、予め取得した参照用画像の参照用評価値と、参照用画像の特徴量に基づいて上記判別対象について切り出した参照用対象画像領域とを有する組み合わせと、撮影条件との３段階以上の連関度を参照し、算出された評価値と、第１の学習器３１により切り出された対象画像領域とに基づき、提案すべき撮影条件を探索する第２の学習器３２とを有する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】