特許 6960997 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6960997

(24)【登録日】2021年10月14日

(45)【発行日】2021年11月5日

(54)【発明の名称】画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211025BHJP

   H04N 1/387 20060101ALI20211025BHJP

   G06T 1/00 20060101ALI20211025BHJP

   G06T 3/00 20060101ALI20211025BHJP

【ＦＩ】

   G06T7/00 610B

   H04N1/387

   G06T1/00 300

   G06T3/00 780

【請求項の数】21

【全頁数】42

(21)【出願番号】特願2019-535016(P2019-535016)

(86)(22)【出願日】2018年6月26日

(86)【国際出願番号】JP2018024200

(87)【国際公開番号】WO2019031086

(87)【国際公開日】20190214

【審査請求日】2020年2月4日

(31)【優先権主張番号】特願2017-154305(P2017-154305)

(32)【優先日】2017年8月9日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】堀田 修平

【審査官】 橘 高志

(56)【参考文献】

【文献】 特開２００７−３０５０５０（ＪＰ，Ａ）

【文献】 特開２０１０−２５８６７３（ＪＰ，Ａ）

【文献】 特開２０１６−０９９２３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

画像に含まれる検出対象である構造体の損傷を検出する検出処理、及び複数の画像の対応関係を算出して前記対応関係に基づいて前記複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理システムであって、
被写体を撮像した画像を取得する画像取得部と、
前記画像取得部を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得部と、
前記画質判断情報取得部を用いて取得した画質判断情報を用いて、前記画像取得部を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定部と、
前記画像処理対象領域決定部を用いて決定した画像処理対象領域に対して、前記検出処理、及び前記合成処理の少なくともいずれか一方を実行する画像処理部と、を備え、
前記画像処理対象領域決定部は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、前記二以上の前記仮画像処理対象領域の論理積として表される領域を前記画像処理対象領域として決定する画像処理システム。

【請求項2】

前記画質判断情報取得部は、前記画像の撮像における撮像条件を取得する撮像条件取得部、及び前記画像を解析する解析部の少なくともいずれか一方を備え、
前記画像処理対象領域決定部は、前記画像の撮像条件、及び前記解析部の解析結果の少なくともいずれか一方を用いて前記仮画像処理対象領域を決定する請求項１に記載の画像処理システム。

【請求項3】

前記撮像条件取得部は、前記撮像条件として撮像角度、及びフォーカス位置を取得し、
前記画像処理対象領域決定部は、前記撮像角度、及び前記フォーカス位置に基づいて定められた前記画像の非端部を前記仮画像処理対象領域として決定する請求項２に記載の画像処理システム。

【請求項4】

前記撮像条件取得部は、前記撮像条件として撮像角度、フォーカス位置、被写体距離、焦点距離、絞り値、及び許容錯乱円径を取得し、
前記画像処理対象領域決定部は、前記撮像角度、前記フォーカス位置、前記被写体距離、前記焦点距離、前記絞り値、及び前記許容錯乱円径に基づいて定められた前記画像の非端部を前記仮画像処理対象領域として決定する請求項２に記載の画像処理システム。

【請求項5】

前記被写体距離、前記焦点距離、前記絞り値、及び前記許容錯乱円径を用いて、撮像範囲における被写界深度を算出する被写界深度算出部と、
前記撮像角度、及び前記焦点距離を用いて、前記撮像範囲における焦点ずれの距離を表す焦点ずれ量を算出する焦点ずれ量算出部と、を備え、
前記画像処理対象領域決定部は、前記焦点ずれ量算出部を用いて算出された焦点ずれ量が、前記被写界深度算出部を用いて算出された被写界深度の範囲に収まる領域を前記仮画像処理対象領域として決定する請求項４に記載の画像処理システム。

【請求項6】

前記撮像条件取得部は、前記撮像条件としてレンズの種類、及びフォーカス位置を取得し、
前記画像処理対象領域決定部は、前記レンズの種類、及び前記フォーカス位置に基づいて、前記フォーカス位置が撮像範囲の中心部の場合は前記中心部を含む領域であり、前記レンズの特性から定められる領域を前記仮画像処理対象領域として決定し、前記フォーカス位置が撮像範囲の周辺部の場合は前記周辺部を含む領域であり、前記レンズの特性から定められる領域を前記仮画像処理対象領域として決定する請求項２に記載の画像処理システム。

【請求項7】

前記撮像条件取得部は、前記撮像条件としてストロボの発光の有無を取得し、
前記画像処理対象領域決定部は、前記ストロボから被写体へ照射されたストロボ光が到達したストロボ光到達領域を前記仮画像処理対象領域として決定する請求項２から６のいずれか一項に記載の画像処理システム。

【請求項8】

前記撮像条件取得部は、前記撮像条件として被写体距離を取得し、
前記画像処理対象領域決定部は、前記被写体距離に応じて定められた前記ストロボ光到達領域を前記仮画像処理対象領域として決定する請求項７に記載の画像処理システム。

【請求項9】

前記解析部は、解析対象の画像を複数の領域に分割して、前記領域ごとの空間周波数スペクトル分布を生成し、
前記画像処理対象領域決定部は、前記解析部を用いて生成された前記領域ごとの空間周波数スペクトル分布に基づいて定められた高画質の領域を前記仮画像処理対象領域として決定する請求項２から８のいずれか一項に記載の画像処理システム。

【請求項10】

前記解析部は、解析対象の画像を複数の領域に分割して、前記領域ごとの階調値のヒストグラムを生成し、
前記画像処理対象領域決定部は、前記解析部を用いて生成された前記領域ごとの階調値のヒストグラムに基づいて定められた高画質の領域を前記仮画像処理対象領域として決定する請求項２から９のいずれか一項に記載の画像処理システム。

【請求項11】

前記画質判断情報取得部を用いて取得される画質判断情報と前記仮画像処理対象領域との関係を対応付けて記憶した記憶部を備え、
前記画像処理対象領域決定部は、前記画質判断情報取得部を用いて取得した画質判断情報を用いて、前記画質判断情報に対応する前記仮画像処理対象領域を前記記憶部から取得する請求項１から１０のいずれか一項に記載の画像処理システム。

【請求項12】

前記画像処理部を用いて画像処理が施された画像を表示する画像表示部を備え、
前記画像表示部は、前記画像処理部を用いた画像処理の対象外とされた画像処理対象外領域を表示させる請求項１から１１のいずれか一項に記載の画像処理システム。

【請求項13】

前記画像処理対象領域決定部を用いて決定した前記画像処理対象領域を変更する画像処理対象領域変更部を備えた請求項１から１２のいずれか一項に記載の画像処理システム。

【請求項14】

前記画像処理部は、前記検出対象として、コンクリート部材のひび割れ、チョーク線、遊離石灰、漏水、剥離、鉄筋露出、浮き、鋼部材の亀裂、及び腐食の少なくともいずれか一つを検出する処理を実行する請求項１から１３のいずれか一項に記載の画像処理システム。

【請求項15】

サーバ装置と、
前記サーバ装置とネットワークを介して通信可能に接続されたクライアント装置と、を備え、
前記サーバ装置は、前記画像取得部、前記画質判断情報取得部、前記画像処理対象領域決定部、及び画像処理部を備えた請求項１から１４のいずれか一項に記載の画像処理システム。

【請求項16】

前記クライアント装置は、前記画像を表す画像データを前記サーバ装置へ送信する画像データ送信部を備えた請求項１５に記載の画像処理システム。

【請求項17】

画像に含まれる検出対象である構造体の損傷を検出する検出処理、及び複数の画像の対応関係を算出して前記対応関係に基づいて前記複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理システムに具備されるサーバ装置であって、
被写体を撮像した画像を取得する画像取得部と、
前記画像取得部を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得部と、
前記画質判断情報取得部を用いて取得した画質判断情報を用いて、前記画像取得部を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定部と、
前記画像処理対象領域決定部を用いて決定した画像処理対象領域に対して、前記検出処理、及び前記合成処理の少なくともいずれか一方を実行する画像処理部と、を備え、
前記画像処理対象領域決定部は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、前記二以上の前記仮画像処理対象領域の論理積として表される領域を前記画像処理対象領域として決定するサーバ装置。

【請求項18】

画像に含まれる検出対象である構造体の損傷を検出する検出処理、及び複数の画像の対応関係を算出して前記対応関係に基づいて前記複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理方法であって、
被写体を撮像した画像を取得する画像取得工程と、
前記画像取得工程において取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得工程と、
前記画質判断情報取得工程において取得した画質判断情報を用いて、前記画像取得工程において取得した画像における画像処理対象領域を決定する画像処理対象領域決定工程と、
前記画像処理対象領域決定工程において決定した画像処理対象領域に対して、前記検出処理、及び前記合成処理の少なくともいずれか一方を実行する画像処理工程と、を含み、
前記画像処理対象領域決定工程は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、前記二以上の前記仮画像処理対象領域の論理積として表される領域を前記画像処理対象領域として決定する画像処理方法。

【請求項19】

前記画質判断情報取得工程は、前記画像の撮像における撮像条件を取得する撮像条件取得工程、及び前記画像を解析する解析工程を含み、
前記画像処理対象領域決定工程は、前記撮像条件取得工程において取得した前記撮像条件に基づく前記画質判断情報を用いて決められた前記仮画像処理対象領域について、前記解析工程において解析処理を実行して前記画像処理対象領域を決定する請求項１８に記載の画像処理方法。

【請求項20】

画像に含まれる検出対象である構造体の損傷を検出する検出処理、及び複数の画像の対応関係を算出して前記対応関係に基づいて前記複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理プログラムであって、
コンピュータに、
被写体を撮像した画像を取得する画像取得機能、
前記画像取得機能を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得機能、
前記画質判断情報取得機能を用いて取得した画質判断情報を用いて、前記画像取得機能を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定機能、及び
前記画像処理対象領域決定機能を用いて決定した画像処理対象領域に対して、前記検出処理、及び前記合成処理の少なくともいずれか一方を実行する画像処理機能を実現させ、
前記画像処理対象領域決定機能は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、前記二以上の前記仮画像処理対象領域の論理積として表される領域を前記画像処理対象領域として決定する画像処理プログラム。

【請求項21】

請求項２０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラムに係り、特に画像処理に関する。

【背景技術】

【0002】

被写体を撮像し、撮像画像から被写体の検出対象を検出する技術が知られている。また、被写体を分割して撮像し、分割画像を合成して被写体の全体を表す合成画像を生成する技術が知られている。被写体の例として、建築物の壁が挙げられる。検出対象の例として、建築物の壁の損傷が挙げられる。損傷の例として、ひび割れ、及び穴等が挙げられる。

【0003】

ひび割れ等の損傷検出において、入力される撮像画像の一部の画質が悪い場合、画質が悪い部分は損傷を検出できないことがあり得る。また、損傷を検出できたとしても、検出精度が低くなることがあり得る。画質が悪い場合の例として、ピンぼけ、極端に明るい、極端に暗い、及び階調が潰れている等が挙げられる。

【0004】

分割画像を合成して合成画像を生成する場合において、損傷の検出結果を表す分割画像を合成する際に、二つの分割画像が重畳する合成画像の重畳領域において、二つの検出結果のうち画質が悪い方を採用して合成画像を生成してしまうことがあり得る。そうすると、画質がよい方の検出結果では損傷が検出できているのに、合成画像において損傷が検出できていないことになるおそれがある。

【0005】

また、二つの分割画像が重畳する合成画像の重畳領域に画質が悪い領域が存在する場合、画像合成処理において画質が悪い領域の画素を使用してしまうと、合成画像の画質も悪くなってしまう。

【0006】

合成画像において画質が悪い領域が存在せず、被写体の全体を網羅した撮像をしたいという課題に対して、特許文献１に記載の技術が知られている。

【0007】

特許文献１は、重複を許して複数の領域に分割して被写体を撮像し、重複部分における複数の分割画像の合焦状態を比較し、合焦状態が最も良好と判定された分割画像を用いて画像合成処理を行う画像入力装置が記載されている。

【0008】

また、合焦状態を比較する際に、高速フーリエ変換、及び離散コサイン変換等を用いて画素値を周波数領域に変換し、周波数領域におけるピーク周波数の大小関係に基づいて、ぼけ量の比較を定量的に行っている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００４−７２５３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

複数の原因に起因する画質の低下が発生する場合があり得る。しかしながら、特許文献１に記載の発明は、合焦状態の良否の判定の際に、複数の原因に起因する画質の低下について考慮されていない。

【0011】

本発明はこのような事情に鑑みてなされたもので、複数の原因に起因する画質の低下を考慮した画像処理対象領域の決定を可能とする画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために、次の発明態様を提供する。

【0013】

第１態様に係る画像処理システムは、画像に含まれる検出対象を検出する検出処理、及び複数の画像の対応関係を算出して対応関係に基づいて複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理システムであって、被写体を撮像した画像を取得する画像取得部と、画像取得部を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得部と、画質判断情報取得部を用いて取得した画質判断情報を用いて、画像取得部を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定部と、画像処理対象領域決定部を用いて決定した画像処理対象領域に対して、検出処理、及び合成処理の少なくともいずれか一方を実行する画像処理部と、を備え、画像処理対象領域決定部は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する画像処理システムである。

【0014】

第１態様によれば、二以上の画質判断情報のそれぞれに基づいて生成される、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する。これにより、複数の画質低下の原因が考慮された画像処理対象領域を決定することが可能である。

【0015】

画質の判断結果の一例として、判断対象の画像における合焦している領域、及び合焦していない領域を区別する情報が挙げられる。

【0016】

二以上の仮画像処理対象領域の論理積には、第一条件に基づいて第一仮画像処理対象領域を決定し、第一仮画像処理対象領域を対象として第二条件に基づいて第二仮画像処理対象領域を決定した場合の第二仮画像処理対象領域が含まれる。

【0017】

第２態様は、第１態様の画像処理システムにおいて、画質判断情報取得部は、画像の撮像における撮像条件を取得する撮像条件取得部、及び画像を解析する解析部の少なくともいずれか一方を備え、画像処理対象領域決定部は、画像の撮像条件、及び解析部の解析結果の少なくともいずれか一方を用いて仮画像処理対象領域を決定する構成としてもよい。

【0018】

第２態様によれば、画像の解析結果、及び撮像条件の少なくともいずれか一方を用いて仮画像処理対象領域を決定することが可能である。

【0019】

二つの仮画像処理対象領域は、撮像条件を用いて導出される第一仮画像処理対象領域、及び画質解析の結果を用いて導出される第二仮画像処理対象領域が含まれてもよい。二つの仮画像処理対象領域は、二つの解析結果を用いて導出してもよいし、二つの撮像条件を用いて導出してもよい。

【0020】

第３態様は、第２態様の画像処理システムにおいて、撮像条件取得部は、撮像条件として撮像角度、及びフォーカス位置を取得し、画像処理対象領域決定部は、撮像角度、及びフォーカス位置に基づいて定められた画像の非端部を仮画像処理対象領域として決定する構成としてもよい。

【0021】

第３態様によれば、撮像角度、及びフォーカス位置を用いて、仮画像処理対象領域を決定し得る。

【0022】

撮像角度は、被写体と撮像装置とを最短距離で結ぶ基準の方向に対する、撮像装置の光軸の方向を表す。撮像装置をチルト動作させた場合、撮像角度は基準の方向に対して上方向、又は下方向を向く角度となる。撮像装置をパン動作させた場合、撮像角度は基準の方向に対して左方向、又は右方向を向く角度となる。

【0023】

第４態様は、第２態様の画像処理システムにおいて、撮像条件取得部は、撮像条件として撮像角度、フォーカス位置、被写体距離、焦点距離、絞り値、及び許容錯乱円径を取得し、画像処理対象領域決定部は、撮像角度、フォーカス位置、被写体距離、焦点距離、絞り値、及び許容錯乱円径に基づいて定められた画像の非端部を仮画像処理対象領域として決定する構成としてもよい。

【0024】

第４態様によれば、撮像角度、フォーカス位置、被写体距離、焦点距離、絞り値、及び許容錯乱円径を用いて仮画像処理対象領域を決定することが可能である。

【0025】

第５態様は、第４態様の画像処理システムにおいて、被写体距離、焦点距離、絞り値、及び許容錯乱円径を用いて、撮像範囲における被写界深度を算出する被写界深度算出部と、撮像角度、及び焦点距離を用いて、撮像範囲における焦点ずれの距離を表す焦点ずれ量を算出する焦点ずれ量算出部と、を備え、画像処理対象領域決定部は、焦点ずれ量算出部を用いて算出された焦点ずれ量が、被写界深度算出部を用いて算出された被写界深度の範囲に収まる領域を仮画像処理対象領域として決定する構成としてもよい。

【0026】

第５態様によれば、焦点ずれ量が被写界深度の範囲に収まる領域を仮画像処理対象領域として決定し得る。

【0027】

第６態様は、第２態様の画像処理システムにおいて、撮像条件取得部は、撮像条件としてレンズの種類、及びフォーカス位置を取得し、画像処理対象領域決定部は、レンズの種類、及びフォーカス位置に基づいて、フォーカス位置が撮像範囲の中心部の場合は中心部を含む領域であり、レンズの特性から定められる領域を仮画像処理対象領域として決定し、フォーカス位置が撮像範囲の周辺部の場合は周辺部を含む領域であり、レンズの特性から定められる領域を仮画像処理対象領域として決定する構成としてもよい。

【0028】

第６態様によれば、レンズの特性に起因する像面湾曲が生じる場合に、フォーカス位置に基づいて、仮画像処理対象領域を決定し得る。

【0029】

レンズの種類ごとに、フォーカス位置と合焦領域との関係を記憶した記憶部を備えてもよい。画像処理対象領域決定部は、レンズの種類、及びフォーカス位置を用いて合焦領域を記憶部から読み出してもよい。

【0030】

第７態様は、第２態様から第６態様のいずれか一態様の画像処理システムにおいて、撮像条件取得部は、撮像条件としてストロボの発光の有無を取得し、画像処理対象領域決定部は、ストロボから被写体へ照射されたストロボ光が到達したストロボ光到達領域を仮画像処理対象領域として決定する構成としてもよい。

【0031】

第７態様によれば、ストロボ光が到達したストロボ光到達領域を仮画像処理対象領域として決定し得る。

【0032】

第８態様は、第７態様の画像処理システムにおいて、撮像条件取得部は、撮像条件として被写体距離を取得し、画像処理対象領域決定部は、被写体距離に応じて定められたストロボ光到達領域を仮画像処理対象領域として決定する構成としてもよい。

【0033】

第８態様によれば、被写体距離に基づいて定められたストロボ光到達領域を仮画像処理対象領域として決定し得る。

【0034】

被写体距離とストロボ光到達領域との関係を記憶した記憶部を備えてもよい。画像処理対象領域決定部は、被写体距離を用いてストロボ光到達領域を記憶部から読み出してもよい。

【0035】

第９態様は、第２態様から第８態様のいずれか一態様の画像処理システムにおいて、解析部は、解析対象の画像を複数の領域に分割して、領域ごとの空間周波数スペクトル分布を生成し、画像処理対象領域決定部は、解析部を用いて生成された領域ごとの空間周波数スペクトル分布に基づいて定められた高画質の領域を仮画像処理対象領域として決定する構成としてもよい。

【0036】

第９態様によれば、領域ごとの空間周波数のスペクトル分布に基づいて定められた高画質の領域を仮画像処理対象領域として決定し得る。

【0037】

第１０態様は、第２態様から第９態様のいずれか一態様の画像処理システムにおいて、解析部は、解析対象の画像を複数の領域に分割して、領域ごとの階調値のヒストグラムを生成し、画像処理対象領域決定部は、解析部を用いて生成された階調値のヒストグラムに基づいて定められた高画質の領域を仮画像処理対象領域として決定する構成としてもよい。

【0038】

第１０態様によれば、領域ごとの階調値のヒストグラムに基づいて定められた高画質の領域を仮画像処理対象領域として決定し得る。

【0039】

第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理システムにおいて、画質判断情報取得部を用いて取得される画質判断情報と仮画像処理対象領域との関係を対応付けて記憶した記憶部を備え、画像処理対象領域決定部は、画質判断情報取得部を用いて取得した画質判断情報を用いて、画質判断情報に対応する仮画像処理対象領域を記憶部から取得する構成としてもよい。

【0040】

第１１態様によれば、画質判断情報を用いて、画質判断情報に対応する仮画像処理対象領域を記憶部から取得し得る。

【0041】

第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理システムにおいて、画像処理部を用いて画像処理が施された画像を表示する画像表示部を備え、画像表示部は、画像処理部を用いた画像処理の対象外とされた画像処理対象外領域を表示させる構成としてもよい。

【0042】

第１２態様によれば、画像処理対象領域、及び画像処理対象外領域を把握し得る。

【0043】

第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理システムにおいて、画像処理対象領域決定部を用いて決定した画像処理対象領域を変更する画像処理対象領域変更部を備えた構成としてもよい。

【0044】

第１３態様によれば、予め決められた画像処理対象領域を変更することが可能である。これにより、画像処理対象領域の再決定が可能である。

【0045】

第１４態様は、第１態様から第１３態様のいずれか一態様の画像処理システムにおいて、画像処理部は、検出対象として、コンクリート部材のひび割れ、チョーク線、遊離石灰、漏水、剥離、鉄筋露出、浮き、鋼部材の亀裂、及び腐食の少なくともいずれか一つを検出する処理を実行する構成としてもよい。

【0046】

第１４態様によれば、被写体を撮像した画像を用いて、コンクリート部材のひび割れ、チョーク線、遊離石灰、漏水、剥離、鉄筋露出、浮き、鋼部材の亀裂、及び腐食の少なくともいずれか一つの検出が可能である。

【0047】

第１５態様は、第１態様から第１４態様のいずれか一態様の画像処理システムにおいて、サーバ装置と、サーバ装置とネットワークを介して通信可能に接続されたクライアント装置と、を備え、サーバ装置は、画像取得部、画質判断情報取得部、画像処理対象領域決定部、及び画像処理部を備えた構成としてもよい。

【0048】

第１５態様によれば、クライアントサーバ型ネットワークシステムにおけるサーバ装置を用いて、第１態様と同様の作用効果を得ることが可能である。

【0049】

第１６態様は、第１５態様の画像処理システムにおいて、クライアント装置は、画像を表す画像データをサーバ装置へ送信する画像データ送信部を備えた構成としてもよい。

【0050】

第１６態様によれば、クライアントサーバ型ネットワークシステムにおけるクライアント装置を用いて、サーバ装置へ画像データを送信し得る。

【0051】

第１７態様に係るサーバ装置は、画像に含まれる検出対象を検出する検出処理、及び複数の画像の対応関係を算出して対応関係に基づいて複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理システムに具備されるサーバ装置であって、被写体を撮像した画像を取得する画像取得部と、画像取得部を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得部と、画質判断情報取得部を用いて取得した画質判断情報を用いて、画像取得部を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定部と、画像処理対象領域決定部を用いて決定した画像処理対象領域に対して、検出処理、及び合成処理の少なくともいずれか一方を実行する画像処理部と、を備え、画像処理対象領域決定部は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定するサーバ装置である。

【0052】

第１７態様によれば、第１態様と同様の作用効果を得ることが可能である。

【0053】

第１７態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うサーバ装置の構成要素として把握することができる。

【0054】

第１８態様に係る画像処理方法は、画像に含まれる検出対象を検出する検出処理、及び複数の画像の対応関係を算出して対応関係に基づいて複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理方法であって、被写体を撮像した画像を取得する画像取得工程と、画像取得工程において取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得工程と、画質判断情報取得工程において取得した画質判断情報を用いて、画像取得工程において取得した画像における画像処理対象領域を決定する画像処理対象領域決定工程と、画像処理対象領域決定工程において決定した画像処理対象領域に対して、検出処理、及び合成処理の少なくともいずれか一方を実行する画像処理工程と、を含み、画像処理対象領域決定工程は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する画像処理方法である。

【0055】

第１８態様によれば、第１態様と同様の作用効果を得ることが可能である。

【0056】

第１８態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

【0057】

第１９態様は、第１８態様の画像処理方法において、画質判断情報取得工程は、画像の撮像における撮像条件を取得する撮像条件取得工程、及び画像を解析する解析工程を含み、画像処理対象領域決定工程は、撮像条件取得工程において取得した撮像条件情報を用いて決められた仮画像処理対象領域について、解析工程において解析処理を実行して画像処理対象領域を決定する構成としてもよい。

【0058】

第１９態様によれば、解析処理の対象を画質判断情報に基づく仮画像処理対象領域に限定し得る。これにより、解析処理の負荷の低減化が可能である。

【0059】

解析処理の負荷の低減化の例として、解析処理の高速化、解析工程を担う解析処理部の構成の簡素化が挙げられる。

【0060】

第２０態様に係る画像処理プログラムは、画像に含まれる検出対象を検出する検出処理、及び複数の画像の対応関係を算出して対応関係に基づいて複数の画像を合成する合成処理の少なくともいずれか一方を実行する画像処理プログラムであって、コンピュータに、被写体を撮像した画像を取得する画像取得機能、画像取得機能を用いて取得した画像における画質の判断結果を表す画質判断情報を取得する画質判断情報取得機能、画質判断情報取得機能を用いて取得した画質判断情報を用いて、画像取得機能を用いて取得した画像における画像処理対象領域を決定する画像処理対象領域決定機能、及び画像処理対象領域決定機能を用いて決定した画像処理対象領域に対して、検出処理、及び合成処理の少なくともいずれか一方を実行する画像処理機能を実現させ、画像処理対象領域決定機能は、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する画像処理プログラムである。

【0061】

第２０態様において、第２態様から第８態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理プログラムの構成要素として把握することができる。

【0062】

第２０態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有する画像処理装置であって、プロセッサは、被写体を撮像した画像を取得し、取得した画像における画質の判断結果を表す画質判断情報を取得し、画質判断情報を用いて、画像における画像処理対象領域を決定し、画像処理対象領域に対して、検出処理、及び合成処理の少なくともいずれか一方を実行し、画像処理対象領域を決定する際に、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出し、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する画像処理装置として構成し得る。

【0063】

メモリは、取得した画像、画質判断情報、仮画像処理対象領域、画像処理対象領域、及び検出処理、及び合成処理の少なくともいずれかを実行して得られた処理結果のうち、少なくともいずれか一つを記憶し得る。

【発明の効果】

【0064】

本発明によれば、二以上の画質判断情報のそれぞれに基づいて生成される、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する。これにより、複数の画質低下の原因が考慮された画像処理対象領域を決定することが可能である。

【図面の簡単な説明】

【0065】

【図1】図１は実施形態に係る画像処理システムのブロック図である。

【図2】図２は画像処理の具体例の説明図である。

【図3】図３は図１に示した画像処理システムにおいて、撮像条件を用いて画像処理対象領域を決定する場合のブロック図である。

【図4】図４は図１に示した画像処理システムにおいて、画質解析結果を用いて画像処理対象領域を決定する場合のブロック図である。

【図5】図５は解析領域の一例を示す図である。

【図6】図６は合焦領域における空間周波数スペクトル分布画像の模式図である。

【図7】図７は解析領域が正常画像の場合の空間周波数スペクトル分布画像の一例を示す図である。

【図8】図８は解析領域がぼけ画像の場合、又はぶれ画像の場合の空間周波数スペクトル分布画像の一例を示す図である。

【図9】図９は高周波数成分判定領域の一例を示す図である。

【図10】図１０は濃度ヒストグラムの一例を示す図である。

【図11】図１１は被写体の撮像の模式図である。

【図12】図１２はフォーカスエリアが撮像範囲の中心の場合における仮画像処理対象領域の一例を示す図である。

【図13】図１３はフォーカスエリアが撮像範囲の中心よりも下の位置の場合における仮画像処理対象領域の一例を示す図である。

【図14】図１４は焦点ずれ量と被写界深度との関係を示す模式図である。

【図15】図１５はフォーカスエリアが撮像範囲の中心の場合における被写界深度内領域の一例を示す図である。

【図16】図１６はフォーカスエリアが撮像範囲の中心よりも下の位置の場合における被写界深度内領域の一例を示す図である。

【図17】図１７はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響の一例を示す図である。

【図18】図１８はフォーカスエリアが撮像範囲の周辺部の場合における像面湾曲の影響の一例を示す図である。

【図19】図１９はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響を考慮したピンぼけしていない領域の一例を示す図である。

【図20】図２０はフォーカスエリアが撮像範囲の周辺部の場合における像面湾曲の影響を考慮したピンぼけしていない領域の一例を示す図である。

【図21】図２１はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響を考慮したピンぼけしていない領域の他の例を示す図である。

【図22】図２２はストロボ発光の際の明るい領域、及び暗い領域の一例を示す図である。

【図23】図２３は二つの仮画像処理対象領域の論理積に基づく画像処理対象領域の一例を示す図である。

【図24】図２４は画像合成処理の一例の説明である。

【図25】図２５は画像処理結果の表示例の説明である。

【図26】図２６はクライアントサーバ型ネットワークシステムへの適用例を示すブロック図である。

【図27】図２７は実施形態に係る画像処理方法の手順の流れを示すフローチャートである。

【図28】図２８は図２７に示した画像処理対象領域決定工程の手順の流れを示すフローチャートである。

【発明を実施するための形態】

【0066】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

【0067】

［画像処理システムの概要］
図１は実施形態に係る画像処理システムのブロック図である。図１に示した画像処理システム１０は、画像取得部１２、画質判断情報取得部１４、画像処理対象領域決定部１６、及び画像処理部１８を備えている。画像処理システム１０は、図示しない画像表示部を備えてもよい。

【0068】

〈画像取得部〉
画像取得部１２は、画像処理部１８を用いた画像処理の対象とされる画像データを取得する。画像データの例として、撮像装置を用いて被写体を撮像して得られた画像データが挙げられる。撮像装置の例として、カラー画像の撮像が可能な電子カメラが挙げられる。本明細書における撮像という概念は、撮影が含まれる。

【0069】

電子カメラに具備される撮像デバイスの例として、カラーＣＣＤリニアイメージセンサが挙げられる。ＣＣＤは、Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの省略語であり、電荷結合素子を指す。

【0070】

カラーＣＣＤリニアイメージセンサはＲ、Ｇ、及びＢ各色のカラーフィルタを備えた受光素子が直線状に配列したイメージセンサである。上記のＲは赤を表す。上記のＧは緑を表す。上記のＢは青を表す。

【0071】

カラーＣＣＤリニアイメージセンサに代えて、カラーＣＭＯＳリニアイメージセンサを用いることもできる。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの省略語であり、相補型金属酸化膜半導体を指す。

【0072】

〈画質判断情報取得部〉
画質判断情報取得部１４は、画像取得部１２を用いて取得した画像データ２０を取得する。画質判断情報取得部１４は、撮像条件の情報として、図１に示した画像データ２０のＥＸＩＦ情報２２を取得してもよい。ＥＸＩＦは、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの省略語である。

【0073】

画質判断情報取得部１４は、撮像条件として、ユーザが指定するユーザ指定情報２４、ユーザが選択するユーザ選択情報２６、及びセンサから取得するセンサ情報２８の少なくともいずれか一つを取得してもよい。

【0074】

すなわち、画像処理システム１０は、ＥＸＩＦ情報２２を取得するＥＸＩＦ情報取得部を備えてもよい。画像処理システム１０は、ユーザ指定情報２４を取得するユーザ指定情報取得部を備えてもよい。画像処理システム１０は、ユーザ選択情報２６を取得するユーザ選択情報取得部を備えてもよい。画像処理システム１０は、センサ情報２８を取得するセンサ情報取得部を備えてもよい。

【0075】

画像処理システム１０は、ＥＸＩＦ情報取得部、ユーザ指定情報取得部、ユーザ選択情報取得部、及びセンサ情報取得部の少なくともいずれか一つとして機能する撮像条件取得部を備えてもよい。なお、ＥＸＩＦ情報取得部、ユーザ指定情報取得部、ユーザ選択情報取得部、及びセンサ情報取得部の図示を省略する。撮像条件取得部は符号４０を付して図３に図示する。

【0076】

画質判断情報取得部１４は、取得した画像データ２０に対して画質解析処理を施し、画質解析結果３０を取得する。または、画質判断情報取得部１４は撮像条件を取得する。画質判断情報取得部１４は、画質解析結果３０、及び撮像条件の両者を取得してもよい。

【0077】

画質判断情報取得部１４は、画質解析結果３０、及び撮像条件の少なくともいずれか一方を用いて、画像データ２０が表す画像の画質を判断する。画質解析結果３０は、解析部を用いた画像の解析の解析結果の一例である。

【0078】

画質判断情報取得部１４は、画像データ２０が表す画像の画質の判断結果として、二種類の異なる画質判断情報である、第一画質判断情報３２Ａ、及び第二画質判断情報３２Ｂを生成する。なお、二種類の異なる画質判断情報は、二つの異なる画質判断情報と読み替えてもよい。

【0079】

第一画質判断情報３２Ａ、及び第二画質判断情報３２Ｂは、二種類の異なる画質解析結果３０を用いて生成されてもよい。第一画質判断情報３２Ａ、及び第二画質判断情報３２Ｂは、二種類の異なる撮像条件を用いて生成されてもよい。なお、二種類の異なる撮像条件は、二つの異なる撮像条件と読み替えてもよい。

【0080】

第一画質判断情報３２Ａは画質解析結果３０を用いて生成され、第二画質判断情報３２Ｂは撮像条件を用いて生成されてもよい。第一画質判断情報３２Ａは撮像条件を用いて生成され、第二画質判断情報３２Ｂは画質解析結果３０を用いて生成されてもよい。

【0081】

本実施形態では、二種類の画質判断情報が生成される態様を例示したが、二種類以上の画質判断情報が生成されればよく、三種類以上の画質判断情報が生成されてもよい。画質判断情報取得部１４を用いた画質判断の詳細は後述する。

【0082】

〈画像処理対象領域決定部〉
画像処理対象領域決定部１６は、第一画質判断情報３２Ａ、及び第二画質判断情報３２Ｂに基づいて、画像データ２０における画像処理対象領域を決定する。画像処理対象領域決定部１６は、第一画質判断情報３２Ａに基づいて第一仮画像処理対象領域を決定する。また、画像処理対象領域決定部１６は、第二画質判断情報３２Ｂに基づいて第二仮画像処理対象領域を決定する。すなわち、画像処理対象領域決定部１６は、二種類の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域を導出する。

【0083】

二以上の異なる仮画像処理対象領域の例として、撮像角度に起因するピンぼけ領域を除いた領域、レンズの特性に起因するピンぼけ領域を除いた領域、ストロボ発光に起因して暗くなった領域を除いた領域、明るすぎる領域を除いた領域、暗すぎる領域を除いた領域、及び階調が潰れている領域を除いた領域が挙げられる。

【0084】

画像処理対象領域決定部１６は、二以上の仮画像処理対象領域を統合する。統合の例として、二以上の仮画像処理対象領域の論理積として表される領域を画像処理対象領域として決定する例が挙げられる。画像処理対象領域決定部１６は、画像処理対象領域を表す画像処理対象領域情報３４を生成する。

【0085】

〈画像処理部〉
画像処理部１８は、画像データ２０、及び画像処理対象領域情報３４を取得する。画像処理部１８は、画像データ２０における画像処理対象領域について画像処理を施し、画像処理結果３６を生成する。

【0086】

画像処理部１８を用いた画像処理の例として、画像データ２０が表す画像に含まれる検出対象を検出する検出処理が挙げられる。画像処理部１８を用いた画像処理の他の例として、被写体を分割して撮像して得られた分割画像を合成する合成処理が挙げられる。

【0087】

〈画像処理の具体例〉
図２は画像処理の具体例の説明図である。図２に示した画像処理は、建築物のコンクリート製の壁を三分割して撮像して得られた三つの分割画像である、分割画像１００、分割画像１０２、及び分割画像１０４を合成する合成処理である。

【0088】

図２に示した分割画像１００、分割画像１０２、及び分割画像１０４は、被写体である壁の中心を通る法線上に撮像装置を配置し、撮像装置をパン動作させ、壁における撮像領域を変更して撮像して得られた画像である。ここでいう壁の中心は、厳密な中心位置でなくてもよく、おおよその中心位置であってもよい。

【0089】

分割画像１００において符号１０８、及び符号１１０を付して図示した領域は、ピンぼけ領域である。分割画像１０４において符号１１２、及び符号１１４を付して図示した領域は、ピンぼけ領域である。ピンぼけ領域とは、ピントが合わずにぼけてしまった領域である。ピンぼけ領域を除いた領域は、ピントが合っている合焦領域である。

【0090】

分割画像１００は、分割画像１００の横方向の両端部にピンぼけ領域１０８、及びピンぼけ領域１１０が存在する。分割画像１０４は、分割画像１０４の横方向の両端部にピンぼけ領域１１２、及びピンぼけ領域１１４が存在する。

【0091】

換言すると、分割画像１００の横方向の非端部、及び分割画像１０４の横方向の非端部は、合焦領域が存在する。非端部とは両端部を除いた領域である。上下方向についても、上下方向の両端部を除いた領域が上下方向の非端部である。

【0092】

一方、分割画像１０２はピンぼけ領域が存在していない。換言すると、分割画像１０２は横方向の全範囲に渡って合焦領域が存在する。

【0093】

分割画像の横方向とは、撮像装置をパン動作させた際に、被写体における撮像装置の光軸が移動する方向である。分割画像の縦方向とは、撮像装置をチルト動作させた際に、被写体における撮像装置の光軸が移動する方向である。なお、撮像装置の光軸は、撮像装置に具備される光学結像系の光軸を表す。

【0094】

分割画像１００と分割画像１０２とは、重複する領域が存在する。分割画像１０２と分割画像１０４とは、重複する領域が存在する。図２に示した合成画像１０６は、分割画像１００、分割画像１０２、及び分割画像１０４を合成する合成処理が施されて生成された合成画像である。

【0095】

合成画像１０６において、符号１１６を付した領域は分割画像１００と分割画像１０２との重畳領域である。合成画像１０６において、符号１１８を付した領域は分割画像１０２と分割画像１０４との重畳領域である。

【0096】

合成画像１０６の重畳領域１１６に分割画像１００のピンぼけ領域１１０の画素が含まれる場合、分割画像１００のピンぼけ領域１１０の画素に引っ張られて、合成画像１０６における重畳領域１１６がぼけてしまう。

【0097】

同様に、合成画像１０６の重畳領域１１８に分割画像１０４のピンぼけ領域１１２の画素が含まれる場合、分割画像１０４のピンぼけ領域１１２の画素に引っ張られて、合成画像１０６における重畳領域１１８がぼけてしまう。

【0098】

本実施形態に係る画像処理システムは、合成画像１０６の重畳領域１１６について、ピンぼけが発生していない分割画像１０２の画素を使用する。また、合成画像１０６の重畳領域１１８について、ピンぼけが発生していない分割画像１０２の画素を使用する。これにより、合成画像１０６の重畳領域１１６、及び重畳領域１１８におけるぼけの発生を回避し得る。

【0099】

［撮像条件を用いた画像処理対象領域の決定の説明］
図３は図１に示した画像処理システムにおいて、撮像条件を用いて画像処理対象領域を決定する場合のブロック図である。図３に示した画像処理システム１０は、図１に示した画質判断情報取得部１４として、撮像条件取得部４０を備えている。また、図３に示した画像処理システム１０は、画像処理対象領域データベース４２を備えている。

【0100】

撮像条件取得部４０は、撮像条件として、撮像角度、被写体距離、焦点距離、絞り値、許容錯乱円径、レンズの種類、カメラの機種、フォーカス位置、及びストロボ発光の有無などの少なくともいずれか一つの条件を取得し得る。

【0101】

撮像条件取得部４０は、撮像条件として、画像取得部１２から送信されるＥＸＩＦ情報２２に含まれる撮像条件を取得してもよい。撮像条件取得部４０は、撮像条件として、ユーザが指定した撮像条件、ユーザの選択した撮像条件、及びセンサを用いて得られた撮像条件を取得してもよい。撮像条件取得部４０は、カメラの機種と紐付けされた撮像条件を取得してもよい。

【0102】

撮像条件取得部４０は、撮像条件を表す撮像条件情報４４を画像処理対象領域決定部１６へ送信する。撮像条件情報４４は、図１に示した第一画質判断情報３２Ａ、または第二画質判断情報３２Ｂの一例である。

【0103】

画像処理対象領域データベース４２は、撮像条件と仮画像処理対象領域との関係がデータベース化されて記憶されている。画像処理対象領域決定部１６は、画像処理対象領域データベース４２を用いて、撮像条件をインデックスとして、撮像条件に対応する仮画像処理対象領域の取得が可能である。

【0104】

画像処理対象領域決定部１６は、画像処理対象領域データベース４２から取得した撮像条件に対応する仮画像処理対象領域を用いて、画像処理部１８を用いた画像処理の対象とされる画像処理対象領域を決定する。画像処理対象領域データベース４２は、画質判断情報と仮画像処理対象領域との関係を対応付けて記憶した記憶部の一例である。

【0105】

すなわち、画像処理対象領域決定部１６は、撮像条件を用いて、一以上の仮画像処理対象領域を決定する。

【0106】

画像処理対象領域決定部１６は、撮像条件に基づく仮画像処理対象領域と、図１に示した画質解析結果３０に基づく仮画像処理対象領域との論理積で表される領域を画像処理対象領域と決定し得る。

【0107】

画像処理対象領域決定部１６は、二種類以上の異なる撮像条件を用いて、二以上の異なる仮画像処理対象領域を決定してもよい。画像処理対象領域決定部１６は、二以上の異なる仮画像処理対象領域の論理積として表される領域を画像処理対象領域と決定し得る。

【0108】

画像処理対象領域決定部１６は、画像処理対象外領域を決定してもよい。画像処理対象外領域は、画像処理部１８を用いた画像処理の対象外とされる領域である。図４に示す画像処理システム１０における画像処理部１８についても同様である。

【0109】

画像処理対象領域決定部１６は、画像処理対象領域情報３４を画像処理部１８へ送信する。画像処理部１８は、画像データ２０、及び画像処理対象領域情報３４に基づいて画像処理を実行し、画像処理結果３６を出力する。

【0110】

［撮像条件の具体例］
図３に示した撮像条件取得部４０を用いて取得される撮像情報の具体例について説明する。ユーザが指定する撮像情報、又はユーザが選択する撮像情報の具体例として、カメラの機種、レンズの種類、撮像位置の条件、及びカメラの設定が挙げられる。カメラの設定はレンズの設定としてもよい。

【0111】

カメラの機種から、カメラごとの撮像素子のサイズを把握し得る。撮像素子のサイズは、許容錯乱円径として被写界深度の算出に用いることが可能である。レンズが交換式でないカメラの場合、カメラの機種から、カメラごとのレンズの特性を把握し得る。レンズの特性は、像面湾曲の有無の判断に用いることが可能である。

【0112】

図３に示した画像処理対象領域データベース４２は、カメラの機種と撮像素子のサイズとの関係がデータベース化されて記憶されてもよい。図３に示した画像処理対象領域データベース４２は、レンズが交換式でないカメラについて、カメラの機種とレンズの特性との関係がデータベース化されて記憶されてもよい。

【0113】

ユーザが、撮像素子のサイズ自体を指定、又は選択してもよい。ユーザが、レンズの特性自体を指定、又は選択してもよい。

【0114】

レンズが交換式のカメラの場合、撮像条件としてレンズの種類を取得してもよい。レンズの種類から、レンズの特性を把握し得る。レンズの特性は、像面湾曲の有無の判断に用いることが可能である。

【0115】

図３に示した画像処理対象領域データベース４２は、レンズの種類とレンズの特性との関係がデータベース化されて記憶されてもよい。レンズの特性自体を指定、又は選択してもよい。

【0116】

撮像位置の条件から、被写体距離、及び撮像角度の少なくともいずれか一方を把握し得る。被写体距離、及び撮像角度の詳細は後述する。

【0117】

カメラの設定、又はレンズの設定から、フォーカス位置、焦点距離、絞り値、及びストロボ発光の有無の少なくともいずれか一つを把握し得る。

【0118】

画像のメタデータから取得し得る撮像条件の具体例として、カメラの機種、レンズの種類、及びカメラの設定が挙げられる。カメラの設定はレンズの設定としてもよい。画像のメタデータとは、画像データ自体ではなく、画像データに関連する情報である。メタデータの例として、図１、及び図３に示したＥＸＩＦ情報２２が挙げられる。

【0119】

カメラの機種、レンズの種類、並びにカメラの設定、又はレンズの設定については、既に説明したとおりである。ここでは、カメラの機種、レンズの種類、並びにカメラの設定、又はレンズの設定の詳細についての説明は省略する。

【0120】

センサを用いて取得し得る撮像条件の具体例として、撮像位置、及び撮像角度が挙げられる。撮像位置の条件から被写体距離を把握し得る。ロボットを用いた撮像の場合、図３に示した撮像条件取得部４０は、ロボットに備えられる各種センサから得られる情報を取得し得る。各種センサの例として、被写体距離を測定するセンサ、及び撮像角度を測定するセンサなどが挙げられる。被写体距離は撮像装置のレンズから被写体までの距離として測定される。被写体距離は、メジャー等の計測補助器具を用いて撮影者が測定してもよい。被写体距離は、レーザ測距計等の測定器を用いて測定してもよい。撮像角度は、角度計等の測定器を用いて測定してもよい。撮像角度は、水平方向における撮像装置と被写体との間の距離、及び撮像装置の光軸方向における撮像装置と被写体との間の距離から、三角関数を用いて導出してもよい。

【0121】

［画質解析結果を用いた画像処理対象領域の決定の説明］
図４は図１に示した画像処理システムにおいて、画質解析結果を用いて画像処理対象領域を決定する場合のブロック図である。図４に示した画像処理システム１０は、図１に示した画質判断情報取得部１４として、画質解析結果取得部５０を備えている。また、図４に示した画像処理システム１０は、画像処理対象領域決定部１６に対して閾値を入力する閾値入力部を備えている。なお、閾値入力部の図示は省略する。

【0122】

図４に示した画質解析結果取得部５０は、画像データ２０に対して複数の解析領域を設定し、解析領域ごとに画質解析を実行し、画質解析結果３０を取得する。画質解析の例として、空間周波数のスペクトル分布の生成、グレースケール画像における濃度値のヒストグラムである濃度ヒストグラムの生成が挙げられる。画質解析結果取得部５０は解析部の一例である。

【0123】

解析領域ごとの空間周波数のスペクトル分布からピンぼけ、及びぶれの判断情報を取得し得る。解析領域ごとのグレースケール画像における濃度ヒストグラムから暗すぎる領域、明るすぎる領域、及び階調が潰れている領域の判断情報を取得し得る。画質判断情報取得部１４は、取得した画質解析結果３０を画像処理対象領域決定部１６へ送信する。

【0124】

画像処理対象領域決定部１６は、画質解析結果３０に対して閾値５４を設定して、一以上の仮画像処理対象領域を決定する。閾値５４は、予め定められた既定値でもよいし、ユーザが指定する指定値でもよい。

【0125】

画像処理対象領域決定部１６は、画質解析結果３０を用いて決定された仮画像処理対象領域と、撮像条件を用いて決定された仮画像処理対象領域との論理積をとして表される領域を画像処理対象領域と決定してもよい。

【0126】

画像処理対象領域決定部１６は、二種類以上の異なる画質解析結果を用いて、二以上の異なる仮画像処理対象領域を決定してもよい。画像処理対象領域決定部１６は、二種類の異なる画質解析結果を用いて決定された二以上の異なる仮画像処理対象領域の論理積として表される領域を画像処理対象領域と決定してもよい。

【0127】

画像処理対象領域決定部１６は、画像処理対象領域情報３４を画像処理部１８へ送信する。画像処理部１８は、画像データ２０、及び画像処理対象領域情報３４に基づいて画像処理を実行し、画像処理結果３６を出力する。

【0128】

図１から図４に示した各種処理部は、英語表記を用いてｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔと表現されることがある。プロセッサは、英語表記を用いてｐｒｏｃｅｓｓｏｒと表現されることがある。ここでいう処理部には、処理部の名称が使用されていない構成要素であっても、何らかの処理を実行する実質的な処理部が含まれる。

【0129】

各種のプロセッサには、プログラムを実行して各種処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサであるＰＬＤ、及びＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。

【0130】

なお、ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの省略語である。ＰＬＤは、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅの省略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの省略語である。

【0131】

一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の二つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡとの組み合わせによって構成されてもよい。また、複数の処理部を一つのプロセッサで構成してもよい。

【0132】

複数の処理部を一つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組み合わせで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。

【0133】

第二に、ＳｏＣなどに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

【0134】

なお、ＳｏＣは、システムオンチップの英語表記Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐの省略語である。ＩＣは、集積回路を表す英語表記Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの省略語である。電気回路は英語表記を用いてｃｉｒｃｕｉｔｒｙと表現されることがある。

【0135】

［画質解析の詳細な説明］
次に、図４に示した画質解析結果取得部５０を用いた画質解析について詳細に説明する。以下に、図２に示した分割画像１００における画質解析について説明する。

【0136】

図５は解析領域の一例を示す図である。図５に示した解析領域１５０は、画質解析の単位となる領域である。解析領域１５０は、分割画像１００に設定される複数の解析領域の任意の一つを表す。以下、符号を付さずに解析領域と記載した場合は、図５に一例を示した解析領域を表すこととする。

【0137】

本実施形態では、分割画像１００に対して縦方向、及び横方向のそれぞれについて、複数の解析領域が設定される。分割画像の分割は直交する任意の二方向のそれぞれについて分割してもよい。

【0138】

また、本実施形態は、正方形の解析領域１５０を例示したが、解析領域１５０の形状は、正方形以外の多角形、及び円などの任意の形状を適用してもよい。更に、解析領域１５０の画素数は、適宜定めることが可能である。

【0139】

図４に示した画質解析結果取得部５０は、複数の解析領域について、解析領域ごとに画質解析処理の結果を取得する。画質解析処理の結果の取得には、画質解析結果取得部５０を用いて実行された画質解析処理の結果を取得する態様が含まれる。

【0140】

〈画質解析処理の一例〉
次に、画質解析処理結果の一例として、解析領域ごとの空間周波数スペクトル分布の取得について説明する。空間周波数スペクトル分布の取得には、ＦＦＴが適用される。ＦＦＴは、高速フーリエ変換処理を表す英語表記ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍの省略語である。

【0141】

図６は解析領域が合焦領域の場合における空間周波数スペクトル分布画像の模式図である。空間周波数スペクトル分布画像１６０の中心１６２は空間周波数０を表す。空間周波数スペクトル分布画像１６０の隅１６４は最大空間周波数を表す。

【0142】

空間周波数スペクトル分布画像１６０の中心１６２の近傍である中心部は、低周波数成分のスペクトル１６６が存在する領域を表す。空間周波数スペクトル分布画像１６０の隅１６４の近傍である周辺部は、高周波数成分のスペクトル１６８が存在する領域を表す。

【0143】

ここで、空間周波数スペクトル分布画像１６０の中心１６２の近傍である中心部とは、空間周波数スペクトル分布画像１６０の中心１６２を含む領域である。中心部は低周波数成分に応じて定められる。

【0144】

空間周波数スペクトル分布画像１６０の隅１６４の近傍である周辺部は、空間周波数スペクトル分布画像１６０の隅１６４を含む領域である。周辺部は高周波数成分に応じて定められる。

【0145】

高周波数成分、及び低周波数成分は、画像の解像度に応じて適宜定められる。なお、高周波数成分、及び低周波数成分は相対的な周波数成分の関係が表現されればよい。空間周波数の単位は、長さの単位の逆数を用いて表される。長さの単位は、ミリメートルでもよいし、インチでもよい。

【0146】

図７は解析領域が正常画像の場合の空間周波数スペクトル分布画像の一例を示す図である。正常画像とはピンぼけしていない画像を意味する。解析領域が正常画像の場合、空間周波数スペクトル分布画像１６０は、低周波数成分のスペクトル１６６、及び高周波数成分のスペクトル１６８が存在している。

【0147】

図８は解析領域がぼけ画像の場合、又はぶれ画像の場合の空間周波数スペクトル分布画像の一例を示す図である。図８に示すように、解析領域がピンぼけしているぼけ画像の場合、又はぶれているぶれ画像の場合、空間周波数スペクトル分布画像１６０は、低周波数成分のスペクトル１６６が存在するが、高周波数成分のスペクトル１６８が存在しない。

【0148】

したがって、各解析領域から導出された空間周波数スペクトル分布画像１６０の高周波数成分のスペクトル１６６の有無に応じて、解析領域を仮画像処理対象領域とするか、又は画像処理対象外領域とするかを判定し得る。

【0149】

図７に示した空間周波数スペクトル分布画像１６０に対応する解析領域は、空間周波数スペクトル分布に基づいて定められた高画質の領域の一例である。図８に示した空間周波数スペクトル分布画像１６０に対応する解析領域は、空間周波数スペクトル分布に基づいて定められた低画質の領域の一例である。

【0150】

図９は高周波数成分判定領域の一例を示す図である。図９に示すように、空間周波数スペクトル分布画像１６０の各隅１６４から半径がｒ画素の範囲を高周波数成分判定領域１７０とする。

【0151】

高周波数成分判定領域１７０にスペクトルが存在する場合は、空間周波数スペクトル分布画像１６０に高周波数成分のスペクトルが存在すると判定し得る。空間周波数スペクトル分布画像１６０に高周波数成分のスペクトルが存在する場合は、解析領域はピンぼけしていない領域、又はぶれていない領域であると判定する。ピンぼけしていない解析領域、又はぶれていない解析領域は、仮画像処理対象領域として決定される。

【0152】

一方、高周波数成分判定領域１７０にスペクトルが存在しない場合は、空間周波数スペクトル分布画像１６０に高周波数成分のスペクトルが存在しないと判定し得る。空間周波数スペクトル分布画像１６０に高周波数成分のスペクトルが存在しない場合は、解析領域はピンぼけしている領域、又はぶれている領域であると判定する。ピンぼけしている解析領域、又はぶれている解析領域は、画像処理対象外領域として決定される。空間周波数スペクトル分布画像１６０は空間周波数スペクトル分布の一例である。

【0153】

高周波数成分判定領域１７０を決定するｒは判定閾値である。判定閾値は、予め定められた既定値としてもよいし、ユーザが指定し得る指定値としてもよい。判定閾値の例として、解析領域における縦方向の画素数の四分の一の画素数、又は横方向の画素数の四分の一の画素数が挙げられる。例えば、解析領域の縦方向の画素数が１００ピクセル、横方向の画素数が１００ピクセルの場合、判定閾値ｒを２５ピクセルとし得る。なお、ここでいう四分の一は例示であり、任意の割合を適用し得る。

【0154】

図９には、画素数を用いて判定閾値を表す例を示したが、判定閾値はミリメートル等の長さを用いてもよい。なお、画素数はピクセルと表してもよい。

【0155】

〈画質解析処理の他の一例〉
次に、画質解析処理結果の他の一例として、解析領域ごとの濃度ヒストグラムの取得について説明する。図１０は濃度ヒストグラムの一例を示す図である。図１０に示した濃度ヒストグラム１８０は、解析領域を、Ｒ、Ｇ、及びＢを用いて表されるカラー画像からグレースケール画像へ変換し、グレースケール画像の濃度ヒストグラムを計算して得られる。

【0156】

グレースケール画像の各画素の濃度値は、Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１を用いて計算される。上記式のＲは赤の濃度値を表す。Ｇは緑の濃度値を表す。Ｂは青の濃度値を表す。カラー画像からグレースケール画像へ変換はＲＧＢからグレースケールへの色変換ルックアップテーブルを適用可能である。カラー画像からグレースケール画像へ変換は一例であり、濃度ヒストグラムを計算可能な画像への変換を行う他の変換式を用いてもよい。

【0157】

図１０に示した解析領域の濃度ヒストグラム１８０の横軸は濃度値を表す。濃度ヒストグラム１８０の縦軸は度数である。濃度値は０から２５５までの相対値を用いて表されている。濃度値０は最も暗いことを表す。濃度値２５５は最も明るいことを表す。

【0158】

解析領域が暗すぎる場合、濃度ヒストグラム１８０の度数は、暗い側に偏る。解析領域が明るすぎる場合、濃度ヒストグラム１８０の度数は、明るい側に偏る。

【0159】

各解析領域の濃度ヒストグラムを用いて、解析領域ごとに明るすぎる領域であるか、暗すぎる領域であるかの判定が可能である。Ｇ（ｉ）を各濃度値のヒストグラムとする。ｉは濃度値を表す。本実施形態では、ｉは０以上２５５以下の整数が用いられる。

【0160】

明るすぎる領域の濃度値閾値をｋ_ｂとし、明るすぎる領域の画素閾値をｈ_ｂとする。下記の式１に示された条件を満足する解析領域は、明るすぎる領域と判定し得る。明るすぎる領域は、画像処理対象外領域に設定し得る。

【0161】

【数1】

【0162】

すなわち、解析領域の全画素数に対する濃度値がｋ_ｂ以上の画素の数の割合がｈ_ｂ以上の場合に、解析領域が明るすぎると判定される。明るすぎる領域の濃度値閾値ｋ_ｂ、及び明るすぎる領域の画素閾値ｈ_ｂは予め定められた既定値としてもよいし、ユーザが指定し得る指定値としてもよい。

【0163】

明るすぎる領域の濃度値閾値ｋ_ｂの例として２０５が挙げられる。明るすぎる領域の画素閾値ｈ_ｂの例として、０．５が挙げられる。かかる場合は、解析領域の全画素の５０パーセントが２０５以上の濃度値を有する場合、その解析領域は明るすぎる領域と判定される。明るすぎる領域は画像処理対象外領域に設定される。

【0164】

また、暗すぎる領域の濃度閾値をｋ_ｄとし、暗すぎる領域の画素閾値をｈ_ｄとする。下記の式２に示された条件を満足する解析領域は、暗すぎる領域と判定し得る。暗すぎる領域は、画像処理対象外領域に設定し得る。

【0165】

【数2】

【0166】

暗すぎる領域の濃度閾値ｋ_ｄの例として５０が挙げられる。暗すぎる領域の画素閾値ｈ_ｄの例として、０．５が挙げられる。かかる場合は、解析領域の全画素の５０パーセントが５０以下の濃度値を有する場合、その解析領域は暗すぎる領域と判定される。暗すぎる領域は画像処理対象外領域に設定される。

【0167】

一方、明るすぎる領域と判定されない領域、及び暗すぎる領域と判定されない領域は、仮画像処理対象領域に設定し得る。すなわち、上記式１に示した条件、及び上記式２に示した条件を満たしていない解析領域は、仮画像処理対象領域と設定され得る。

【0168】

明るすぎる領域と判定されない領域、及び暗すぎる領域と判定されない領域は、階調値のヒストグラムに基づいて定められた高画質の領域の一例である。濃度ヒストグラム１８０は、階調値のヒストグラムの一例である。

【0169】

シャドー側の階調に潰れがある解析領域は、濃度ヒストグラム１８０の濃度値０に度数が存在する。ハイライト側の階調に潰れがある解析領域は、濃度ヒストグラム１８０の濃度値２５５に度数が存在する。

【0170】

すなわち、シャドー側の階調潰れの判定閾値をＴ_ｄとし、Ｇ（０）＞Ｔ_ｄを満たす解析領域は、シャドー側の階調潰れ領域であると判定し得る。シャドー側の階調潰れ領域は、画像処理対象外領域に設定し得る。

【0171】

また、ハイライト側の階調潰れの判定閾値をＴ_ｂとし、Ｇ（２５５）＞Ｔ_ｂを満たす解析領域は、ハイライト側の階調潰れ領域であると判定し得る。ハイライト側の階調潰れ領域は、画像処理対象外領域に設定し得る。

【0172】

一方、シャドー側の階調潰れ領域と判定されない領域、及びハイライト側の階調潰れ領域と判定されない領域は、仮画像処理対象領域に設定し得る。すなわち、Ｇ（０）＞Ｔ_ｄ、及びＧ（２５５）＞Ｔ_ｂを満たしていない解析領域は、仮画像処理対象領域と設定され得る。

【0173】

Ｇ（０）＞Ｔ_ｄ、及びＧ（２５５）＞Ｔ_ｂを満たしていない解析領域は、階調値のヒストグラムに基づいて定められた高画質の領域の一例である。

【0174】

［撮像条件を用いた仮画像処理対象領域の決定の説明］
〈撮像角度、及びフォーカス位置を用いる例〉
次に、撮像条件を用いた仮画像処理対象領域の決定について説明する。先ず、撮像条件として、撮像角度、及びフォーカス位置を用いる例について説明する。

【0175】

図１１は被写体の撮像の模式図である。図１１には、撮像装置２００を用いた被写体２０２の撮像を模式的に図示した。分割画像２０４は、撮像装置２００の光軸の方向を水平方向と平行な方向として、被写体２０２を撮像して得られた画像である。

【0176】

分割画像２０６は、撮像装置２００をチルト動作させ、撮像装置２００の光軸を水平方向に対してα度だけ上方向へ向けて、被写体２０２を撮像して得られた画像である。分割画像２０８は、撮像装置２００をチルト動作させ、撮像装置２００の光軸を水平方向に対してβ度だけ上方向へ向けて、被写体２０２を撮像して得られた画像である。なお、角度α、角度βは、α＜βの関係を有している。

【0177】

図１２はフォーカスエリアが撮像範囲の中心の場合における仮画像処理対象領域の一例を示す図である。図１２には、橋脚２１０を主要被写体として撮像して得られた三枚の分割画像を図示する。図１２に符号２１２を付して図示した破線の円は、分割画像２０４、分割画像２０６、及び分割画像２０８のフォーカスエリアを表している。フォーカスエリアの中心がフォーカス位置となる。

【0178】

分割画像２０６、及び分割画像２０８に符号２１４を付した枠は、橋脚２１０に合焦しているピンぼけしていない領域と、橋脚２１０に合焦していないピンぼけしている領域との境界を表す。枠２１４の内側はピンぼけしていない領域であり、枠２１４の外側はピンぼけしている領域である。ピンぼけしていない領域は枠２１４が含まれる。

【0179】

図１２に示した分割画像２０６、及び分割画像２０８では、フォーカスエリア２１２から上下方向へ離れた領域が被写界深度から外れてピンぼけしている。分割画像２０６よりも上側の分割画像２０８であり、分割画像２０６よりも撮影角度が大きい分割画像２０８は、分割画像２０６よりもピンぼけ領域の面積が大きくなっている。

【0180】

図１３はフォーカスエリアが撮像範囲の中心よりも下の位置の場合における仮画像処理対象領域の一例を示す図である。図１３に示した分割画像２０４Ａのフォーカスエリア２１２は、図１２に示した分割画像２０４のフォーカスエリア２１２よりも下の位置となっている。図１３に示した分割画像２０６Ａ、及び分割画像２０８Ａについても同様である。

【0181】

図１３に示した分割画像２０６Ａは、図１２に示した分割画像２０６よりもピンぼけしている領域の面積が大きい、図１３に示した分割画像２０８Ａも同様である。

【0182】

すなわち、フォーカス位置から被写体との角度が変化する方向に離れた領域は、被写界深度から外れてピンぼけする。撮像装置をチルト動作させて、撮像装置を基準として撮像装置の上下方向に撮像角度がついている場合、分割画像の上端部、及び下端部の少なくともいずれか一方がピンぼけする。

【0183】

撮像装置をパン動作させて、撮像装置を基準として撮像装置の左右方向に撮像角度がついている場合、分割画像の右端部、及び左端部の少なくともいずれか一方がピンぼけする。ここでいう上下方向は、縦方向と読み替えてもよい。また、左右方向は、横方向と読み替えてもよい。

【0184】

図１２に示した分割画像２０４のピンぼけしていない領域２０４Ｂ、分割画像２０６の符号２０６Ｂを付したピンぼけしていない領域、及び分割画像２０８の符号２０８Ｂを付したピンぼけしていない領域は、仮画像処理対象領域として決定し得る。

【0185】

フォーカス位置、及び撮像角度と、ピンぼけしていない領域との関係を予めデータベース化して、図３に示した画像処理対象領域データベース４２に記憶しておく。フォーカス位置、及び撮像角度を用いて、図３に示した画像処理対象領域データベース４２から分割画像におけるピンぼけしていない領域の情報を取得し得る。

【0186】

図１２に示した分割画像２０４、分割画像２０６、及び分割画像２０８における背景等の非主要被写体は、現実にピンぼけしている領域である。しかし、主要被写体に注目して処理が行われて最終成果物が生成されるので、主要被写体のぼけ、又はぶれに注目して仮画像処理対象領域を決めればよい。仮画像処理対象領域に非主要被写体が含まれていてもよい。

【0187】

換言すると、分割画像の全体を同一の平面として取り扱うことが可能であり、主要被写体のぼけ、又はぶれに基づいて分割画像における仮画像処理対象領域を決めることが可能である。

【0188】

〈被写界深度、及び焦点ずれ量を算出する例〉
次に、撮像条件を用いて仮画像処理対象領域を決定する他の例について説明する。以下に、撮像条件として、撮像角度、フォーカス位置、被写界深度、焦点距離、絞り値、及び許容錯乱円形を用いる例について説明する。

【0189】

具体的には、被写界深度、及び撮像範囲における焦点ずれの距離を表す焦点ずれ量を算出して、焦点ずれ量が被写界深度に収まる領域２２９を仮画像処理対象領域として決定する。焦点ずれ量が被写界深度に収まらない領域を画像処理対象外領域として決定する。なお、焦点ずれ量が被写界深度に収まらない領域の図示は省略する。

【0190】

図１４は焦点ずれ量と被写界深度との関係を示す模式図である。図１４に図示した符号Ｄ_Ｎは前方被写界深度を表す。符号Ｄ_ｆは後方被写界深度を表す。前方被写界深度Ｄ_Ｎは、以下の式３を用いて表される。後方被写界深度Ｄ_ｆは、以下の式４を用いて表される。被写界深度は、以下の式５を用いて表される。

【0191】

【数3】

【0192】

【数4】

【0193】

【数5】

【0194】

上記の式３における前方被写界深度Ｄ_Ｎ、上記の式４における後方被写界深度Ｄ_ｆ、上記の式５における被写界深度の単位がミリメートルの場合、上記の式３、及び式４における許容錯乱円径、被写体距離、焦点距離の単位はミリメートルである。

【0195】

許容錯乱円径は、許容錯乱円の直径を意味する。許容錯乱円径は、撮像装置２００に具備される撮像素子のサイズが適用される。

【0196】

図１４の符号２２０は撮像装置２００の合焦面を表す。符号２２０Ａを付した実線は、撮像装置２００の撮像範囲を表す。縦方向の撮像範囲は、被写体距離に縦方向のセンササイズを乗算した値を焦点距離で除算して算出される。縦方向の撮像範囲は長さを表す単位が用いられる。

【0197】

縦方向は、図１４に図示した合焦面２２０を表す破線が向く方向を表す。縦方向のセンササイズは、撮像装置２００に具備される撮像素子の縦方向におけるサイズである。

【0198】

また、横方向の撮像範囲は、被写体距離に横方向のセンササイズを乗算した値を焦点距離で除算して算出される。横方向の撮像範囲は長さを表す単位が用いられる。

【0199】

横方向は、縦方向と直交する方向であり、図１４の紙面を貫く方向を表す。横方向のセンササイズは、図１４に示した撮像装置２００に具備される撮像素子の横方向におけるサイズである。撮像角度θは、被写体面２０２Ａの法線の方向である被写体面垂直方向２２２と、撮像装置２００の光軸の方向２２４とのなす角度である。

【0200】

図１４に図示した符号２２６は、被写界深度の前端を表す。符号２２８は、被写界深度の後端を表す。符号２３０は、合焦面２２０の前方の焦点ずれ量を表す。符号２３２は、合焦面２２０の後方の焦点ずれ量を表す。焦点ずれ量は、被写体面２０２Ａから合焦面２２０までの距離として、幾何学計算を用いて計算することが可能である。

【0201】

図３に示した撮像条件取得部４０は、被写界深度算出部、及び焦点ずれ量算出部が具備される。なお、被写界深度算出部、及び焦点ずれ量算出部の図示は省略する。

【0202】

図１５はフォーカスエリアが撮像範囲の中心の場合における被写界深度内領域の一例を示す図である。図１５には、図１２に示した分割画像２０６において、被写界深度、及び焦点ずれ量に基づいて決められた仮画像処理対象領域２４０を示す。

【0203】

図１６はフォーカスエリアが撮像範囲の中心よりも下の位置の場合における被写界深度内領域の一例を示す図である。図１６には、図１３に示した分割画像２０６Ａにおいて、被写界深度、及び焦点ずれ量に基づいて決められた仮画像処理対象領域２４０Ａを示す。

【0204】

〈レンズの種類、及びフォーカス位置を用いる例〉
次に、撮像条件を用いて仮画像処理対象領域を決定する他の例について説明する。以下に、撮像条件として、レンズの種類、及びフォーカス位置を用いる例について説明する。撮像装置がレンズ固定式の場合、カメラの種類を用いてレンズの種類を特定し得る。

【0205】

図１７はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響の一例を示す図である。レンズの特性に起因する像面湾曲が発生する場合、撮像範囲２５０の中心２５２、又は中心２５２の近傍の位置において合焦し、撮像範囲２５０の周辺部２５４にピンぼけが発生する。

【0206】

図１８はフォーカスエリアが撮像範囲の周辺部の場合における像面湾曲の影響の一例を示す図である。レンズの特性に起因する像面湾曲が発生する場合、撮像範囲２５０の周辺部２５４において合焦する場合、撮像範囲２５０の中心２５２、又は撮像範囲２５０の中心２５２の近傍にピンぼけが発生する。なお、撮像範囲２５０の中心２５２の近傍は、撮像範囲２５０の中心２５２を含む範囲である。撮像範囲２５０の中心２５２の近傍は、レンズの種類に応じて決められる。

【0207】

図１９はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響を考慮したピンぼけしていない領域の一例を示す図である。図２０はフォーカスエリアが撮像範囲の周辺部の場合における像面湾曲の影響を考慮したピンぼけしていない領域の一例を示す図である。

【0208】

図１９、及び図２０は、図２に図示した分割画像１０２において、像面湾曲の影響を考慮したピンぼけしていない領域２６０の一例を示す。図１９、及び図２０に図示した符号２６２は、フォーカスエリアを表している。

【0209】

図２１はフォーカスエリアが撮像範囲の中心の場合における像面湾曲の影響を考慮したピンぼけしていない領域の他の例を示す図である。レンズの特性によっては、図２１に示したようなピンぼけしていない領域２６０が決定される場合があり得る。

【0210】

レンズの種類、及びフォーカス位置と、ピンぼけしていない領域との関係を予めデータベース化して、図３に示した画像処理対象領域データベース４２に記憶しておく。レンズの種類、及びフォーカス位置を用いて、図３に示した画像処理対象領域データベース４２から分割画像におけるピンぼけしていない領域の情報を取得し得る。

【0211】

図１９、及び図２１に示したピンボケしていない領域２６０は、中心部を含む領域であり、レンズの特性から定められる領域の一例である。図２０に示したピンボケしていない領域２６０は、周辺部を含む領域であり、レンズの特性から定められる領域の一例である。

【0212】

〈ストロボ発光の有無を用いる例〉
次に、撮像条件を用いて仮画像処理対象領域を決定する他の例について説明する。以下に、撮像条件として、ストロボ発光の有無を用いる例について説明する。具体的には、ストロボ発光の際に周辺部が暗くなるため、周辺部以外の明るい領域を仮画像処理対象領域とする。また、周辺部である暗い領域は画像処理対象外領域とする。

【0213】

図２２はストロボ発光の際の明るい領域、及び暗い領域の一例を示す図である。ストロボ発光の際に、ストロボから被写体へ照射されたストロボ光が届く領域である、ストロボ光到達領域２７０は、明るい領域となる。ストロボ発光の際にストロボ光が届かない領域であるストロボ光非到達領域２７２は、暗い領域となる。

【0214】

また、撮像装置におけるストロボの位置に起因して、暗くなり易い領域が相違する。例えば、ストロボが撮像装置の上部に配置される場合、撮像された画像における下側が暗くなり易い。被写体距離が相対的に短くなる場合は、明るい領域は相対的に小さくなる。一方、被写体距離が相対的に長くなる場合は、明るい領域は相対的に大きくなる。

【0215】

図２２に図示した符号２７４は、ストロボ光到達領域２７０と、ストロボ光非到達領域２７２との境界を表す。被写体距離が相対的に短くなる場合は、境界２７４は符号２７６を付した矢印線の向く方向へ移動する。

【0216】

すなわち、被写体距離が相対的に短くなる場合の境界２７４は、ストロボ光到達領域２７０の面積が相対的に小さくなり、ストロボ光非到達領域２７２の面積が相対的に大きくなる方向へ移動する。

【0217】

一方、被写体距離が相対的に長くなる場合は、境界２７４は符号２７８を付した矢印線の向く方向へ移動する。すなわち、被写体距離が相対的に長くなる場合の境界２７４は、ストロボ光到達領域２７０の面積が相対的に大きくなり、ストロボ光非到達領域２７２の面積が相対的に小さくなる方向へ移動する。

【0218】

被写体距離と、ストロボ光到達領域２７０、又はストロボ光非到達領域２７２との関係を予めデータベース化して、図３に示した画像処理対象領域データベース４２に記憶しておく。被写体距離を用いて、図３に示した画像処理対象領域データベース４２から分割画像におけるストロボ光到達領域２７０、又はストロボ光非到達領域２７２の情報を取得し得る。

【0219】

［画像処理対象領域の決定の説明］
次に、画像処理対象領域の決定について説明する。図２３は二つの仮画像処置領域の論理積に基づく画像処理対象領域の一例を示す図である。図２３には、図１２に示した分割画像２０６について、撮像角度を用いて決められた第一仮画像処理対象領域３００、及びレンズ特性を用いて決められた第二仮画像処理対象領域３０２を統合して決められた画像処理対象領域３０４を示す。図２３に図示した符号３１０は分割画像２０６におけるフォーカスエリアを表す。

【0220】

図２３に示した例では、分割画像２０６において、撮像角度に基づく第一仮画像処理対象領域３００を１とし、画像処理対象外領域３０６Ａを０とする。また、分割画像２０６において、レンズ特性に基づく第二仮画像処理対象領域３０２を１とし、画像処理対象外領域３０６Ｂを０とする。

【0221】

それぞれの要因の影響に基づく第一仮画像処理対象領域３００、及び第二仮画像処理対象領域３０２の論理積を用いて表される領域を、分割画像２０６の画像処理対象領域３０４とする。

【0222】

換言すると、分割画像２０６において、撮像角度に基づく第一仮画像処理対象領域３００を０とし、画像処理対象外領域３０６Ａを１とする。また、分割画像２０６において、レンズ特性に基づく第二仮画像処理対象領域３０２を０とし、画像処理対象外領域３０６Ｂを１とする。

【0223】

それぞれの要因の影響に基づく画像処理対象外領域３０６Ａ、及び画像処理対象外領域３０６Ｂの論理和を用いて表される領域を、分割画像２０６の画像処理対象外領域３０６とする。

【0224】

図２３の下段に示した分割画像２０６における画像処理対象領域３０４は、撮像角度の影響、及びレンズ特性の影響を重ね合わせて決められる。図２３には、二種類の異なる撮像条件を用いて決められた、二種類の異なる仮画像処理対象領域の論理積として画像処理対象領域が決められる例を例示した。

【0225】

画像処理対象領域は、画質解析結果を用いて決められた仮画像処理対象領域、及び撮像条件を用いて決められた仮画像処理対象領域を用いて決めてもよい。二種類の異なる画質解析結果を用いて決められた、二種類の異なる仮画像処理対象領域の論理積として、画像処理対象領域が決められてもよい。

【0226】

ここでいう論理積は、第一仮画像処理対象領域が決められた後に、第一仮画像処理対象領域に処理領域を限定して第二仮画像処理対象領域を決める態様を含み得る。例えば、分割画像について撮像条件に基づき第一仮画像処理対象領域を決定し、決定された第一仮画像処理対象領域を対象として画質解析結果を取得して、画像処理対象領域を決定してもよい。

【0227】

［画像処理］
本実施形態に係る画像処理方法は、損傷検出のみ、画像合成のみ、及び損傷検出と画像合成との両者が適用される。損傷検出と画像合成との両者には、損傷検出結果の合成が含まれる。以下に、損傷検出、及び画像合成について詳細に説明する。

【0228】

〈損傷検出処理〉
損傷検出処理は、撮像装置を用いて撮像して得られた画像における画像処理対象領域に対して、損傷の検出を実行する。損傷検出は、予め準備された損傷検出装置が適用される。損傷検出処理では、損傷検出装置を用いて画像処理対象領域について損傷検出が実行される。

【0229】

損傷検出の対象とされる被写体の例として、建築物の壁、柱、天井、及び窓などの構造体、並びに道路、樹木、岩壁、海面、船舶、及び車両などが挙げられる。

【0230】

建築物の壁、及び柱における損傷の例として、コンクリート部材のひび割れ、遊離石灰、漏水、剥離、鉄筋露出、浮き、鋼部材の亀裂、腐食、及び壁等に描かれたチョーク線などが挙げられる。損傷の他の例として、構造体における割れ、欠落、穴、変色、塗装の剥がれ、及び腐食などが挙げられる。

【0231】

〈画像合成処理〉
画像合成処理は、画像対応付け工程、及び画像貼り合わせ工程が含まれる。画像対応付け処理工程は、特徴点抽出工程、対応点抽出工程、及び射影変換行列計算工程が含まれる。

【0232】

画像対応付け処理は、分割画像の全体に対して実行される。画像貼り合わせ処理は、画像処理対象領域に限定して実行してもよいし、画像貼り合わせ処理は、画像処理対象領域を優先させて実行してもよい。

【0233】

画像貼り合わせ処理において、二つの分割画像にまたがる重畳領域は、ブレンディング処理、又は上書き処理が実行される。ブレンディング処理、又は上書き処理は、画像処理対象領域に含まれる画素に限定して実行される。

【0234】

ブレンディング処理は、予め定められたブレンディング処理規則に従って、重畳領域に含まれる二つの分割画像の画素をブレンドする処理である。上書き処理は、重畳領域を構成する二つの分割画像のいずれか一方の画素を用いて、重畳領域を上書きする処理である。換言すると、上書き処理は、重畳領域を構成する二つの分割画像のいずれか一方に置き替える処理である。

【0235】

但し、重畳領域が画像処理対象領域を含んでいない場合は、重畳領域の処理において、画像処理対象外領域の画素を使用してもよい。重畳領域が画像処理対象領域を含んでいない場合は、重畳領域の画素値を予め定められた値としてもよい。

【0236】

予め定められた値の例として、黒を表す画素値、及び白を表す画素値が挙げられる。黒を表す画素値の例として最小画素値が挙げられる。白を表す画素値の例として最大画素値が挙げられる。

【0237】

重畳領域以外の領域である単独の分割画像を用いて構成される単独領域は、各分割画像の画素が用いられる。

【0238】

図２４は画像合成処理の一例の説明である。以下に、図１２に示した分割画像２０４、分割画像２０６、及び分割画像２０８を合成する例について説明する。図２４の符号２０９は、分割画像２０４、分割画像２０６、及び分割画像２０８を合成して得られた合成結果を表す合成画像を指し示す。

【0239】

画像対応付け処理工程では、分割画像２０４、分割画像２０６、及び分割画像２０８と、合成画像２０９との対応付けが決められる。まず、特徴点抽出工程において、分割画像２０４、分割画像２０６、及び分割画像２０８のそれぞれの特徴点が抽出される。具体的には、特徴点の座標が抽出される。ここでいう座標とは、分割画像２０４、分割画像２０６、及び分割画像２０８に設定される座標である。例えば、二次元直交座標系における座標が挙げられる。

【0240】

次に、対応点抽出工程において、分割画像２０４、分割画像２０６、及び分割画像２０８のそれぞれの特徴点に対応する、合成画像２０９における対応点が抽出される。そして、射影変換行列計算工程では、分割画像２０４、分割画像２０６、及び分割画像２０８のそれぞれの特徴点の座標に対応する、合成画像２０９における対応点の座標が計算される。射影変換行列計算の詳細は、特開２００４−７２５３３号公報の段落００５３の記載を参照されたい。

【0241】

図２４に示した合成画像２０９における領域３２０は、分割画像２０４に対応する領域である。合成画像２０９における領域３２２は、分割画像２０６の下側の画像処理対象外領域２０６Ｄに対応する領域である。

【0242】

合成画像２０９における領域３２４は、分割画像２０６の画像処理対象領域２０６Ｂに対応する領域である。合成画像２０９における領域３２６は、分割画像２０６の上側の画像処理対象外領域２０６Ｃに対応する領域である。

【0243】

合成画像２０９における領域３２８は、分割画像２０８の画像処理対象外領域２０８Ｃに対応する領域である。合成画像２０９における領域３３０は、分割画像２０８の画像処理対象領域２０８Ｂに対応する領域である。

【0244】

このようにして、分割画像２０４、分割画像２０６、及び分割画像２０８と、合成画像２０９との対応関係が導出される。

【0245】

画像貼り合わせ工程では、分割画像２０４、分割画像２０６、及び分割画像２０８を貼り合わせる、貼り合わせ処理が実行される。合成画像２０９における重畳領域３５２は、ブレンディング処理、又は上書き処理が実行される。

【0246】

重畳領域３５２は、領域３５２Ａ、及び領域３５２Ｂから構成される。領域３５２Ａは、分割画像２０４と分割画像２０６の画像処理対象外領域とがまたがる領域である。領域３５２Ａは、分割画像２０４の画素が採用される。領域３５２Ｂは、分割画像２０４と分割画像２０６の画像処理対象領域２０６Ｂとがまたがる領域である。領域３５２Ｂは、分割画像２０４の画素を用いてもよいし、分割画像２０６の画像処理対象領域２０６Ｂの画素を用いてもよい。領域３５２Ｂは、分割画像２０４の画素、及び分割画像２０６の画像処理対象領域２０６Ｂの画素をブレンドしてもよい。

【0247】

重畳領域３５４は、領域３５４Ａ、及び領域３５４Ｂから構成される。領域３５４Ａは、分割画像２０６の画像処理対象領域２０６Ｂと分割画像２０８の画像処理対象外領域２０８Ｃとがまたがる領域である。領域３５４Ａは、分割画像２０６の画像処理対象領域２０６Ｂの画素が用いられる。

【0248】

領域３５４Ｂは、分割画像２０６の画像処理対象外領域２０６Ｃと、分割画像２０８の画像処理対象外領域２０８Ｃとがまたがる領域である。領域３５４Ｂは、分割画像２０６の画像処理対象外領域２０６Ｃの画素を用いてもよいし、分割画像２０８の画像処理対象外領域２０８Ｃの画素を用いてもよい。

【0249】

領域３５４Ｂは、分割画像２０６の画像処理対象外領域２０６Ｃの画素と、分割画像２０８の画像処理対象外領域２０８Ｃの画素とをブレンドしてもよい。領域３５４Ｂは、白を表す画素値、又は黒を表す画素値など、予め定められた画素値を適用してもよい。

【0250】

領域３５６Ａは、分割画像２０８の画像処理対象外領域２０８Ｃに対応する領域である。領域３５６Ａは、分割画像２０８の画像処理対象外領域２０８Ｃの画素を用いてもよいし、白を表す画素値、又は黒を表す画素値など、予め定められた画素値を適用してもよい。

【0251】

合成画像２０９における画像処理対象外領域３５６は、領域３５４Ｂ、及び領域３５６Ａから構成される。画像処理対象外領域３５６は、画像処理対象外領域の処理規則が用いられる。画像処理対象外領域の処理規則の例として、領域３５４Ｂに対する処理、及び領域３５６Ａに対する処理が挙げられる。

【0252】

画像貼り合わせ処理は、以下の処理規則が適用される。複数の画像処理対象領域が存在する場合は、ブレンディング処理、又は任意の一つの画像処理対象領域の画素を採用する。図２４に示す合成画像２０９では、領域３２４が該当する。

【0253】

一つの画像処理対象領域が存在する場合は、該当する画像処理対象領域の画素を採用する。図２４に示す合成画像２０９では、領域３４０、領域３４４、及び領域３５０が該当する。

【0254】

画像処理対象領域が存在しない場合は、ブレンディング処理、任意の一つの画像処理対象外領域の画素、又は予め定められた画素値を採用する。図２４に示す合成画像２０９では、領域３４６、及び領域３４８が該当する。

【0255】

〈損傷検出処理、及び画像合成処理〉
損傷検出処理、及び画像合成処理が実行される場合には、損傷検出結果を合成する処理が実行されてもよい。損傷検出結果を合成する例として、図２４に示した分割画像２０４、分割画像２０６、及び分割画像２０８のそれぞれについてひび割れの検出を実行し、ひび割れの検出がされた分割画像２０４、分割画像２０６、及び分割画像２０８を合成する例が挙げられる。

【0256】

ひび割れの検出がされた分割画像２０４、分割画像２０６、及び分割画像２０８を合成して得られた合成画像は、図２５に画像処理結果画像２０９Ｂとして図示する。

【0257】

損傷検出結果の合成は、分割画像の対応関係に基づいて損傷検出結果を合成する。分割画像の対応関係の例として射影変換行列が挙げられる。重畳領域では、画像処理対象領域に含まれるいずれか分割画像の検出結果を採用して合成する。

【0258】

損傷検出における画像処理対象領域は、画像合成処理における画像処理対象領域としてもよい。画像合成処理における画像処理対象領域は、損傷検出における画像処理対象領域とは別に導出してもよい。

【0259】

［画像処理結果の表示］
図２５は画像処理結果の表示例の説明である。図２５には、分割画像２０４、分割画像２０６、及び分割画像２０８を合成した合成画像であり、画像処理対象外領域を他の領域と区別して表示した画像処理結果画像２０９Ａを示す。

【0260】

図２５に示した画像処理結果画像２０９Ａ、又は画像処理結果画像２０９Ｂは、図示しない画像表示部に表示される。

【0261】

画像処理結果画像２０９Ａは、画像処理対象外領域２０９Ｃを表す枠が表示される。図２５に示す例では、画像処理対象外領域２０９Ｃは、分割画像２０６の画素、又は分割画像２０８の画素が採用されている。

【0262】

図２５に図示した画像処理結果画像２０９Ｂは、ひび割れの検出がされた分割画像２０４、分割画像２０６、及び分割画像２０８を合成して得られた合成画像である。画像処理結果画像２０９Ｂは、検出対象のひび割れ２０９Ｅがハイライト表示されている。画像処理結果画像２０９Ｂにおける画像処理対象外領域２０９Ｄは、ひび割れ２０９Ｅが表示されない。

【0263】

画像処理結果表示において、画像処理結果画像に画像処理対象領域が存在する場合に、分割画像における画像処理対象領域を変更し、再度、画像処理を実行してもよい。例えば、図２５に示した分割画像２０６の画像処理対象領域２０６Ｂを手動で変更してもよい。分割画像における画像処理対象領域の変更は、図示しない画像処理対象領域変更部を用いて実行される。

【0264】

分割画像における画像処理対象領域の変更は、撮像装置を用いて撮像角度などの撮像条件を変えて撮像し、新たに得られた分割画像について画像処理対象領域を設定する態様を適用してもよい。

【0265】

［作用効果］
上記の如く構成された画像処理システムによれば、二以上の画質判断情報のそれぞれに対応する二以上の仮画像処理対象領域である第一仮画像処理対象領域３００、及び第二仮画像処理対象領域３０２の論理積として表される領域を画像処理対象領域３０４として決定する。これにより、複数の画質低下の原因が考慮された画像処理対象領域３０４を決定することが可能である。

【0266】

仮画像処理対象領域は、撮像条件、及び画質解析結果の少なくともいずれか一方を用いて決定される。

【0267】

画質解析として、解析対象領域ごとに空間周波数スペクトル分布を取得し、高周波数成分の有無の判定を適用し得る。高周波数成分が存在する領域を仮画像処理対象領域として決定し得る。

【0268】

画質解析として、解析対象領域ごとに濃度値のヒストグラムを取得し、ヒストグラムの解析を適用し得る。ヒストグラムの度数の偏り、最小濃度値に度数が存在するか否か、最大濃度値に度数が存在するか否かに基づいて仮画像処理対象領域を決定し得る。

【0269】

撮像条件として、撮像角度、及びフォーカス位置を適用して、仮画像処理対象領域を決定し得る。また、撮像条件として、撮像角度、フォーカス位置、被写体距離、焦点距離、絞り値、及び許容錯乱円径を適用して、焦点ずれ量が被写界深度の範囲に収まる領域を仮画像処理対象領域として決定し得る。

【0270】

更に、撮像条件として、レンズの種類、及びフォーカス位置を適用して、レンズに像面湾曲がある場合の合焦領域を画像処理対象領域として決定し得る。レンズが固定式の撮像装置の場合、カメラの機種を用いてレンズの種類を特定してもよい。

【0271】

更にまた、撮像条件として、ストロボ発光の有無を適用して、ストロボ光が届く範囲を画像処理対象領域として決定し得る。更に、撮像条件として撮像距離を適用して、撮像距離に応じてストロボ光が届く範囲を調整して、画像処理対象領域を決定し得る。

【0272】

［クライアントサーバ型ネットワークシステムへの適用例］
図２６はクライアントサーバ型ネットワークシステムへの適用例を示すブロック図である。図２６に示した画像処理システム５００は、サーバ装置５０２、及び一つ以上のクライアント装置を備えている。図２６には、クライアント装置として、第一クライアント装置５０４、第二クライアント装置５０６、及び第三クライアント装置５０８を例示する。

【0273】

サーバ装置５０２は、ネットワーク５１０を介して、第一クライアント装置５０４、第二クライアント装置５０６、及び第三クライアント装置５０８と通信可能に接続されている。

【0274】

ネットワーク５１０は、公衆通信網、及びローカルエリアネットワークなど、任意の通信網を適用可能である。ローカルエリアネットワークは、英語表記Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの省略語であるＬＡＮと表現されることがある。

【0275】

サーバ装置５０２とネットワーク５１０との間のデータ通信は、有線方式のデータ通信を適用してもよいし、無線形式のデータ通信を適用してもよい。同様に、クライアント装置とネットワーク５１０との間のデータ通信は、有線方式のデータ通信を適用してもよいし、無線形式のデータ通信を適用してもよい。

【0276】

クライアント装置とネットワーク５１０との間のデータ通信は、サーバ装置５０２とネットワーク５１０との間のデータ通信と同じ形式を適用してもよいし、異なる形式を適用してもよい。

【0277】

なお、クライアント装置とは、図２６に示した第一クライアント装置５０４、第二クライアント装置５０６、及び第三クライアント装置５０８の総称である。クライアント装置という用語は、第一クライアント装置５０４、第二クライアント装置５０６、及び第三クライアント装置５０８の任意のいずれかを表すことがある。

【0278】

図２６に示したサーバ装置５０２は、一つ以上のコンピュータを用いて構成される。サーバ装置５０２は、図１、図３、及び図４に示した画像処理システム１０の機能を実現するハードウェアを適用し得る。サーバ装置５０２の構成例として、図１、図３、及び図４に示した機械学習データを取得する機能ブロック、及び画像処理を実行する機能ブロックを備える例が挙げられる。

【0279】

サーバ装置５０２は、図３に示した画像処理対象領域データベース４２の機能を実現するデータベースが記憶される記憶装置を備えてもよい。記憶装置は図２６に示したサーバ装置５０２に内蔵されてもよいし、記憶装置はサーバ装置５０２に外付けされてもよい。

【0280】

サーバ装置５０２は、通信インターフェースを備える。サーバ装置５０２は、通信インターフェースを用いてネットワーク５１０と接続される。サーバ装置５０２は、プログラム記憶部を備える。

【0281】

クライアント装置は、サーバ装置５０２に対して画像データを送信する画像データ送信部を備える。クライアント装置は、通信インターフェースを備える。クライアント装置は、通信インターフェースを用いてネットワーク５１０と接続される。図２６には、クライアント装置の例として、コンピュータを例示したが、クライアント装置は、携帯型端末装置を適用してもよい。

【0282】

［画像処理方法］
図２７は実施形態に係る画像処理方法の手順の流れを示すフローチャートである。本実施形態に係る画像処理方法は、画像取得工程Ｓ１０、画質判断情報取得工程Ｓ１２、画像処理対象領域決定工程Ｓ１４、画像処理工程Ｓ１６、及び画像出力工程Ｓ１８を含んで構成される。

【0283】

画像取得工程Ｓ１０では、図１に示した画像取得部１２を用いて、画像データ２０が取得される。図２７に示した画質判断情報取得工程Ｓ１２では、図１に示した画質判断情報取得部１４を用いて、二種類の異なる画質判断情報が生成され、取得される。図２７に示した画質判断情報取得工程Ｓ１２は、撮像条件を取得する撮像条件取得工程、及び画像を解析する解析工程の少なくともいずれか一方を含んでいてもよい。

【0284】

画像処理対象領域決定工程Ｓ１４では、図１に示した画像処理対象領域決定部１６を用いて、二種類の異なる画質判断情報に基づく画像処理対象領域を決定する。

【0285】

図２７に示した画像処理工程Ｓ１６では、図１に示した画像処理部１８を用いて、画像処理を実行する。図２７に示した画像出力工程Ｓ１８では、画像処理結果を出力する。画像出力工程Ｓ１８において画像処理結果が出力された後に、画像処理方法は終了される。

【0286】

図２８は図２７に示した画像処理対象領域決定工程の手順の流れを示すフローチャートである。図２７に示した画像処理対象領域決定工程Ｓ１４は、図２８に示した第一仮画像処理対象領域決定工程Ｓ１００、第二仮画像処理対象領域決定工程Ｓ１０２、及び画像処理対象領域決定工程Ｓ１０４を含んで構成される。

【0287】

第一仮画像処理対象領域決定工程Ｓ１００では、図１に示した画像処理対象領域決定部１６を用いて、画質解析結果３０、又は撮像条件を用いて、画像処理対象の画像における第一仮画像処理対象領域を決定する。

【0288】

図２８に示した第二仮画像処理対象領域決定工程Ｓ１０２では、図１に示した画像処理対象領域決定部１６を用いて、画質解析結果３０、又は撮像条件を用いて、画像処理対象の画像における第二仮画像処理対象領域を決定する。

【0289】

図２８に示した画像処理対象領域決定工程Ｓ１０４では、図１に示した画像処理対象領域決定部１６を用いて、第一仮画像処理対象領域と第二仮画像処理対象領域との論理積として表される画像処理対象領域を決定する。

【0290】

図２８に示した画像処理対象領域決定工程Ｓ１０４において、画像処理対象領域が決定された後に、図２７に示した画像処理工程Ｓ１６へ進む。画像処理工程Ｓ１６では、画像処理対象の画像に対して、検出対象の検出処理、及び画像合成処理の少なくともいずれか一方の処理が実行される。

【0291】

［画像処理プログラムへの適用例］
本実施形態に示した画像処理システム、及び画像処理方法に対応する画像処理プログラムを構成し得る。すなわち、コンピュータを、図１、図３、及び図４に示した画像処理システム１０の各部の機能を実現させる画像処理プログラムを構成し得る。

【0292】

例えば、１または複数のコンピュータ（プロセッサ）に、画像取得部に対応する画像取得機能、画質判断情報取得部に対応する画質判断情報取得機能、画像処理対象領域決定部に対応する画像処理対象領域決定機能、及び画像処理部に対応する画像処理機能を実現させる画像処理プログラムを構成し得る。このプログラムを記録したコンピュータ読み取り可能な記録媒体も、本実施形態に含まれる。

【0293】

［用語について］
本明細書における同一という用語は、厳密には相違する態様のうち、同一と概ね同様の作用効果が得られる実質的な同一とみなし得る態様が含まれる。

【0294】

本明細書における上という用語は、重力方向と反対方向を指し示す。下という用語は、重力方向を指し示す。上、及び下は、二者の相対的な位置関係を表すことがあり得る。

【0295】

本明細書における直交という用語は、交差する二方向のなす角度が厳密には９０度未満の場合、及び厳密には９０度を超える場合であるものの、交差する二方向のなす角度が９０度の場合と同様の作用効果を得ることが可能な実質的に直交が含まれる。

【0296】

本明細書における平行という用語は、二方向が厳密には非平行であるものの、二方向が厳密に平行である場合と同様の作用効果を得ることが可能な実質的に平行が含まれる。

【0297】

［実施形態及び変形例等の組み合わせについて］
上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【0298】

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

【符号の説明】

【0299】

１０、５００ 画像処理システム
１２ 画像取得部
１４ 画質判断情報取得部
１６ 画像処理対象領域決定部
１８ 画像処理部
２０ 画像データ
２２ ＥＸＩＦ情報
２４ ユーザ指定情報
２６ ユーザ選択情報
２８ センサ情報
３０ 画質解析結果
３２Ａ 第一画質判断情報
３２Ｂ 第二画質判断情報
３４ 画像処理対象領域情報
４０ 撮像条件取得部
４２ 画像処理対象領域データベース
４４ 撮像条件情報
５０ 画質解析結果取得部
５４ 閾値
１００、１０２、１０４ 分割画像
１０６ 合成画像
１０８ ピンぼけ領域
１１０、１１２、１１４ ピンぼけ領域
１１６、１１８ 重畳領域
１５０ 解析領域
１６０ 空間周波数スペクトル分布画像
１６２ 空間周波数スペクトル分布画像の中心
１６４ 空間周波数スペクトル分布画像の隅
１６６ 低周波数成分スペクトル
１６８ 高周波数成分スペクトル
１７０ 高周波数成分判定領域
１８０ 濃度ヒストグラム
２００ 撮像装置
２０２ 被写体
２０２Ａ 被写体面
２０４、２０４Ａ 分割画像
２０４Ｂ ピンぼけしていない領域
２０６、２０６Ａ 分割画像
２０６Ｂ、２０８Ｂ、３０４ 画像処理対象領域
２０６Ｃ、２０６Ｄ、２０８Ｃ、２０９Ｃ、２０９Ｄ、３０６、３０６Ａ、３０６Ｂ、３５６ 画像処理対象外領域
２０８、２０８Ａ 分割画像
２０９ 合成画像
２０９Ａ、２０９Ｂ 画像処理結果画像
２１０ 橋脚
２１２、２６２、３１０ フォーカスエリア
２１４ 枠
２２０ 合焦面
２２０Ａ 撮像範囲
２２２ 被写体面垂直方向
２２４ 撮像装置の光軸の方向
２２６ 被写界深度の前端
２２８ 被写界深度の後端
２３０ 合焦面の前方の焦点ずれ量
２３２ 合焦面の後方の焦点ずれ量
２４０、２４０Ａ 仮画像処理対象領域
２５０ 撮像範囲
２５２ 撮像範囲の中心
２５４ 撮像範囲の周辺部
２６０ ピンぼけしていない領域
２７０ ストロボ光到達領域
２７２ ストロボ光非到達領域
２７４ ストロボ光到達領域とストロボ光非到達領域との境界
２７６、２７８ 境界の移動方向
３００ 第一仮画像処理対象領域
３０２ 第二仮画像処理対象領域
３２０、３２２、３２４、３２６、３２８、３３０、３４０、３４２、３４４、３４６、３４８、３５０、３５２Ａ、３５２Ｂ、３５４Ａ、３５４Ｂ、３５６Ａ 領域
３５２、３５４ 重畳領域
５００ 画像処理システム
５０２ サーバ装置
５０４ 第一クライアント装置
５０６ 第二クライアント装置
５０８ 第三クライアント装置
５１０ ネットワーク
Ｓ１からＳ１８ 画像処理方法の各工程
Ｓ１００からＳ１１４ 画像処理対象領域決定工程の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】