特許 7263983 撮影漏れ検出装置、及び、撮影漏れ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-17

(45)【発行日】2023-04-25

(54)【発明の名称】撮影漏れ検出装置、及び、撮影漏れ検出方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230418BHJP

   G06T 7/00 20170101ALI20230418BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610Z

【請求項の数】 5

(21)【出願番号】P 2019157868

(22)【出願日】2019-08-30

(65)【公開番号】P2021036213

(43)【公開日】2021-03-04

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】野中 悠介

(72)【発明者】

【氏名】瀬川 英吾

【審査官】井上 徹

(56)【参考文献】

【文献】欧州特許第３７８６８８５（ＥＰ，Ｂ１）

【文献】米国特許第１１３２０３８６（ＵＳ，Ｂ２）

【文献】国際公開第２０１８／１６８４０６（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１５０８７２（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１１０２７９（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１０５３７３（ＷＯ，Ａ１）

【文献】特許第６４４１４２１（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００－Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００－Ｇ０６Ｔ ９／４０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／９０－Ｈ０４Ｎ ２３／９５９

Ｅ０１Ｄ １／００－Ｅ０１Ｄ ２４／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定する位置決定部と、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が前記撮影対象における損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち前記撮影対象における損傷部分の画像を含む部分画像の外側に前記撮影対象における損傷部分が連続していると推定される場合、前記撮影対象における損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出する撮影漏れ領域検出部と、
前記位置決定部で決定された位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する撮影漏れ報知部と、
を含む撮影漏れ検出装置。

【請求項2】

前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
請求項１に記載の撮影漏れ検出装置。

【請求項3】

前記部分画像の上下左右の辺に沿った所定幅の端部領域内に前記撮影対象における損傷部分の画像が存在する場合、前記部分画像の外側に前記撮影対象における損傷部分が連続していると推定する、
請求項１または請求項２に記載の撮影漏れ検出装置。

【請求項4】

所定の可視特徴の画像を検出する特徴検出部をさらに含み、
前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
請求項１～請求項３の何れか１項に記載の撮影漏れ検出装置。

【請求項5】

コンピュータが、
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が前記撮影対象における損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち前記撮影対象における損傷部分の画像を含む部分画像の外側に前記撮影対象における損傷部分が連続していると推定される場合、前記撮影対象における損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
撮影漏れ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影漏れ検出装置、及び、撮影漏れ検出方法に関する。

【背景技術】

【0002】

建築物及び橋梁などの損傷状態の画像を撮影し、記録することは、安全管理において重要である。損傷状態を記録する際には、詳細な損傷状態が判別できる定量的な情報、及び、損傷部分の位置の情報を取得することが望まれる。例えば、橋梁の床板１パネル（６ｍ×３ｍ）から０．１ｍｍの幅のひびわれを検出して記録する場合、１つの画像からこれら２つの情報を双方とも取得することは困難である。

【0003】

床板全体を１つの画像に含むように撮影すると、０．１ｍｍの幅のひびわれを、当該画像において視認することはできないし、ひびわれを視認可能な画像から、ひびわれが床板全体のどの部分に存在するか知ることはできない。したがって、例えば、ひびわれを視認可能な画像を撮影する際に、ひびわれの位置を別途記録しておく、などの手間がかかる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開２０１８／１６８４０６号公報

【文献】特開２０１８－３６２２６号公報

【文献】特開２０１７－２１１９７６号公報

【非特許文献】

【0005】

【文献】「画像特徴に基づくイメージモザイキング」、電子情報通信学会論文誌、Vol.J82-D-II、No.10、１９９９年１０月、pp.1581-1589

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、床板全体を含む広角画像と、ひびわれが視認可能な部分画像と、をコンピュータで制御される移動体を使用して取得する技術が存在する。当該技術では、部分画像を合成することで、ひびわれが視認可能な分解能を確保した合成画像を撮影する。当該技術では、まず、広角画像を撮影し、のりしろを考慮した部分画像の撮影計画を立案する。部分画像を取得する際には、広角画像との対応付けを行うことで、現在の移動体の位置を取得すると共に、移動体は、部分画像を撮影するために次に移動する位置に関する情報を取得する。当該技術では、これにより、適切な分解能で、漏れなく床板全体の部分画像を撮影することができる。

【0007】

しかしながら、当該技術では、部分画像を取得する際に、コンピュータで制御される移動体を使用することが前提となる。

【0008】

本発明は、１つの側面として、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とすることを目的とする。

【課題を解決するための手段】

【0009】

１つの実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。

【発明の効果】

【0010】

本発明は、１つの側面として、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とする。

【図面の簡単な説明】

【0011】

【図1】第１実施形態のシステム構成の一例を示すブロック図である。

【図2】重複している部分画像の一例を示す概念図である。

【図3】部分画像の撮影順序の一例を示す概念図である。

【図4】撮影漏れ候補領域の一例を示す概念図である。

【図5】撮影漏れ領域の報知の一例を示す概念図である。

【図6】撮影漏れ検出処理の対象となる複数の部分画像の一例を示す概念図である。

【図7】撮影漏れ検出処理の中間判定データの一例を示す表である。

【図8】本実施形態の一例を示すハードウェア構成図である。

【図9】第１実施形態の処理の流れの一例を示すフローチャートである。

【図10】第２実施形態のシステム構成の一例を示すブロック図である。

【図11】第２実施形態の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。

【0013】

図１に例示する画像処理システム１は、撮像装置１０、画像記憶装置２０、撮影漏れ検出装置３０及び表示装置４０を含む。撮像装置１０は、例えば、ユーザが手で保持して撮影する小型のデジタルカメラであってもよいし、スマートデバイスなどに内蔵されているカメラであってもよい。画像記憶装置２０は、撮像装置１０によって撮影される広角画像及び部分画像を記憶する。

【0014】

撮影漏れ検出装置３０は、位置決定部３１、損傷検出部３２、撮影漏れ検出部３３、及び撮影漏れ報知部３４を含む。表示装置４０は、例えば、液晶ディスプレイなどであってよいし、撮像装置１０と一体化されている液晶ディスプレイであってもよい。画像記憶装置２０は、撮像装置１０及び撮影漏れ検出装置３０に接続されている代わりに、撮像装置１０に含まれていてもよいし、撮影漏れ検出装置３０に含まれていてもよい。また、撮像装置１０、画像記憶装置２０、撮影漏れ検出装置３０及び表示装置４０は、有線で接続されていてもよいし、無線で接続されていてもよい。

【0015】

撮影漏れ検出装置３０の位置決定部３１は、広角画像における部分画像の各々の位置を決定する。広角画像は撮影対象全体を撮影した画像であり、撮影対象全体の範囲は、ユーザによって決定される。撮影対象は、例えば、橋梁の底部の所定の範囲の部分、ビルの壁部の所定の範囲の部分、及び、船舶の外装などであってよい。所定の部分画像は、撮影範囲をずらしながら撮影対象の一部分を順に撮影した画像である。一般に、損傷部分は、予め、目視で確認されており、部分画像は、損傷部分の詳細を知るためにユーザによって撮影される。

【0016】

広角画像における部分画像の各々の位置を決定するために、例えば、部分画像の各々と広角画像との間の射影変換行列であるホモグラフィ行列を算出する。ホモグラフィはアフィン変換の拡張である。これにより、広角画像と部分画像の各々との位置の対応が判明し、広角画像における部分画像の各々の位置を決定することができる。損傷検出部３２は、部分画像の各々から損傷部分の画像の検出を行う。検出には、既存の手法を使用することができる。損傷は、例えば、ひびわれまたは汚損などであってよい。

【0017】

撮影漏れ検出部３３は、（１）撮影した順序が連続する２つの部分画像に重複部分がなく、（２）損傷部分が部分画像の外側に延びており、（３）外側に延びている損傷部分を含む、当該２つの部分画像以外の部分画像が存在しない場合に、撮影漏れを検出する。部分画像の領域は矩形の領域となるので、矩形の４辺の各々に対応する４つの２変数１次連立不等式の解として、部分画像の領域を表すことができる。図２に例示するように、２つの部分画像ＢＧの各々の連立不等式に共通解が存在する場合は、（１）で重複部分が存在する、と判定する。

【0018】

撮影した順序が連続する２つの部分画像に着目するのは、図３に例示するように、損傷部分ＤＭが連続する形状を有し、また、作業効率の観点からも、撮影漏れ防止の観点からも、近接領域は連続して（図２では、Ｐ１、Ｐ２、Ｐ３、Ｐ４の順で）撮影されるためである。近接領域を連続して撮影し、連続して撮影された２枚の画像が共通部分を含む場合、２枚の画像は重複している。一方、連続して撮影された２枚の画像が、共通部分を含まない場合、２枚の画像の間に撮影漏れ領域が存在するか、ユーザが意図的に撮影対象を変更した可能性がある。

【0019】

撮影漏れ領域が存在する場合、連続して撮影された２つの部分画像の少なくとも一方で、図４に例示するように損傷部分ＤＭが部分画像ＢＧの外側に延びている可能性が高い。したがって、部分画像ＢＧの外側の損傷部分が延びていると推定される領域ＴＣを撮影漏れ候補領域とする。撮影漏れ候補領域の大きさ、及び、撮影漏れ領域の大きさは、部分画像と同様の大きさであってよい。

【0020】

詳細には、例えば、部分画像ＢＧの画像端に、部分画像ＢＧの上下左右の辺に沿ったＮ画素（Ｎは、所定の整数）の幅をもつ画像端領域ＥＢを設ける。損傷部分の画像の少なくとも一部分が画像端領域ＥＢ内に存在する場合、（２）で当該損傷部分は部分画像の外側に延びている、と判定する。Ｎ画素は、例えば、部分画像の幅または高さの１／５０～１／７０程度の画素数であってよい。

【0021】

撮影漏れ検出部３３は、撮影漏れ候補領域を含む部分画像の有無を調べる。詳細には、撮影漏れ候補領域の領域を表す連立不等式の解が、全ての部分画像の領域を表す連立不等式の解に含まれていない場合、当該撮影漏れ候補領域を撮影漏れ領域として検出する。

【0022】

撮影漏れ報知部３４は、撮影漏れ領域をユーザに報知する。例えば、図５に例示するように、撮影装置４０の一例であるディスプレイ４０’の画面上に広角画像ＷＧを表示し、当該広角画像ＷＧ上に部分画像ＢＧの各々と検出した損傷部分の画像ＤＭと共に、撮影漏れ領域ＴＣを破線矩形で表示する。なお、撮影漏れ領域ＴＣの表示は一例であり、例えば、他の部分とは異なる色または明るさの矩形で撮影漏れ領域を表示するようにしてもよい。

【0023】

図６に、損傷部分ＤＭ１、ＤＭ２、及びＤＭ３の順に、損傷部分に沿って撮影した部分画像Ｐ１～Ｐ１４を例示する。図７に、例示するように、部分画像Ｐ１及びＰ２、Ｐ２及びＰ３、Ｐ３及びＰ４、Ｐ４及びＰ５、Ｐ６及びＰ７、Ｐ８及びＰ９、Ｐ９及びＰ１０、Ｐ１０及びＰ１１、Ｐ１３及びＰ１４の組合せＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｈ、Ｉ、Ｊ、Ｍでは、重複がある。即ち、組み合わせに含まれる２つの部分画像は重複している。したがって、組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｆ、Ｈ、Ｉ、Ｊ、Ｍでは、撮影漏れは存在しない。

【0024】

部分画像Ｐ５及びＰ６、Ｐ７及びＰ８、Ｐ１１及びＰ１２、Ｐ１２及びＰ１３の組合せＥ、Ｇ、Ｋ、Ｌでは、重複がないため、即ち、組み合わせに含まれる２つの部分画像は重複していないため、撮影漏れが存在する可能性がある。また、組合せＥ、Ｇ、Ｋ、Ｌでは、部分画像の外側に延びる損傷部分が存在するため、まだ、撮影漏れが存在する可能性があり、部分画像の外側に延びる損傷部分の位置が撮影漏れ候補領域となる。

【0025】

しかしながら、組合せＫ及びＬでは、撮影漏れ候補領域が他の部分画像の何れかに含まれているため、撮影漏れはない。一方、組合せＥでは、撮影漏れ候補領域が他の部分画像の何れにも含まれていないため、撮影漏れ候補領域は撮影漏れ領域として検出される。また、組み合わせＥにおいて、部分画像Ｐ５の外側に延びる損傷部分の位置、及び、部分画像Ｐ６の外側に延びる損傷部分の位置は、部分画像１つ分の大きさの領域、即ち、共通領域に存在する。この場合、撮影漏れ領域は、部分画像Ｐ５及びＰ６の双方に部分的に重複するように設定される。一方、組合せＧでは、部分画像Ｐ７の外側に延びる損傷部分の位置、及び、部分画像撮影漏れ候補領域が他の部分画像の何れにも含まれていないため、撮影漏れ候補領域は撮影漏れ領域として検出される。

【0026】

撮影漏れ検出装置３０は、一例として、図８に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。

【0027】

一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。

【0028】

二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、撮影漏れ検出プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、撮影漏れ検出プログラムを実行している間に生成される中間データなどを記憶する。

【0029】

ＣＰＵ５１は、プログラム格納領域５３Ａから撮影漏れ検出プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、撮影漏れ検出プログラムをロードして実行することで、図１の位置決定部３１、損傷検出部３２、撮影漏れ検出部３３、及び、撮影漏れ報知部３４として動作する。

【0030】

なお、撮影漏れ検出プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、撮影漏れ検出プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。

【0031】

外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図８では、外部インターフェイス５４に、画像記憶装置２０の一例である外部記憶装置２０’及び表示装置の一例であるディスプレイ４０’が接続されている例を示している。また、外部記憶装置２０’には、撮像装置１０の一例であるカメラ１０’が接続されている。

【0032】

しかしながら、外部記憶装置２０’及びディスプレイ４０’は、外部インターフェイス５４に接続されていなくてもよいし、これらの内、何れか１つが外部インターフェイス５４に接続されていてもよい。即ち、外部記憶装置２０’及びディスプレイ４０’の内、何れか１つまたは双方は、撮影漏れ検出装置３０に内蔵されていてもよいし、ネットワークを介して、撮影漏れ検出装置３０と離隔した位置に配置されていてもよい。

【0033】

撮影漏れ検出装置３０は、パーソナルコンピュータ、ノートブックコンピュータ、タブレットなどであってもよいし、例えば、クラウド上に存在してもよく、ネットワーク経由で画像記録装置２０及び表示装置４０と通信してもよい。

【0034】

図９に、撮影漏れ検出処理の流れの一例を示す。ＣＰＵ５１は、ステップ１０１で、外部記憶装置２０’から広角画像及び複数の部分画像を取得する。ＣＰＵ５１は、ステップ１０２で、広角画像における複数の部分画像の各々の位置を決定する。

【0035】

ＣＰＵ５１は、ステップ１０３で、複数の部分画像の各々から損傷部分の画像を検出する。ＣＰＵ５１は、ステップ１０４で、連続して撮影された２つの部分画像の全ての組合せについて処理を完了したか否か判定する。ステップ１０４の判定が否定された場合、ＣＰＵ５１は、ステップ１０５で、２つの部分画像が重複しているか否か判定する。ステップ１０５の判定が否定された場合、ＣＰＵ５１は、ステップ１０６で、部分画像の外側に延びる損傷部分が存在するか否か判定する。

【0036】

ステップ１０６の判定が肯定された場合、ＣＰＵ５１は、ステップ１０７で、損傷部分が延びる部分画像の外側の位置の撮影漏れ候補領域が他の部分画像の何れかに含まれているか否か判定する。ステップ１０７の判定が否定された場合、ＣＰＵ５１は、ステップ１０８で、撮影漏れ候補領域を撮影漏れ領域として記憶する。

【0037】

ＣＰＵ５１は、ステップ１０４に戻り、ステップ１０４～ステップ１０８の処理を繰り返す。ステップ１０５及び１０７で判定が肯定された場合、及び、ステップ１０６で判定が否定された場合も、ステップ１０４に戻る。ステップ１０４の判定が肯定された場合、ＣＰＵ５１は、ステップ１０９で、撮影漏れ領域を報知し、処理を終了する。

【0038】

コンピュータで制御された移動体を使用せずに、ユーザが損傷部分の詳細を表す部分画像を撮影する場合、撮影漏れが生じないように、画像を撮影することは困難である。撮影漏れが生じないように、撮影済みの画像を確認しながら、撮影を行うには長時間を要する。また、例えば、遠隔から焦点距離を長くして撮影する場合、カメラの向きが少しずれることにより、撮影範囲が大きくずれ、ユーザが意図した撮影位置が撮影されない。

【0039】

本実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。

【0040】

本実施形態では、コンピュータで制御された移動体で移動するような特別な撮像装置を使用することなく、市販の安価なデジタルカメラなどの簡易な装置で、損傷部分の状態と当該損傷部分の位置との情報を含む画像を取得することを可能とする。これにより、本実施形態では、簡易な装置で撮影対象における損傷部分の撮影漏れを検出することを可能とする。

【0041】

［第２実施形態］
以下、図面を参照して第２実施形態の一例を詳細に説明する。第１実施形態と同様の構成及び作用については、説明を省略する。

【0042】

図１０に、第２実施形態の撮影漏れ検出システム２を例示する。第２実施形態の撮影漏れ検出システム２は、撮影漏れ検出装置３０が、特徴検出部３５を含む点で、第１実施形態の撮影漏れ検出システム１と相違する。

【0043】

特徴検出部３５は、広角画像から人が容易に視認可能で、かつ、人が認識しやすい特徴的な可視特徴の画像を検出する。可視特徴は、ユーザが予め設定しておく。可視特徴は、例えば、損傷部分を目視で検査するユーザによってチョークで書かれた損傷部分の大きさを表す数字の画像、及び、損傷部分を検出する対象である橋梁に含まれるパネルの型枠の画像などであってよい。可視特徴の検出では、検出した可視特徴とその位置情報（例えば、可視特徴の外接矩形の４頂点）を記憶する。可視特徴の検出には既存の手法を使用することができる。

【0044】

特徴検出部３５は、可視特徴と撮影漏れ領域との位置関係を求める。詳細には、まず、撮影漏れ領域から最も近い可視特徴を選択する。次に、例えば、撮影漏れ領域の重心と、選択した可視特徴の外接矩形の重心との距離が最短である可視特徴を選択する。次に、可視特徴に対する撮影漏れ領域の方向を求める。例えば、撮影漏れ領域の重心と選択された可視特徴の外接矩形の重心を結ぶ線分の画像上の傾きを算出する。

【0045】

特徴検出部３５は、最後に、可視特徴と撮影漏れ領域との距離を求める。例えば、撮影漏れ領域の重心と選択された可視特徴の外接矩形の重心の画像上の距離を算出する。当該距離を可視特徴の外接矩形の幅で割り、当該距離が可視特徴の何倍であるかを算出してもよい。

【0046】

撮影漏れ報知部３４は、全ての撮影漏れ領域をユーザに報知する。報知する際に、可視特徴との位置関係を併せて報知する。例えば、「チョーク文字『０．１』右側、『０．１』の幅×２離れた位置」、「右端からパネル型枠の１／４、上端からパネル型枠の１／３の位置」などと文字で表示してもよいし、簡単なイラストで表示してもよい。

【0047】

図１１に、撮影漏れ検出処理の流れの一例を示す。ＣＰＵ５１は、ステップ１１０で、予め設定されている可視特徴を検出し、ステップ１１１で、撮影漏れ領域を報知する際に、可視特徴との位置の関連を併せて報知する。

【0048】

本実施形態では、撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら撮影対象の一部分を順に撮影した複数の部分画像に基づいて、複数の部分画像各々の広角画像に対する位置を決定する。複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出する。抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に損傷部分が連続していると推定される場合、損傷部分が連続していると推定される部分画像の外側の位置を撮影漏れ候補領域として検出する。撮影漏れ候補領域が他の部分画像に含まれていない場合、撮影漏れ候補領域を撮影漏れ領域として検出する。決定された位置に基づいて、広角画像における撮影漏れ領域に対応する位置を報知する。

【0049】

また、本実施形態では、撮影漏れ領域の位置を可視特徴との関係で表す情報を付加して報知する。本実施形態によれば、これにより、報知された撮影漏れ領域に基づいて再撮影を行う際に、可視特徴に対応する特徴を確認することで、撮影位置の決定を容易に行うことが可能となる。

【0050】

なお、図９及び図１１のフローチャートは一例であり、処理の順序は適宜変更可能である。

【0051】

以上の各実施形態に関し、更に以下の付記を開示する。

【0052】

（付記１）
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定する位置決定部と、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出する撮影漏れ領域検出部と、
前記位置決定部で決定された位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する撮影漏れ報知部と、
を含む撮影漏れ検出装置。
（付記２）
前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記１の撮影漏れ検出装置。
（付記３）
前記部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記１または付記２の撮影漏れ検出装置。
（付記４）
所定の可視特徴の画像を検出する特徴検出部をさらに含み、
前記撮影漏れ報知部は、前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記１～付記３の何れかの撮影漏れ検出装置。
（付記５）
コンピュータが、
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
撮影漏れ検出方法。
（付記６）
前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記５の撮影漏れ検出方法。
（付記７）
部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記５または付記６の撮影漏れ検出方法。
（付記８）
所定の可視特徴の画像を検出し、
前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記５～付記７の何れかの撮影漏れ検出方法。
（付記９）
撮影対象全体を撮影した広角画像、及び各々の撮影範囲をずらしながら前記撮影対象の一部分を順に撮影した複数の部分画像に基づいて、前記複数の部分画像各々の前記広角画像に対する位置を決定し、
前記複数の部分画像の中から撮影した順が連続し、重複する部分を有さず、かつ少なくとも一方が損傷部分の画像を含む一対の部分画像を抽出し、抽出された一対の部分画像のうち損傷部分の画像を含む部分画像の外側に前記損傷部分が連続していると推定される場合、前記損傷部分が連続していると推定される前記部分画像の前記外側の位置を撮影漏れ候補領域として検出し、前記撮影漏れ候補領域が他の部分画像に含まれていない場合、前記撮影漏れ候補領域を撮影漏れ領域として検出し、
決定された前記複数の部分画像各々の前記広角画像に対する位置に基づいて、前記広角画像における撮影漏れ領域に対応する位置を報知する、
撮影漏れ検出処理をコンピュータに実行させるプログラム。
（付記１０）
前記撮影漏れ領域の位置を前記広角画像内に矩形画像で表示する、
付記９のプログラム。
（付記１１）
部分画像の上下左右の辺に沿った所定幅の端部領域内に前記損傷部分の画像が存在する場合、前記部分画像の外側に前記損傷部分が連続していると推定する、
付記９または付記１０のプログラム。
（付記１２）
所定の可視特徴の画像を検出し、
前記撮影漏れ領域の位置を前記可視特徴との関係で表す情報を付加して報知する、
付記９～付記１１の何れかのプログラム。

【符号の説明】

【0053】

１０ 撮像装置
３０ 撮影漏れ検出装置
３１ 位置決定部
３２ 損傷検出部
３３ 撮影漏れ検出部
３４ 撮影漏れ報知部
３５ 特徴検出部
４０ 表示装置
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】