特許 6779368 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6779368

(24)【登録日】2020年10月15日

(45)【発行日】2020年11月4日

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20201026BHJP

   G06T 7/38 20170101ALI20201026BHJP

【ＦＩ】

   G06T3/00 760

   G06T7/38

【請求項の数】17

【全頁数】26

(21)【出願番号】特願2019-509255(P2019-509255)

(86)(22)【出願日】2018年3月15日

(86)【国際出願番号】JP2018010278

(87)【国際公開番号】WO2018180551

(87)【国際公開日】20181004

【審査請求日】2019年8月13日

(31)【優先権主張番号】特願2017-68561(P2017-68561)

(32)【優先日】2017年3月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】與那覇 誠

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１０−２５６２５３（ＪＰ，Ａ）

【文献】 特開２０００−１３４５３７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第１の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。

【請求項2】

前記射影変換行列に基づいて、一部の前記被変換分割画像を射影変換する第２の射影変換部を備え、
前記表示部は、前記第２の射影変換部で変換された前記一部の被変換分割画像および前記基準分割画像のうち少なくとも一方を、前記合成画像の輪郭に表示する請求項１に記載の画像処理装置。

【請求項3】

前記第２の射影変換部は、前記合成画像の隅に対応する前記被変換分割画像を射影変換する請求項２に記載の画像処理装置。

【請求項4】

前記第２の射影変換部は、前記合成画像の４隅に対応する前記被変換分割画像を射影変換する請求項３に記載の画像処理装置。

【請求項5】

前記第２の射影変換部は、前記合成画像の辺に対応する前記被変換分割画像を射影変換する請求項２から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第２の射影変換部は、前記合成画像の４辺に対応する前記被変換分割画像を射影変換する請求項５に記載の画像処理装置。

【請求項7】

前記表示部に表示された前記合成画像の輪郭における位置の指定を受け付ける第１の指定受付部を備え、
前記第２の射影変換部は、前記第１の指定受付部で受け付けられた前記位置に対応する前記被変換分割画像を射影変換する請求項２から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記射影変換行列に基づいて、一部の前記縮小画像を射影変換する第３の射影変換部とを備え、
前記表示部は、前記第３の射影変換部で変換された前記一部の前記縮小画像を、前記合成画像の輪郭に表示する請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記射影変換行列に基づいて、前記縮小画像を射影変換する第３の射影変換部と、
前記表示部に表示された前記縮小画像の指定を受け付ける第２の指定受付部と、
を備え、
前記表示部は、前記第２の指定受付部で前記指定された前記縮小画像を、前記縮小画像に対応する、前記第２の射影変換部で射影変換された前記被変換分割画像または前記基準分割画像に切り替える請求項２から７のいずれか１項に記載の画像処理装置。

【請求項10】

前記基準分割画像特定部は、前記基準分割画像の指定、または前記基準分割画像となる前記分割画像の入力順序に関する情報に基づいて、前記基準分割画像を特定する請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、
前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第３の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。

【請求項12】

撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。

【請求項13】

撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。

【請求項14】

撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。

【請求項15】

請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項16】

撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。

【請求項17】

請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に分割撮影を行う場合に撮りこぼしの発生を抑制する技術に関する。

【背景技術】

【0002】

従来より、一つの撮影対象物について分割撮影を行い分割画像を取得し、その取得した分割画像を合成して撮影対象の全体像が写った合成画像を取得する手法が知られている。

【0003】

例えば、橋梁等の構造物の損傷の検出検査を行う場合には、格間単位に検査が行われることが多く、その場合格間の領域の床版を分割撮影して複数の分割画像が取得され、得られた分割画像により格間全体の床版が写った合成画像が生成される。

【0004】

また例えば、特許文献１には、三次元計測用の画像を撮影する場合に、撮りこぼし（撮り漏れ）を防ぐことを意図した技術が記載されている。具体的には特許文献１には、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、三次元座標が求められた各特徴点を書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤーフレーム画像として形成し、その撮影範囲画像において撮影不足領域が有るか否かを判定する技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−２５６２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載された技術では、撮影範囲画像を３次元座標において求められた特徴点に基づくワイヤーフレーム画像で生成しているために、撮影範囲画像を生成するための時間を要する。すなわち、三次元座標が求められた各特徴点が３次元座標空間に書き込まれ、その特徴点のうち撮影領域を囲む３以上の特徴点を結線してワイヤーフレーム画像を生成しているので、ワイヤーフレーム画像は多くの情報量を有する画像であり、ワイヤーフレーム画像を合成するための時間を要してしまう。

【0007】

また、例えば橋梁等の構造物の損傷の検出検査を行う場合には、上述したように格間の領域の床版を分割撮影して得られた分割画像により合成画像を生成するが、分割画像も多くの情報量を有する画像であるので、分割画像を合成して合成画像を生成する処理は時間を要してしまう。

【0008】

ここで、短時間で撮りこぼしの確認を行うことができれば、点検（撮影）現場においても簡便に撮りこぼしの確認を行うことができ、点検現場から事務所に帰ってきて合成画像を生成した時に撮りこぼしを発見して再度点検現場に行かなければならないという事態の発生を抑制することができる。すなわち、短時間で撮りこぼしの確認を行うことができれば、点検作業を効率的に進めることができる。

【0009】

本発明はこのような事情に鑑みてなされたもので、その目的は、短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を行うことができる画像処理装置、画像処理方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の一の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第１の射影変換部と、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。

【0011】

本態様によれば、第１の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された分割画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。

【0012】

好ましくは、画像処理装置は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する第２の射影変換部を備え、表示部は、第２の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方を、合成画像の輪郭に表示する。

【0013】

本態様によれば、第２の射影変換部により、射影変換行列に基づいて、一部の被変換分割画像が射影変換され、表示部により、第２の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方が、合成画像の輪郭に表示される。これにより本態様は合成画像の輪郭に合わせて一部の分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0014】

好ましくは、第２の射影変換部は、合成画像の隅に対応する被変換分割画像を射影変換する。

【0015】

本態様によれば、第２の射影変換部により、合成画像の隅に対応する被変換分割画像を射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、ユーザはより正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる。

【0016】

好ましくは、第２の射影変換部は、合成画像の４隅に対応する被変換分割画像を射影変換する。

【0017】

本態様によれば、第２の射影変換部により、合成画像の４隅に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0018】

好ましくは、第２の射影変換部は、合成画像の辺に対応する被変換分割画像を射影変換する。

【0019】

本態様によれば、第２の射影変換部により、合成画像の辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0020】

好ましくは、第２の射影変換部は、合成画像の４辺に対応する被変換分割画像を射影変換する。

【0021】

本態様によれば、第２の射影変換部により、合成画像の４辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0022】

好ましくは、画像処理装置は、表示部に表示された合成画像の輪郭における位置の指定を受け付ける第１の指定受付部を備え、第２の射影変換部は、第１の指定受付部で受け付けられた位置に対応する被変換分割画像を射影変換する。

【0023】

本態様によれば、第１の指定受付部により、表示部に表示された合成画像の輪郭における位置の指定が受け付けられて、第２の射影変換部により、第１の指定受付部で受け付けられた位置に対応する被変換分割画像が射影変換される。そして、本態様では第１の指定受付部で受け付けられた位置に対応する分割画像が合成画像の輪郭に合わせて表示部に表示される。これにより本態様は、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0024】

好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、一部の縮小画像を射影変換する第３の射影変換部とを備え、表示部は、第３の射影変換部で変換された一部の縮小画像を、合成画像の輪郭に表示する。

【0025】

本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第３の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換される。これにより本態様は、縮小画像の情報量は分割画像よりも少ないため縮小画像の射影変換は分割画像の射影変換よりも短時間に行うことができ、より高速に撮りこぼしの有無および撮りこぼしの位置の確認をできる表示をユーザに提供することができる。

【0026】

好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、縮小画像を射影変換する第３の射影変換部と、表示部に表示された縮小画像の指定を受け付ける第２の指定受付部と、を備え、表示部は、第２の指定受付部で指定された縮小画像を、縮小画像に対応する、第２の射影変換部で射影変換された被変換分割画像または基準分割画像に切り替える。

【0027】

本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第３の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換され、第２の指定受付部により、表示部に表示された縮小画像の指定が受け付けられて、縮小画像に対応する分割画像が表示される。これにより本態様は、縮小画像の表示では撮りこぼしの有無または撮りこぼしの位置が分かりにくいような場合に、指定された箇所が分割画像に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。

【0028】

好ましくは、基準分割画像特定部は、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定する。

【0029】

本態様によれば、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて基準分割画像が特定されるので、基準分割画像として相応しい基準分割画像が特定され、より適切な合成画像の輪郭位置情報を取得することができる。

【0030】

本発明の他の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第３の射影変換部と、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。

【0031】

本態様によれば、第１の射影変換部により、算出された射影変換行列で、被変換縮小画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された縮小画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。

【0032】

本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。

【0033】

本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。

【0034】

本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。

【0035】

本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。

【発明の効果】

【0036】

本発明によれば、第１の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示されるので、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。

【図面の簡単な説明】

【0037】

【図1】橋梁の構造を示す斜視図である。

【図2】撮影システムを示す概念図である。

【図3】移動体の撮影位置を概念的に示した図である。

【図4】コンピュータのシステム構成例を示すブロック図である。

【図5】撮りこぼしが発生している合成画像を示す図である。

【図6】撮りこぼしが発生している合成画像を示す図である。

【図7】画像処理装置の機能構成例を示す図である。

【図8】輪郭位置情報の射影変換について説明する図である。

【図9】合成画像の輪郭を示す図である。

【図10】合成画像の輪郭を示す図である。

【図11】画像処理装置の動作を示すフロー図である。

【図12】合成画像を示す図である。

【図13】合成画像の輪郭を示す図である。

【図14】画像処理装置の機能構成例を示す図である。

【図15】合成画像の輪郭を示す図である。

【図16】画像処理装置の機能構成例を示す図である。

【図17】画像処理装置の機能構成例を示す図である。

【図18】画像処理装置の機能構成例を示す図である。

【発明を実施するための形態】

【0038】

以下、添付図面にしたがって本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

【0039】

図１は、撮影対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。本発明における撮影対象物は、特に限定されるものではないが、例えば、構造物の損傷の検出検査を行う場合に使用される撮影画像を合成する場合に本発明が適用される。具体的には格間単位で床版６（図１）の損傷検出検査を行う場合に、格間５０２（図５）の領域の床版６を分割撮影し、その分割撮影された撮影画像を合成する場合に本発明が適用される。

【0040】

図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

【0041】

主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。

【0042】

図２は、床版６を分割撮影することにより分割画像を取得する撮影システムを示す概念図である。

【0043】

撮影システム５００は、移動体１００とコンピュータ３００とで構成されている。すなわち撮影システム５００において、移動体１００で取得された分割画像はコンピュータ３００に送信され、コンピュータ３００には画像処理装置４００（図７）が備えられている。

【0044】

移動体１００は、カメラ１０１を備えており、コンピュータ３００の制御により移動およびカメラ１０１による撮影を行う。移動体１００は、コンピュータ３００の制御により移動および撮影を行えるものであれば特に限定されるものではない。例えば移動体１００は、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV（Unmanned Aerial Vehicles、無人航空機）と呼ばれる装置があげられる。

【0045】

コンピュータ３００および移動体１００は相互に通信可能であり、コンピュータ３００は、移動体１００の移動の制御およびカメラ１０１での撮影制御を遠隔で行うことができる。また、移動体１００が撮影した撮影画像は、コンピュータ３００の表示部３２６（図４）と入力部３２８（図４）とを兼ねたタッチパネルディスプレイ３０２に表示される。

【0046】

図３は、移動体１００の撮影位置を概念的に示した図である。なお、図３は図１においてＸ軸方向から床版６を見た概念的な図である。またカメラ１０１は、図２で示したように移動体１００に備えられ、移動体１００の移動によって移動させられる。なお、図３では移動体１００は省略されている。また床版６上には車輌１０が走行し、床版６の下方からの撮影画像を取得して床版６の損傷の検出検査が行われる。

【0047】

移動体１００は、コンピュータ３００の制御により各撮影位置に移動させられ、撮影を行って撮影画像を取得する。床版６の格間単位で検査が行われる場合には、分割撮影により床版６の分割画像が取得される。

【0048】

図４は、コンピュータ３００のシステム構成例を示すブロック図である。

【0049】

図４に示すように、コンピュータ３００は、コンピュータ３００の全体の動作を制御するＣＰＵ（Central Processing Unit）３１０を備え、このＣＰＵ３１０にシステムバス３１２を介して、メインメモリ３１４、不揮発性メモリ３１６、モバイル通信部３１８、無線ＬＡＮ通信部３２０、近距離無線通信部３２２、有線通信部３２４、表示部３２６、入力部３２８、キー入力部３３０、音声処理部３３２、画像処理部３３４等が接続されて構成される。

【0050】

ＣＰＵ３１０は、不揮発性メモリ３１６に記憶された動作プログラム（ＯＳ（Operating System）、および、そのＯＳ上で動作するアプリケーションプログラム）、および、定型データ等を読み出し、メインメモリ３１４に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。

【0051】

メインメモリ３１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１０のワークメモリとして機能する。

【0052】

不揮発性メモリ３１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ３１６は、コンピュータ３００の記憶部として機能し、各種データを記憶する。

【0053】

モバイル通信部３１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、および、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ３１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。

【0054】

無線ＬＡＮ通信部３２０は、アンテナ３２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。

【0055】

近距離無線通信部３２２は、アンテナ３２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。

【0056】

有線通信部３２４は、外部接続端子３０６を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、ＵＳＢ（Universal Serial Bus）通信を行う。

【0057】

表示部３２６は、タッチパネルディスプレイ３０２のディスプレイ部分を構成するカラーＬＣＤ（liquid crystal display）パネルと、その駆動回路と、で構成され、各種画像を表示する。

【0058】

入力部３２８は、タッチパネルディスプレイ３０２のタッチパネル部分を構成する。入力部３２８は、透明電極を用いてカラーＬＣＤパネルと一体的に構成される。

【0059】

キー入力部３３０は、コンピュータ３００の筐体に備えられた複数の操作ボタンと、その駆動回路と、で構成される。

【0060】

音声処理部３３２は、システムバス３１２を介して与えられるデジタル音声データをアナログ化してスピーカー３０４から出力する。

【0061】

画像処理部３３４は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ３０５から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。

【0062】

次に、撮りこぼしの例に関して説明する。特に以下で説明する例は、床版６の損傷検出検査を格間単位で行う場合に発生しうる撮りこぼしの例である。

【0063】

図５はタイプ１の撮りこぼしが発生している合成画像５０１を示す図であり、図６はタイプ２の撮りこぼしが発生している合成画像５０１を示す図である。なお、図５および図６に示された合成画像５０１は、床版６を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版６を撮影した分割画像は、射影変換されて合成され、合成画像５０１を形成している。

【0064】

図５に示された合成画像５０１では、撮りこぼし５０３が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０３の箇所は、床版６に対応する画像が無い。分割画像を合成する場合には、合成される各画像において糊代を設けて、糊代の領域において合成される。したがって、糊代の領域の見積もりを含めて分割画像を撮影する必要があるが、見積もりが誤りであった場合には、例えば撮りこぼし５０３が発生してしまう。

【0065】

図６に示された合成画像５０１では、撮りこぼし５０７が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０７の箇所は、床版６に対応する画像が無い。撮りこぼし５０７は、いわゆる中抜けであり、合成画像５０１は中抜けを有する画像となってしまっている。

【0066】

ここで、図５および図６には合成画像５０１が示されており、合成画像５０１をユーザが確認することにより、撮りこぼし５０３および撮りこぼし５０７の発生を確認することができる。しかしながら、合成画像５０１は分割画像で構成されているため、各分割画像を射影変化しなければならず、合成画像５０１の生成には時間および計算コストを要する。例えば、橋梁１の損傷の検出検査を行う場合には、合計８００の格間についてそれぞれ分割画像から構成される合成画像５０１を生成することを考えると、撮りこぼしの確認のために合成画像５０１を撮影現場で生成していては、点検作業の効率を大幅に下げてしまう。

【0067】

したがって、本発明では短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提案する。

【0068】

＜第１の実施形態＞
本発明の第１の実施形態に関して説明する。図７は、本実施形態の画像処理装置４００の機能構成例を示す図である。

【0069】

画像処理装置４００は、画像入力部４０１、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。

【0070】

画像入力部４０１は、撮影対象が分割撮影されることにより、得られた複数の分割画像が入力される。例えば、移動体１００で取得された床版６の分割画像が画像入力部４０１に、分割画像が取得される毎にまたは一つの格間５０２を撮影し終える毎に入力される。画像入力部４０１は、例えばコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２で実現される。

【0071】

対応点情報取得部４０３は、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する。具体的には対応点情報取得部４０３は、各分割画像において特徴点を抽出し、抽出された特徴点において分割画像間の対応点に関する情報を取得する。対応点に関する情報とは、例えば対応点の座標である。なお、対応点情報取得部４０３は、公知の手法により対応分割画像間における対応点に関する情報を取得することができる。例えば、対応点に関する情報の取得の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。

【0072】

基準分割画像特定部４０５は、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する。基準分割画像は、その後の射影変換および合成画像の輪郭位置情報の生成に必要となるので、少なくとも１枚特定される必要がある。特定される基準分割画像は、射影変換の基準となり、合成画像の輪郭位置情報に影響する。すなわち、特定する基準分割画像によっては、被写体に対して正対した合成画像の輪郭位置情報が生成される場合もあり、アオリを有する合成画像の輪郭位置情報が生成される場合もある。撮りこぼしの確認をするためであれば、合成画像の形状および正対しているか否かは、決定的な問題とならいため、基準分割画像の特定は無作為（ランダム）に特定されてもよい。

【0073】

また、基準分割画像特定部４０５は、複数の分割画像のうちの射影変換の基準となる基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定してもよい。例えば基準分割画像特定部４０５は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された分割画像をユーザが選択することにより、ユーザの指定を受け付けて基準分割画像の指定を受け付ける。また基準分割画像特定部４０５は、コンピュータ３００のメインメモリ３１４に記憶されている基準分割画像となる分割画像の入力順序に関する情報を受け付けることにより、基準分割画像を特定する。例えば、基準分割画像となる分割画像の入力順序に関する情報とは、格間毎の撮影において最初に入力された分割画像を基準分割画像とする、または入力された分割画像の真ん中の順番に入力された分割画像を基準分割画像とするなどである。基準分割画像特定部４０５は、例えばコンピュータ３００のＣＰＵ３１０で実現される。

【0074】

行列算出部４０７は、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する。すなわち行列算出部４０７は、基準分割画像特定部４０５で特定された基準分割画像に隣接する被変換分割画像の対応点情報に基づき、基準分割画像に合わせるように射影変換を行い、順次被変換分割画像の対応点情報に基づき被変換分割画像の射影変換行列を算出する。

【0075】

射影変換部４０９は、輪郭位置情報を射影変換する第１の射影変換部４１１を有する。第１の射影変換部４１１は、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。すなわち、行列算出部４０７で算出された各被変換分割画像毎の射影変換行列により、各被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。射影変換部４０９は、例えばコンピュータ３００のＣＰＵ３１０で実現される。

【0076】

図８は、第１の射影変換部４１１が行う被変換分割画像の輪郭位置情報の射影変換について説明する図である。

【0077】

図８（Ａ）は、射影変換前の被変換分割画像Ｄ１の輪郭位置情報を示す図である。具体的には被変換分割画像Ｄ１の四隅の座標Ｅ１、Ｆ１、Ｇ１およびＨ１が輪郭位置情報として示されている。

【0078】

図８（Ｂ）は、射影変換後の被変換分割画像Ｄ２の輪郭位置情報を示す図である。被変換分割画像Ｄ１の輪郭位置情報を示す座標Ｅ１、Ｆ１、Ｇ１、およびＨ１を射影変換行列により射影変換し、座標Ｅ２、Ｆ２、Ｇ２、およびＨ２に変換する。座標Ｅ２、Ｆ２、Ｇ２、およびＨ２は射影変換後の被変換分割画像Ｄ２の輪郭を示す。

【0079】

ここで、第１の射影変換部４１１は、被変換分割画像Ｄ１の輪郭位置情報を示す座標Ｅ１、Ｆ１、Ｇ１、およびＨ１を射影変換しており、被変換分割画像Ｄ１を構成する全ての画素を射影変換しない。すなわち第１の射影変換部４１１は、被変換分割画像Ｄ１の輪郭のみ射影変換して、射影変換後の被変換分割画像Ｄ２の輪郭位置情報を算出する。このように第１の射影変換部４１１に、分割画像の輪郭のみの射影変換をさせることにより、射影変換にかかる時間を短縮することができ、射影変換にかかる計算コストを抑制することができる。なお、図８に示した例では、輪郭位置情報として被変換分割画像の四隅の座標を示したが、これに限定されるものではない。被変換分割画像の輪郭を示す情報であれば他の態様の情報も使われる。

【0080】

図７に戻って、合成情報生成部４１３は、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像５０１の輪郭位置情報を生成する。すなわち合成情報生成部４１３は、第１の射影変換部４１１で変換された被変換分割画像の輪郭位置情報を合成することにより、基準分割画像および被変換分割画像を合成した合成画像５０１の輪郭位置情報を算出する。合成情報生成部４１３は、例えばコンピュータ３００のＣＰＵ３１０で実現される。

【0081】

表示部４１５は、合成画像５０１の輪郭位置情報に基づき合成画像５０１の輪郭５０５を表示する。すなわち表示部４１５は、合成情報生成部４１３で生成された合成画像５０１の輪郭位置情報により、コンピュータ３００のタッチパネルディスプレイ３０２に合成画像５０１の輪郭５０５を表示する。タッチパネルディスプレイ３０２に合成画像５０１の輪郭５０５が表示されることにより、ユーザは撮りこぼしの有無および撮りこぼしの位置について確認することができる。表示部４１５は、例えばコンピュータ３００の表示部３２６で実現される。

【0082】

図９および図１０は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。図９は図５で説明した撮りこぼし５０３を有する合成画像５０１についての合成画像５０１の輪郭５０５の表示であり、図１０は図６で説明した撮りこぼし５０７を有する合成画像５０１の輪郭５０５の表示である。

【0083】

図９（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。

【0084】

一方図９（Ｂ）には、合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。具体的には、図８で説明したように第１の射影変換部４１１により各被変換分割画像の輪郭位置情報を射影変換し、合成情報生成部４１３により合成画像５０１の輪郭位置情報を生成し、合成画像５０１の輪郭５０５を表示部４１５に示している。

【0085】

例えばユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５を確認する。そしてユーザは、格間５０２の床版６についての合成画像５０１の輪郭５０５であれば略矩形となっているので、撮りこぼし５０３に対応する輪郭５０５の表示を確認することにより、格間５０２の床版６について撮りこぼしが発生していることがわかる。

【0086】

図１０（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。

【0087】

一方図１０（Ｂ）には、図９（Ｂ）と同様に合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。

【0088】

ユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５を確認する。そしてユーザは、格間５０２の床版６についての合成画像５０１の輪郭５０５が、撮りこぼし５０７に対応する輪郭５０５のような中抜けとはならないので、格間５０２の床版６について撮りこぼしが発生していることがわかる。

【0089】

図１１は、画像処理装置４００の動作を示すフロー図である。

【0090】

先ず、格間５０２の床版６について、移動体１００により分割画像が撮影される。格間５０２の床版６について分割画像の撮影が一通り終了すると、コンピュータ３００に分割画像が送信される。そして、画像入力部４０１に撮影対象が分割撮影されて得られた複数の分割画像が入力される（ステップＳ１０）。

【0091】

次に、対応点情報取得部４０３により、入力された複数の分割画像間の対応点が探索されて、探索された対応点に関する対応点情報が取得される（ステップＳ１１）。そして、基準分割画像特定部４０５により、基準分割画像が特定される（ステップＳ１２）。例えば、基準分割画像の指定は入力部３２８を介してユーザにより入力され、また例えばコンピュータ３００のメインメモリ３１４に記憶されていた基準分割画像となる分割画像の入力順序に関する情報を受け付ける。

【0092】

次に、行列算出部４０７により、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列が算出される（ステップＳ１３）。そして、射影変換部４０９の第１の射影変換部４１１により、算出された射影変換行列により、被変換分割画像の輪郭５０５を示す輪郭位置情報が射影変換される（ステップＳ１４）。その後、合成情報生成部４１３により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成される（ステップＳ１５）。そして、表示部４１５により合成画像５０１の輪郭５０５が表示される（ステップＳ１６）。

【0093】

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0094】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0095】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0096】

上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータ３００に実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータ３００に対しても本発明を適用することが可能である。

【0097】

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。先ず本実施形態で解決される撮りこぼしの例について説明する。

【0098】

図１２は、タイプ３の撮りこぼしが発生している合成画像５０１を示す図である。

【0099】

図１２に示された合成画像５０１では、撮りこぼし５０９が発生している。なお、図１２に示された合成画像５０１は、床版６を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版６を撮影した分割画像は、射影変換されて合成され、合成画像５０１を形成している。

【0100】

図１２に示された合成画像５０１では、撮りこぼし５０９が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０９の箇所は、格間５０２の端部に対応する床版６の画像が欠如している。

【0101】

図１３は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。図１３は図１２で説明した撮りこぼし５０９を有する合成画像５０１についての合成画像５０１の輪郭５０５の表示である。

【0102】

図１３（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。

【0103】

一方図１３（Ｂ）には、合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。ここで、タイプ３のような撮りこぼし５０９の場合には、ユーザは、第１の実施形態で説明したように合成画像５０１の輪郭５０５を確認しただけでは撮りこぼしがあることを確認することが困難である。すなわち、図１３に示すように、表示部４１５に表示された合成画像５０１の輪郭５０５だけでは格間５０２の床版６について漏れなく撮影が行えているかの判別は困難である。

【0104】

本実施形態では、タイプ３のような撮りこぼしをも確認できるように、部分的に合成画像５０１の輪郭５０５と共に分割画像（基準分割画像または射影変換された被変換分割画像）も表示する。

【0105】

図１４は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0106】

画像処理装置４００は、画像入力部４０１、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、表示部４１５、第１の指定受付部４１９を備える。なお、図７で既に説明を行った箇所は、同じ符号を付し説明は省略する。

【0107】

射影変換部４０９は、第１の射影変換部４１１および第２の射影変換部４１７で構成されている。なお、射影変換部４０９は、複数の機能（第１の射影変換部４１１および第２の射影変換部４１７）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。

【0108】

第２の射影変換部４１７は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する。すなわち第２の射影変換部４１７は、射影変換行列に基づいて一部の被変換分割画像を射影変換し、射影変換された被変換分割画像を生成する。

【0109】

第２の射影変換部４１７が射影変換を行う被変換分割画像の具体例としては、合成画像５０１の隅に対応する被変換分割画像、合成画像５０１の４隅に対応する被変換分割画像があげられる。また第２の射影変換部４１７が射影変換を行う被変換分割画像の他の具体例としては、合成画像５０１の辺に対応する被変換分割画像、合成画像５０１の４辺に対応する被変換分割画像があげられる。

【0110】

合成情報生成部４１３は、第１の射影変換部４１１で射影変換された輪郭位置情報と第２の射影変換部４１７で射影変換された被変換分割画像とを合成する。すなわち、合成画像５０１の輪郭位置情報を生成するとともに、第２の射影変換部４１７で射影変換された被変換分割画像を、合成画像５０１の輪郭５０５に合わせるように合成する。

【0111】

表示部４１５は、合成情報生成部４１３で生成された合成画像５０１の輪郭位置情報および射影変換後の被変換分割画像または基準分割画像を表示する。すなわち表示部４１５は、合成画像５０１の輪郭位置情報が示す輪郭５０５に、被変換分割画像および基準分割画像のうち少なくとも一方を、合成して表示する。

【0112】

第１の指定受付部４１９は、表示部４１５に表示された合成画像５０１の輪郭５０５における位置の指定を受け付ける。具体的には第１の指定受付部４１９は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された合成画像５０１の輪郭５０５がユーザに指定されることにより、合成画像５０１の位置の指定が受け付けられる。そして、第１の指定受付部４１９で指定が受け付けられた場合に、第２の射影変換部４１７は、第１の指定受付部４１９で受け付けられた位置に対応する被変換分割画像を射影変換してもよい。すなわち、表示部４１５に表示される合成画像５０１の輪郭５０５に合わせて表示される基準分割画像または変換された被変換分割画像の表示を、第１の指定受付部４１９を介してユーザが行ってもよい。

【0113】

図１５は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。

【0114】

図１５（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１の輪郭５０５が示されている。

【0115】

一方図１５（Ｂ）には、合成画像５０１の輪郭５０５および一部の分割画像が表示されている。具体的には、合成画像５０１の輪郭５０５と合成画像５０１の輪郭５０５の四隅に対応する分割画像５１１、分割画像５１３、分割画像５１５、および分割画像５１７が合成画像５０１の輪郭５０５に合わせて表示されている。

【0116】

ユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５および一部の分割画像の表示を確認することにより、分割画像５１３では格間５０２の床版６が欠如していることを確認することができ、撮りこぼし５０９に対応する輪郭５０５は、格間５０２の床版６について撮りこぼしが発生していることがわかる。

【0117】

＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では第２の実施形態で表示された分割画像に対応して、合成画像５０１の一部の箇所に縮小画像が表示される。

【0118】

図１６は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0119】

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。

【0120】

縮小画像生成部４２３は、画像入力部４０１に入力された分割画像の解像度を下げた縮小画像を生成する。具体的には縮小画像生成部４２３は、分割画像が有する画素数の９０％から５０％、好ましくは８０％から６０％の縮小画像を生成する。縮小画像生成部４２３は公知の技術により、縮小画像を生成する。

【0121】

射影変換部４０９は、第１の射影変換部４１１および第３の射影変換部４２１を備える。第３の射影変換部４２１は、射影変換行列に基づいて、一部の縮小画像を射影変換する。すなわち、第３の射影変換部４２１は、射影変換行列に基づいて一部の縮小画像を射影変換し、射影変換された縮小画像を生成する。なお、射影変換部４０９は、３つの機能（第１の射影変換部４１１および第３の射影変換部４２１）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。

【0122】

第３の射影変換部４２１が射影変換を行う縮小画像の具体例としては、合成画像５０１の隅に対応する縮小画像、合成画像５０１の４隅に対応する縮小画像があげられる。また第３の射影変換部４２１が射影変換を行う縮小画像の他の具体例としては、合成画像５０１の辺に対応する縮小画像、合成画像５０１の４辺に対応する縮小画像があげられる。

【0123】

表示部４１５は、第３の射影変換部４２１で変換された一部の縮小画像を、合成画像５０１の輪郭５０５に表示する。このように、表示部４１５に射影変換された縮小画像または基準分割画像に対応する縮小画像が表示されることにより、第２の実施形態で説明したように、合成画像５０１の輪郭５０５の表示だけでは判別が困難な撮りこぼしをユーザに確認させることができる。また、本実施形態では、縮小画像を射影変換していることから、より短時間での処理および計算コストの軽減が実現される。

【0124】

＜第４の実施形態＞
次に、本発明の第４の実施形態に関して説明する。本実施形態では、第３の実施形態で表示された縮小画像が指定され、指定された縮小画像の表示が解像度の高い分割画像の表示に切り替えられる。

【0125】

図１７は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0126】

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、表示部４１５、および第２の指定受付部４２５を備える。

【0127】

射影変換部４０９は、第１の射影変換部４１１、第２の射影変換部４１７、および第３の射影変換部４２１を備える。なお、射影変換部４０９は、３つの機能（第１の射影変換部４１１、第２の射影変換部４１７、および第３の射影変換部４２１）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。

【0128】

第２の射影変換部４１７は、第２の指定部で受け付けられた位置に対応する分割画像が被変換分割画像である場合には、射影変換行列を使用して被変換分割画像を射影変換する。

【0129】

第２の指定受付部４２５は、表示部４１５に表示された縮小画像の指定を受け付ける。具体的には第２の指定受付部４２５は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された合成画像５０１の縮小画像がユーザに指定されることにより、合成画像５０１の位置の指定が受け付けられる。

【0130】

表示部４１５は、第２の指定受付部４２５で指定された縮小画像を、縮小画像に対応する、第２の射影変換部４１７で射影変換された被変換分割画像または基準分割画像に切り替える。すなわち表示部４１５は、第２の指定受付部４２５で指定された縮小画像を、より解像度の高い分割画像に切り替えて表示する。このように、ユーザからの指定により解像度の低い縮小画像から解像度の高い分割画像へ切り替えることにより、より正確な撮りこぼしの確認をできる表示を提供することができる。

【0131】

＜第５の実施形態＞
次に、本発明の第５の実施形態に関して説明する。本実施形態では、入力された分割画像を解像度を下げた縮小画像に変換し、変換された縮小画像に基づいて第１の実施形態で説明したように合成画像５０１の輪郭５０５の表示がされる。本実施形態では縮小画像に基づいて、処理が行われることから、処理時間の短縮化がより図られる。

【0132】

図１８は、本実施形態の画像処理装置４００の機能構成例を示す図である。なお、図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0133】

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準縮小画像特定部４２７、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。

【0134】

対応点情報取得部４０３は、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する。

【0135】

基準縮小画像特定部４２７は、前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する。

【0136】

行列算出部４０７は、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する。

【0137】

第３の射影変換部４２１は、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する。

【0138】

合成画像生成部４１３は、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像５０１の輪郭位置情報を生成する。

【0139】

表示部４１５は、合成画像５０１の輪郭位置情報に基づき、合成画像５０１の輪郭５０５を表示する。

【0140】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0141】

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１０ 車輌
１００ 移動体
１０１ カメラ
３００ コンピュータ
３０２ タッチパネルディスプレイ
３０４ スピーカー
３０５ 内蔵カメラ
３０６ 外部接続端子
３１０ ＣＰＵ
３１２ システムバス
３１４ メインメモリ
３１６ 不揮発性メモリ
３１８ モバイル通信部
３１８Ａ アンテナ
３２０ 無線ＬＡＮ通信部
３２０Ａ アンテナ
３２２ 近距離無線通信部
３２２Ａ アンテナ
３２４ 有線通信部
３２６ 表示部
３２８ 入力部
３３０ キー入力部
３３２ 音声処理部
３３４ 画像処理部
４００ 画像処理装置
４０１ 画像入力部
４０３ 対応点情報取得部
４０５ 基準分割画像特定部
４０７ 行列算出部
４０９ 射影変換部
４１１ 第１の射影変換部
４１３ 合成情報生成部
４１５ 表示部
４１７ 第２の射影変換部
４１９ 第１の指定受付部
４２１ 第３の射影変換部
４２３ 縮小画像生成部
４２５ 第２の指定受付部
４２７ 基準縮小画像特定部
５００ 撮影システム
５０１ 合成画像
５０２ 格間
５０５ 輪郭
５１１ 分割画像
５１３ 分割画像
５１５ 分割画像
５１７ 分割画像
Ｓ１０−Ｓ１６ 画像処理の工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】