特許 7100144 合成処理システム、合成処理装置、及び合成処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】合成処理システム、合成処理装置、及び合成処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220705BHJP

   H04N 7/18 20060101ALI20220705BHJP

   G06T 7/00 20170101ALI20220705BHJP

   G06T 7/30 20170101ALI20220705BHJP

   G06T 3/00 20060101ALI20220705BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 300

H04N5/232 380

H04N5/232 930

H04N7/18 U

G06T7/00 Q

G06T7/30

G06T3/00 750

【請求項の数】 14

(21)【出願番号】P 2020545977

(86)(22)【出願日】2019-09-05

(86)【国際出願番号】 JP2019035055

(87)【国際公開番号】W WO2020054584

(87)【国際公開日】2020-03-19

【審査請求日】2021-04-09

(31)【優先権主張番号】P 2018170761

(32)【優先日】2018-09-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】松本 一磨

(72)【発明者】

【氏名】堀田 修平

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１１－２８９２（ＪＰ，Ａ）

【文献】特開２０１６－５２６３（ＪＰ，Ａ）

【文献】特開２０１７－１１６８７（ＪＰ，Ａ）

【文献】特開２０１８－９０９８２（ＪＰ，Ａ）

【文献】特開２０１７－１６７９６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／３０

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

撮像装置、第１のコンピュータ、及び第２のコンピュータで構成される合成処理システムであって、
前記第１のコンピュータは、
前記撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得する第１の画像取得部と、
前記複数の分割画像に基づいて、前記構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得する合成付帯情報取得部と、
前記分割画像の画像サイズを縮小した縮小分割画像を生成する縮小分割画像生成部と、
前記縮小分割画像を前記合成付帯情報に基づいて合成し、第２の広域画像を生成する第２の広域画像生成部と、
前記第２の広域画像を表示する画像表示部と、
を備え、
前記第２のコンピュータは、
前記第１のコンピュータから前記合成付帯情報が付加された前記複数の分割画像を取得する第２の画像取得部と、
前記合成付帯情報に基づいて前記複数の分割画像を合成し、前記第１の広域画像を生成する第１の広域画像生成部と、
を備える合成処理システム。

【請求項2】

前記第１の画像取得部は、前記画像表示部に前記第２の広域画像が表示された後に、前記撮像装置で撮影された追加の分割画像を取得する請求項１に記載の合成処理システム。

【請求項3】

前記第１のコンピュータは、前記分割画像の画質を調査する画質調査部を有する請求項１又は２に記載の合成処理システム。

【請求項4】

前記画像表示部は、前記画質調査部の調査結果を前記第２の広域画像に重畳表示する請求項３に記載の合成処理システム。

【請求項5】

前記合成付帯情報取得部は、前記分割画像をパノラマ合成するための射影変換行列を取得する請求項１から４のいずれか１項に記載の合成処理システム。

【請求項6】

前記第２のコンピュータは、ネットワークを介して、生成した前記第１の広域画像を出力する請求項１から５のいずれか１項に記載の合成処理システム。

【請求項7】

前記第２のコンピュータは、クラウドサーバである請求項１から６のいずれか１項に記載の合成処理システム。

【請求項8】

前記第１のコンピュータと前記第２のコンピュータとはネットワークにより通信可能であり、
前記第１のコンピュータは、ネットワークへの接続状態が良好な場合に、前記合成付帯情報が付加された前記複数の分割画像を前記第２のコンピュータに送信する請求項１から７のいずれか１項に記載の合成処理システム。

【請求項9】

前記第２のコンピュータは、前記第１の広域画像における損傷を検出する損傷検出部を備える請求項１から８のいずれか１項に記載の合成処理システム。

【請求項10】

前記第２のコンピュータは、前記損傷検出部で検出された前記損傷の大きさを推定し、前記損傷の大きさを定量評価する損傷定量部を備える請求項９に記載の合成処理システム。

【請求項11】

前記第２のコンピュータは、前記損傷検出部で検出された前記損傷の修正を受け付ける損傷修正受付部を備える請求項９又は１０に記載の合成処理システム。

【請求項12】

前記第２のコンピュータは、前記損傷検出部で検出された前記損傷の検出結果を出力する検出結果出力部を備える請求項９から１１のいずれか１項に記載の合成処理システム。

【請求項13】

撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得する第１の画像取得部と、
前記複数の分割画像に基づいて、前記構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得する合成付帯情報取得部と、
前記分割画像の画像サイズを縮小した縮小分割画像を生成する縮小分割画像生成部と、
前記縮小分割画像を前記合成付帯情報に基づいて合成し、第２の広域画像を生成する第２の広域画像生成部と、
前記第２の広域画像を表示する画像表示部と、
前記合成付帯情報が付加された前記複数の分割画像を出力する出力部と、
を備える合成処理装置。

【請求項14】

撮像装置、第１のコンピュータ、及び第２のコンピュータにより行われる合成処理方法であって、
前記第１のコンピュータにおいて、
前記撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得するステップと、
前記複数の分割画像に基づいて、前記構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得するステップと、
前記分割画像の画像サイズを縮小した縮小分割画像を生成するステップと、
前記縮小分割画像を前記合成付帯情報に基づいて合成し、第２の広域画像を生成するステップと、
前記第２の広域画像を表示するステップと、
が行われ、
前記第２のコンピュータにおいて、
前記第１のコンピュータから前記合成付帯情報が付加された前記複数の分割画像を取得するステップと、
前記合成付帯情報に基づいて前記複数の分割画像を合成し、前記第１の広域画像を生成するステップと、
が行われる合成処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、合成処理システム、合成処理装置、及び合成処理方法に関し、特に分割画像を取得して、その分割画像を合成して広域画像を生成する合成処理システム、合成処理装置、及び合成処理方法である。

【背景技術】

【0002】

従来より、複数の分割画像を取得し、取得した分割画像を合成することにより、広域画像（パノラマ画像）を取得するための技術が提案されている。

【0003】

例えば特許文献１に記載されている技術では、合成結果の画像が非常に大きな画像となる場合についても、処理装置の備えるメモリの多少に関わらず、精度よく画像合成を行うことを目的とした技術が記載されている。具体的には、特許文献１に記載された技術では、画像合成対象となる複数の画像データの各縮小画像を作成して、各縮小画像の重複領域を抽出し、抽出された重複領域に基づいて各縮小画像の仮の位置合わせを行うことにより、重複領域とその周辺領域に関する情報を算出し、算出された情報に基づいて各画像データを合成して１枚の画像を作成する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０００－３５８１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、橋梁、道路、ビル等の建造物の点検を、撮影画像を使用して行われている。例えば、点検対象である橋梁の複数の分割画像を合成処理して、１枚の広域画像を取得し、その広域画像におけるひび割れ等の損傷を検出することにより、橋梁の点検が行われる。

【0006】

ここで、分割画像の合成処理には計算能力の高い計算機（コンピュータ）が必要である。したがって、点検者（ユーザ）は、撮影現場で点検対象を分割撮影し、分割撮影の終了後、インターネットに接続可能な環境下に移動してサーバ（計算能力の高い計算機）に分割画像を送信し、サーバに分割画像の合成処理を行わすことが行われている。このような場合に、分割画像を合成処理することにより得られた広域画像において、撮影漏れ領域があることを撮影現場から離れた後に点検者は知ることとなる。撮影漏れ領域があった場合には、改めて撮影現場に戻って撮影を行わなければならず、効率的な点検作業を行うことができない。

【0007】

また撮影現場において、特許文献１に記載された技術のように、分割画像の縮小画像を使用して仮の合成処理を行い、撮影漏れ領域の有無の確認を行うことが考えられる。この場合には、撮影現場で仮の合成処理を行って、その後にサーバに改めて分割画像の合成処理を行わすことになる。この場合に、撮影現場で仮の合成処理を行う際に合成に使用する情報を算出し、サーバにおける合成処理においても改めて合成に使用する情報を算出することは、撮影現場での仮の合成処理の処理結果が無駄になってしまい非効率的である。

【0008】

上述した特許文献１には、撮影現場での仮の合成処理に関しては言及されていなく、また、仮の合成処理の処理結果を後で利用することは言及されていない。

【0009】

本発明はこのような事情に鑑みてなされたもので、その目的は、ネットワークに接続することが困難な状況下において、分割画像の撮影漏れの確認を行うことができ、撮影現場を離れた後の分割画像の撮り直しを抑制し、分割画像の撮影漏れの確認で生成された合成付帯情報を後の広域画像の合成処理に利用して効率的な点検を行うことができる合成処理システム、合成処理装置、及び合成処理方法を提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するための本発明の一の態様である合成処理システムは、撮像装置、第１のコンピュータ、及び第２のコンピュータで構成される合成処理システムであって、第１のコンピュータは、撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得する第１の画像取得部と、複数の分割画像に基づいて、構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得する合成付帯情報取得部と、分割画像の画像サイズを縮小した縮小分割画像を生成する縮小分割画像生成部と、縮小分割画像を合成付帯情報に基づいて合成し、第２の広域画像を生成する第２の広域画像生成部と、第２の広域画像を表示する画像表示部と、を備え、第２のコンピュータは、第１のコンピュータから合成付帯情報が付加された複数の分割画像を取得する第２の画像取得部と、合成付帯情報に基づいて複数の分割画像を合成し、第１の広域画像を生成する第１の広域画像生成部と、を備える。

【0011】

本態様によれば、第１のコンピュータにより、分割画像の画像サイズを縮小した縮小分割画像を生成し、縮小分割画像により簡易的な広域画像である第２の広域画像が生成されるので、ユーザはこの第２の広域画像を確認することにより、撮影現場において撮影漏れを確認することができる。また、第２の広域画像を生成する際に第１のコンピュータで算出された合成付帯情報を利用して、第２のコンピュータは分割画像を合成して第１の広域画像を合成するので、効率的な分割画像の合成を行うことができる。

【0012】

好ましくは、第１の画像取得部は、画像表示部に第２の広域画像が表示された後に、撮像装置で撮影された追加の分割画像を取得する。

【0013】

好ましくは、第１のコンピュータは、分割画像の画質を調査する画質調査部を有する。

【0014】

好ましくは、画像表示部は、画質調査部の調査結果を第２の広域画像に重畳表示する。

【0015】

好ましくは、合成付帯情報取得部は、分割画像をパノラマ合成するための射影変換行列を取得する。

【0016】

好ましくは、第２のコンピュータは、ネットワークを介して、生成した第１の広域画像を出力する。

【0017】

好ましくは、第２のコンピュータは、クラウドサーバである。

【0018】

好ましくは、第１のコンピュータと第２のコンピュータとはネットワークにより通信可能であり、第１のコンピュータは、ネットワークへの接続状態が良好な場合に、合成付帯情報が付加された複数の分割画像を第２のコンピュータに送信する。

【0019】

好ましくは、第２のコンピュータは、第１の広域画像における損傷を検出する損傷検出部を備える。

【0020】

好ましくは、第２のコンピュータは、損傷検出部で検出された損傷の大きさを推定し、損傷の大きさを定量評価する損傷定量部を備える。

【0021】

好ましくは、第２のコンピュータは、損傷検出部で検出された損傷の修正を受け付ける損傷修正受付部を備える。

【0022】

好ましくは、第２のコンピュータは、損傷検出部で検出された損傷の検出結果を出力する検出結果出力部を備える。

【0023】

本発明の他の態様である合成処理装置は、撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得する第１の画像取得部と、複数の分割画像に基づいて、構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得する合成付帯情報取得部と、分割画像の画像サイズを縮小した縮小分割画像を生成する縮小分割画像生成部と、縮小分割画像を合成付帯情報に基づいて合成し、第２の広域画像を生成する第２の広域画像生成部と、第２の広域画像を表示する画像表示部と、合成付帯情報が付加された複数の分割画像を出力する出力部と、を備える。

【0024】

本発明の他の態様である合成処理方法は、撮像装置、第１のコンピュータ、及び第２のコンピュータにより行われる合成処理方法であって、第１のコンピュータにおいて、撮像装置により、点検対象である構造物を分割して撮影された複数の分割画像を取得するステップと、複数の分割画像に基づいて、構造物の広域の点検範囲に対応する第１の広域画像を合成するための合成付帯情報を取得するステップと、分割画像の画像サイズを縮小した縮小分割画像を生成するステップと、縮小分割画像を合成付帯情報に基づいて合成し、第２の広域画像を生成するステップと、第２の広域画像を表示するステップと、が行われ、第２のコンピュータにおいて、第１のコンピュータから合成付帯情報が付加された複数の分割画像を取得するステップと、合成付帯情報に基づいて複数の分割画像を合成し、第１の広域画像を生成するステップと、が行われる。

【発明の効果】

【0025】

本発明によれば、第１のコンピュータにより、分割画像の画像サイズを縮小した縮小分割画像を生成し、縮小分割画像により簡易的な広域画像である第２の広域画像が生成されるので、ユーザは第２の広域画像を確認することにより、撮影現場において撮影漏れを確認し抑制することができ、また、第２の広域画像を生成する際に第１のコンピュータで算出された合成付帯情報を利用して、第２のコンピュータは分割画像を合成して第１の広域画像を合成するので、効率的な分割画像の合成を行うことができる。

【図面の簡単な説明】

【0026】

【図1】図１は、合成処理システムを構成する、撮像装置、ユーザ端末、及び損傷検出サーバを概念的に示す図である。

【図2】図２は、ユーザ端末に搭載される合成処理装置の機能構成例を示すブロック図である。

【図3】図３は、合成処理装置で行われる縮小分割画像を合成して簡易広域画像を得ることを説明する図である。

【図4】図４は、簡易広域画像を示す図である。

【図5】図５は、濃度ヒストグラムの例を示す図である。

【図6】図６は、調査結果が簡易広域画像に重畳表示される例を示す図である。

【図7】図７は、調査結果が簡易広域画像に重畳表示される例を示す図である。

【図8】図８は、損傷検出サーバの機能構成例を示すブロック図である。

【図9】図９は、広域画像でのひび割れの損傷検出の結果の例を示す図である。

【図10】図１０は、検出された損傷の修正に関して説明する図である。

【図11】図１１は、検出された損傷の修正に関して説明する図である。

【図12】図１２は、損傷の検出結果の出力例を示す図である。

【図13】図１３は、損傷の検出結果の出力例を示す図である。

【図14】図１４は、合成処理工程を示すフローチャートである。

【発明を実施するための形態】

【0027】

以下、添付図面にしたがって本発明にかかる合成処理システム、合成処理装置、及び合成処理方法の好ましい実施の形態について説明する。

【0028】

図１は、本発明の合成処理システムを構成する、撮像装置Ａ、ユーザ端末Ｂ（第１のコンピュータ）、及び損傷検出サーバＣ（第２のコンピュータ）を概念的に示す図である。

【0029】

撮像装置Ａ及びユーザ端末Ｂは、インターネット等のネットワークに接続できない環境（ローカル環境Ｆ）に置かれている。例えば、ローカル環境Ｆは、トンネル内や電波の届かない山間部等の屋外の環境である。点検対象である構造物が例えばトンネル内の壁である場合や、山間部の橋梁である場合に、撮像装置Ａによりローカル環境Ｆで点検対象の構造物の分割画像Ｅが取得される。構造物の分割画像Ｅが取得されると、ユーザ端末Ｂに分割画像Ｅが送られる。この場合、撮像装置Ａとユーザ端末Ｂは、ローカル環境Ｆに存在し、ローカル通信により分割画像Ｅの送受信が行われる。ユーザ端末Ｂは、分割画像Ｅを受信すると、受信した分割画像Ｅに基づいて簡易広域画像（第２の広域画像）を合成しモニタ９に表示する。ユーザ（点検者）は、モニタ９に表示された簡易広域画像を確認することにより、撮影漏れ領域や低画質領域の存在の有無を撮影現場（ローカル環境Ｆ）でチェックすることができる。

【0030】

このように、ユーザ端末Ｂにより簡易広域画像がモニタ９に表示されるので、ユーザはローカル環境Ｆにおいて、撮影漏れ領域及び低画質領域の存在の有無を確認することができる。ここで、分割画像Ｅにより合成されて得られる広域画像（第１の広域画像：簡易広域画像ではなく、画像サイズが低減されていない広域画像）は、データ量が大きく処理するコンピュータには、非常に高い計算能力が要求される。例えばユーザが撮影現場に持っていくような、容易に移動可能な小型のコンピュータ（ユーザ端末Ｂ）を使用して、広域画像を撮影現場で合成することはユーザ端末Ｂの計算能力を考慮すると、不可能であったり、また可能であったとしても時間がかかりすぎて実用的ではない。ユーザ端末Ｂは、モニタ９がそれぞれ接続されており、ユーザはキーボード５を介して指令を入力する。なお、図示されたコンピュータの形態は一例である。例えば、図示したコンピュータの代わりにタブレット端末を使用することも可能である。

【0031】

分割画像Ｅに撮影漏れ領域及び低画質領域が無いことを確認したユーザは、分割画像Ｅの撮影を終了し、ユーザ端末ＢをインターネットＤに接続可能（通信可能）な環境（インターネット環境Ｇ）に移動させる。インターネット環境Ｇに移動したユーザ端末Ｂは、インターネットＤに接続し、分割画像Ｅ及び合成付帯情報Ｈを損傷検出サーバＣに送信する。なお、ユーザ端末ＢはインターネットＤへの接続状態が良好となった場合に、合成付帯情報Ｈが付加された複数の分割画像を損傷検出サーバＣに自動的に送信してもよい。分割画像Ｅ及び合成付帯情報Ｈを受信した損傷検出サーバＣは、分割画像Ｅ及び合成付帯情報Ｈを利用して広域画像を合成する。また、損傷検出サーバＣは、広域画像においてひび割れ等の損傷を検出し、ユーザ端末Ｂに広域画像と共に送信する。なお、損傷検出サーバＣによる広域画像と損傷検出結果はユーザ端末Ｂとは別の端末に送信してもよい。ここで、別の端末とは、損傷検出サーバＣに分割画像Ｅ及び合成付帯情報Ｈを送信したユーザ端末Ｂとは別の、広域画像及び損傷検出結果を表示可能な端末である。ここで、損傷検出サーバＣは、大型のコンピュータで構成されており、広域画像の合成を行うには十分な計算能力を有する。損傷検出サーバＣは、サーバとしての機能を有し、ユーザ端末Ｂとの間でインターネットＤを介してデータの送受信を行うことができ、クラウドサーバとして機能する。

【0032】

図２は、ユーザ端末Ｂに搭載される合成処理装置１０の機能構成例を示すブロック図である。合成処理装置１０の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0033】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0034】

合成処理装置１０は、第１の画像取得部１１、合成付帯情報取得部１３、縮小分割画像生成部１５、簡易広域画像生成部（第２の広域画像生成部）１７、画質調査部１９、送信部２１、表示制御部２５、記憶部２６及びモニタ９を備える。記憶部２６には、プログラム及び合成処理装置１０の各種制御にかかる情報等が記憶される。また、表示制御部２５は、モニタ９による表示を制御する。表示制御部２５及びモニタ９により画像表示部が構成されている。

【0035】

第１の画像取得部１１は、撮像装置Ａにより、点検対象である構造物を分割して撮影された複数の分割画像Ｅを取得する。損傷検出を行う場合には、構造物の損傷が画像処理により検出可能な程度の解像度で構造物を撮影する必要がある。したがって、損傷検出が可能な程度の解像度で構造物の分割画像Ｅを取得し、その後に合成して広域画像を生成し損傷検出が行われる。また、取得した分割画像Ｅにおいて損傷検出を行い、その後に広域画像を合成してもよい。なお、第１の画像取得部１１は無線及び有線により撮像装置Ａから分割画像を取得する。

【0036】

合成付帯情報取得部１３は、分割画像Ｅに基づいて、構造物の点検範囲に対応する広域画像（第１の広域画像）を合成するための合成付帯情報Ｈを取得する。合成付帯情報取得部１３は、縮小分割画像ではなく分割画像Ｅの合成付帯情報Ｈを取得する。

【0037】

縮小分割画像生成部１５は、分割画像の画像サイズを縮小した縮小分割画像を生成する。縮小分割画像は簡易広域画像（第２の広域画像）を構成する画像であり、縮小分割画像を合成して簡易広域画像が生成される。ここで画像サイズの縮小とは、例えば画像を構成するピクセル数を減じる処理のことである。

【0038】

簡易広域画像生成部（第２の広域画像生成部）１７は、縮小分割画像を合成付帯情報Ｈに基づいて合成し、簡易広域画像を生成する。簡易広域画像は、縮小分割画像により構成されているので、合成処理に要する計算能力は軽減されている。したがって、簡易広域画像は、計算能力が高くないユーザ端末Ｂでも、短時間により生成される。ユーザは、表示部に表示された簡易広域画像を確認することにより、撮影漏れ領域や低画質領域の存在を確認することができる。

【0039】

画質調査部１９は分割画像の画質を調査する。画質調査部１９は、第１の画像取得部１１で取得された分割画像Ｅの画質を調査して、低画質の分割画像Ｅがあった場合には、ユーザにそのことを報知し、撮影し直しをユーザに喚起する。画質調査部１９の具体的な画質調査の手法は後で詳しく説明する。

【0040】

送信部２１は分割画像Ｅ及び合成付帯情報Ｈを損傷検出サーバＣに送信する。送信部２１は、ユーザの指令により分割画像Ｅ及び合成付帯情報Ｈを損傷検出サーバＣに送信してもよいし、インターネットＤに接続可能な状況であることを判定して、接続可能と判定した場合に自動的に分割画像Ｅ及び合成付帯情報Ｈを損傷検出サーバＣに送信してもよい。

【0041】

図３は、合成処理装置１０で行われる縮小分割画像Ｍを合成して簡易広域画像１０１を得ることを説明する図である。

【0042】

合成処理装置１０は、分割画像Ｅに基づいて縮小分割画像Ｍを生成し、その縮小分割画像Ｍをパノラマ合成することにより、簡易広域画像１０１を生成する。

【0043】

具体的には、合成付帯情報取得部１３は、各分割画像Ｅの特徴点を抽出し、分割画像Ｅ間において特徴点のマッチング（対応点の抽出）を行う。ここで、合成付帯情報取得部１３が行う、特徴点の抽出及び特徴点のマッチングは、公知の技術が使用される。そして、合成付帯情報取得部１３は、分割画像Ｅのうちで決定された基準画像に対しての各分割画像Ｅの射影変換行列を算出する。このように算出された射影変換行列は、合成付帯情報取得部１３で取得される合成付帯情報Ｈの一例である。

【0044】

縮小分割画像生成部１５は、分割画像Ｅから縮小分割画像Ｍを生成する。そして、簡易広域画像生成部１７は、縮小分割画像Ｍをパノラマ合成することにより簡易広域画像１０１を生成する。例えば、縮小分割画像生成部１５は、簡易広域画像の画像サイズが所定の最大値（例えば画像の長辺が３，０００ピクセル）以下になるように各分割画像Ｅの画像サイズを縮小して縮小分割画像Ｍを生成する。画像サイズを縮小していない分割画像Ｅにより広域画像を合成した場合には、例えば画像の長辺が３０，０００ピクセルの広域画像となってしまうが、縮小分割画像Ｍで簡易広域画像１０１を合成した場合には画像の長辺が３，０００ピクセルの画像サイズとなり、１／１００での画像サイズでの合成を行うことができる。これにより、簡易広域画像１０１を合成するための計算負荷を軽減することができ、計算能力が高くない小型のコンピュータであるユーザ端末Ｂでも十分に合成を行うことができる。一方、撮影現場での撮影漏れ領域の確認は、画像サイズを落とした簡易広域画像でも十分に行うことができる。また、簡易広域画像では、縮小分割画像の重複領域の境界を馴染ませる処理を省くことが好ましい。これも撮影漏れ領域を確認できればよいので、境界を馴染ませる処理は特段必要とはならない。

【0045】

図４は、ユーザ端末Ｂのモニタ９に表示される簡易広域画像１０３を示す図である。

【0046】

簡易広域画像１０３は、縮小分割画像Ｍをパノラマ合成することにより得られた簡易広域画像１０３である。簡易広域画像１０３には撮影漏れ領域１０５が示されている。ユーザは、モニタ９に表示された簡易広域画像１０３を確認することによって、撮影漏れ領域１０５を確認し、撮影漏れ領域１０５に対応する分割画像を撮影現場で直ぐに撮影することができる。これにより、ローカル環境Ｆのように損傷検出サーバＣに接続できない状況でも、ユーザは撮影漏れ領域を把握して追加の分割画像Ｅを取得することができる。

【0047】

次に、画質調査部１９で行われる分割画像の画質調査に関して説明する。

【0048】

画質調査部１９は、第１の画像取得部１１で取得された点検画像の画質を調査する。ここで、画質調査部１９が行う調査は、様々な手法を採用することができる。以下に画質調査部１９の調査手法の具体例を説明する。

【0049】

先ず、機械学習による画質の調査に関して説明する。画質調査部１９が行う第１の画質調査手法としては、機械学習が施された画質調査器による調査手法がある。すなわち、画質調査部１９は機械学習による画質調査器（画質調査ＡＩ（artificial intelligence））により構成され、画質調査器により点検画像の画質を調査する。

【0050】

次に、空間周波数スペクトルによる画質調査について説明する。画質調査部１９は、点検画像中の領域の空間周波数スペクトルにおける高周波領域のスペクトル最大値、平均値、又はスペクトルの和等で画質を定量化して調査する。具体的には、空間周波数スペクトル画像（撮影画像を高速フーリエ変換（ＦＦＴ：fast Fourier transform）して得られる）の四隅から特定の画素数半径内（ｒピクセル半径）の成分の最大値、平均値、又は和が大きいほど高周波成分が強い（多い）のでボケ、ブレが少なく、画質がよりよい。

【0051】

次に、ヒストグラムによる画質調査について説明する。画質調査部１９が行うヒストグラム（画質を示す指標の一例）による判断では、画質調査部１９は個別画像（Ｒ，Ｇ，Ｂの成分で構成されるカラー画像）をグレースケール画像に変換する。例えば、グレースケール（濃度）＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１である（Ｒ，Ｇ，Ｂはそれぞれ赤色信号、緑色信号、青色信号の値）。画質調査部１９は、変換したグレースケール画像のヒストグラム（濃度ヒストグラム；図５の例を参照）を計算する。ヒストグラムの計算及び以下の判断は、個別画像の全体ではなく一部の領域について行ってもよい。画質調査部１９は、Ｇ（ｉ）｛ｉ＝０，１，…，２５５｝を各濃度値（０に近いほど暗く、２５５に近いほど明るい）のヒストグラムとして、以下の式（１），（２）により個別画像が明るすぎるかどうか、あるいは暗すぎるかどうかを調査する。調査の閾値（ｋｂ，ｈｂ，ｋｄ，ｈｄ）は既定値（例えば、ｋｂ＝２０５，ｈｂ＝０．５，ｋｄ＝５０，ｈｄ＝０．５）でもよいし、キーボード５などの操作部を介したユーザの入力に応じて画質調査部１９が設定してもよい。

【0052】

【数1】

【0053】

【数2】

【0054】

画質調査部１９は、上述した式（１）において濃度値がｋｂ以上の割合が全体のｈｂ以上であれば「明るすぎる」と調査する。この場合、画質調査部１９は「（明るすぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。同様に、画質調査部１９は式（２）において濃度値がｋｄ以下の割合が全体のｈｄ以上であれば「（暗すぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。

【0055】

ヒストグラムに基づき、階調がつぶれているか否かの調査を行うこともできる。例えば、画質調査部１９は、Ｇ（ｉ）｛ｉ＝０，１，…，２５５｝を各濃度値のヒストグラムとして、Ｇ（０）＞Ｔｄの場合は「シャドー側の階調がつぶれている」と調査し、またＧ（２５５）＞Ｔｂの場合は「ハイライト側の階調がつぶれている」と判断する。これらの場合、画質調査部１９は「画質が低い」と判断して、個別画像を確認対象画像とする。調査の閾値（Ｔｄ，Ｔｂ）は既定値（例えば、Ｔｄ＝０，Ｔｂ＝０）でもよいし、操作部（キーボード５）を介したユーザの入力に応じて画質調査部１９が設定してもよい。

【0056】

以上で説明したように、画質調査部１９は、様々な手法で分割画像Ｅの画質を調査する。

【0057】

図６及び図７は、画質調査部１９の調査結果が簡易広域画像に重畳表示される例を示す図である。

【0058】

図６及び図７に示したモニタ９の表示形態では、簡易広域画像１０７と共に、分割画像Ｅのサムネイル表示１１３が行われている。サムネイル表示１１３における分割画像Ｅを選択することにより、簡易広域画像１０７における選択された分割画像Ｅが強調表示される。そして、この強調表示される際に同時に、画質調査部１９の調査結果も併せて表示される。

【0059】

図６では、サムネイル表示１１３において選択された分割画像１１０は、簡易広域画像１０７においては領域１１５に対応しているので、領域１１５は強調表示されている。また、分割画像１１０は、画質調査部１９の画質調査の結果が高画質であるので、高画質であることを示す強調表示が領域１１５によって行われている。一方図７では、サムネイル表示１１３において選択された分割画像１１１は、簡易広域画像１０７においては領域１１７に対応しているので、領域１１７は強調表示されている。また、分割画像１１１は、画質調査部１９の画質調査の結果が低画質であるので、低画質であることを示す強調表示が領域１１７によって行われている。なお、図６及び図７では、サムネイル表示１１３において選択された分割画像１１０に対応している簡易広域画像の領域が強調表示される例を説明したが、これに限定されるものではない。例えば、サムネイル表示１１３の選択がされていなくても、画質調査部１９の画質調査の結果が低画質である分割画像に対応する領域（広域画像における領域）を強調表示してユーザに報知してもよい。

【0060】

以上説明したように、画質調査部１９で調査された調査結果を簡易広域画像１０７に重畳表示することにより、ユーザに分割画像の画質を報知することができ、ユーザは低画質の分割画像の撮り直しを撮影現場で行うことができる。

【0061】

次に、損傷検出サーバＣに関して説明する。

【0062】

図８は、損傷検出サーバＣの機能構成例を示すブロック図である。なお、損傷検出サーバＣも、上述した合成処理装置１０と同様に、各機能を例えばＣＰＵ等のプロセッサで実現される。

【0063】

損傷検出サーバＣは、第２の画像取得部３１、広域画像生成部（第１の広域画像生成部）３３、損傷検出部３５、損傷定量部３７、損傷修正受付部３９、検出結果出力部４１、及び記憶部４３を備える。

【0064】

記憶部４３には、プログラム及び損傷検出サーバＣの各種制御にかかる情報等が記憶される。

【0065】

第２の画像取得部３１は、ユーザ端末Ｂから合成付帯情報Ｈが付加された分割画像を取得する。具体的には、ユーザ端末Ｂと損傷検出サーバＣがインターネットＤで接続可能な状況下において、第２の画像取得部３１は、インターネットＤを介して分割画像Ｅと合成付帯情報Ｈを取得する。

【0066】

広域画像生成部３３は、合成付帯情報Ｈに基づいて分割画像Ｅを合成し、広域画像を生成する。広域画像生成部３３は、ユーザ端末Ｂの合成付帯情報取得部１３で取得された合成付帯情報Ｈを利用して、分割画像Ｅをパノラマ合成して広域画像を生成する。損傷検出サーバＣは、大型のコンピュータで構成されており、計算能力が高いので分割画像Ｅをパノラマ合成して広域画像の生成を行うことができる。また、広域画像生成部３３は、ユーザ端末Ｂの合成付帯情報取得部１３で取得された合成付帯情報Ｈを使用して、分割画像Ｅを合成するので、改めて合成付帯情報Ｈを取得する必要がなく、効率的な広域画像の合成を行うことができる。

【0067】

損傷検出部３５は、広域画像における損傷を検出する。損傷検出部３５は公知の技術を使用して、様々な損傷を検出することができる。損傷検出部３５により検出される損傷の具体例としては、腐食、亀裂、ゆるみ又は脱落、破断、防食機能の劣化、ひびわれ、剥離又は鉄筋露出、漏水又は遊離石灰、抜け落ち、補修又は補強材の損傷、床版ひびわれ、うき、遊間の異常、路面の凹凸、舗装の異常、支承部の機能障害、その他（火災損傷など）、定着部の異常、変色又は劣化、漏水又は滞水、異常な音又は振動、異常なたわみ、変形又は欠損、土砂つまり、沈下又は移動又は傾斜、洗堀である。なお、損傷検出部３５は、分割画像Ｅにおいて損傷検出を行い、その後に広域画像が生成されてもよい。

【0068】

損傷定量部３７は、損傷検出部３５で検出された損傷の大きさを推定し、損傷の大きさを定量評価する。損傷定量部３７は、公知の技術を使用して損傷の大きさを推定して損傷の大きさを定量評価する。損傷定量部３７が行う定量化の具体例は、腐食の面積、腐食の深さ、亀裂の長さ、ひび割れの長さ、ひび割れの幅、ゆるみの箇所の個数、脱落（ナットやボルト）の箇所の個数、ひび割れの間隔、ひび割れの方向、漏水又は遊離石灰の面積、剥離又は鉄筋露出の面積である。

【0069】

損傷修正受付部３９は、損傷検出部３５で検出された損傷の修正を受け付ける。例えば、損傷修正受付部３９は、ユーザ端末Ｂのモニタ９に表示された損傷の検出結果に関して、ユーザがユーザ端末Ｂの操作部（キーボード５及びマウス（不図示））を介して入力する修正を受け付ける。

【0070】

検出結果出力部４１は、損傷検出部３５で検出された損傷の検出結果を出力する。検出結果出力部４１は、様々な態様により、検出結果を出力することができる。例えば検出結果出力部４１は、損傷定量部３７の定量評価を積算して出力してもよい。具体的には、検出した損傷の寸法をＣＳＶ（comma-separated values）ファイルに出力する。また、検出結果出力部４１は、ＣＡＤ（computer-assisted drafting）図に重畳して検出結果を出力してもよいし、広域画像に重畳して検出結果を出力してもよい。

【0071】

図９は、損傷検出サーバＣで行われる広域画像でのひび割れの損傷検出の結果の例を示す図である。

【0072】

ユーザ端末Ｂのモニタ９に表示される広域画像１０９は、損傷検出部３５によりひび割れが検出されている。ひび割れの検出結果はひび割れ線Ｉで表示され、広域画像１０９に重畳表示されている。また、ひび割れ線Ｉに対応するひび割れの幅が、損傷定量部３７により推定され、推定された定量評価（ひび割れの幅）が広域画像１０９に表示Ｊにより重畳的に表示されている。なお、表示Ｊには、ひび割れの幅以外にひび割れの識別番号も表示されている。ユーザは、表示Ｊを確認することにより、ひび割れ線Ｉに対応するひび割れの幅についての情報を得ることができる。

【0073】

図１０及び図１１は、検出された損傷の修正に関して説明する図である。図１０は、ユーザ端末Ｂのモニタ９に表示される、広域画像１１９が示されている。広域画像１１９には、損傷検出部３５で行われた損傷検出の結果がひび割れ線Ｉにより示されている。広域画像１１９では、ひび割れＫが存在するが損傷検出部３５はひび割れＫが上手く検出できていないので、ひび割れＫに対してのひび割れ線Ｉが存在しない。

【0074】

図１１は、ユーザがユーザ端末Ｂにおいて、モニタ９に表示される広域画像１１９に対して、修正を行う場合を説明する図である。図１１に示すように、ユーザは、損傷検出部３５で検出されなかったひび割れＫに対して、トレース線Ｌを追加して損傷検出の結果を修正している。この修正は、例えばユーザ端末Ｂの操作部（キーボード５及びマウス（不図示））で行われて、損傷検出サーバＣの損傷修正受付部３９にトレース線Ｌで行われた修正が受け付けられる。損傷検出部３５は、損傷修正受付部３９で受け付けられた修正を損傷の検出結果に反映させる。なお、図１０及び図１１では、ユーザ端末Ｂのモニタ９に関して説明をしたが、これに限定されるものではない。別の端末においても図１０及び図１１で説明したように損傷検出の結果の確認及び損傷検出の結果の修正を行ってもよい。

【0075】

このように、損傷検出部３５で検出された結果に対してユーザは、修正を行うことができるので、より正確な損傷の検出結果を取得することができる。

【0076】

次に、検出結果出力部４１の出力例に関して説明する。検出結果出力部４１は、様々な形態により、広域画像の損傷検出の結果を出力することができる。図１２及び図１３は、検出結果出力部４１で出力される損傷の検出結果の出力例を示す図である。図１２は、損傷の検出結果がＣＡＤ図に重畳的に表示される例を示す図である。また図１３は、損傷の検出結果が広域画像に重畳的に表示される例を示す図である。このように、合成された広域画像に基づいて損傷検出が行われその検出結果が様々な形態で出力される。

【0077】

図１４は、合成処理システムを使用した合成処理工程（合成処理方法）を示すフローチャートである。

【0078】

先ず、撮像装置Ａにより点検対象である構造物の分割画像が取得される（ステップＳ１０）。その後、撮像装置Ａからユーザ端末Ｂに分割画像が送信される（ステップＳ１１）。この場合、例えば撮影現場は、インターネットＤに接続ができないローカル環境Ｆであるので、撮像装置Ａからユーザ端末Ｂへの分割画像の送信は、ローカル環境Ｆでも可能な送信手段が使用される。

【0079】

ユーザ端末Ｂは、第１の画像取得部１１により分割画像を受信する（ステップＳ１２）。その後、合成付帯情報取得部１３により合成付帯情報Ｈを取得する（ステップＳ１３）。例えば、合成付帯情報取得部１３は、分割画像をパノラマ合成するための射影変換行列を取得する。そして、縮小分割画像生成部１５は、取得した分割画像の画像サイズを小さくした縮小分割画像を生成する（ステップＳ１４）。その後、簡易広域画像生成部１７は、簡易広域画像を生成する（ステップＳ１５）。そして、ユーザ端末Ｂはモニタ９に生成された簡易広域画像を表示する（ステップＳ１６）。ユーザはモニタ９に表示された簡易広域画像を確認しながら、撮り漏れ領域や低画質領域が無いかを確認し、撮り漏れ領域や低画質領域があった場合には、その領域に対応する分割画像の撮り直しを行う。撮り漏れ領域や低画質領域が無かった場合には、ユーザはユーザ端末Ｂをインターネット環境Ｇに移動させ、インターネットＤに接続して、取得した分割画像及び合成付帯情報Ｈを損傷検出サーバＣに送信する（ステップＳ１７）。

【0080】

損傷検出サーバＣは、第２の画像取得部３１により、ユーザ端末ＢからインターネットＤを介して送信された分割画像及び合成付帯情報Ｈを受信する（ステップＳ１８）。損傷検出サーバＣは、分割画像及び合成付帯情報Ｈにより広域画像を生成する（ステップＳ１９）。

【0081】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0082】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0083】

５ ：キーボード
９ ：モニタ
１０ ：合成処理装置
１１ ：第１の画像取得部
１３ ：合成付帯情報取得部
１５ ：縮小分割画像生成部
１７ ：簡易広域画像生成部
１９ ：画質調査部
２１ ：送信部
２５ ：表示制御部
２６ ：記憶部
３１ ：第２の画像取得部
３３ ：広域画像生成部
３５ ：損傷検出部
３７ ：損傷定量部
３９ ：損傷修正受付部
４１ ：検出結果出力部
４３ ：記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】