特許 7152515 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221004BHJP

   G06T 1/00 20060101ALI20221004BHJP

【ＦＩ】

H04N5/232 380

H04N5/232 290

G06T1/00 280

【請求項の数】 13

(21)【出願番号】P 2020562993

(86)(22)【出願日】2019-12-04

(86)【国際出願番号】 JP2019047473

(87)【国際公開番号】W WO2020137405

(87)【国際公開日】2020-07-02

【審査請求日】2021-06-17

(31)【優先権主張番号】P 2018245323

(32)【優先日】2018-12-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】松本 一磨

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１４－１６８１４７（ＪＰ，Ａ）

【文献】特開２００８－１９９６５８（ＪＰ，Ａ）

【文献】藤田 悠介，田口 岳志，浜本 義彦，コンクリート構造物の外観検査のための画像合成および半自動ひび割れ評価，土木学会論文集Ｆ３（土木情報学），２０１８年７４巻第１号，日本，2018年05月22日，第１８－３２頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

重複する領域を含んで構造物の表面を分割撮影することにより得た複数の分割画像を取得する画像取得部と、
重複領域を有する前記複数の分割画像間において、一方の前記分割画像の前記重複領域には存在していて、他方の前記分割画像の前記重複領域には存在していない前記構造物への描画個所を障害対象として検出する障害対象検出部と、
前記複数の分割画像の各々において前記検出された前記障害対象を除外して、特徴点を抽出する特徴点抽出部と、
前記複数の分割画像の特徴点をマッチングさせることにより、前記複数の分割画像をパノラマ合成して合成画像を生成する第１の合成処理部と、
前記合成画像を出力する出力部と、
を備える画像処理装置。

【請求項2】

前記合成画像を表示する表示部を備える請求項１に記載の画像処理装置。

【請求項3】

前記複数の分割画像を表示する表示部と、
前記複数の分割画像における前記特徴点の修正を受け付ける特徴点受付部と、
を備える請求項１又は２に記載の画像処理装置。

【請求項4】

前記複数の分割画像を表示する表示部と、
前記複数の分割画像における前記障害対象の修正を受け付ける障害対象受付部と、
を備える請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記障害対象検出部は、前記重複領域を有する前記複数の分割画像間において、一方の前記分割画像の撮影時には前記重複領域に存在していて、他方の前記分割画像の撮影時には前記重複領域から消されている前記描画個所を前記障害対象として検出する、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記障害対象は前記表面の損傷に対してマーキングを行った描画箇所であって、前記複数の分割画像における前記障害対象を合成して合成障害対象を生成する第２の合成処理部を備え、
前記出力部は、前記合成障害対象を前記合成画像又は前記構造物の図面に重畳する請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第１の合成処理部は、前記複数の分割画像の前記パノラマ合成を行う重ね合わせの順序を、前記障害対象の可視化の有無に基づいて決定する請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記障害対象は描画箇所であって、前記描画箇所は前記構造物の前記表面の状態に関する情報を有し、前記描画箇所が有する前記表面の状態に関する情報を読み込む情報読込部を備える請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記情報読込部は、前記描画箇所の形、又は前記描画箇所の色を認識して、前記表面の状態に関する情報を読み込む請求項８に記載の画像処理装置。

【請求項10】

前記出力部は、前記情報読込部で読み込まれた前記表面の状態に関する情報を出力する請求項８又は９に記載の画像処理装置。

【請求項11】

重複する領域を含んで構造物の表面を分割撮影することにより得た複数の分割画像を取得するステップと、
重複領域を有する前記複数の分割画像間において、一方の前記分割画像の前記重複領域には存在していて、他方の前記分割画像の前記重複領域には存在していない前記構造物への描画個所を障害対象として検出するステップと、
前記複数の分割画像の各々において前記検出された前記障害対象を除外して、特徴点を
抽出するステップと、
前記複数の分割画像の特徴点をマッチングさせることにより、前記複数の分割画像をパノラマ合成して合成画像を生成するステップと、
前記合成画像を出力するステップと、
を含む画像処理方法。

【請求項12】

重複する領域を含んで構造物の表面を分割撮影することにより得た複数の分割画像を取得するステップと、
重複領域を有する前記複数の分割画像間において、一方の前記分割画像の前記重複領域には存在していて、他方の前記分割画像の前記重複領域には存在していない前記構造物への描画個所を障害対象として検出するステップと、
前記複数の分割画像の各々において前記検出された前記障害対象を除外して、特徴点を抽出するステップと、
前記複数の分割画像の特徴点をマッチングさせることにより、前記複数の分割画像をパノラマ合成して合成画像を生成するステップと、
前記合成画像を出力するステップと、
をコンピュータに実行させるプログラム。

【請求項13】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
重複する領域を含んで構造物の表面を分割撮影することにより得た複数の分割画像を取得するステップと、
重複領域を有する前記複数の分割画像間において、一方の前記分割画像の前記重複領域には存在していて、他方の前記分割画像の前記重複領域には存在していない前記構造物への描画個所を障害対象として検出するステップと、
前記複数の分割画像の各々において前記検出された前記障害対象を除外して、特徴点を抽出するステップと、
前記複数の分割画像の特徴点をマッチングさせることにより、前記複数の分割画像をパノラマ合成して合成画像を生成するステップと、
前記合成画像を出力するステップと、
をコンピュータに実行させる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に分割して撮影された画像のパノラマ合成を行う画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、構造物の損傷の点検において、点検対象の撮影画像が利用されている。

【0003】

例えば特許文献１には、コンクリート表面の撮影画像からひび割れ等の変状を検出する技術が記載されている。

【0004】

又、点検対象である構造物（例えばビルの壁面）の点検範囲が広い場合には、点検範囲を分割して撮影した分割画像を取得し、その分割画像をパノラマ合成して得られる合成画像が利用される。従来より、パノラマ合成の精度を上げることを目的とした様々な技術が提案されている。

【0005】

例えば特許文献２には、ハイダイナミックレンジのパノラマ合成画像を取得する技術が記載されている。特許文献２に記載された技術では、重複領域において白飛び領域が存在する場合には、その白飛び領域を除外した重複領域に基づいてパノラマ合成を行うことが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１４－６２２２号公報

【文献】特開２０１７－１４３３９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、ビル等の構造物の壁面を点検する場合には、点検者の移動手段としてゴンドラが使用される。ゴンドラを使用して、低位置から高位置の壁面を全域に渡って点検が行われる。そして点検者は、ゴンドラを移動させて、点検結果の記録として点検対象の撮影画像を取得する。具体的に点検者は、ゴンドラを移動させながら、壁面に正対して点検対象の分割画像を取得する。

【0008】

ゴンドラを使用した場合の効率的な点検の手順としては、例えば以下の工程が考えられる。下方から上方へ向かう往路においては、（１）近接目視及び触診、（２）損傷箇所をチョークによりマーキング、（３）ゴンドラを上方へ移動させる。一方、上方から下方へ向かう復路においては、（１）マーキング箇所を目印として分割画像の撮影、（２）チョークによるマーキングの消去、（３）ゴンドラを下方へ移動させる。しかしながら、このような手順で分割画像を入手する場合には、分割画像の重複領域においてチョークによるマーキングがある分割画像とチョークによるマーキングがない分割画像が存在する。すなわち、後でパノラマ合成を行うことを考慮して分割画像を取得する場合には、重複領域を設けてそれぞれの分割画像を取得するが、上記した工程に沿って分割画像を取得するとマーキングは撮影後に消去されてしまうので、次の分割画像の重複領域においては、そのマーキングが存在しない場合がある。

【0009】

このように各分割画像の重複領域において、共通する物体が存在したり存在しなかったりすると、特徴点のマッチングが適切に行われずにパノラマ合成の精度が低下する場合がある。

【0010】

上記した特許文献１には、撮影画像から変状を検出することは記載されているものの、パノラマ合成の技術に関しては言及されていない。

【0011】

又、上記した特許文献２には、各分割画像の重複領域において、共通する物体が存在したり存在しなかったりする場合のパノラマ合成の技術に関しては言及されていない。

【0012】

本発明はこのような事情に鑑みてなされたもので、その目的は、構造物の表面を分割撮影して得られた複数の分割画像を精度良くパノラマ合成を行うことができる画像処理装置、画像処理方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0013】

上記目的を達成するための本発明の一の態様である画像処理装置は、構造物の表面を分割撮影することにより得た複数の分割画像を取得する画像取得部と、複数の分割画像において、パノラマ合成の障害となる障害対象を検出する障害対象検出部と、複数の分割画像の各々において検出された障害対象を除外して、特徴点を抽出する特徴点抽出部と、複数の分割画像の特徴点をマッチングさせることにより、複数の分割画像をパノラマ合成して合成画像を生成する第１の合成処理部と、合成画像を出力する出力部と、を備える。

【0014】

本態様によれば、障害対象検出部により、各分割画像の重複領域において共通する物体が存在したり存在しなかったりするために、パノラマ合成の障害となる障害対象を検出し、検出された障害対象を除外して特徴点を抽出する。そして本態様は、この抽出された特徴点をマッチングさせることによりパノラマ合成された合成画像を生成するので、パノラマ合成を精度良く行うことができる。

【0015】

好ましくは、画像処理装置は、合成画像を表示する表示部を備える。

【0016】

好ましくは、画像処理装置は、複数の分割画像を表示する表示部と、複数の分割画像における特徴点の修正を受け付ける特徴点受付部と、を備える。

【0017】

好ましくは、画像処理装置は、複数の分割画像を表示する表示部と、複数の分割画像における障害対象の修正を受け付ける障害対象受付部と、を備える。

【0018】

好ましくは、障害対象は、構造物にマーキングした描画箇所、分割画像の撮影時に写り込んだユーザの身体、虫、又は動物である。

【0019】

好ましくは、画像処理装置は、障害対象は表面の損傷に対してマーキングを行った描画箇所であって、複数の分割画像における障害対象を合成して合成障害対象を生成する第２の合成処理部を備え、出力部は、合成障害対象を合成画像又は構造物の図面に重畳する。

【0020】

好ましくは、第１の合成処理部は、複数の分割画像のパノラマ合成を行う重ね合わせの順序を、障害対象の可視化の有無に基づいて決定する。

【0021】

好ましくは、画像処理装置は、障害対象は描画箇所であって、描画箇所は構造物の表面の状態に関する情報を有し、描画箇所が有する表面の状態に関する情報を読み込む情報読込部を備える。

【0022】

好ましくは、情報読込部は、描画箇所の形、又は描画箇所の色を認識して、表面の状態に関する情報を読み込む。

【0023】

好ましくは、出力部は、情報読込部で読み込まれた表面の状態に関する情報を出力する。

【0024】

本発明の他の態様である画像処理方法は、構造物の表面を分割撮影することにより得た複数の分割画像を取得するステップと、複数の分割画像において、パノラマ合成の障害となる障害対象を検出するステップと、複数の分割画像の各々において検出された障害対象を除外して、特徴点を抽出するステップと、複数の分割画像の特徴点をマッチングさせることにより、複数の分割画像をパノラマ合成して合成画像を生成するステップと、合成画像を出力するステップと、を含む。

【0025】

本発明の他の態様であるプログラムは、構造物の表面を分割撮影することにより得た複数の分割画像を取得するステップと、複数の分割画像において、パノラマ合成の障害となる障害対象を検出するステップと、複数の分割画像の各々において検出された障害対象を除外して、特徴点を抽出するステップと、複数の分割画像の特徴点をマッチングさせることにより、複数の分割画像をパノラマ合成して合成画像を生成するステップと、合成画像を出力するステップと、をコンピュータに実行させる。

【発明の効果】

【0026】

本発明によれば、パノラマ合成の障害となる障害対象を検出し、検出された障害対象を除外して特徴点を抽出し、抽出された特徴点をマッチングさせることによりパノラマ合成を行うので、精度良く合成された合成画像を得ることができる。

【図面の簡単な説明】

【0027】

【図1】図１は、画像処理装置が搭載されるコンピュータを示す概念図である。

【図2】図２は、画像処理装置のハードウエア構成の一例を示すブロック図である。

【図3】図３は、複数の分割画像を概念的に示す図である。

【図4】図４は、画像処理装置の主な機能構成を示す図である。

【図5】図５は、分割画像の各々における特徴点の抽出に関して説明する図である。

【図6】図６は、パノラマ合成に関して説明する図である。

【図7】図７は、合成画像の表示の例を示す図である。

【図8】図８は、画像処理方法に関して説明するフローチャートである。

【図9】図９は、画像処理装置の主な機能構成例を示す図である。

【図10】図１０は、特徴点の追加を行う場合の例を示す図である。

【図11】図１１は、特徴点の追加を行う場合の例を示す図である。

【図12】図１２は、障害対象の追加を行う場合の例を示す図である。

【図13】図１３は、画像処理装置の主な機能構成例を示す図である。

【図14】図１４は、合成障害対象の生成に関して説明する図である。

【図15】図１５は、合成障害対象がＣＡＤ図に重畳表示された例を示す図である。

【図16】図１６は、分割画像の合成に関して説明する図である。

【図17】図１７は、画像処理装置主な機能構成例を示す図である。

【図18】図１８は、分割画像におけるチョークで示された情報を概念的に示す図である。

【発明を実施するための形態】

【0028】

以下、添付図面に沿って本発明に係る画像処理装置、画像処理方法、及びプログラムの好ましい実施の形態について説明する。

【0029】

図１は、本発明の画像処理装置１０が搭載されるコンピュータを示す概念図である。コンピュータは、コンピュータ本体１０ａ、表示部２６、及び操作部１８を含む。表示部２６は、分割画像又はパノラマ合成された合成画像を表示する。点検者（ユーザ）は、表示部２６に表示される分割画像又は合成画像を確認し、必要に応じて操作部１８に修正等の指令を入力する。

【0030】

図２は、画像処理装置１０のハードウエア構成の一例を示すブロック図である。

【0031】

図２に示す構造物の画像処理装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。画像処理装置１０のハードウエア構成は、主として画像取得部１２と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。

【0032】

画像取得部１２は、点検対象の構造物を分割して撮影（分割撮影）した画像を取得する。例えば画像取得部１２は、カメラで撮影された画像が画像処理装置１０に入力されることにより、画像取得部１２は分割画像を取得する。

【0033】

点検対象の構造物は、例えば、ビル、橋梁、トンネル等のコンクリート構造物を含む。以下、点検対象の構造物としてビルの壁面を例に説明する。ビルの壁面を点検する場合に点検対象の撮影画像を取得する場合には、適切な被写体距離により壁面を撮影する必要があり、分割して壁面を撮影し分割画像が取得される。

【0034】

図３は、画像取得部１２で取得される複数の分割画像を概念的に示す図である。画像取得部１２で取得された分割画像１０１、分割画像１０３、及び分割画像１０５は壁面を重複領域有するように鉛直方向に移動して撮影されたものである。分割画像１０１と分割画像１０３とは、重複領域１０１Ａ及び重複領域１０３Ｂにより重複する。又、分割画像１０３と分割画像１０５とは、重複領域１０３Ａ及び重複領域１０５Ｂにより重複する。なお、重複領域は同じ被写体の領域が写っている領域であり、後で説明する障害対象が無いような場合には理想的に同じ画像となる。

【0035】

又、分割画像１０１、分割画像１０３、及び分割画像１０５は、チョークにより壁面のひび割れ箇所をマーキングした描画箇所Ｍを有している。例えば、分割画像１０１が撮影され、その後に分割画像１０３が撮影され、その後に分割画像１０５が撮影される。そして撮影者は、分割画像１０１を撮影した後に分割画像１０１で撮影した範囲のチョークの描画箇所Ｍを消して、分割画像１０３の撮影位置にゴンドラで移動して分割画像１０３を撮影する。又、撮影者は、分割画像１０３を撮影した後に分割画像１０３で撮影した範囲のチョークの描画箇所Ｍを消して、分割画像１０５の撮影位置にゴンドラで移動して分割画像１０５を撮影する。このような工程で、分割画像１０１、分割画像１０３、及び分割画像１０５を撮影すると重複領域において、描画箇所Ｍが存在する場合と存在しない場合が発生する。例えば、重複領域１０１Ａにおいては存在している描画箇所Ｍは、重複領域１０３Ｂにおいては存在していない箇所がある。同様に、分割画像１０３と分割画像１０５とは、重複領域１０３Ａ及び重複領域１０５Ｂにより重複し、重複領域１０３Ａにおいて存在する描画箇所Ｍが重複領域１０５Ｂにおいて存在していない。

【0036】

このように、重複領域において存在したり存在しなかったりする描画箇所Ｍは、パノラマ合成を適切に行えなくする障害対象となってしまう。すなわち、描画箇所Ｍの領域にパノラマ合成を行う際に利用する特徴点を検出してしまうと、マッチングが行えない特徴点が発生することになり、パノラマ合成が適切に行われない。なお、障害対象は、パノラマ合成の障害となるのは描画箇所Ｍに限定されるものではなく、同一の箇所を撮影しているのに一方の分割画像には存在していて、他方の分割画像には存在していない被写体であればよい。例えば分割画像の撮影時に写り込んだユーザの身体、虫、又は動物も障害対象となり得る。したがって、画像処理装置１０では、このようなパノラマ合成の障害となる障害対象を除外してパノラマ合成を行うことにより、精度の良いパノラマ合成を実現する。

【0037】

＜第１の実施形態＞
図４は、画像処理装置１０の主な機能構成を示す図であり、ＣＰＵ２０、記憶部１６、ＲＡＭ２２、ＲＯＭ２４等のハードウエアにより実現される機能を示すブロック図である。

【0038】

画像処理装置１０は主に、障害対象検出部３０、特徴点抽出部３２、第１の合成処理部３４、及び出力部３６を備える。

【0039】

障害対象検出部３０は、複数の分割画像において、パノラマ合成の障害となる障害対象を検出する。具体的には障害対象検出部３０は、チョーク等で損傷箇所をマーキングした描画箇所Ｍ、分割画像の撮影時に写り込んだユーザの身体、虫、又は動物を障害対象として検出する。障害対象検出部３０は、様々な手法により、障害対象を検出することができ、例えば障害対象検出部３０は、分割画像を画像処理することにより障害対象の検出を行うことができる。

【0040】

特徴点抽出部３２は、複数の分割画像の各々において検出された障害対象を除外して特徴点Ｐを抽出する。具体的には特徴点抽出部３２は、障害対象検出部３０で検出された障害対象の領域以外の領域において特徴点Ｐの検出を行う。特徴点抽出部３２の特徴点Ｐの抽出は、ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）等の公知の技術が使用されて行われる。

【0041】

図５は、分割画像（分割画像１０１、分割画像１０３、及び分割画像１０５）の各々における特徴点Ｐの抽出に関して説明する図である。特徴点抽出部３２は、分割画像１０１、分割画像１０３、及び分割画像１０５において特徴点Ｐを抽出する。特徴点Ｐは障害対象検出部３０で検出された描画箇所Ｍを除外して、特徴点Ｐを抽出している。図５では描画箇所Ｍは実線で示されており、特徴点抽出部３２での特徴点Ｐの抽出対象領域からは除外されている。描画箇所Ｍを除外して特徴点Ｐを抽出するとは、描画箇所Ｍにおいて特徴点Ｐとして抽出できる点があったとしても抽出しない場合、描画箇所Ｍの領域以外の領域において特徴点Ｐの抽出を行うことを意味する。

【0042】

図４に戻って、第１の合成処理部３４は、複数の分割画像の特徴点Ｐをマッチングさせることにより、複数の分割画像をパノラマ合成して合成画像を生成する。第１の合成処理部３４は、公知の手法により抽出された特徴点Ｐのマッチングを行う。例えば第１の合成処理部３４は、特徴点Ｐをマッチングさせることにより射影変換行列を得て、その射影変換行列に基づいてパノラマ合成を行う。

【0043】

出力部３６は合成画像を出力する。出力部３６の合成画像の出力形態は特に限定されものではない。出力部３６は、ユーザの所望する合成画像の画像ファイル形式によりを出力する。出力部３６で出力された合成画像は、例えば表示部２６に表示される。

【0044】

図６は、パノラマ合成に関して説明する図である。図６（Ａ）には抽出された特徴点Ｐがマッチングされることに関して示されており、図６（Ｂ）にはマッチングされた特徴点Ｐに基づいてパノラマ合成された合成画像が示されている。

【0045】

図６（Ａ）では、図５で説明をした抽出された特徴点Ｐにおいて、マッチングが行われていることが示されている。特徴点Ｐのマッチングは、矢印Ｓで示されている。特徴Ｐは、描画箇所Ｍを除外して抽出されるので、矢印Ｓで示されるように特徴点Ｐのマッチングは適切に行われる。

【0046】

図６（Ｂ）では、矢印Ｓのマッチングに基づいて、パノラマ合成された合成画像１０７が示されている。矢印Ｓに示されたマッチングを用いて、重複領域１０１Ａと重複領域１０３Ｂとを重複させることにより、又、重複領域１０３Ａと重複領域１０５Ｂとを重複させることにより、合成画像１０７が生成される。合成画像１０７では、描画箇所Ｍが除外された領域において特徴点Ｐが抽出され、その特徴点Ｐに基づいて精度の良いパノラマ合成が行われている。

【0047】

図７は、表示部２６における合成画像１０７の表示の例を示す図である。表示部２６には、合成画像１０７が表示され、ユーザは表示された合成画像１０７を確認することができる。

【0048】

図８は、画像処理装置１０を使用した画像処理方法に関して説明するフローチャートである。

【0049】

先ず、画像処理装置１０の画像取得部１２は、複数の分割画像を取得する（ステップＳ１０）。その後、障害対象検出部３０は、各分割画像におけるパノラマ合成の障害となる障害対象を検出する（ステップＳ１１）。その後、特徴点抽出部３２は、分割画像の障害対象を除外して特徴点Ｐを抽出する（ステップＳ１２）。そして、第１の合成処理部３４は、抽出された特徴点Ｐをマッチングさせ、そのマッチングさせた情報に基づいて複数の分割画像をパノラマ合成して合成画像１０７を生成する（ステップＳ１３）。その後、出力部３６は合成画像１０７を出力する（ステップＳ１４）。

【0050】

以上で説明したように、画像処理装置１０によれば、障害対象検出部３０により、各分割画像の重複領域において共通する物体が存在したり存在しなかったりするために、パノラマ合成の障害となる障害対象を検出し、検出された障害対象を除外して特徴点Ｐを抽出する。そして本態様は、抽出された特徴点Ｐをマッチングさせることによりパノラマ合成された合成画像を生成する。これにより本態様は、精度良く合成された合成画像を得ることができる。

【0051】

上記実施形態においては、プロセッサの例としてＣＰＵを用いて説明したが、これに限定されるものではない。例えば、ＣＰＵ２０の代わりに、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が用いられてもよいし、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が用いられてもよい。

【0052】

また、各機能又は各処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。又、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

【0053】

上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0054】

＜第２の実施形態＞
次に、画像処理装置１０の第２の実施形態に関して説明する。本実施形態においては、ユーザから操作部１８を介して特徴点Ｐ及び／又は障害対象の修正が行われる。

【0055】

図９は、本実施形態の画像処理装置１０の主な機能構成例を示す図である。なお、図４で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0056】

画像処理装置１０は主に、障害対象検出部３０、特徴点抽出部３２、第１の合成処理部３４、出力部３６、特徴点受付部３８、及び障害対象受付部４０を備える。

【0057】

特徴点受付部３８は、分割画像における特徴点Ｐの修正を受け付ける。表示部２６には分割画像が表示され、ユーザは、表示された分割画像を確認しながら画像処理で自動的に抽出されなかった特徴点Ｐの追加又は誤って抽出された特徴点Ｐの消去等、修正の指令を操作部１８を介して入力する。

【0058】

図１０は、表示部２６に表示された分割画像に対して、特徴点Ｐの追加を行う場合の例を示す図である。例えば、特徴点抽出部３２で抽出された特徴点Ｐだけではパノラマ合成の精度が低い場合に、表示部２６に表示された分割画像１０１、分割画像１０３、及び分割画像１０５に対してユーザが操作部１８を介して特徴点Ｐを追加する。そして、ユーザは、マッチングする特徴点Ｐを操作部１８を介して直線Ｌでつなぐことにより、特徴点Ｐの修正の指令の入力を行う。これにより、特徴点受付部３８は、入力された修正の指令を受け付けて特徴点抽出部３２の抽出結果に反映させる。すなわち、直線Ｌでつなげられた特徴点Ｐは、パノラマ合成に使用され、パノラマ合成の精度が向上する。

【0059】

図１１は、表示部２６に表示された分割画像に対して特徴点Ｐの追加を行う場合の他の例を示す図である。特徴点抽出部３２で抽出された特徴点Ｐだけではパノラマ合成の精度が低い場合に、表示部２６に表示された分割画像１０１、分割画像１０３、及び分割画像１０５に対してユーザが特徴点Ｐを追加し、マッチングする特徴点Ｐを同じ印でマーキングする。ユーザは操作部１８を介して、四角形ＰＡ、三角形ＰＢ、平行四辺形ＰＣ、丸ＰＤを使用して、それぞれマッチングする特徴点Ｐを同じ印でマーキングすることにより、特徴点の追加の指令を入力する。特徴点受付部３８は、入力された指令を受け付けて特徴点抽出部３２の抽出結果に反映させる。そして、同じ印でマーキングされた特徴点Ｐは、パノラマ合成に使用されてパノラマ合成の精度が向上する。

【0060】

図９に戻って、障害対象受付部４０は、複数の分割画像における障害対象の修正を受け付ける。表示部２６には分割画像が表示され、ユーザは表示された分割画像を確認しながら、画像処理で自動的に検出されなかった障害対象を操作部１８を介して入力したり、誤って検出された障害対象を操作部１８を介して消去したりして修正を入力する。障害対象受付部４０は入力された修正を受け付けて、障害対象検出部３０は障害対象受付部４０が受け付けた修正を検出結果に反映させる。

【0061】

図１２は、表示部２６に表示された分割画像に対して、障害対象の追加を行う場合の例を示す図である。障害対象検出部３０で検出できなかった場合、すなわち、想定外の障害対象がある場合又は検出が不十分であった場合には、表示部２６に表示された分割画像１０１、分割画像１０３、及び分割画像１０５に対してユーザが操作部１８を介して障害対象を追加する。ユーザは、表示部２６に表示された分割画像を確認して、想定外の障害対象や、想定した障害対象の検出が不十分の場合には、操作部１８を介して障害対象を入力する。想定外の障害対象Ｏが分割画像１０１及び分割画像１０５に有り、チョークによる描画箇所Ｍの検出が不十分な箇所ＳＳが分割画像１０３に存在している。この場合、ユーザは操作部１８を介して障害対象Ｏの領域を指定したり、箇所ＳＳをトレースしたりして、修正の指令を入力する。

【0062】

以上説明したように、本実施形態においてはパノラマ合成の精度が低い場合に、特徴点Ｐや障害対象をユーザが入力し、その入力された特徴点Ｐ又は障害対象を用いてパノラマ合成が行われるので、より精度の高いパノラマ合成を行うことができる。

【0063】

＜第３の実施形態＞
次に、第３の実施形態に関して説明する。本実施形態においては、各分割画像において検出された障害対象を合成して、合成障害対象が生成される。

【0064】

図１３は、本実施形態の画像処理装置１０の主な機能構成例を示す図である。なお、図４で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0065】

画像処理装置１０は主に、障害対象検出部３０、特徴点抽出部３２、第１の合成処理部３４、出力部３６、及び第２の合成処理部４２を備える。

【0066】

第２の合成処理部４２は、分割画像の障害対象を合成して合成障害対象を生成する。具体的には、障害対象が描画箇所Ｍである場合に、障害対象検出部３０で検出された各分割画像の障害対象を合成して合成障害対象１２３を生成する。合成障害対象１２３は、出力部３６により、合成画像１２１に重畳されたり、構造物の図面に重畳されたりする。なお第２合成処理部は、第１の合成処理と同様に分割画像の特徴点Ｐをマッチングさせることにより、分割画像の障害対象を合成して合成障害対象１２３を生成する。

【0067】

図１４は、合成障害対象１２３の生成に関して説明する図である。図１４（Ａ）は、画像取得部１２により取得された複数の分割画像（図３で説明をした分割画像１０１、分割画像１０３、及び分割画像１０５）が示されている。図１４（Ｂ）は、第２の合成処理部４２で生成される合成障害対象１２３と第１の合成処理部３４で生成される合成画像１２１とが示されている。図１４（Ｃ）は、合成画像１２１に合成障害対象１２３が上書きされた上書き画像１２５が示されている。

【0068】

第２の合成処理部４２は、分割画像１０１、分割画像１０３、及び分割画像１０５の特徴点Ｐをマッチングさせることにより、射影変換行列を得て、各分割画像における描画箇所Ｍを合成して合成障害対象１２３を得る。合成障害対象１２３は、このように合成されることにより、描画箇所Ｍが消される前の姿を再現する。そして出力部３６は、生成された合成障害対象１２３を合成画像１２１に上書きして上書き画像１２５を出力する。上書き画像１２５は、合成障害対象１２３が合成画像１２１に上書きされているので、描画箇所Ｍが切れることなく表現される。

【0069】

図１５は、合成障害対象１２３がＣＡＤ（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）図に重畳表示された例を示す図である。第２の合成処理部４２で生成された合成障害対象１２３は、出力部３６によりＣＡＤ図に重畳されて出力される。そして、表示部２６は、出力された合成障害対象１２３が重畳されたＣＡＤ図を表示する。このように、ＣＡＤ図のような図面に合成障害対象１２３を重畳表示させることにより、損傷図としても利用することができる。

【0070】

なお、上述では障害対象が描画箇所Ｍであるような合成画像１２１に表示が必要な場合に関して説明をした。しかし、障害対象によっては合成画像１２１に表示しない方が良い場合がある。このような場合には、第１の合成処理部３４は、複数の分割画像のパノラマ合成を行う重ね合わせの順序を、障害対象の可視化の有無に基づいて決定する。すなわち、第１の合成処理部３４は、障害対象が現れるように、又は障害対象が隠れるように、分割画像の重ね合わせの順序を決定することができる。

【0071】

図１６は、表示する必要の無い又は表示したくない障害対象を有する分割画像の合成に関して説明する図である。分割画像１０１は障害対象１３３を有し、分割画像１０３は障害対象１３５を有する。障害対象１３３及び障害対象１３５は、表示が不必要である障害対象である。したがって、第１の合成処理部３４は、障害対象１３３及び障害対象１３５が隠れるように重ね合わせの順序を決定する。具体的には、分割画像１０５、次に分割画像１０３、次に分割画像１０１の順で重ね合わせを行うことによって、障害対象１３３及び障害対象１３５が隠れるようにパノラマ合成を行うことができる。一方で、例えば障害対象１３３及び障害対象１３５が表示が必要な障害対象である場合には、分割画像１０１、次に分割画像１０３、次に分割画像１０５と重ね合わせの順番とすることにより、障害対象１３３及び障害対象１３５が表示され合成画像１２１を生成することができる。

【0072】

このように、障害対象の可視化の必要性に応じて、第１の合成処理部３４は、分割画像の重ね合わせの順序を決定することができる。これにより、ユーザが所望する障害対象の可視化に応じたパノラマ合成を行うことができる。

【0073】

＜第４の実施形態＞
次に、第４の実施形態に関して説明する。本実施形態においては、障害対象が描画箇所Ｍである場合に、描画箇所Ｍが有する表面状態に関する情報を読み込む。

【0074】

図１７は、本実施形態の画像処理装置１０の主な機能構成例を示す図である。なお、図４で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0075】

画像処理装置１０は主に、障害対象検出部３０、特徴点抽出部３２、第１の合成処理部３４、出力部３６、及び情報読込部４４を備える。

【0076】

情報読込部４４は、障害対象が描画箇所Ｍであって、描画箇所Ｍは構造物の表面の状態に関する情報を有し、描画箇所Ｍが有する表面の状態に関する情報を読み込む。例えば、情報読込部４４は、描画箇所Ｍの形、又は描画箇所Ｍの色を認識して、表面の状態に関する情報を読み込む。具体的には、情報読込部４４はチョークで描かれている形を認識して情報を読み込む。チョークで線１３９で描かれている場合には、ひび割れであると情報を読み込み、チョークで四角形１４１が描かれている場合には、コンクリートの剥離であると情報を読み込む。又、情報読込部４４は、描画箇所Ｍである文字を認識してもよく、例えば、チョークで描かれたひび割れ幅の数値の情報を取得してもよい。さらに、情報読込部４４は、チョークの色から情報を取得してもよく、例えば黒のチョークはひび割れであることの情報を取得し、赤のチョークはコンクリートの剥離であることの情報を取得する。そして出力部３６は、情報読込部４４で読み込まれた表面の状態に関する情報を出力する。

【0077】

図１８は、分割画像におけるチョークで示された情報を概念的に示す図である。分割画像１４３には、チョークで「０．２」と記載された数値１３７、黒チョークでひび割れに沿って描かれた線１３９、赤チョークでコンクリートの剥離箇所をマーキングした四角形１４１が示されている。情報読込部４４は、分割画像から、数値１３７、線１３９、及び四角形１４１を読込で、これらが示す表面の状態に関する情報を読み込む。

【0078】

以上で説明したように、情報読込部４４が描画箇所Ｍで示された表面状態の情報を読み込むことにより、構造物の表面の情報をさらに得ることができ、構造物の点検作業をより効率的に進めることができる。

【0079】

＜その他＞
上記で説明した描画箇所Ｍは様々な、構造物の損傷をマーキングする。構造物の損傷の例としては、腐食、亀裂、ゆるみ（脱落）、破断、防食機能の劣化、ひびわれ、剥離（鉄筋露出）、漏水（遊離石灰）、抜け落ち、補修（補強材の損傷）、床版ひびわれ、うき、遊間の異常、路面の凹凸、舗装の異常、支承部の機能障害、その他（火災損傷など）、定着部の異常、変色（劣化）、漏水（滞水）、異常な音（振動）、異常なたわみ、変形（欠損）、土砂つまり、沈下（移動、傾斜）、洗堀である。

【0080】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0081】

１０ ：画像処理装置
１０ａ ：コンピュータ本体
１２ ：画像取得部
１６ ：記憶部
１８ ：操作部
２０ ：ＣＰＵ
２２ ：ＲＡＭ
２４ ：ＲＯＭ
２６ ：表示部
３０ ：障害対象検出部
３２ ：特徴点抽出部
３４ ：第１の合成処理部
３６ ：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】