特許 6653674 桟橋上部工下面の検査装置、桟橋上部工下面の検査システムおよび桟橋上部工下面の検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6653674

(24)【登録日】2020年1月30日

(45)【発行日】2020年2月26日

(54)【発明の名称】桟橋上部工下面の検査装置、桟橋上部工下面の検査システムおよび桟橋上部工下面の検査方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20200217BHJP

   B63B 35/00 20200101ALI20200217BHJP

   G06T 7/579 20170101ALI20200217BHJP

   G06T 7/55 20170101ALI20200217BHJP

   G01B 11/30 20060101ALI20200217BHJP

【ＦＩ】

   G06T1/00 315

   B63B35/00 Z

   G06T7/579

   G06T7/55

   G01B11/30 A

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2017-48894(P2017-48894)

(22)【出願日】2017年3月14日

(65)【公開番号】特開2018-151964(P2018-151964A)

(43)【公開日】2018年9月27日

【審査請求日】2018年11月22日

(73)【特許権者】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】渋谷 研一

(72)【発明者】

【氏名】竹田 勝利

(72)【発明者】

【氏名】羽山 洋一

(72)【発明者】

【氏名】木村 信太

(72)【発明者】

【氏名】小宮山 翔子

(72)【発明者】

【氏名】山本 和朋

(72)【発明者】

【氏名】今井 友桂子

(72)【発明者】

【氏名】羽深 不二夫

(72)【発明者】

【氏名】山本 貴春

(72)【発明者】

【氏名】長野 英次

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１７−２０９７２（ＪＰ，Ａ）

【文献】 特開２０１６−１４１２３９（ＪＰ，Ａ）

【文献】 特開２０１６−１０３７３２（ＪＰ，Ａ）

【文献】 特開２０１６−９０３３３（ＪＰ，Ａ）

【文献】 特開２０１２−３７３６１（ＪＰ，Ａ）

【文献】 特開２００９−１７７２５１（ＪＰ，Ａ）

【文献】 特開２００２−１６２３６１（ＪＰ，Ａ）

【文献】 特許第６０３９０５０（ＪＰ，Ｂ２）

【文献】 西村正三，“マルチコプタを活用したインフラ・文化財構造物点検調査における適用事例”，計測と制御，日本，公益社団法人計測自動制御学会，２０１７年 １月１０日，第５６巻, 第１号，p.36-39

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｂ６３Ｂ ３５／００

Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／５７９

(57)【特許請求の範囲】

【請求項1】

桟橋上部工下面を撮像する撮像装置と、
前記撮像装置により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するオルソ画像生成部と、
前記オルソ画像生成部により生成された複数のオルソ画像を合成した前記桟橋上部工下面の合成画像データを生成する画像合成部とを備え、
前記オルソ画像生成部は、
前記撮像装置により撮像された前記複数の撮像データに基づいて、３次元形状の地物データを取得する地物データ取得部と、
前記地物データ取得部で取得した地物データに対して前記複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成し、前記複数のオルソ画像に基づいて桟橋上部から桟橋上部工下面を透過した複数の透過オルソ画像を生成する正射投影部とを含み、
前記画像合成部は、前記複数の透過オルソ画像をモザイク処理により合成した前記桟橋上部工を上部からみた前記桟橋上部工下面の合成画像データを生成する、桟橋上部工下面の検査装置。

【請求項2】

前記画像合成部は、前記複数のオルソ画像をモザイク処理により合成した前記桟橋上部工下面を下部からみた前記桟橋上部工下面の合成画像データをさらに生成し、
前記桟橋上部工を上部からみた前記桟橋上部工下面の合成画像データに基づく画像と、前記桟橋上部工下面を下部からみた前記桟橋上部工下面の合成画像データに基づく画像とは表示部に切替可能に表示される、請求項１記載の桟橋上部工下面の検査装置。

【請求項3】

前記地物データ取得部は、
前記撮像装置により撮像された前記複数の撮像データに対してＳｆＭ（Structure from Motion）処理を実行することにより撮像位置および姿勢に関する撮像状態情報を取得する状態推定部と、
前記状態推定部で取得した前記撮像状態情報に基づいて前記複数の撮像データに対してＭＶＳ（Multi-View Stereo）処理を実行することにより前記地物データを生成する地物データ生成部とを含む、請求項１記載の桟橋上部工下面の検査装置。

【請求項4】

前記撮像装置の位置情報を取得する慣性計測装置をさらに備え、
前記地物データ生成部は、前記慣性計測装置で取得した位置情報および前記状態推定部で取得された撮像状態情報に基づいて前記複数の撮像データに対してＭＶＳ処理を実行することにより前記地物データを生成する、請求項３記載の桟橋上部工下面の検査装置。

【請求項5】

対象物に対する距離情報を計測する距離計をさらに備え、
前記地物データ生成部は、前記距離計で取得した距離情報、前記慣性計測装置で取得した位置情報および前記状態推定部で取得された撮像状態情報に基づいて前記複数の撮像データに対してＭＶＳ処理を実行することにより前記地物データを生成する、請求項４記載の桟橋上部工下面の検査装置。

【請求項6】

前記撮像装置は、前記桟橋上部工下面を同期信号に従って並列的に撮像する複数のカメラを含む、請求項１〜５のいずれか１項に記載の桟橋上部工下面の検査装置。

【請求項7】

前記桟橋上部工下面を照らす照明装置をさらに備える、請求項１〜６のいずれか１項に記載の桟橋上部工下面の検査装置。

【請求項8】

前記合成画像データを解析する画像解析部をさらに備える、請求項１〜７のいずれか１項に記載の桟橋上部工下面の検査装置。

【請求項9】

桟橋上部工下面を撮像する撮像装置と、
前記撮像装置により撮像された複数の撮像データを取得するサーバとを備え、
前記サーバは、
前記撮像装置により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するオルソ画像生成部と、
前記オルソ画像生成部により生成された複数のオルソ画像を合成した前記桟橋上部工下面の合成画像データを生成する画像合成部とを含み、
前記オルソ画像生成部は、
前記撮像装置により撮像された前記複数の撮像データに基づいて、３次元形状の地物データを取得する地物データ取得部と、
前記地物データ取得部で取得した地物データに対して前記複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成し、前記複数のオルソ画像に基づいて桟橋上部から桟橋上部工下面を透過した複数の透過オルソ画像を生成する正射投影部とを含み、
前記画像合成部は、前記複数の透過オルソ画像をモザイク処理により合成した前記桟橋上部工を上部からみた前記桟橋上部工下面の合成画像データを生成する、桟橋上部工下面の検査システム。

【請求項10】

桟橋上部工下面を撮像するステップと、
撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するステップと、
生成された複数のオルソ画像を合成した前記桟橋上部工下面の合成画像データを生成するステップとを備え、
前記複数のオルソ画像を生成するステップは、
前記撮像された前記複数の撮像データに基づいて、３次元形状の地物データを取得するステップと、
取得した地物データに対して前記複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成するステップと、
前記複数のオルソ画像に基づいて桟橋上部から桟橋上部工下面を透過した複数の透過オルソ画像を生成するステップとを含み、
前記合成画像データを生成するステップは、前記複数の透過オルソ画像をモザイク処理により合成した前記桟橋上部工を上部からみた前記桟橋上部工下面の合成画像データを生成するステップを含む、桟橋上部工下面の検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

桟橋上部工下面の検査に関する。

【背景技術】

【0002】

従来、桟橋等の港湾構造物を点検するには、専門知識を有する技術者が小型船舶に乗船し、技術者が船上から実際に目視するとともにハンマーによる打音検査によってひび割れの有無等の状態を判定するとともに、ひび割れ等の異常が生じている箇所をカメラによる撮像やスケッチによって記録していた。

【0003】

しかしながら、このような技術者の目視による点検方法では、斜杭や前垂れ部分等のように狭隘で構造的に有人船舶の接近が困難な場所や桟橋上部工下面と海面との距離が狭く有人船舶が入り込めない場合であると、技術者の目視による確認が困難又は不可能であった。

【0004】

この点で、近年では、遠隔操作が可能な小型のラジオコントロールボート上に遠隔操作が可能なカメラを設置し、有人船舶では接近困難な場所への移動及び観測を可能とした水上観測装置も開発されている（例えば、特許文献１を参照）。

【0005】

この水上観測装置では、異常箇所に照準を合わせて当該位置にマーキングすることにより、異常位置や劣化の進行状況を簡易に把握する方式が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６−１４１２３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一方で、桟橋等の港湾施設の点検においては、構造物の局所的な劣化状態を視覚的に把握するのみならず、全体の劣化状態を簡易に把握したいという要望がある。

【0008】

本発明は、上記の課題を解決するためになされたものであって、桟橋上部工下面側の構造物の劣化状態を視覚的に簡易に把握することが可能な桟橋上部工下面の検査装置、桟橋上部工下面の検査システムおよび桟橋上部工下面の検査方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明のある局面に従う桟橋上部工下面の検査装置は、桟橋上部工下面を撮像する撮像装置と、撮像装置により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するオルソ画像生成部と、オルソ画像生成部により生成された複数のオルソ画像を合成した桟橋上部工下面の合成画像データを生成する画像合成部とを備える。

【0010】

好ましくは、オルソ画像生成部は、撮像装置により撮像された複数の撮像データに基づいて、３次元形状の地物データを取得する地物データ取得部と、地物データ取得部で取得した地物データに対して複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成する正射投影部とを含む。

【0011】

好ましくは、地物データ取得部は、撮像装置により撮像された複数の撮像データに対してＳｆＭ（Structure from Motion）処理を実行することにより撮像位置および姿勢に関する撮像状態情報を取得する状態推定部と、状態推定部で取得した撮像状態情報に基づいて複数の撮像データに対してＭＶＳ（Multi-View Stereo）処理を実行することにより地物データを生成する地物データ生成部とを含む。

【0012】

好ましくは、撮像装置の位置情報を取得する慣性計測装置をさらに備える。地物データ生成部は、慣性計測装置で取得した位置情報および状態推定部で取得された撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行することにより地物データを生成する。

【0013】

好ましくは、対象物に対する距離情報を計測する距離計をさらに備える。地物データ生成部は、距離計で取得した距離情報、慣性計測装置で取得した位置情報および状態推定部で取得された撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行することにより地物データを生成する。

【0014】

好ましくは、撮像装置は、桟橋上部工下面を同期信号に従って並列的に撮像する複数のカメラを含む。

【0015】

好ましくは、桟橋上部工下面を照らす照明装置をさらに備える。
好ましくは、合成画像データを解析する画像解析部をさらに備える。

【0016】

本発明のある局面に従う桟橋上部工下面の検査システムは、桟橋上部工下面を撮像する撮像装置と、撮像装置により撮像された複数の撮像データを取得するサーバとを備える。サーバは、撮像装置により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するオルソ画像生成部と、オルソ画像生成部により生成された複数のオルソ画像を合成した桟橋上部工下面の合成画像データを生成する画像合成部とを含む。

【0017】

本発明のある局面に従う桟橋上部工下面の検査方法は、桟橋上部工下面を撮像するステップと、撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成するステップと、生成された複数のオルソ画像を合成した桟橋上部工下面の合成画像データを生成するステップとを備える。

【発明の効果】

【0018】

本発明は、桟橋上部工下面側の構造物の劣化状態を視覚的に簡易に把握することが可能である。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に基づく検査対象となる構造物を説明する図である。

【図2】本発明の実施形態に基づく小型船１の外観構成を説明する図である。

【図3】本発明の実施形態に基づく検査装置１０の構成を説明する図である。

【図4】本発明の実施形態に基づく桟橋上部工下面を検査装置１０が検査する状態を説明する図である。

【図5】本発明の実施形態に基づく桟橋上部工下面を検査装置１０が検査する別の状態を説明する図である。

【図6】本発明の実施形態に基づく桟橋上部工下面を検査する検査装置１０の処理について説明するフロー図である。

【図7】本発明の実施形態に基づく検査装置１０の表示部１８に表示された合成画像データを説明する図である。

【図8】本発明の実施形態に基づく合成画像の矩形領域を拡大した場合を説明する図である。

【図9】他の実施形態に基づく検査システムを説明する図である。

【発明を実施するための形態】

【0020】

実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。

【0021】

図１は、本発明の実施形態に基づく検査対象となる構造物を説明する図である。
図１に示されるように、本例においては、一例として桟橋４を検査する場合について説明する。具体的には、桟橋４の桟橋上部工下面を検査する場合について説明する。

【0022】

図２は、本発明の実施形態に基づく小型船１の外観構成を説明する図である。
図２に示されるように、小型船１には、桟橋上部工下面を検査する検査装置１０が搭載されている。

【0023】

小型船１は、図示しないコントローラによる遠隔操作により水面を移動する船である。なお、一例として小型船１を遠隔操作する場合について説明するが、航行制御装置を用いた自動航行（予め設定された計測コース等の情報とＧＮＳＳ等で得られた船位置とを比較しながら航行する機能）により移動させるようにしてもよい。

【0024】

小型船１は、本体１１１と、本体１１１を左右方向に貫通する第１パイプ１１２と、本体１１１の後方に設けられ左右方向に延びる第２パイプ１１３と、第２パイプ１１３に接続された支持部材１１４と、本体１１１の両側に配置された一対のフロート１１０を備えている。

【0025】

本体１１１上には、２つのカメラ１２０，１２１と、制御装置３０と、距離計１６が設けられる。また、フロート１１０上には、桟橋上部工下面を撮像するために海面側と反対方向の上方を撮像方向とした状態でカメラ１２２〜１２５が載置されている。左側のフロート１１０には、カメラ１２２，１２４が設けられている。右側のフロート１１０には、カメラ１２３，１２５が設けられている。本例においては、一例として６台のカメラが設けられているが、少なくとも１台のカメラが有ればよく、特にカメラの台数については限定されない。

【0026】

ライト１３０は、連結金具１３２により第１パイプ１１２の左側の領域で連結されている。ライト１３１は、連結金具１３３により第１パイプ１１２に右側の領域で連結されている。なお、ライト１３０，１３１の位置については当該位置に限定されるものではなく、カメラ１２２〜１２５の撮像範囲が一定照度となるように調整可能な位置であればどのような位置でも良い。

【0027】

支持部材１１４には慣性計測装置１４が取り付けられている。
本体１１１には、図示しないコントローラから送信される信号を受信する受信器と、受信器で受信した信号に従って図示しないモータにより駆動されるスクリュウプロペラとがさらに設けられている。

【0028】

フロート１１０は、前後方向に延在し、内部に空気が充填されて浮遊性を備える樹脂製容器である。フロート１１０は、小型船１の左側と右側とのそれぞれに配置されている。このため、小型船１は横揺れし難い構成となっている。

【0029】

図３は、本発明の実施形態に基づく検査装置１０の構成を説明する図である。
図３に示されるように、検査装置１０は、撮像装置１２と、照明装置１３と、慣性計測装置１４と、距離計１６と、表示部１８と、制御装置３０とを備える。

【0030】

撮像装置１２は、カメラ１２２〜１２５で構成される。カメラ１２２〜１２５は、同期信号に従って並列的に撮像する。すなわち、同期信号に従って同時に複数の撮像データを取得することが可能である。

【0031】

照明装置１３は、ライト１３０，１３１で構成される。桟橋上部工の下部には自然光が入り難いが、カメラ１２２〜１２５の撮像範囲が一定照度となるように調整される。なお、照明装置１３における照度の調整は、自動調整であってもよいし、コントローラからの指示に従って調整するようにしてもよい。

【0032】

慣性計測装置１４は、桟橋４の下部等においてＧＮＳＳ（Global Navigation Satellite System）による位置測定が難しい場所において撮像装置１２の位置情報の算出に用いる。一例として、ＩＭＵ（inertial measurement unit）を利用することが可能である。ＩＭＵには、ジャイロおよび加速度計の機能を有するＭＥＭＳ（Micro Electro Mechanical Systems）センサが設けられており、当該センサを用いた積算位置の算出に基づいて撮像装置１２の位置情報を算出することが可能である。具体的には、桟橋４の外では、ＧＮＳＳにより位置情報を算出して、ＧＮＳＳによる位置測定ができなくなる直前の位置を基点に、慣性計測装置１４を用いて桟橋４の下部における位置情報を算出するようにしてもよい。

【0033】

距離計１６は、レーザ光線式の距離計である。測定対象に向けてレーザ光線を照射し、反射して返って来るまでの時間を測ることにより対象との距離を計測する。なお、レーザ光線に限られず、超音波等を利用して距離を計測するようにしてもよい。本例においては、距離計１６は、慣性計測装置１４と連携して用いられ、慣性計測装置１４の積算位置補正に用いられる。これにより精度の高い位置情報を算出することが可能である。

【0034】

慣性計測装置１４の位置情報を小型船１の位置情報として利用することにより、小型船１の航行制御装置を用いた自動航行への入力信号として用いることが可能である。あるいは、当該位置情報に基づいて、オペレータが操作するコントローラの操作画面に表示される地図に位置表示を行なって、オペレータへの操船補助情報とすることも可能である。また、本例においては、後述するが合成画像データの生成においても利用することが可能である。

【0035】

制御装置３０は、撮像装置１２で取得した複数の撮像データに対する画像処理を実行する。具体的には、制御装置３０は、オルソ画像生成部２０と、画像合成部２６と、画像解析部２８とを含む。

【0036】

オルソ画像生成部２０は、撮像装置１２で取得した複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。

【0037】

具体的には、地物データ取得部２１と、正射投影部２５とを含む。
地物データ取得部２１は、撮像装置１２により撮像された複数の撮像データに基づいて、３次元形状の地物データを取得する。

【0038】

正射投影部２５は、地物データ取得部２１で取得した地物データに対して複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成する。

【0039】

地物データ取得部２１は、状態推定部２２と、地物データ生成部２４とを含む。
状態推定部２２は、撮像装置１２で取得した複数の撮像データのそれぞれに対してＳｆＭ（Structure from Motion）処理を実行する。ＳｆＭ処理は、撮像データに対して、カメラの撮像位置および撮像姿勢を算出し、３次元モデリングの構築を行なう処理である。

【0040】

具体的には、画像マッチングにより対応点を多数取得し、写真測量の原理式を最小二乗近似等で計算（＝バンドル法）し、付与した標定点を用いて撮像位置および姿勢に関する撮像状態情報を取得する。なお、ＳｆＭ処理における基準点として小型船の位置情報を用いることが可能である。

【0041】

地物データ生成部２４は、状態推定部２２で推定した撮像状態情報に基づいて複数の撮像データに対してＭＶＳ（Multi-View Stereo）処理を実行し、３次元点群データを算出する。そして、当該３次元点群データからＤＳＭ（Digital Surface Model）（地物データ）を生成する。ＭＶＳ（Multi View Stereo）処理は、撮像位置および撮像姿勢が関連付けられた画像データ間で、立体視可能な総てのペアで画像マッチングにより対応点を抽出し、その抽出した対応点の座標を算出して、３次元点群データとして保存する処理である。

【0042】

正射投影部２５は、生成したＤＳＭに、複数の撮像データをそれぞれ正射投影し、正射投影画像である複数のオルソ画像を生成する。この状態で作成された画像は、小型船から桟橋上部工下面を見上げた状態の画像となる。

【0043】

なお、本例においては、正射投影部２５は、一例としてオルソ画像から透過オルソ画像を生成する。具体的には、小型船から桟橋上部工下面を見上げた状態のオルソ画像を桟橋の測量図等にあわせ座標軸の変換をおこない、桟橋の上部から桟橋上部工下面を透過した透過オルソ画像を生成する。

【0044】

画像合成部２６は、正射投影部２５により生成された複数の透過オルソ画像を合成した合成画像データを生成する。具体的には、複数の透過オルソ画像に対してモザイク処理（画像が重なった部分を切り抜いて合成する処理）することにより合成画像データを生成する。モザイク処理には種々の方式があるが、透過オルソ画像の一致点を抽出することにより重なり合う部分を判別することが可能である。

【0045】

この場合、桟橋の上部から桟橋上部工下面を透過した透過オルソ画像の合成画像データが生成される。なお、小型船から桟橋上部工下面を見上げた状態のオルソ画像の合成画像データを生成することも可能である。

【0046】

合成画像データには、状態推定部２２で推定された撮像位置および姿勢に関する撮像状態情報が関連付けられた画像データが合成されている。

【0047】

画像合成部２６は、生成した合成画像データを表示部１８に出力する。
画像解析部２８は、画像合成部２６で生成された合成画像データに対する画像解析処理を実行してその解析結果を表示部１８に出力する。

【0048】

表示部１８は、制御装置３０での画像処理を実行した結果を表示する。具体的には、表示部１８は、画像合成部２６で生成された合成画像データを表示する。また、表示部１８は、画像解析部２８で画像解析処理された解析結果を表示する。表示部は、制御装置３０での画像処理を実行した結果を表示する。表示部１８は、検査装置１０の一部として設けられていてもよいし、検査装置１０と別体として設けられていてもよい。

【0049】

図４は、本発明の実施形態に基づく桟橋上部工下面を検査装置１０が検査する状態を説明する図である。

【0050】

図４には、桟橋上部工５が支持部７を介して杭８により支持されている場合が示されている。本例は、桟橋上部工５が陸地とは連結されていない場合（海上にある場合）が示されている。小型船１は、杭８の間の桟橋４の下部に入り込んで検査装置１０により撮像する場合が示されている。本例においては、複数のカメラを用いて桟橋上部工５の下面を撮像する場合が示されている。当該図に示されるように複数のカメラで撮像する撮像範囲は互いにオーバーラップするように設定される。撮像範囲が互いにオーバラップすることにより画像マッチングにおける対応点を多数取得することが可能となり合成画像の精度を高めることが可能となる。

【0051】

図５は、本発明の実施形態に基づく桟橋上部工下面を検査装置１０が検査する別の状態を説明する図である。

【0052】

図５には、桟橋上部工５が支持部７を介して杭８により支持されている場合が示されている。本例においては、桟橋上部工５が陸地と連結されている場合が示されている。小型船１は、杭８の間の桟橋４の下部に入り込んで検査装置１０により撮像する場合が示されている。本例においては、複数のカメラを用いて桟橋上部工５の下面を撮像する場合が示されている。また、距離計１６によりレーザで陸地と検査装置１０との間の距離を測距する場合も示されている。距離計１６で取得された距離情報は、慣性計測装置１４の積算位置補正に用いられる。

【0053】

図６は、本発明の実施形態に基づく桟橋上部工下面を検査する検査装置１０の処理について説明するフロー図である。

【0054】

図６に示されるように、まず、検査装置１０は、撮像データを取得する（ステップＳ２）。具体的には、撮像装置１２は、桟橋上部工下面の撮像データを取得する。複数のカメラを用いることにより複数の撮像データを取得する。なお、１つのカメラを用いる場合であっても連続的に撮像することにより複数の撮像データを取得することも可能である。

【0055】

次に、検査装置１０は、撮像位置および撮像姿勢を推定する（ステップＳ４）。具体的には、状態推定部２２は、撮像装置１２で取得した複数の撮像データのそれぞれに対してＳｆＭ処理を実行して、撮像データに対する撮像位置および撮像姿勢（撮影状態情報）を推定する。

【0056】

次に、検査装置１０は、地物データを生成する（ステップＳ６）。
具体的には、地物データ取得部２１は撮像装置１２により撮像された複数の撮像データに基づいて、３次元形状の地物データを生成する。状態推定部２２で推定した撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行し、３次元点群データを算出する。そして、当該３次元点群データからＤＳＭ（桟橋上部工下面の３Ｄ形状データ）を生成する。

【0057】

次に、検査装置１０は、オルソ画像を生成する（ステップＳ８）。
具体的には、正射投影部２５は、地物データ取得部２１で取得したＤＳＭ（桟橋上部工下面の３Ｄ形状データ）に対して複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成する。また、座標軸の変換を行ない桟橋上部工下面を透過した複数の透過オルソ画像を生成する。

【0058】

次に、検査装置１０は、合成処理を実行する（ステップＳ９）。具体的には、画像合成部２６は、複数の透過オルソ画像を合成した合成画像データを生成する。

【0059】

次に、検査装置１０は、解析処理を実行する（ステップＳ１０）。画像解析部２８は、透過オルソ画像に対してひび割れや浮き、剥離等のパターン解析処理を実行する。

【0060】

次に、検査装置１０は、表示する（ステップＳ１２）。具体的には、表示部２２０は、画像合成部２６で生成された合成画像データを表示する。また、表示部２２０は、画像解析部２８で合成画像データに対して画像解析処理した解析結果を出力表示する。

【0061】

そして、検査装置１０は、処理を終了する（エンド）。
図７は、本発明の実施形態に基づく検査装置１０の表示部１８に表示された合成画像データを説明する図である。

【0062】

図７には、図１の桟橋４の上部から桟橋上部工を透過した透過オルソ画像の合成画像データに基づく合成画像が示されている。

【0063】

また、図７には、当該合成画像に対して画像解析処理した解析結果として、ひび割れや浮き、剥離等の異常パターンが検出された領域が表示されている。なお、解析結果として本例においては、当該検出された領域を矩形の枠で示す場合について説明するが、特にこれに限られず、強調表示するために色を着色したり、点滅させたり等することも可能である。

【0064】

図８は、本発明の実施形態に基づく合成画像の矩形領域を拡大した場合を説明する図である。

【0065】

図８に示されるように、図７で説明した矩形領域を拡大した場合が示されている。具体的には、矩形領域に対して所定の処理（ダブルクリック）等の操作指示を実行することにより当該領域が拡大されて表示される。当該矩形領域を拡大することにより詳細な桟橋上部工の状況を容易に把握することが可能である。

【0066】

本発明の実施形態に基づく方式により、撮像装置１２で撮像した撮像データに基づいてオルソ画像を生成し、オルソ画像を合成した合成画像データを生成することにより、構造物である桟橋上部工下面の全体の状態を簡易に把握することが可能である。また、それとともに、局所的な劣化状態も簡易な方式で視覚的に把握することが可能である。

【0067】

なお、本例においては、桟橋上部工を上部から見た透過オルソ画像を合成した合成画像を表示部２２０に表示する場合について説明したが、小型船から桟橋上部工を見上げたオルソ画像を合成した合成画像を表示部２２０に表示するようにしてもよい。当該オルソ画像と透過オルソ画像とを切替可能に設けるようにしてもよい。

【0068】

なお、本例においては、オルソ画像生成部２０は、撮像データに基づいて生成したＤＳＭに撮像データを正射投影したオルソ画像を生成する方式について説明したが、３次元形状の設計データ等により桟橋上部工下面の地物データが既知である場合には、当該設計データに撮像データを正射投影したオルソ画像を生成してもよい。

【0069】

（その他の実施形態）
図９は、他の実施形態に基づく検査システムを説明する図である。

【0070】

図９に示されるように、検査装置の一部の機能を遠隔に設けられたサーバに実行するようにしてもよい。

【0071】

検査システムは、検査ユニット２００と、サーバ２１０と、表示部２２０とを含む。
検査ユニット２００は、小型船１に搭載される。サーバ２１０および表示部２２０は遠隔地に設ける。

【0072】

検査ユニット２００は、撮像装置１２と、照明装置１３と、慣性計測装置１４と、通信部１５と、距離計１６とを含む。

【0073】

サーバ２１０は、オルソ画像生成部２０と、通信部２７と、画像合成部２６と、画像解析部２８とを含む。オルソ画像生成部２０は、地物データ取得部２１と、正射投影部２５とを含む。地物データ取得部２１は、状態推定部２２と、地物データ生成部２４とを含む。

【0074】

図３で説明した構成と比較して、検査ユニット２００に通信部２７が設けられている点が異なる。また、サーバ２１０に通信部２７が設けられている点が異なる。その他の機能および構成については図３で説明したのと基本的に同様であるのでその詳細な説明については繰り返さない。

【0075】

本例においては、検査ユニット２００に設けられた通信部１５とサーバ２１０に設けられた通信部２７とが通信し、互いにデータの授受を実行する。

【0076】

具体的には、撮像装置１２で撮像された撮像データおよび慣性計測装置１４等で計測された位置は、通信部１５を介してサーバ２１０に送信される。サーバ２１０の通信部２７は、当該データを受信して、オルソ画像生成部２０に出力する。そして、上記で説明したのと同様の処理を実行する。

【0077】

表示部２２０は、サーバ２１０からのデータに基づいて情報を表示する。
本例においては、表示部２２０は、画像合成部２６で生成された合成画像データを表示する。また、表示部２２０は、画像解析部２８で合成画像データに対して画像解析処理した解析結果を出力表示する。

【0078】

当該構成により、データ処理量が多い画像処理等を遠隔に設けられたサーバで実行することにより演算処理を高速化することが可能である。

【0079】

＜作用効果＞
上述した実施形態の作用効果について説明する。

【0080】

実施形態における桟橋上部工下面の検査装置１０には、桟橋上部工５の下面を撮像する撮像装置１２と、オルソ画像生成部２０と、画像合成部２６とが設けられる。オルソ画像生成部２０は、撮像装置１２により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。画像合成部２６は、オルソ画像生成部２０により生成した複数のオルソ画像を合成した桟橋上部工５の下面の合成画像データを生成する。

【0081】

検査装置１０は、複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。そして、生成した複数のオルソ画像を合成した合成画像データを生成する。その結果、桟橋上部工の下面側の局所的な部分のみならず全体の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0082】

実施形態における桟橋上部工下面の検査装置１０のオルソ画像生成部２０には、地物データ取得部２１と、正射投影部２５とが設けられる。地物データ取得部２１は、撮像装置１２により撮像された複数の撮像データに基づいて、３次元形状の地物データを取得する。正射投影部２５は、地物データ取得部２１で取得した地物データに対して複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成する。

【0083】

検査装置１０は、複数の撮像データに基づいて、３次元形状の地物データを取得し、取得した３次元形状の地物データに対して複数の撮像データのそれぞれを正射投影した複数のオルソ画像を生成する。したがって、複数の撮像データに基づいて、３次元形状の地物データが取得されるため精度の高い地物データを取得することが可能である。これによりオルソ画像の精度を高めることが可能となり、桟橋上部工の下面側の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0084】

実施形態における桟橋上部工下面の検査装置１０の地物データ取得部２１には、状態推定部２２と、地物データ生成部２４とを含む。状態推定部２２は、撮像装置１２により撮像された複数の撮像データに対してＳｆＭ（Structure from Motion）処理を実行することにより撮像位置および姿勢に関する撮像状態情報を取得する。地物データ生成部２４は、状態推定部２２で取得した撮像状態情報に基づいて複数の撮像データに対してＭＶＳ（Multi-View Stereo）処理を実行することによりＤＳＭ（桟橋上部工下面の３Ｄ形状データ）を生成する。

【0085】

検査装置１０は、撮像データに対するＳｆＭ処理により撮像位置および姿勢に関する撮像状態情報を取得し、当該撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行することにより地物データを生成する。したがって、Ｓｆｍ処理およびＭＶＳ処理により精度の高い地物データを取得することが可能である。これによりオルソ画像の精度を高めることが可能となり、桟橋上部工の下面側の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0086】

実施形態における桟橋上部工下面の検査装置１０には、慣性計測装置１４がさらに設けられる。慣性計測装置１４は、撮像装置１２の位置情報を取得する。地物データ生成部２４は、慣性計測装置１４で取得した位置情報および状態推定部２２で取得された撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行することによりＤＳＭ（桟橋上部工下面の３Ｄ形状データ）を生成する。

【0087】

検査装置１０は、慣性計測装置１４を用いて撮像装置１２の位置情報を算出するため、桟橋上部工下面のＧＮＳＳによる位置情報の算出が難しい場所でも精度の高い位置情報の算出が可能である。したがって、ＳｆＭ処理およびＭＶＳ処理により精度の高い地物データを取得することが可能である。これによりオルソ画像の精度をさらに高めることが可能となり、桟橋上部工の下面側の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0088】

実施形態における桟橋上部工下面の検査装置１０には、距離計１６がさらに設けられる。距離計１６は、対象物に対する距離情報を計測する。地物データ生成部２４は、距離計で取得した距離情報、慣性計測装置１４で取得した位置情報および状態推定部２２で取得された撮像状態情報に基づいて複数の撮像データに対してＭＶＳ処理を実行することによりＤＳＭ（桟橋上部工下面の３Ｄ形状データ）を生成する。

【0089】

検査装置１０には、距離計１６がさらに設けられるため図５で説明したような陸地との距離を測距することが可能であり、撮像装置１２の位置情報の精度を高めることが可能である。したがって、ＳｆＭ処理およびＭＶＳ処理により精度の高いＤＳＭ（桟橋上部工下面の３Ｄ形状データ）を取得することが可能である。これによりオルソ画像の精度をさらに高めることが可能となり、桟橋上部工の下面側の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0090】

実施形態における桟橋上部工下面の検査装置１０の撮像装置１２は、桟橋上部工下面を同期信号に従って並列的に撮像する複数のカメラ１２０〜１２５を含む。

【0091】

検査装置１０の撮像装置１２には、複数のカメラが設けられることにより、一度に撮影する範囲が広くなり、検査装置１０の検査時間を短縮することが可能となる。

【0092】

実施形態における桟橋上部工下面の検査装置１０には、桟橋上部工下面を照らす照明装置１３がさらに設けられる。

【0093】

検査装置１０は、桟橋上部工下面の自然光が入り難い場所であっても照明装置１３により照度を確保することが可能であるため鮮明な撮像データを取得することが可能である。これにより、鮮明なオルソ画像を生成することが可能である。その結果、桟橋上部工の下面側の局所的な部分のみならず全体の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0094】

実施形態における桟橋上部工下面の検査装置１０には、合成画像データを解析する画像解析部２８がさらに設けられる。

【0095】

検査装置１０は、画像解析部２８による合成画像データの解析結果を出力することが可能となるため、桟橋上部工下面側の構造物の劣化状態を視覚的に簡易に把握することが可能である。

【0096】

実施形態における桟橋上部工下面の検査システムには、桟橋上部工下面を撮像する撮像装置１２と、撮像装置１２により撮像された複数の撮像データを取得するサーバ２１０とが設けられる。サーバ２１０は、オルソ画像生成部２０と、画像合成部２６とを含む。オルソ画像生成部２０は、撮像装置１２により撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。画像合成部２６は、オルソ画像生成部２０により生成された複数のオルソ画像を合成した桟橋上部工下面の合成画像データを生成する。

【0097】

検査システムは、複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。そして、生成した複数のオルソ画像を合成した合成画像データを生成する。その結果、桟橋上部工の下面側の局所的な部分のみならず全体の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0098】

実施形態における桟橋上部工下面の検査方法は、桟橋上部工下面を撮像するステップと、撮像された複数の撮像データのそれぞれに対して複数のオルソ画像を合成するステップと、生成された複数のオルソ画像を合成した桟橋上部工下面の合成画像データを生成するステップとが実行される。

【0099】

検査方法は、複数の撮像データのそれぞれに対して複数のオルソ画像を生成する。そして、生成した複数のオルソ画像を合成した合成画像データを生成する。その結果、桟橋上部工の下面側の局所的な部分のみならず全体の構造物の劣化状態を視覚的に簡易に把握することが可能となる。

【0100】

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0101】

１ 小型船、４ 桟橋、５ 桟橋上部工、７ 支持部、８ 杭、１０ 検査装置、１２ 撮像装置、１３ 照明装置、１４ 慣性計測装置、１５，２７ 通信部、１６ 距離計、１８，２２０ 表示部、２０ オルソ画像生成部、２１ 地物データ取得部、２２ 状態推定部、２４ 地物データ生成部、２５ 正射投影部、２６ 画像合成部、２８ 画像解析部、３０ 制御装置、２００ 検査ユニット、２１０ サーバ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】