特許 6650639 構造物の検査装置、構造物の検査方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6650639

(24)【登録日】2020年1月23日

(45)【発行日】2020年2月19日

(54)【発明の名称】構造物の検査装置、構造物の検査方法及びプログラム

(51)【国際特許分類】

   G01C 15/02 20060101AFI20200210BHJP

   G01C 7/00 20060101ALI20200210BHJP

   G06F 3/01 20060101ALI20200210BHJP

   G06F 3/0346 20130101ALI20200210BHJP

【ＦＩ】

   G01C15/02

   G01C7/00

   G06F3/01 570

   G06F3/0346 426

【請求項の数】5

【全頁数】10

(21)【出願番号】特願2019-102516(P2019-102516)

(22)【出願日】2019年5月31日

【審査請求日】2019年6月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390036515

【氏名又は名称】株式会社鴻池組

(73)【特許権者】

【識別番号】591121111

【氏名又は名称】株式会社安部日鋼工業

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ特許業務法人

(72)【発明者】

【氏名】小山 孝

(72)【発明者】

【氏名】藤原 祐一郎

(72)【発明者】

【氏名】若林 宏彰

(72)【発明者】

【氏名】長沼 諭

(72)【発明者】

【氏名】小田部 貴憲

(72)【発明者】

【氏名】宮島 朗

(72)【発明者】

【氏名】石井 豪

(72)【発明者】

【氏名】北園 英明

【審査官】 仲野 一秀

(56)【参考文献】

【文献】 特開２０１７−０７９０１９（ＪＰ，Ａ）

【文献】 再公表特許第２０１７／１３４８８６（ＪＰ，Ａ１）

【文献】 特開２０１７−１３４５７５（ＪＰ，Ａ）

【文献】 箭野裕己、河野恭之，ＰＴＡＭを用いたＡＲ落書きシステム，情報処理学会インタラクション，日本，２０１８年 ３月 ５日，p900-903

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ５／００−１５／１４

Ｇ０１Ｎ ２１／８４−２１／９５８

Ｇ０６Ｑ ５０／００−５０／３４

Ｅ０４Ｇ ２３／００−２３／０８

Ｅ２１Ｄ １１／００−１９／０６

２３／００−２３／２６

(57)【特許請求の範囲】

【請求項1】

周囲の構造物の三次元形状及び検査者の身体の動きを認識することが可能な装置であって、
前記検査者の指先の動きにより、前記構造物に接触することなく指示された前記構造物表面の座標を、検査位置として特定する検査位置特定部と、
時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得する軌跡取得部と、
前記軌跡を出力する出力部と、を有し、
前記軌跡は、前記構造物の変状箇所の形状を示すものであり、
前記出力部は、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする
検査装置。

【請求項2】

周囲の構造物の三次元形状及び検査者の身体の動きを認識することが可能な装置であって、
前記検査者の視線の動きにより、前記構造物に接触することなく指示された前記構造物表面の座標を、検査位置として特定する検査位置特定部と、
時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得する軌跡取得部と、
前記軌跡を出力する出力部と、を有し、
前記軌跡は、前記構造物の変状箇所の形状を示すものであり、
前記出力部は、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする
検査装置。

【請求項3】

検査者の指先の動きにより、構造物に接触することなく構造物表面の座標を指示するステップと、
前記座標を検査位置として特定するステップと、
時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得するステップと、
前記軌跡を出力するステップと、を有し、
前記軌跡は、前記構造物の変状箇所の形状を示すものであり、
前記出力するステップでは、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする
検査方法。

【請求項4】

検査者の視線の動きにより、構造物に接触することなく構造物表面の座標を指示するステップと、
前記座標を検査位置として特定するステップと、
時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得するステップと、
前記軌跡を出力するステップと、を有し、
前記軌跡は、前記構造物の変状箇所の形状を示すものであり、
前記出力するステップでは、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする
検査方法。

【請求項5】

請求項３又は４の方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は構造物の検査装置、構造物の検査方法及びプログラムに関し、特に変状箇所の状態と座標とを簡易に関連付ける技術に関する。

【背景技術】

【0002】

従来、トンネル、橋梁及びビル等の構造物の検査業務においては、壁面の目視、打音及び触診等により人が変状や劣化（以下、単に変状という）の発生箇所（以下、変状箇所という）を認識し、変状箇所に筆記具でマーキングを施し、マーキング箇所をスケッチし、スケッチに基づいて図面への反映作業を行っていた。例えばトンネル検査であれば、覆工表面の変状箇所をチョークでマーキングし、マーキング位置を紙面にスケッチし、スケッチをＣＡＤでトレースして覆工展開図を作成していた。

【0003】

しかしながら、従来方式ではマーキング位置をスケッチし、スケッチを持ち帰ってデータ化するなど情報を転記する作業が必要である。このような転記作業は非常に煩雑であり時間と手間を要する。また、転記作業は人の手作業によって行われるのでミスや誤差が入り込む可能性がある。

【0004】

すなわち、従来、点検により得られる情報（変状箇所の状態）と、点検した箇所（変状箇所の座標）との対応付けは人の手作業に依存していた。両者の関係性を証明するために点検状況をデジタルカメラで撮影するなどの手法がとられることもあるが、あくまで手作業を補助するものにすぎなかった。

【0005】

そこで、変状箇所の状態と座標とを何らかの手法で電子的に把握し、自動的に関連付けを行うことができれば、検査業務の効率性及び正確性を向上させることができるはずである。

【0006】

特許文献１には、トンネル内覆工にチョークでマーキングされた変状箇所を撮影し（レーザスキャナにより輝度情報付き三次元モデルを作成する）、撮影データを基に覆工展開図を作成し、検査者が覆工展開図上でマーキングを視認しトレースすることで、覆工展開図上に変状箇所の座標をプロットする構成が記載されている。特許文献２には、構造物の外壁面の撮影画像を距離情報とともに取得し、撮影画像が表示されたモニター上に検査結果をペンデバイスでマーキングする構成が記載されている。

【0007】

また、特許文献３には、電子ペンで空間に描かれた軌跡を取得し、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の表示装置に当該軌跡を表示するシステムが記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１９−０２０３４８号公報

【特許文献2】特開２００３−２１４８２９号公報

【特許文献3】特開２０１３−１２５４８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１及び２記載の手法では、変状箇所の座標を得るために三次元レーザスキャナや固定式のレーザ距離計等が必要であり、装置設置の手間がかること、見通しの悪い箇所や高所等での作業には適さないこと等の問題がある。

【0010】

特許文献３記載の手法でも、電子ペンという特殊なデバイスが必要であるという問題がある。さらに、空間に描かれた文字等と変状箇所との対応付けが困難な場合がある。例えば、壁面等に発生した変状箇所に電子ペンで直接接触させてマーキングした場合は、変状の位置と電子ペンの軌跡との座標はほぼ一致するから、変状箇所を比較的正確に特定できる。しかしながら、高所など人が接近しにくい位置に変状箇所がある場合には電子ペンを接触させることが困難である。この場合、変状箇所になるべく近い位置において電子ペンでマーキングを行うことなどの妥協策を考えることになるが、この手法では変状箇所の正確な座標を把握することができない。

【0011】

本発明はこのような問題点を解決するためになされたものであり、変状箇所の状態と座標とを簡易に関連付けることが可能な構造物の検査装置、構造物の検査方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一形態である検査装置は、周囲の構造物の三次元形状及び検査者の身体の動きを認識することが可能な装置であって、前記検査者の指先の動きにより、前記構造物に接触することなく指示された前記構造物表面の座標を、検査位置として特定する検査位置特定部と、時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得する軌跡取得部と、前記軌跡を出力する出力部と、を有し、前記軌跡は、前記構造物の変状箇所の形状を示すものであり、前記出力部は、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする。
本発明の一形態である検査装置は、周囲の構造物の三次元形状及び検査者の身体の動きを認識することが可能な装置であって、前記検査者の視線の動きにより、前記構造物に接触することなく指示された前記構造物表面の座標を、検査位置として特定する検査位置特定部と、時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得する軌跡取得部と、前記軌跡を出力する出力部と、を有し、前記軌跡は、前記構造物の変状箇所の形状を示すものであり、前記出力部は、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする。
本発明の一形態である検査方法は、検査者の指先の動きにより、構造物に接触することなく構造物表面の座標を指示するステップと、前記座標を検査位置として特定するステップと、時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得するステップと、前記軌跡を出力するステップと、を有し、前記軌跡は、前記構造物の変状箇所の形状を示すものであり、前記出力するステップでは、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする。
本発明の一形態である検査方法は、検査者の視線の動きにより、構造物に接触することなく構造物表面の座標を指示するステップと、前記座標を検査位置として特定するステップと、時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得するステップと、前記軌跡を出力するステップと、を有し、前記軌跡は、前記構造物の変状箇所の形状を示すものであり、前記出力するステップでは、前記構造物の変状箇所に重畳させて、過去に取得された前記軌跡を透過型ディスプレイに投影することを特徴とする。
本発明の一形態であるプログラムは、上記方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0013】

本発明により、変状箇所の状態と座標とを簡易に関連付けることが可能な構造物の検査装置、構造物の検査方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】検査装置１の機能構成を示すブロック図である。

【図2】検査装置１の外観の一例を示す図である。

【図3】実施の形態１における検査装置１の動作を示すフローチャートである。

【図4】実施の形態１における検査装置１の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

コンクリート等の構造物は、変状及び劣化を生じることがある。変状は、豆板、コールドジョイント、内部欠陥、砂すじ、表面気泡、ひび割れ・浮き・はく離、錆汁、エフロレッセンス、汚れ（変色）、すり減り、たわみ、変形、漏水、塗装膨れ等を含む。劣化は、中性化、塩害、アルカリシリカ反応、凍害、化学的腐食、疲労、風化・老化、火災等を含む。本明細書では、これらの変状及び劣化を包括して、単に変状と称する。本発明の実施の形態にかかる検査装置１は、変状箇所の状態と座標とを簡易に関連付けることができる装置である。以下、本発明の実施の形態について、図面を用いて説明する。

【0016】

＜実施の形態１＞
図１は、本発明の実施の形態１にかかる検査装置１の機能構成を示すブロック図である。検査装置１は、検査位置特定部１１、軌跡取得部１２、出力部１３を有する。

【0017】

図２は、検査装置１の外観の一例を示す図であり、頭部装着型デバイスの筐体内に、検査位置特定部１１、軌跡取得部１２、出力部１３が実装されている。頭部装着型デバイスは、典型的にはカメラ、デプスセンサ及び透過型ディスプレイを有するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、例えばＨｏｌｏｌｅｎｓ（登録商標）等が含まれる。デプスセンサは、現実空間をスキャンして周囲の物体の形状を示す３次元点群データを取得することができる。透過型ディスプレイは、ディスプレイに表示されるオブジェクトと現実空間とを同時にユーザに視認させる。光学透過又はビデオ透過ディスプレイ上にオブジェクトを表示することで、ユーザは当該情報を現実空間に重畳して表示されたものとして認識する。頭部装着型デバイスは、筆記具等を保持してマーキングを行うユーザの頭部に装着される。

【0018】

検査装置１は、デプスセンサにより周囲の構造物の表面の形状を示す３次元点群データを取得する。３次元点群データがマッピングされる座標空間をワールド座標と称する。検査装置１が移動するとき、デプスセンサにより逐次取得されてくる３次元点群データと、ワールド座標に既にマッピングされている３次元点群データとを比較することで、座標空間内での自己位置を特定することができる。

【0019】

カメラの視野内にＡＲマーカなどの基点を設置することで、ワールド座標と、検査装置１がディスプレイに表示するオブジェクトの座標系であるローカル座標とを簡易に対応付けることができる。検査装置１は、カメラによりＡＲマーカの位置を認識したならば、ＡＲマーカとローカル座標の原点とを一致させてオブジェクトを表示する。これにより、現実空間内の所定の位置にオブジェクトを配置することができる。ＡＲマーカには、ローカル座標の原点のほか、ローカル座標の軸方向等を定義する情報を含めることも可能である。

【0020】

図３のフローチャートを参照しつつ、実施の形態１にかかる検査装置１が備える各処理手段の動作について説明する。

【0021】

検査位置特定部１１は、検査者が身体の動きにより指示した構造物表面の座標を認識する（Ｓ１１）。検査位置特定部１１は、検査装置１のカメラ又はデプスセンサが取得する画像データ又は３次元点群データを解析することにより、ユーザの身体の一部（例えば指先）を検出できる。指先をはじめとする身体の検出は、種々の公知技術を用いて実現可能であるため本稿では詳細な説明を省略する。また、検査位置特定部１１は、カメラ位置を視点として指先に相当する点を構造物表面に投影した投影点の座標を、検査位置として特定する。

【0022】

軌跡取得部１２は、所定の時間にわたって、所定の間隔で検査位置を取得しつづけることにより、時系列データ、すなわち時間的に連続する複数の検査位置を取得することができる。この時系列データを軌跡と称する。例えば検査者が指先で構造物表面を指し示しつつ、その指先で空中を動かして構造物表面をなぞるような動作をした場合、指し示された座標の時系列データ、より正確には指先を構造物表面へ投影して得られる点の時系列データが、軌跡として取得される（Ｓ１２）。

【0023】

この際、軌跡取得部１２は、所定のトリガを検知して検査位置の取得を開始又は終了することができる。例えば、音声コマンドにより検査位置の取得を開始又は終了しても良い。又は、指先の特殊な動き（一定時間静止する、特定の形状を描画する、指先を曲げ伸ばしするなど）に応じて検査位置の取得を開始又は終了することとしても良い。

【0024】

出力部１３は、軌跡取得部１２が取得した軌跡を出力する（Ｓ１３）。軌跡は、時系列の三次元座標データのセットである。出力された軌跡は、例えば検査装置１内の図示しない記憶領域に記憶されても良く、検査装置１の通信機能を介して外部の装置に送信されても良い。

【0025】

実施の形態１の検査装置１を使用することで、検査者は容易に構造物の変状箇所を電子的にマーキングすることができる。検査者はＨｏｌｏＬｅｎｓ等の検査装置１を装着し、トンネル覆工面等をスキャンした上で、カメラの視野内において壁面のひび割れ等の変状箇所、例えばひび割れを指先でなぞるような動作を行う。これにより得られる軌跡は、ひび割れの三次元座標や形状（大きさ、角度等の情報を含む）等を直接的に反映したものである。この際、指先は変状箇所に直接触れる必要はなく、空中で変状箇所をなぞる動作をすれば、指先の延長上にある壁面の座標が取得できる。

【0026】

実施の形態１によれば、変状箇所に直接マーキングを行うわけではないので、必ずしも変状箇所に近づく必要がない。ハンズフリーによる作業も可能である。また、従来はマーキング位置をスケッチし、スケッチを持ち帰ってデータ化するなど情報を転記する作業が必要であったが、本実施の形態では変状箇所の形状や座標を直接データ化できるので、効率性および正確性に優れる。さらに、本実施の形態によれば、トンネル内等のＧＰＳ電波の届かない場所や、レーザスキャナやトータルステーション等の設置が困難な場所でも、変状箇所の位置情報を取得できる。

【0027】

実施の形態１の応用例として、過去に軌跡を取得した現場において、検査装置１の透過型ディスプレイに再度軌跡を投影することができる。これにより、現在の変状箇所と過去の変状箇所とを比較することが可能となる。

【0028】

＜実施の形態２＞
実施の形態２では、検査位置特定部１１が、検査者の視線を追跡することによって視線の先にある構造物表面の座標を認識する点に特徴を有する。その他の構成は、実施の形態１と同様である。以下、実施の形態１との相違点を中心に説明する。

【0029】

実施の形態２の検査装置１は、検査者の視線を追跡するためのアイカメラを備える。アイカメラは、検査者がＨＭＤを装着した際に眼を捉えられる位置、典型的にはディスプレイの内側に実装される。アイカメラは、可視光を撮影できるものや、眼に照射した赤外線を撮影できるものであり得る。

【0030】

図４のフローチャートを参照しつつ、実施の形態２にかかる検査装置１が備える各処理手段の動作について説明する。

【0031】

検査位置特定部１１は、アイカメラによる撮影画像に基づいて、検査者が視線の動きにより指示した構造物表面の座標を認識する（Ｓ２１）。例えば、検査位置特定部１１は、可視光を撮影可能なアイカメラで検査者の眼を連続的に撮影し、撮影画像に含まれる目頭と虹彩とを認識する。そして、目頭と虹彩との相対位置に基づいて視線方向を検出する。又は、検査位置特定部１１は、検査者の眼に赤外光を照射した状態で赤外線カメラによる撮影を行い、撮影画像に含まれる角膜反射と瞳孔とを認識する。そして、角膜反射と瞳孔との相対位置に基づいて視線方向を検出する。視線方向を検出したならば、検査位置特定部１１は、カメラ位置を視点とする、視線方向の投影点（構造物表面の座標）を、検査位置として特定する。

【0032】

軌跡取得部１２は、所定の時間にわたって、所定の間隔で検査位置を取得しつづけることにより、検査位置の時系列データ、すなわち軌跡を取得する。例えば検査者が視線を動かして構造物表面をなぞるような動作をした場合、検査者の視点の時系列データ、より正確には視線を構造物表面へ投影して得られる点の時系列データが、軌跡として取得される（Ｓ２２）。

【0033】

この際、軌跡取得部１２は、所定のトリガを検知して検査位置の取得を開始又は終了することができる。例えば、音声コマンドにより検査位置の取得を開始又は終了しても良い。又は、眼の特殊な動き（一定時間ある点を見つめる、ディスプレイに表示されたアイコン等に視点を置く、まばたきをするなど）に応じて検査位置の取得を開始又は終了することとしても良い。

【0034】

出力部１３は、実施の形態１と同様に軌跡取得部１２が取得した軌跡を出力する（Ｓ２３）。

【0035】

実施の形態２によれば、実施の形態１と同様に、検査者は変状箇所に近づく必要がなく、ハンズフリーによる作業も可能であり、変状箇所の形状や座標を直接データ化でき、ＧＰＳや各種測定機器の使用が困難な場所でも使用可能である。加えて、実施の形態２では手を使用せずに変状箇所を電子的にマーキングできるので、検査者は他の作業をしながら効率よくマーキングを行うことが可能となる。

【0036】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態において示した各種処理手段のソフトウェア又はハードウェアによる実装方法はあくまで一例であり、他の手法で代替されても良い。例えば、実施の形態では同一の筐体内に実装することとした複数の処理手段を、複数の異なるハードウェアとして提供することができる。又は、実施の形態では異なるハードウェアに実装することとした複数の処理手段を、１つのハードウェアに実装することができる。また、任意の処理手段又は処理手段のうち一部の機能をクラウドコンピューティング、エッジコンピューティング、フォグコンピューティング等の技術により実現することとしても良い。

【0037】

また、上述の実施の形態において示した計算手法、センシング手法等はあくまで一例であり、同等の機能を有する他の手法によって代替されても良い。

【0038】

また、上述の実施の形態においては、出力部１３は軌跡取得部１２が取得した軌跡、すなわち時系列の検査位置を出力した。しかしながら、本発明はこれに限定されるものでなく、出力部１３は検査位置特定部１１が特定した検査位置を単に出力しても良い。

【0039】

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

【符号の説明】

【0040】

１ 検査装置
１１ 検査位置特定部
１２ 軌跡取得部
１３ 出力部

【要約】

【課題】変状箇所の状態と座標とを簡易に関連付けることが可能な構造物の検査装置、構造物の検査方法及びプログラムを提供する。
【解決手段】検査装置１は、周囲の構造物の三次元形状及び検査者の身体の動きを認識することが可能な装置であって、前記検査者の指先の動きにより、前記構造物に接触することなく指示された前記構造物表面の座標を、検査位置として特定する検査位置特定部１１と、時間的に連続する複数の前記検査位置からなる時系列データを、軌跡として取得する軌跡取得部１２と、前記軌跡を出力する出力部１３と、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】