特開 2024-123783 水中検査プログラム、水中検査システム、及び水中検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123783

(43)【公開日】2024-09-12

(54)【発明の名称】水中検査プログラム、水中検査システム、及び水中検査方法

(51)【国際特許分類】

   B25J 11/00 20060101AFI20240905BHJP

   B63C 11/48 20060101ALI20240905BHJP

   B63C 11/00 20060101ALI20240905BHJP

【ＦＩ】

B25J11/00 A

B63C11/48 D

B63C11/00 B

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023031455

(22)【出願日】2023-03-01

(11)【特許番号】

(45)【特許公報発行日】2023-11-08

(71)【出願人】

【識別番号】593001901

【氏名又は名称】ミカサ商事株式会社

(71)【出願人】

【識別番号】512248688

【氏名又は名称】中里建設株式会社

(74)【代理人】

【識別番号】100158023

【弁理士】

【氏名又は名称】牛田 竜太

(72)【発明者】

【氏名】稲木 茂宏

(72)【発明者】

【氏名】野上 和起

(72)【発明者】

【氏名】中里 聡

(72)【発明者】

【氏名】日高 保

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS14

3C707AS28

3C707JS03

3C707JU03

3C707KS07

3C707KS22

3C707KS38

3C707KT02

3C707KT18

3C707KV18

(57)【要約】

【課題】
作業者が水中検査移動体の位置と、水中検査移動体によって撮影された映像と、の関係性を容易に認識することができる水中検査プログラム、水中検査システム、及び水中検査方法の提供。
【解決手段】
水中検査システムにインストールされた水中検査プログラムは、ディスプレイに、表示されるウィンドウ５０は、３次元ＣＧの集水井２０及び集水渠２１と、集水井２０及び集水渠２１を移動する水中検査移動体８と、を表示するＣＧ表示部５１と、ＣＧ表示部５１の水中検査移動体８の位置における水中検査移動体８が撮影した映像を表示する映像表示部５２と、ＣＧ表示部５１における水中検査移動体８の移動を停止する停止ボタン５６と、ＣＧ表示部５１において停止している水中検査移動体８の移動を開始する再生ボタン５５と、を表示する。
【選択図】図４

【特許請求の範囲】

【請求項1】

水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査プログラムであって、
情報処理端末の前記ディスプレイに、
３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、
前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、
前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査プログラム。

【請求項2】

前記水中検査移動体から前方を見たＣＧ映像、又は前記水中検査移動体の後方から見たＣＧ映像、の少なくとも一方を前記ディスプレイに表示させることを特徴とする請求項１に記載の水中検査プログラム。

【請求項3】

前記シンボルの移動及び前記映像表示部の映像の時間経過に基づいたシークバーと、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影したソナー映像を表示する映像表示部とソナー表示部と、
前記シンボルの特定位置における映像表示部の画像と、前記特定位置の情報と、を表示する画像表示部と、をさらに前記ディスプレイに表示させることを特徴とする請求項１に記載の水中検査プログラム。

【請求項4】

前記ＣＧ表示部に表示される前記構造物は、
前記水中検査移動体が撮影した映像から点群データを取得する工程と、
前記点群データを１次スクリーニングする工程と、
１次スクリーニングした前記点群データから３次元ＣＡＤデータを生成する工程と、
前記３次元ＣＡＤデータを２次スクリーニングする工程と、
２次スクリーニングした前記３次元ＣＡＤデータから３次元ＣＧ映像を生成する工程と、によって生成されることを特徴とする請求項１から３のいずれか１項に記載の水中検査プログラム。

【請求項5】

水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査システムであって、
情報処理端末と、
前記情報処理端末に接続されたディスプレイと、を有し、
前記ディスプレイに、
３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、
前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、
前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示することを特徴とする水中検査システム。

【請求項6】

水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査方法であって、
情報処理端末の前記ディスプレイに、
３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するステップと、
前記シンボルの位置における前記水中検査移動体が撮影した映像を表示するステップと、
前記シンボルの移動を停止する停止ボタンを表示するステップと、
停止している前記シンボルの移動を開始する再生ボタンを表示するステップと、を有することを特徴とする水中検査方法。

【請求項7】

水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査プログラムであって、
情報処理端末に接続された前記ディスプレイに、
３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、を表示させ、
前記ＣＧ表示部は、前記シンボルの軌跡を表示し、
前記映像表示部は、前記軌跡の所定位置を指定されると、前記所定位置に対応する前記水中検査移動体が撮影した映像を表示することを特徴とする水中検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は水中検査プログラム、水中検査システム、及び水中検査方法に関し、特に水中検査移動体によって撮影された映像に基づき検査を行う水中検査プログラム、水中検査システム、水中検査方法に関する。

【背景技術】

【0002】

従来から、特許文献１に示すような水中ロボットにより水中を撮影し、トンネル内、定置網等の漁網、魚礁、プロペラ、船底、アンカー、岸壁、桟橋、海底等の観察する技術が知られている。観察時には、水中ロボットを水面より降ろし、陸上の操作装置から遠隔操作により観察対象物に到達させてカメラ等の映像撮影器機で観察を行っている。陸上に設置されたモニターには水中ロボットの撮影映像が映し出され、作業者はこれらの撮影映像により観察対象物の状態を確認する。

【0003】

水中ロボットには超音波ソナーが搭載され、水中ロボットの操作を行うタッチパネル式の入力装置にソナー画像が表示される。作業者によって入力装置が操作されると、水中ロボットはタッチされた方位を算定して当該方位に水中ロボットの進行方向を向けるように制御される。これにより、水中ロボットの姿勢及び進行方向を制御することができる。

【0004】

特許文献２の水中検査装置では、水中カメラが清水貯留部からの清水で満たされた密閉容器を通して検査対象物を撮影するため、高濁度の条件下でも検査対象面を鮮明に撮影することができる。水中検査装置における密閉容器は伸縮可能であり、推進機構によって水中で移動する時に密閉容器を縮めるとともに撮影時に伸ばすため、カメラ前部に密閉容器を配置しても装置の水中移動に悪影響を及ぼすことがなく水中における移動制御が容易となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５－２４６５７８号公報

【特許文献2】特開２０１５－２１４３３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の水中検査装置では、水中検査移動体に搭載されたカメラやソナーの映像をリアルタイムで陸上にあるモニターに映し出すため、作業員は現地で映像を見ながら観察対象物の状態を確認する必要があった。また、撮影映像を録画して他の場所で見たとしても、水中検査移動体の水中における位置関係と映像の対応関係が不明であり、検査対象物の損傷場所の特定に時間が掛かっていた。このような背景から、作業者が水中検査移動体の位置と映像との関係を一見して認識することができるシステムが求められていた。

【0007】

そこで、本発明は、作業者が水中検査移動体の位置と、水中検査移動体によって撮影された映像との関係性を容易に認識することができる水中検査プログラム、水中検査システム、及び水中検査方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために本発明は、水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査プログラムであって、情報処理端末の前記ディスプレイに、３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査プログラムを提供している。

【0009】

また、前記水中検査移動体から前方を見たＣＧ映像、又は前記水中検査移動体の後方から見たＣＧ映像、の少なくとも一方を前記ディスプレイに表示させることが好ましい。

【0010】

また、前記シンボルの移動及び前記映像表示部の映像の時間経過に基づいたシークバーと、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影したソナー映像を表示する映像表示部とソナー表示部と、前記シンボルの特定位置における映像表示部の画像と、前記特定位置の情報と、を表示する画像表示部と、をさらに前記ディスプレイに表示させることが好ましい。

【0011】

また、前記ＣＧ表示部に表示される前記構造物は、前記水中検査移動体が撮影した映像から点群データを取得する工程と、前記点群データを１次スクリーニングする工程と、１次スクリーニングした前記点群データから３次元ＣＡＤデータを生成する工程と、前記３次元ＣＡＤデータを２次スクリーニングする工程と、２次スクリーニングした前記３次元ＣＡＤデータから３次元ＣＧ映像を生成する工程と、によって生成されることが好ましい。

【0012】

本発明の別の観点では、水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査システムであって、情報処理端末と、前記情報処理端末に接続されたディスプレイと、を有し、前記ディスプレイに、３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示することを特徴とする水中検査システムを提供している。

【0013】

本発明の別の観点では、水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査方法であって、情報処理端末の前記ディスプレイに、３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するステップと、前記シンボルの位置における前記水中検査移動体が撮影した映像を表示するステップと、前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンを表示するステップと、
前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンを表示するステップと、を有することを特徴とする水中検査方法を提供している。

【0014】

本発明の別の観点では、水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査プログラムであって、情報処理端末に接続された前記ディスプレイに、３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、を表示させ、前記ＣＧ表示部は、前記シンボルの軌跡を表示し、前記映像表示部は、前記軌跡の所定位置を指定されると、前記所定位置に対応する前記水中検査移動体が撮影した映像を表示することを特徴とする水中検査プログラムを提供している。

【発明の効果】

【0015】

このような構成によると、映像表示部においてＣＧ表示部におけるシンボルの位置の映像を映像表示部に表示するため、作業者は場所と映像とを一見して認識することができる。これにより、作業者は構造体の損傷個所等の位置を正確に把握することができるため、水中検査移動体を利用した水中検査の効率化が可能となる。また、ディスプレイにはシンボルの移動を開始する再生ボタンとシンボルの移動を停止する停止ボタンとが表示されるため、作業者は任意の位置で映像を停止して映像表示部の映像を入念に確認することができる。これにより、水中検査移動体を利用した水中検査の精度向上を図ることができる。さらに、リアルタイムで撮影現場において映像を確認する場合と異なり、水中検査プログラムを利用することができる情報処理端末とディスプレイが存在すれば任意の場所で映像を確認することができる。これにより、水中検査移動体が撮影した映像の確認作業の利便性が向上する。ＣＧ表示部に表示されている構造物は３次元ＣＧであるため、作業者は３次元的に水中検査移動体の位置を認識することができる。これにより、煩雑な形状である構造物における水中検査であっても、水中検査移動体の周囲環境を容易に把握することができる。

【0016】

また、水中検査移動体から前方を見たＣＧ映像又は水中検査移動体の後方から見たＣＧ映像の少なくとも一方をディスプレイに表示するため、作業者は直感的に水中検査移動体の位置及び周囲の状況を認識することができる。これにより、映像表示部の撮影映像と水中検査移動体の位置との対応関係を容易に理解することができる。

【0017】

また、ディスプレイにシークバーが表示されるため、作業者は作業開始位置からの時間経過を容易に把握することができる。また、シンボルの位置におけるソナー映像を表示するソナー表示部をさらに有するため、映像表示部における撮影映像とソナー映像とを一元的に見ることができる。これにより、映像では認識し難い場合であってもソナー映像を利用することで構造物の詳細な形状等を認識することができる。

【0018】

また、ＣＧ表示部に表示される構造物は実際に撮影した映像の点群データに基づいて作成されるため、正確な形状の３次元ＣＧを造ることができる。これにより、古い構造物であって図面等が存在せず形状がどのようなものか、どの位置に何が存在しているのかが不明な集水暗渠等であっても、３次元ＣＧ上に再現することができる。また、水中検査移動体の位置を表すシンボルがＣＧ表示部に表示されているため、水中検査移動体の位置を正確に把握することができる。

【0019】

このような構成によると、ＣＧ表示部上の軌跡を指定されると当該位置に対応する映像が映像表示部に表示されるため、作業者は任意の位置の映像を繰り返し確認することができる。これにより、水中検査移動体を利用した水中検査の精度向上を図ることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施の形態による水中検査システムのブロック図。

【図2】本発明の第１の実施の形態による水中検査システムの水中検査移動体で集水井及び集水暗渠を検査するときの図。

【図3】本発明の第１の実施の形態による水中検査システムの水中検査移動体のブロック図。

【図4】本発明の第１の実施の形態による水中検査システムのディスプレイに表示される画像。

【図5】本発明の第１の実施の形態による水中検査システムのＣＧ表示部に表示される画像であって水中検査移動体の初期位置のときのＣＧ表示部を表す図。

【図6】本発明の第１の実施の形態による水中検査システムの３次元ＣＧ映像の作成手順を表すフローチャート。

【図7】本発明の第１の実施の形態による水中検査システムの３次元ＣＧ映像の作成手順を表す模式図。

【図8】本発明の第２の実施の形態による水中検査システムのブロック図。

【図9】本発明の第３の実施の形態による水中検査システムの表示部に表示される画像。

【発明を実施するための形態】

【0021】

本発明の第１の実施の形態による水中検査システム１を図１乃至図４に基づき説明する。

【0022】

水中検査システム１は、制御部２と、通信部３と、操作部４と、ディスプレイ５と、記憶部６と、バス７と、を有している。水中検査システム１である情報処理端末１０は、デスクトップ型又はノート型のコンピュータである。

【0023】

制御部２は、情報処理端末１０における全体動作の処理・制御を行う。制御部２は、例えば、ＣＰＵ（Central Processing Unit）である。制御部２は、記憶部６に記憶された所定のプログラムを読み出すことによって、情報処理端末１０に係る種々の機能を実現する。すなはち、記憶部６に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部２によって具体的に実現されることで、制御部２に含まれる各機能部として実行される。具体的には、制御部２は、記憶部６に保存されているＯＳ（Operating System）の展開及び後述の記憶部に展開された水中検査プログラム等の各種アプリケーションの実行を行っている。なお、制御部２は単一であることに限定されず、複数のＣＰＵを有するマルチプロセッサであってもよく、機能ごとに複数の制御部２を有するように実施してもよく、またそれらの組み合わせであってもよい。

【0024】

通信部３は、外部の端末と無線又は有線により通信を行う。具体的には、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、５Ｇ／ＬＴＥ／３Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。つまり、これら複数の通信手段の集合として実施することができる。すなわち、情報処理端末１０は、通信部３を介して、外部サーバや外部情報処理端末と通信ネットワークを介して種々の情報を通信する。本実施の形態では、情報処理端末１０の記憶部６に水中検査プログラムに関する各種情報を記憶しているが、これに限定されない。例えば、外部サーバに映像等のデータ量が多い情報を記憶し、情報処理端末１０にインストールされた水中検査プログラムによって通信部３を介して当該プログラムを実行してもよい。

【0025】

操作部４は、情報処理端末１０を使用する作業者が操作入力するための入力インターフェースであって、マウス等のポインティングデバイス、キーボード、タッチパネル等から構成されている。

【0026】

ディスプレイ５は、テキスト、画像、及び各種映像を表示するものであり、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスに表示する情報を生成する。

【0027】

記憶部６は、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）と、から構成される。ＲＯＭは非揮発性メモリであって、ＯＳの起動時に実行されるＢＩＯＳ（Basic Input/Output System）及び各種設定情報が格納されている。ＲＡＭは、揮発性メモリであってプログラムの作業領域として使用される。ＨＤＤは、水中検査プログラム６１と、ＣＧ記憶部６２と、映像記憶部６３と、を有する。

【0028】

バス７は、接続した制御部２、通信部３、操作部４、ディスプレイ５、及び記憶部６の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

【0029】

次に、水中を検査するための水中検査移動体（Remotely Operated Vehicle）による調査について図２を参照して説明する。集水井（接続井）２０からは、複数の有孔管２２が接続された集水暗渠２１が延びている。有孔管２２の周壁には、集水のために多数の孔が形成されている。集水井２０の底面には、浄水場に繋がる導水管３１が接続される水中ポンプ３２が配置される。本実施の形態では、調査対象となる集水暗渠２１の口径は６００ｍｍ以上、調査対象長さ約３００ｍ、調査対象項目は内面状態、継手状況、損傷長さ、集水暗渠２１の曲がり有無、集水暗渠２１長さ、底面体積状況となる。具体的には、有孔管２２のうち、僅かに斜めに傾斜することによりズレや段差が生じている異常有孔管２２Ａの発見等を行う。

【0030】

水中検査移動体８は、カメラユニット８１と、ライト８２と、スラスター８３と、ソナー８４と、対地速度センサ８５（Doppler Velocity Log）と、を有している。水中検査移動体８は、接続ケーブル９１を介して操作端末９２に接続されていて、作業者の操作端末９２の操作に基づき水中を移動する。水中検査移動体８の電源及び制御に関する情報は、接続ケーブル９１を介して提供される。

【0031】

カメラユニット８１は、複数のカメラで構成されており、少なくとも前方を撮影する前方カメラと、画角が広くコントラスト自動調整機能を備えるサークルカメラと、を有する。カメラユニット８１は、検査用途に応じて、暗所でも撮影可能な赤外線カメラや暗視カメラ、サーモグラフィカメラ、サーマルカメラ等を搭載してもよい。ライト８２は、明るさ調整可能な１５００ルーメンの４灯であって、有孔管２２を数ｍ先まで照らすことができる。

【0032】

スラスター８３は、水中検査移動体８を移動するための推進装置であって、操作端末９２により制御され最大移動速度が９．３ｋｍ／時（５ノット）である。ソナー８４は２次元ソナーの最大探索範囲５０ｍで分解能１．６ｍｍの形状測定ソナーであって、有孔管２２内における音波の反射によって集水暗渠２１の詳細な形状を把握することができる。ソナー８４の計測結果により、集水井２０及び集水暗渠２１の形状を表す点群データを取得することができる。

【0033】

対地速度センサ８５は、水中検査移動体８の移動に伴い水中に音波を放射し、有孔管２２内における音波の反射・散乱波のドップラーシフト量から対地速度、対水速度、及び方位を計測する。搭載する機器やセンサ類は、これに限定されず、３次元ソナー、光によって有孔管２２の形状を点群データとして計測可能な高解像度の２次元又は３次元ＬｉＤＡＲ、ＰＨセンサ、濁度センサ、ＤＶセンサ、膜厚センサ、温度・圧力センサ等、明度センサ等であってもよい。

【0034】

水中検査作業時においては、水中検査移動体８のカメラユニット８１によって集水暗渠２１内の映像データが撮影され、ソナー８４からの計測結果が経過時間に対応付けられて操作端末９２に記憶され、対地速度センサ８５によって経過時間に基づいた水中検査移動体８の位置情報が映像データに関連付けて操作端末９２に記憶される。これらの記憶された各種計測データは、水中検査プログラム６１によって利用される。

【0035】

次に、水中検査移動体８によって撮影され操作端末９２に記憶されたデータに基づいて作成される水中検査プログラム６１について説明する。水中検査プログラム６１は、作業者が検査の状態を後日確認したい場合や他の場所で確認したい場合に利用され、水中検査移動体８の位置及び当該位置における映像を３次元ＣＧ（Computer Graphics）と共に表示する。

【0036】

制御部２によって水中検査プログラム６１が実行されると、図４に示すウィンドウ５０がディスプレイ５に表示される。ウィンドウ５０は、ＣＧ表示部５１と、映像表示部５２と、ソナー表示部５３と、画像表示部５４と、を有している。

【0037】

ＣＧ表示部５１は、構造物である集水井２０及び集水暗渠２１を３次元ＣＧ化した映像を表示しており、水中検査移動体８の位置がシンボルとして表示されている。ＣＧ表示部５１の右上には、水中検査移動体８から前方を見たＣＧ映像を表す小窓５１Ａが配置されている。水中検査移動体８は、ＣＧ表示部５１に示すように、集水井２０の基部から３つめの有孔管２２に位置しており、前方に濃い色の別有孔管２３が位置している。このとき、小窓５１Ａの映像も前方に別有孔管２３が目視できる状態となっている。

【0038】

ＣＧ表示部５１は、水中検査移動体８が集水井２０及び集水暗渠２１を移動したときの経過時間に基づく位置を映像として表しており、再生ボタン５５と、停止ボタン５６と、早送りボタン５７と、巻き戻しボタン５８と、構造物をスケルトン表示する透明化ボタン５９と、動画の現在の時間を表示するシークバー６０と、を有している。再生ボタン５５を押下するとＣＧ表示部５１、映像表示部５２、及びソナー表示部５３の映像が再生され、停止ボタン５６を押下すると停止する。早送りボタン５７を押下すると所定時間映像が飛ばして再生され、巻き戻しボタン５８を押下すると所定時間映像が戻って再生される。シークバー６０の任意の位置を押下すると、当該位置に対応する時刻の映像が表示される。

【0039】

映像表示部５２は、カメラユニット８１によって撮影された映像を表示する複数のカメラ映像表示部７１と、映像表示部５２の中央に配置されるＣＧイメージ表示部７２と、を有している。ＣＧイメージ表示部７２は、ＣＧ表示部５１の位置Ｐ２における水中検査移動体８を斜め後方から見たＣＧ映像であり、ＣＧ表示部５１における水中検査移動体８の移動に伴い映像が変化する。具体的には、小窓５１Ａと同様に、水中検査移動体８の前方に別有孔管２３が位置しているため、ＣＧイメージ表示部７２では別有孔管２３が遠方に表示されている。ＣＧ表示部５１の動画が進み水中検査移動体８が別有孔管２３に近づくにつれて、ＣＧイメージ表示部７２の別有孔管２３も近づいてくる。ＣＧ表示部５１、小窓５１Ａ及びＣＧイメージ表示部７２のＣＧ映像はＣＧ記憶部６２から呼び出され、カメラ映像表示部７１の映像は映像記憶部６３から呼び出される。

【0040】

ソナー表示部５３は、ソナー８４によって計測された結果データを表示しており、ＣＧ表示部５１の水中検査移動体８の位置に応じた映像が表示される。ソナー表示部５３の表示も映像表示部５２と同様に、水中検査移動体８が集水暗渠２１を進むにつれて変化する。ソナー表示部５３には、有孔管２２の内壁５３Ａが映し出される。作業者は、ソナー表示部５３によって内壁５３Ａの凹凸や形状、又は段差等を確認することができる。

【0041】

画像表示部５４は、画像７３と、画像情報７４と、をシークバー６０の位置における時系列的に表示する。画像７３及び画像情報７４は、作業者が操作部４の入力によってカメラ映像表示部７１の画像を保存した場合に表示される。作業者は、集水暗渠２１の損傷、亀裂、突起、異常有孔管２２Ａのズレ及び段差、汚泥等を見つけた場合は、図示せぬ記憶ボタンを押下することでカメラ映像表示部７１の各カメラの画像が、日時、場所、経過時間、作業者名等に関する情報と関連付けて記憶される。カメラ映像表示部７１の複数のカメラ画像のうち、作業者がいずれかのカメラ画像を指定して記憶してもよい。

【0042】

図５に、水中検査移動体８の初期位置におけるＣＧ表示部５１を示す。この状態では、水中検査移動体８は集水井２０に位置しているため小窓５１Ａには集水井２０の周壁が映し出される。その後、水中検査移動体８は図４の位置Ｐ２まで進行し、最終的に位置Ｐ３まで進行して映像が終了する。

【0043】

次に、図６及び図７を参照してＣＧ表示部５１、小窓５１Ａ、及びＣＧイメージ表示部７２に表示される３次元ＣＧ映像の作成方法について説明する。

【0044】

制御部２は、水中検査移動体８のソナー８４から採取された点群データを記憶部６から取得する（Ｓ１及び図７（ａ））。次に、取得した点群データの合成処理及びノイズ除去処理を行う。具体的には、取得した点群データはばらばらの状態であるため、複数のスキャンされた点群データを結合するとともに、対象物以外の不要な点群データ及び微振動等によって発生するノイズ等の不要データを削除する。

【0045】

次に、作業者は必要最小限な点群データのみを残すために１次スクリーニング処理を行い（Ｓ２）、点群データの軽量化を図る。具体的には、点群データの相互の位置関係、密度、ＸＹＺ方向における距離等の諸条件を設定し、１次スクリーニング処理を行う。スクリーニング処理の条件が定まらない場合、又は自動スクリーニングでは精度の高い３次元データが得られない場合は、作業者が手作業でスクリーニング処理を行ってもよい。

【0046】

これにより、図７（ｂ）に示すように平面に多数存在する不要な点群が削除され、構造物の外枠を中心とした点群データのみが残る。次に、作業者は点群データを３次元ＣＡＤデータに変換する（Ｓ３）。具体的には、スクリーニングされた点群データを、構造物のメッシュデータ又はポリゴンデータに変換する。このとき、点群データの空間座標を組み合わせて点同士を互いにつなぎ合わせることにより、三角形の組み合わせによって３次元形状を作成する。得られたメッシュデータから、物体の中身や体積のパラメータが無く三角形の組み合わせではない滑らかな表面のサーフェスデータを作成する。このサーフェスデータを所定の３次元ＣＡＤソフトに読み込ませることにより、図７（ｃ）に示すように点群データの３次元ＣＡＤ化を行う。

【0047】

次に、３次元ＣＡＤデータの２次スクリーニング処理を行う（Ｓ４）。具体的には、所定のＣＧ制作ソフトウェアに読み込ませる際、３次元ＣＡＤに内包されている各種属性データ、テクスチャデータ等の削除を行い、図７（ｄ）に示すような３次元ＣＧとする。このように、実際に水中検査移動体８によって測定された点群データに基づいて水中検査プログラム６１に使用する３次元ＣＧを作成しているため、精度の高いＣＧ化が可能になる。また、図面が存在しない古い集水暗渠２１であっても、３次元ＣＡＤ図面を起こすことができるとともに、３次元ＣＧ映像化することで作業者が一見して状態を把握することができる。

【0048】

このような構成によると、映像表示部５２においてＣＧ表示部５１における水中検査移動体８の位置の映像を映像表示部５２に表示するため、作業者は場所と映像とを一見して認識することができる。これにより、作業者は集水井２０及び集水暗渠２１の損傷個所等の位置を正確に把握することができるため、水中検査移動体８を利用した水中検査の効率化が可能となる。また、ディスプレイ５には水中検査移動体８の移動を開始する再生ボタン５５と水中検査移動体８の移動を停止する停止ボタン５６とが表示されるため、作業者は任意の位置で映像を停止して映像表示部５２の映像を入念に確認することができる。これにより、水中検査移動体８を利用した水中検査の精度向上を図ることができる。さらに、リアルタイムで撮影現場において映像を確認する場合と異なり、水中検査プログラム６１を利用することができる情報処理端末１０が存在すれば任意の場所で映像を確認することができる。これにより、水中検査移動体８が撮影した映像の確認作業の利便性が向上する。ＣＧ表示部５１に表示されている集水井２０及び集水暗渠２１は３次元ＣＧであるため、作業者は３次元的に水中検査移動体８の位置を認識することができる。これにより、煩雑な形状である構造物における水中検査であっても、水中検査移動体の周囲環境を容易に把握することができる。

【0049】

また、水中検査移動体８から前方を見たＣＧ映像又は水中検査移動体８の後方から見たＣＧ映像の少なくとも一方をディスプレイ５に表示するため、作業者は直感的に水中検査移動体８の位置及び周囲の状況を認識することができる。これにより、映像表示部４２の撮影映像と水中検査移動体８の位置との対応関係を容易に理解することができる。

【0050】

また、ディスプレイ５にシークバーが６０表示されるため、作業者は作業開始位置からの時間経過を容易に把握することができる。また、水中検査移動体８の位置におけるソナー映像を表示するソナー表示部５３をさらに有するため、カメラ映像表示部７１における撮影映像とソナー映像とを一元的に見ることができる。これにより、映像では認識し難い場合であってもソナー映像を利用することで集水井２０及び集水暗渠２１の詳細な形状等を認識することができる。

【0051】

また、ＣＧ表示部５１に表示される集水井２０及び集水暗渠２１は実際に撮影した映像の点群データに基づいて作成されるため、正確な形状の３次元ＣＧを造ることができる。これにより、古い構造物であって図面等が存在せず形状がどのようなものか、どの位置に何が存在しているのかが不明な集水井２０及び集水暗渠２１であっても、３次元ＣＧ上に再現することができる。また、水中検査移動体８の位置がＣＧ表示部５１に表示されているため、水中検査移動体８の位置を正確に把握することができる。

【0052】

このような構成によると、ＣＧ表示部５１上の軌跡を指定されると当該位置に対応する映像が映像表示部５２に表示されるため、作業者は任意の位置の映像を繰り返し確認することができる。これにより、水中検査移動体８を利用した水中検査の精度向上を図ることができる。

【0053】

次に、本発明の第２の実施の形態について、図８に基づいて説明する。第１の実施の形態と同一の構成については、同一の符号を付し説明を省略する。

【0054】

水中検査システム１００は、情報処理端末１１０と、通信部３により通信ネットワーク１２０を介して情報処理端末１１０と接続された外部サーバ１０１と、を有している。外部サーバ１０１には、水中検査プログラム１６１と、ＣＧ記憶部１６２と、映像記憶部１６３と、が記憶されたサーバ記憶部１０６を有している。つまり、水中検査プログラム６１は、情報処理端末１０にＳａａＳとして通信ネットワーク１２０経由で提供される。

【0055】

このような構成によると、ＳａａＳによる水中検査プログラム１６１の提供であるため、情報処理端末１１０の記憶部６の容量が圧迫されることなく、制御部２のスペックによらず外部サーバ１０１の処理能力に応じた軽快なプログラム動作が可能となる。また、複数の情報処理端末１１０で同時に外部サーバ１０１にアクセスすることができるため、利便性が高まる。

【0056】

次に、本発明の第３の実施の形態について、図９に基づいて説明する。上述の実施の形態と同一の構成については、同一の符号を付し説明を省略する。

【0057】

ディスプレイ５に表示されるウィンドウ２５０のＣＧ表示部２５１は、水中検査移動体８が移動した軌跡２５２が表示される。作業者が軌跡２５２上を指定すると、指定された位置まで水中検査移動体８が移動するとともにシークバー６０が当該指定された位置に対応する時刻まで戻り、映像表示部５２及びソナー表示部５３の表示も指定された位置に対応した映像となる。

【0058】

これにより、作業者はシークバー６０の時刻に基づくだけでなく、水中検査移動体８の軌跡２５２に基づいて所望の位置のカメラ映像表示部７１のカメラ映像やソナー表示部５３のソナー映像を確認することができるため、操作性が向上する。

【0059】

本発明による水中検査プログラム、水中検査システム、及び水中検査方法は、上述した実施の形態に限定されず、特許請求の範囲に記載された発明の要旨の範囲内で種々の変更が可能である。

【0060】

上述の実施の形態では、集水井２０及び集水暗渠２１を水中検査移動体８で検査したが、検査する場所はこれに限定されない。例えば、水中検査移動体８の検査対象領域は、海中や沖合、深海であってもよく、汽水域であってもよい。また、水中検査移動体８によってダムや浄水場内における貯水・配管設備、配水池等の池構造物を検査対象としてもよい。接続ケーブル９１の長さを適切に設定することで、長い配管であっても検査を行うことができる。

【0061】

上述の実施の形態では、ウィンドウ５０では、複数のカメラ映像、ソナー映像及びそれらに対応するＣＧ映像が表示されたが、これに限定されない。例えば、少なくとも１つの３次元ＣＧ映像及び少なくとも１つのカメラ映像が表示されていれば、作業者は水中検査移動体８の位置と映像との関係性を認識することができる。

【0062】

上述の実施の形態では、水中検査プログラム６１を動作させるための機器として情報処理端末１０であるデスクトップ型パソコンやノート型パソコンを用いたが、これに限定されない。例えば、タブレットやスマートフォン等で水中検査プログラム６１を操作してもよい。この場合は、第２の実施の形態のように、Ｓａａｓとして水中検査プログラムを提供することが望ましい。

【符号の説明】

【0063】

１、１０１ 水中検査システム
２ 制御部
３ 通信部
４ 操作部
５ ディスプレイ
６ 記憶部
７ バス
８ 水中検査移動体
１０、１１０ 端末
２０ 集水井
２１ 集水暗渠
２２ 有孔管
５０、２５０ ウィンドウ
５１、２５１ ＣＧ表示部
５１Ａ 小窓
５２ 映像表示部
５３ ソナー表示部
５４ 画像表示部
５５ 再生ボタン
５６ 停止ボタン
６１ 水中検査プログラム
６２ ＣＧ記憶部
６３ 映像記憶部
７１ 映像表示部
７２ ＣＧイメージ表示部
２５２ 軌跡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-07-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査プログラムであって、
情報処理端末の前記ディスプレイに、
撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、
前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、
前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査プログラム。

【請求項2】

前記水中検査移動体から前方を見たＣＧ映像、又は前記水中検査移動体の後方から前記水中検査移動体を含むように前方を見たＣＧ映像、の少なくとも一方を前記ディスプレイに表示させることを特徴とする請求項１に記載の水中検査プログラム。

【請求項3】

前記シンボルの移動及び前記映像表示部の映像の時間経過に基づいたシークバーと、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影したソナー映像を表示するソナー表示部と、
前記シンボルの特定位置における映像表示部の画像と、前記特定位置の情報と、を表示する画像表示部と、をさらに前記ディスプレイに表示させることを特徴とする請求項１に記載の水中検査プログラム。

【請求項4】

前記ＣＧ表示部に表示される前記構造物は、
前記水中検査移動体が撮影した映像から点群データを取得する工程と、
前記点群データを１次スクリーニングする工程と、
１次スクリーニングした前記点群データから３次元ＣＡＤデータを生成する工程と、
前記３次元ＣＡＤデータを２次スクリーニングする工程と、
２次スクリーニングした前記３次元ＣＡＤデータから３次元ＣＧ映像を生成する工程と、によって生成されることを特徴とする請求項１から３のいずれか１項に記載の水中検査プログラム。

【請求項5】

水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査システムであって、
情報処理端末と、
前記情報処理端末に接続されたディスプレイと、を有し、
前記ディスプレイに、
撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、
前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、
前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査システム。

【請求項6】

水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査方法であって、
情報処理端末の前記ディスプレイに、
撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するステップと、
前記シンボルの位置における前記水中検査移動体が撮影した映像を表示するステップと、
前記シンボルの移動を停止する停止ボタンを表示するステップと、
停止している前記シンボルの移動を開始する再生ボタンを表示するステップと、を有することを特徴とする水中検査方法。

【請求項7】

水中検査移動体が撮影した検査対象となる構造物の映像をディスプレイに表示する水中検査プログラムであって、
情報処理端末に接続された前記ディスプレイに、
３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、
前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、を表示させ、
前記ＣＧ表示部は、前記シンボルの軌跡を表示し、
前記映像表示部は、前記軌跡の所定位置を指定されると、前記所定位置に対応する前記水中検査移動体が撮影した映像を表示することを特徴とする水中検査プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

上記課題を解決するために本発明は、水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査プログラムであって、情報処理端末の前記ディスプレイに、撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査プログラムを提供している。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

また、前記水中検査移動体から前方を見たＣＧ映像、又は前記水中検査移動体の後方から前記水中検査移動体を含むように前方を見たＣＧ映像、の少なくとも一方を前記ディスプレイに表示させることが好ましい。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

また、前記シンボルの移動及び前記映像表示部の映像の時間経過に基づいたシークバーと、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影したソナー映像を表示するソナー表示部と、前記シンボルの特定位置における映像表示部の画像と、前記特定位置の情報と、を表示する画像表示部と、をさらに前記ディスプレイに表示させることが好ましい。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正の内容】

【0012】

本発明の別の観点では、 水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査システムであって、情報処理端末と、前記情報処理端末に接続されたディスプレイと、を有し、前記ディスプレイに、撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するＣＧ表示部と、前記ＣＧ表示部の前記シンボルの位置における前記水中検査移動体が撮影した映像を表示する映像表示部と、前記ＣＧ表示部における前記シンボルの移動を停止する停止ボタンと、前記ＣＧ表示部において停止している前記シンボルの移動を開始する再生ボタンと、を表示させることを特徴とする水中検査システムを提供している。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

本発明の別の観点では、水中検査移動体が撮影した検査対象となる貯水、配水、湛水を目的とした構造物又は海中構造物の映像をディスプレイに表示する水中検査方法であって、情報処理端末の前記ディスプレイに、撮影した前記構造物の前記映像のデータから作成された３次元ＣＧの前記構造物と、前記構造物内を移動するシンボルと、を表示するステップと、前記シンボルの位置における前記水中検査移動体が撮影した映像を表示するステップと、前記シンボルの移動を停止する停止ボタンを表示するステップと、停止している前記シンボルの移動を開始する再生ボタンを表示するステップと、を有することを特徴とする水中検査方法を提供している。