特開 2025-4443 水中作業装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025004443

(43)【公開日】2025-01-15

(54)【発明の名称】水中作業装置

(51)【国際特許分類】

   G09B 29/00 20060101AFI20250107BHJP

   F41A 3/42 20060101ALI20250107BHJP

   B63C 11/00 20060101ALI20250107BHJP

【ＦＩ】

G09B29/00 Z

F41A3/42

B63C11/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023104135

(22)【出願日】2023-06-26

(71)【出願人】

【識別番号】507250427

【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】山川 寛晶

(72)【発明者】

【氏名】長井 隆浩

(72)【発明者】

【氏名】一藁 秀行

(72)【発明者】

【氏名】小林 亮介

(72)【発明者】

【氏名】松井 祐二

(72)【発明者】

【氏名】森 勇人

【テーマコード（参考）】

2C032

【Ｆターム（参考）】

2C032HA02

2C032HB11

2C032HC09

2C032HC17

2C032HD01

2C032HD26

(57)【要約】

【課題】水中での作業中に水に濁りが発生した場合でも作業を実行できる水中作業装置を提供する。
【解決手段】本発明による水中作業装置は、音響計測器１１と光学計測器１２とを備え水中に存在する作業対象物５０に作業を行う作業装置１０と、作業装置１０を制御する制御装置４０とを備える。音響計測器１１は、音を用いて、物体の表面を表す点群データを音の点群データ５１として取得する。光学計測器１２は、光を用いて、物体の表面を表し色についての情報を持つ点群データを光の点群データ５２として取得する。制御装置４０は、音の点群データ５１で作成された地図である音の点群地図６１と、光の点群データ５２で作成された地図である光の点群地図６２とを備え、光の点群地図６２と音の点群地図６１との関係と、音の点群地図６１と音の点群データ５１との関係を求め、音の点群データ５１と音の点群地図６１とを用いて、光の点群地図６２を更新する。
【選択図】図２

【特許請求の範囲】

【請求項1】

音響計測器と、光学計測器とを備え、水中に存在する作業対象物に作業を行う作業装置と、
前記作業装置を制御する制御装置と、
前記作業装置の操作に用いられる操作装置と、
を備え、
前記音響計測器は、音を用いて、前記作業装置の周囲に存在する物体の表面を表す点群データを、音の点群データとして取得し、
前記光学計測器は、光を用いて、前記作業装置の周囲に存在する物体の表面を表し色についての情報を持つ点群データを、光の点群データとして取得し、
前記制御装置は、前記音の点群データで作成された、前記作業装置の周囲に存在する物体についての地図である音の点群地図と、前記光の点群データで作成された、前記作業装置の周囲に存在する物体についての地図である光の点群地図とを備え、
前記制御装置は、前記光の点群地図と前記音の点群地図との関係と、前記音の点群地図と前記音の点群データとの関係を求め、前記音の点群データと前記音の点群地図とを用いて、前記光の点群地図を更新する、
ことを特徴とする水中作業装置。

【請求項2】

前記作業装置は、前記作業対象物が存在する水の濁度を求める濁度推定部を備え、
前記制御装置は、
前記濁度が予め定めた基準値よりも大きい場合には、前記音の点群データと前記音の点群地図とを用いて、前記光の点群地図を更新し、
前記濁度が前記基準値以下の場合には、前記光の点群地図のデータを前記光の点群データで置き換えて、前記光の点群地図を更新する、
請求項１に記載の水中作業装置。

【請求項3】

前記制御装置は、前記光の点群データを用いて前記光の点群地図を作成し、前記音の点群データを用いて前記音の点群地図を作成する、
請求項１に記載の水中作業装置。

【請求項4】

前記作業装置は、前記作業対象物に作業を行う作業機構と、前記作業機構の作業領域を取得する作業領域取得部とを備え、
前記制御装置は、前記作業機構の作業内容に応じて、前記光の点群地図における前記作業領域の内部に点を追加する、
請求項１に記載の水中作業装置。

【請求項5】

前記制御装置は、前記光の点群地図に含まれる点を、前記音の点群地図に含まれる点を用いて表現するための関係式を作成することで、前記光の点群地図と前記音の点群地図との関係を求める、
請求項１に記載の水中作業装置。

【請求項6】

前記作業装置は、前記作業対象物に作業を行う作業機構を備え、
前記制御装置は、前記作業機構の作業内容に応じて、前記光の点群地図に含まれる点を前記音の点群地図に含まれる点を用いて表現するときの制約条件を作成し、
前記制御装置は、前記制約条件を考慮して前記関係式を作成する、
請求項５に記載の水中作業装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水中で作業を行うための水中作業装置に関する。

【背景技術】

【0002】

河川や海洋などの水の中、またはタンクやプールなどの構造物の内部に満たされた水の中に存在する作業対象物（作業の対象となる物体）に対して、水中作業装置を用いて作業をする際に、水に濁りが発生する場合がある。このような水の濁りは、切断、移設、及び回収などの、作業対象物に対する積極的な働きかけを伴う作業によって発生する。また、調査などの、作業対象物に対する積極的な働きかけを伴わない作業においても、水流などによって水に濁りが発生することがある。このような水の濁りは、光学カメラなどの光学計測器によって作業対象物とその周辺の環境を認識することの妨げになる場合がある。

【0003】

水の濁りが強い場合には、濁りによる散乱の影響で、光学計測器によって作業対象物などを認識することが難しく、濁りが解消するまで作業を中断する必要がある。このような場合でも、光と比べて透過性が高い超音波を用いたソナーなどの計測装置を用いると、作業対象物とその周辺の環境を把握することができる。しかし、超音波と光の物理的性質の違いから、超音波を用いた音響計測は、光を用いた光学計測と比べて空間分解能が低く、作業対象物の色情報が得られないという欠点がある。このため、音響計測によって得られる情報のみでは、水中作業装置の作業員は、作業対象物を認識しづらく、作業対象物に対して作業を行うのが困難である。

【0004】

特許文献１には、濁水中においても作業対象物を認識できる装置の例が記載されている。特許文献１に記載された水中レーザ視認装置は、レーザ光のパルスを濁水中に照射する発振ヘッドと、シャッタ機構を有するイメージインテンシファイアを持つ撮像カメラ部とを備え、パルス光源とシャッタ制御を用いて濁水中の散乱体からの反射光を遮光し、撮影対象である作業対象物からの反射光のみを撮像することで、濁水中でも作業対象物の認識が可能である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－７２２５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば特許文献１に記載された水中レーザ視認装置などのように、パルス光源とシャッタ制御を用いて濁水中の作業対象物を認識する装置では、濁水中の散乱体からの反射光の飛行時間と、作業対象物からの反射光の飛行時間の差が、シャッタの開閉速度に対して十分に大きい必要がある。このため、水中の作業対象物の周囲で水に濁りが発生すると、濁水中の散乱体と作業対象物との距離の差が小さく、散乱体からの反射光を選択的に遮光して作業対象物からの反射光のみを撮像することが困難である。

【0007】

このように、従来の水中作業装置では、水中での作業中に、特に作業対象物の周囲で水に濁りが発生すると、作業員は、作業対象物を認識しづらく、水中作業装置によって作業対象物に対して作業を行うのが困難であるという課題がある。

【0008】

本発明の目的は、水中での作業中に水に濁りが発生した場合でも作業を実行できる水中作業装置を提供することである。

【課題を解決するための手段】

【0009】

本発明による水中作業装置は、音響計測器と光学計測器とを備え水中に存在する作業対象物に作業を行う作業装置と、前記作業装置を制御する制御装置と、前記作業装置の操作に用いられる操作装置とを備える。前記音響計測器は、音を用いて、前記作業装置の周囲に存在する物体の表面を表す点群データを、音の点群データとして取得する。前記光学計測器は、光を用いて、前記作業装置の周囲に存在する物体の表面を表し色についての情報を持つ点群データを、光の点群データとして取得する。前記制御装置は、前記音の点群データで作成された、前記作業装置の周囲に存在する物体についての地図である音の点群地図と、前記光の点群データで作成された、前記作業装置の周囲に存在する物体についての地図である光の点群地図とを備える。前記制御装置は、前記光の点群地図と前記音の点群地図との関係と、前記音の点群地図と前記音の点群データとの関係を求め、前記音の点群データと前記音の点群地図とを用いて、前記光の点群地図を更新する。

【発明の効果】

【0010】

本発明によると、水中での作業中に水に濁りが発生した場合でも作業を実行できる水中作業装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1A】水中作業装置が水中で作業を行う様子の例を示す図。

【図1B】水中作業装置が水中で作業を行う様子の例を示す図で、水に濁りが発生したときの図。

【図2】本発明の実施例１による水中作業装置の構成例を示すブロック図。

【図3】制御装置が備える計測データ処理部におけるデータの流れの例を示すブロック図。

【図4】実施例１において、計測データ処理部が実行する処理の流れを示すフローチャート。

【図5】本発明の実施例２による水中作業装置の構成例を示すブロック図。

【図6】実施例２において、計測データ処理部が実行する処理の流れを示すフローチャート。

【図7A】作業内容が作業対象物の切断である場合について、切断する作業対象物の上面と断面を示す模式図。

【図7B】作業内容が作業対象物の切断である場合について、図７Ａに示した作業対象物に対応する、光の点群地図に含まれる点群を示す模式図。

【発明を実施するための形態】

【0012】

本発明による水中作業装置は、水中での作業中に、作業対象物の近傍で、光学計測器が精度よく計測できないほどの強い濁りが水に発生した場合でも、高分解能かつ色付きの映像を作業員に提供することができ、作業対象物に対する作業を中断せずに続行することができる。

【0013】

以下、本発明の実施例による水中作業装置を、図面を用いて説明する。なお、本明細書で用いる図面において、同一のまたは対応する構成要素には同一の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。

【実施例0014】

初めに、水中作業装置による水中での作業について簡単に説明する。

【0015】

図１Ａと図１Ｂは、水中作業装置が水中で作業を行う様子の例を示す図である。

【0016】

図１Ａに示すように、水中作業装置は、操作装置３０と作業装置１０を備え、作業員に操作されて作業対象物５０に対して作業を実行する。作業装置１０は、光学計測器１２を備える。作業対象物５０は、水中作業装置の作業の対象となる物体であり、水中に存在する。

【0017】

図１Ｂに示すように、作業装置１０が水中で作業を実行しているときに、水に濁り２０が発生することがある。従来の水中作業装置では、特に作業対象物５０の周囲で水に濁り２０が発生すると、濁り２０による散乱の影響で、光学計測器１２によって作業対象物５０を認識することが難しく、作業対象物５０に対して作業を行うのが困難である。

【0018】

本発明の実施例１による水中作業装置について説明する。

【0019】

図２は、本実施例による水中作業装置の構成例を示すブロック図である。本実施例による水中作業装置は、作業装置１０、操作装置３０、及び制御装置４０を備え、水中に存在する作業対象物５０（図１）に所定の作業を行う。

【0020】

作業装置１０は、水中に位置し、音響計測器１１、光学計測器１２、位置計測部１３、及び濁度推定部１４を備え、作業装置１０と作業装置１０の周囲に関する情報を把握することができる。作業装置１０は、水中作業装置の作業員が操作装置３０を操作することで、作業対象物５０に作業を行う。

【0021】

作業装置１０は、作業内容に応じた機構を備えることができ、例えば、多関節アームや切断工具などの作業機構などを備えることができる。また、作業装置１０は、スラスターやクローラーなどの移動機構を備え、水中を移動することができる。さらに、作業装置１０は、音響計測器１１や光学計測器１２の向きを変更する機構を備えていてもよい。

【0022】

音響計測器１１は、音を用いて作業装置１０の周囲を計測し、作業装置１０の周囲に存在する物体の表面を表す点群データを取得する計測器である。音響計測器１１は、３次元座標で表された点群データを取得する。作業装置１０の周囲に存在する物体には、作業対象物５０が含まれる。音響計測器１１は、例えば、１つの振動子と２次元アレイセンサを組み合わせて構成することができ、互いに直交する２つの１次元アレイセンサで構成することもできる。

【0023】

以下では、音響計測器１１が取得した、３次元座標で表された点群データを「音の点群データ」と呼ぶ。

【0024】

光学計測器１２は、光を用いて作業装置１０の周囲を計測し、作業装置１０の周囲に存在する物体の表面を表す点群データを取得する計測器である。光学計測器１２は、３次元座標で表されて色についての情報を持つ点群データを取得する。すなわち、光学計測器１２は、色付きの点群データを取得する。作業装置１０の周囲に存在する物体には、作業対象物５０が含まれる。光学計測器１２は、例えば、ＬｉｄａｒセンサやＴｏＦセンサとビデオカメラとを組み合わせて構成することができ、ステレオカメラで構成することもできる。

【0025】

以下では、光学計測器１２が取得した、３次元座標で表されて色についての情報を持つ点群データを「光の点群データ」と呼ぶ。

【0026】

位置計測部１３は、音響計測器１１と光学計測器１２の、作業装置１０または作業環境に対する３次元座標を、位置データとして取得する。位置計測部１３は、ソフトウェアまたはハードウェアで構成することができる。位置計測部１３は、例えば、音の点群データと光の点群データを基に、作業装置１０に対する音響計測器１１と光学計測器１２の位置を推定することができる。また、位置計測部１３は、例えば、作業環境に設定された基準点と通信可能な測位センサで取得した作業装置１０の位置や、作業装置１０の角度や並進量を計測するエンコーダから取得した作業装置１０の位置などを基に、作業環境に対する音響計測器１１と光学計測器１２の位置を推定することもできる。

【0027】

なお、作業装置１０が、作業の開始時に作業対象物５０の近傍へ移動し、作業中に移動しない場合には、位置計測部１３は、音響計測器１１と光学計測器１２の位置データを取得しなくてもよい。この場合には、音響計測器１１と光学計測器１２の位置は、作業中に変化しないため、作業装置１０の位置から求めることができる。

【0028】

濁度推定部１４は、作業対象物５０が存在する水の濁度を求める。濁度推定部１４は、既存の技術を用いて水の濁度を求めることができる。例えば、濁度推定部１４は、音響計測器１１または光学計測器１２の信号の強度や、音の点群データと光の点群データとの間の点の座標の一致度などから、水の濁度を推定することができる。また、濁度推定部１４は、濁度計を備え、濁度計で水の濁度を計測してもよい。

【0029】

操作装置３０は、気中に位置し、作業員が作業装置１０を操作するのに用いられる装置である。操作装置３０は、作業員が操作指示を入力する入力部を備える。作業装置１０は、この操作指示によって操作される。また、操作装置３０は、映像を表示する映像表示部を備え、作業対象物５０とその周囲についての映像を作業員へ表示することもできる。操作装置３０は、例えば、入力部としてボタンやモーションコントローラなどを備え、映像表示部としてディスプレイや立体映像表示装置などを備えることができる。

【0030】

制御装置４０は、気中または水中に位置し、計測データ処理部４１を備え、作業装置１０及び操作装置３０と通信する。制御装置４０は、作業装置１０及び操作装置３０を制御したり、これらの装置から受信したデータを処理したりする。制御装置４０は、例えば、中央処理装置、主記憶装置、及び補助記憶装置を備え、作業装置１０を制御するためのプロクラムを実行する。なお、制御装置４０の構成要素は、分散して配置されていてもよく、作業装置１０や操作装置３０の内部に存在していてもよい。

【0031】

図３は、制御装置４０が備える計測データ処理部４１におけるデータの流れの例を示すブロック図である。

【0032】

計測データ処理部４１は、音響計測器１１から音の点群データ５１を取得し、光学計測器１２から光の点群データ５２を取得し、位置計測部１３から位置データ５３を取得し、濁度推定部１４から水の濁度５４を取得する。そして、計測データ処理部４１は、音の点群データ５１と光の点群データ５２と位置データ５３を基に、濁度５４に応じて処理を切り替えながら、格納している音の点群地図６１と光の点群地図６２を更新し、作業員へ提示する映像８０を作成する。計測データ処理部４１は、作成した映像８０を操作装置３０に出力する。

【0033】

音の点群地図６１と光の点群地図６２は、作業装置１０の周囲の環境（作業対象物５０を含む環境）を、３次元座標の点群で表した地図である。音の点群地図６１は、音の点群データ５１で作成された、作業装置１０の周囲に存在する物体についての地図であり、この物体の位置情報を含む。光の点群地図６２は、光の点群データ５２で作成された、作業装置１０の周囲に存在する物体についての地図であり、この物体の位置情報と色情報を含む。

【0034】

計測データ処理部４１は、必要な範囲の音の点群地図６１と光の点群地図６２を、作業装置１０が作業対象物５０へ作業を実行する前に予め作成して格納しておく。計測データ処理部４１は、音の点群地図６１と光の点群地図６２を、作業装置１０が作業対象物５０へ作業を実行している間に、作業装置１０の作業とともに作成して格納してもよい。

【0035】

次に、計測データ処理部４１が実行する処理について説明する。

【0036】

図４は、実施例１において、計測データ処理部４１が実行する処理の流れを示すフローチャートである。

【0037】

ステップ１００で、計測データ処理部４１は、音の点群データ５１と光の点群データ５２と位置データ５３と水の濁度５４を取得する。そして、計測データ処理部４１は、位置データ５３を基に、音の点群データ５１と光の点群データ５２のそれぞれを、計測器座標系での座標から、環境座標系または作業装置座標系での座標へ変換する。

【0038】

計測器座標系は、音響計測器１１と光学計測器１２のそれぞれに設定されたローカル座標系である。環境座標系は、作業装置１０の周囲の環境に設定された座標系（例えば、作業環境に設定された基準点を基準とする座標系）である。作業装置座標系は、作業装置１０に設定された座標系（例えば、作業装置１０の位置を基準とする座標系）である。

【0039】

なお、音響計測器１１と光学計測器１２の座標が作業終了まで変化しない場合には、ステップ１００で座標変換を実行せず、音の点群データ５１と光の点群データ５２を計測器座標系での座標で表したままでもよい。

【0040】

ステップ１０１で、計測データ処理部４１は、濁度５４を基に、水が強く濁っているか判定する。水の濁りが強いと、濁りによる散乱の影響で、光学計測器１２は、光の点群データ５２を精度よく取得するのが困難である。

【0041】

計測データ処理部４１は、濁度５４が予め定めた基準値以下であれば、水の濁りが弱いと判定して、ステップ１０２の処理を実行し、濁度５４がこの基準値よりも大きければ、水が強く濁っていると判定して、ステップ１０３の処理を実行する。なお、濁度５４の基準値は、任意に定めることができ、例えば、光学計測器１２の感度などに応じて定めることができる。

【0042】

ステップ１０２で、計測データ処理部４１は、格納している光の点群地図６２のうちの現時刻での光学計測器１２の計測領域について、光の点群地図６２のデータを光の点群データ５２で置き換えて、光の点群地図６２のデータを更新する。光学計測器１２の計測領域は、光学計測器１２の視野角と位置（座標）から求めることができる。光学計測器１２の座標は、位置データ５３から求めることができる。

【0043】

なお、計測データ処理部４１が光の点群地図６２を格納していない場合には、計測データ処理部４１は、光の点群データ５２を基に、光の点群地図６２を新たに作成する。

【0044】

ステップ１０３で、計測データ処理部４１は、光の点群地図６２に含まれる点を、音の点群地図６１に含まれる点を用いて表現するための関係式Ｅｍを作成する。より具体的には、計測データ処理部４１は、格納している光の点群地図６２に含まれる点の座標を、格納している音の点群地図６１に含まれる１つ以上の点の座標を用いて表すための関係式Ｅｍを作成する。計測データ処理部４１は、この関係式Ｅｍを、光の点群地図６２に含まれる点ごとに作成する。ステップ１００での座標変換により、音の点群データ５１と光の点群データ５２は、同一の座標系で表されている。

【0045】

なお、計測データ処理部４１が光の点群地図６２を格納していない場合には、計測データ処理部４１は、光の点群データ５２を基に、光の点群地図６２を新たに作成する。また、計測データ処理部４１が音の点群地図６１を格納していない場合には、計測データ処理部４１は、音の点群データ５１を基に、音の点群地図６１を新たに作成する。

【0046】

関係式Ｅｍにより、光の点群地図６２に含まれる点の座標は、音の点群地図６１に含まれる点の座標で表現される。例えば、関係式Ｅｍにより、光の点群地図６２に含まれている点Ｐの位置ベクトルは、音の点群地図６１に含まれていて点Ｐに最も近い位置にある点の位置ベクトルと任意の定数ベクトルとの和で表すことができる。また、例えば、点Ｐの位置ベクトルは、音の点群地図６１に含まれていて点Ｐに近い位置にある３点の位置ベクトルの線形和などで表すことができる。また、点Ｐの位置ベクトルは、音の点群地図６１に含まれていて点Ｐの近傍にある複数の点から作成されたパラメトリック曲面Ｓ（例えばベジェ曲面）を用いて、曲面Ｓ上の点と定数ベクトルの和で表すことができる。

【0047】

ステップ１０４で、計測データ処理部４１は、音の点群データ５１に含まれる点と音の点群地図６１に含まれる点とを対応付ける対応関係Ｒｓを作成する。より具体的には、計測データ処理部４１は、ステップ１００で取得した音の点群データ５１に含まれる点と、格納している音の点群地図６１に含まれる点との対応関係Ｒｓを作成する。計測データ処理部４１は、この対応関係Ｒｓを、音の点群データ５１に含まれる点ごとに作成する。対応関係Ｒｓにより、音の点群地図６１に含まれる点のそれぞれが、音の点群データ５１に含まれる点のうちのどの点に対応するかを知ることができる。

【0048】

計測データ処理部４１は、例えば、音の点群地図６１のデータを一時刻前のデータであるとみなし、音の点群データ５１を現時刻のデータであるとみなして、音の点群データ５１の１つの点を、音の点群地図６１に含まれる１つの点が移動したものと捉えて、対応関係Ｒｓを作成する。計測データ処理部４１は、既存の任意のアルゴリズムを用いて対応関係Ｒｓを作成することができる。例えば、計測データ処理部４１は、ＩＣＰアルゴリズムを用いて、対応する２点の距離の総和が最小になるように対応させることで、対応関係Ｒｓを作成してもよく、時系列の点群データについて、（作業対象物５０の変形を考慮した上で）異なる時刻の２点を対応させるための既存のアルゴリズムを用いて、対応関係Ｒｓを作成してもよい。

【0049】

なお、音の点群データ５１に含まれる点のうち、音の点群地図６１に含まれる１つの点が移動した点ではなく、音響計測器１１による計測で新たに得られた点であると判定された点については、この点を対応関係Ｒｓから除外する。除外する点は、例えば、音の点群データ５１に含まれる点と、この点に対応するとされた音の点群地図６１に含まれる点との距離の大きさに基づいて、または、音の点群地図６１における点の分布と、音の点群データ５１を計測したときの音響計測器１１の計測領域とを比較することによって、求めることができる。

【0050】

ステップ１０５で、計測データ処理部４１は、音の点群データ５１と音の点群地図６１を用いて、光の点群地図６２を更新する。具体的には、計測データ処理部４１は、関係式Ｅｍが作成された音の点群地図６１の点Ｑ１を、音の点群データ５１の点Ｑ２（ステップ１００で取得した点）に、対応関係Ｒｓを用いて置き換える。そして、計測データ処理部４１は、音の点群データ５１の点Ｑ２と関係式Ｅｍとを用いて（より詳しくは、音の点群データ５１の点Ｑ２に置き換えられた音の点群地図６１の点Ｑ１と関係式Ｅｍとを用いて）、光の点群地図６２を更新する。

【0051】

より具体的には、計測データ処理部４１は、初めに、音の点群地図６１に含まれていて関係式Ｅｍが作成された点のうち、対応関係Ｒｓが作成された点Ｑ１を、対応関係Ｒｓを用いて、音の点群データ５１に含まれていて点Ｑ１に対応する点Ｑ２に置き換える。次に、計測データ処理部４１は、関係式Ｅｍを用いて、音の点群データ５１の点Ｑ２に置き換えられた音の点群地図６１の点Ｑ１の、光の点群地図６２での位置を求め、光の点群地図６２を更新する。

【0052】

ステップ１０３からステップ１０５までの処理を簡単にまとめると、次のようになる。ステップ１０３からステップ１０５は、水が強く濁っている場合の処理である。ステップ１０３で、光の点群地図６２と音の点群地図６１との対応関係（関係式Ｅｍ）を作成する。ステップ１０４で、音の点群地図６１と音の点群データ５１との対応関係Ｒｓを作成する。ステップ１０３とステップ１０４により、音の点群データ５１と光の点群地図６２との対応関係を把握することができる。ステップ１０５で、音の点群データ５１（例えば、現時刻に計測した点群のデータ）を用いて、光の点群地図６２（例えば、現時刻より前に作成した点群の地図）を更新する。

【0053】

ステップ１０６で、計測データ処理部４１は、格納している音の点群地図６１のうちの現時刻での音響計測器１１の計測領域について、音の点群地図６１のデータを音の点群データ５１で置き換えて、音の点群地図６１のデータを更新する。音響計測器１１の計測領域は、音響計測器１１の視野角と位置（座標）から求めることができる。音響計測器１１の座標は、位置データ５３から求めることができる。

【0054】

なお、計測データ処理部４１が音の点群地図６１を格納していない場合には、計測データ処理部４１は、音の点群データ５１を基に、音の点群地図６１を新たに作成する。

【0055】

ステップ１０７で、計測データ処理部４１は、光の点群地図６２を基に、作業員へ提示する映像８０を作成する。そして、計測データ処理部４１は、作成した映像８０を操作装置３０に出力する。操作装置３０は、映像８０を表示する。

【0056】

映像８０には、作業装置１０の周囲の環境（作業対象物５０を含む環境）が、色がついて映っている。このため、作業員は、作業対象物５０の色情報を得ることができる。また、この映像８０は、３次元の映像であり、作業員は、操作装置３０を操作して表示を変更しつつ（例えば、拡大、縮小、及び回転などを行いつつ）、作業対象物５０を観察することができる。

【0057】

ステップ１０７の処理が終了したら、ステップ１００に戻ってステップ１００の処理を実行する。

【0058】

本実施例では、例えば、作業開始から水の濁りが強くなるまでは、光の点群データ５２で光の点群地図６２を更新する処理（ステップ１０２）を実施し、水の濁りが強くなった後は、音の点群データ５１で光の点群地図６２を更新する処理（ステップ１０３、１０４、１０５）を実施し、その後に水の濁りが弱くなったら、再びステップ１０２を実施する、という処理の切り替えを、作業終了まで繰り返すことができる。これにより、作業中に作業対象物５０の変形や移動によって水に濁りが生じたり濁りに変化が起きたりしても、このような水の濁りに影響されず、作業対象物５０の変形や移動を反映しながら、光の点群地図６２を更新することができる。

【0059】

本実施例による水中作業装置は、以上説明したように、水中での作業中に水に濁りが発生した場合でも作業を実行でき、高分解能かつ色付きの映像８０を作業員に提供することができる。この映像８０は、光学計測器１２による光を用いた計測によって得られた光の点群地図６２から作成されているので、空間分解能が高く、作業対象物の色情報を得ることができる色付きの映像である。

【0060】

なお、水の濁りが強い場合で、ステップ１０３、１０４、１０５での光の点群地図６２の更新処理を実行している間に作業装置１０が移動すると、音響計測器１１と光学計測器１２の計測領域が変化する。このため、ステップ１０４で音の点群データ５１の点と音の点群地図６１の点とを対応付けることができず、対応関係Ｒｓを作成できた点の数が少ないことや、対応関係Ｒｓを作成できた点が１つも存在しないことがありうる。このような状況の発生を防ぐために、計測データ処理部４１は、水の濁りが強くなる前に、必要と予想される作業領域の全てについて、音の点群データ５１と光の点群データ５２を用いて音の点群地図６１と光の点群地図６２を作成するのが好ましい。

【実施例0061】

本発明の実施例２による水中作業装置による作業について説明する。以下では、本実施例による水中作業装置について、実施例１による水中作業装置と異なる点を主に説明する。

【0062】

本実施例による水中作業装置では、制御装置４０の計測データ処理部４１は、水の濁りが強い場合に、作業内容に応じて光の点群地図６２に点を追加したり、作業内容に応じた制約条件を考慮したりして、光の点群地図６２を更新する。

【0063】

図５は、本実施例による水中作業装置の構成例を示すブロック図である。本実施例による水中作業装置は、実施例１による水中作業装置において、作業装置１０が作業機構１５と作業領域取得部１６をさらに備える。

【0064】

作業機構１５は、作業対象物５０に切断や移設などの作業を行う機構であり、１つまたは複数の構成要素を備える。作業機構１５は、例えば、多関節アーム、グリッパ（把持部材）、及び切断工具などで構成することができる。作業機構１５は、水中作業装置の作業員が操作装置３０を操作することで、作業対象物５０に作業を行う。

【0065】

作業領域取得部１６は、作業機構１５の各要素の、作業装置１０や作業環境に対する位置（３次元座標）を、作業領域データとして取得する。作業装置１０が作業対象物５０に作業を行っているときは、作業領域データは、作業機構１５の、作業対象物５０における作業領域を示すデータである。作業領域取得部１６は、例えば、外部に設置されたＧＰＳやトランスポンダと通信可能な測位センサや、作業機構１５の各要素の角度や並進量を計測するエンコーダなどで構成することができる。例えば、作業機構１５が多関節アームの場合には、作業領域データは、多関節アームの関節データである。

【0066】

なお、作業領域データを、作業員が操作装置３０に入力した作業機構１５への操作指示から推定して取得できる場合には、作業装置１０は、作業領域取得部１６を備えなくてもよい。この場合には、作業装置１０は、作業員の作業機構１５への操作指示から、作業機構１５の各要素の座標を作業領域データとして取得する。また、操作装置３０は、作業員が作業や作業領域を直接選択できる機構を備えてもよい。

【0067】

図６は、実施例２において、計測データ処理部４１が実行する処理の流れを示すフローチャートである。図６に示すフローチャートは、実施例１で図４に示したフローチャートにおいて、ステップ１０１とステップ１０３の間にステップ２００を有する。

【0068】

以下、ステップ２００とステップ１０３について説明する。

【0069】

ステップ２００で、計測データ処理部４１は、作業領域取得部１６から作業領域データを取得し、作業領域データから作業機構１５の作業領域を求める。そして、計測データ処理部４１は、作業対象物５０に対する作業機構１５の作業内容に応じて、光の点群地図６２における作業領域の内部に点を追加したり、光の点群地図６２に含まれる点を音の点群地図６１に含まれる点を用いて表現するときの制約条件（すなわち、関係式Ｅｍに対する制約条件）を作成したりする。計測データ処理部４１は、この制約条件を考慮して、関係式Ｅｍを作成する。

【0070】

作業対象物５０は、例えば切断や移設などの作業内容に応じて、形状や状態が変化する。作業対象物５０のこのような変化を表すために、光の点群地図６２に点を追加したり、関係式Ｅｍに対する制約条件を作成したりする。光の点群地図６２に追加する点は、例えば、作業機構１５による作業で新たに生じた点（作業対象物５０の変化により生じた点）である。計測データ処理部４１は、関係式Ｅｍごとに（すなわち、光の点群地図６２に含まれる点ごとに）制約条件を作成する。

【0071】

例えば、作業内容が作業対象物５０の切断の場合には、計測データ処理部４１は、切断による欠損領域や切断面を表すために、光の点群地図６２の作業領域内に点を追加することができる。また、例えば、作業内容が作業対象物５０の移設の場合には、計測データ処理部４１は、作業対象物５０の移設により新たに計測されることになった物体を表す点を追加することができる。また、例えば、作業内容が作業対象物５０の移設の場合には、計測データ処理部４１は、作業機構１５に把持された作業対象物５０の存在する領域Ｔを算出し、光の点群地図６２における領域Ｔ内の点を、音の点群地図６１における領域Ｔに含まれる複数の点の重心を用いて表現するように、関係式Ｅｍに対する制約条件を作成することができる。

【0072】

計測データ処理部４１は、作業領域内に追加する点や関係式Ｅｍに対する制約条件を、予め把握しておいた作業機構１５の特徴などに基づいて求めることができる。例えば、作業内容が切断の場合には、作業機構１５が切断工具であり、切断工具の歯の形状や生成される切断面の位置や形状などの特徴が予め分かっているので、計測データ処理部４１は、作業機構１５（切断工具）のこれらの特徴を基にして、切断面を表す点を追加する。また、例えば、作業内容が移設の場合には、作業機構１５がグリッパであり、グリッパの大きさや指部の広がる範囲などの特徴が予め分かっているので、計測データ処理部４１は、作業機構１５（グリッパ）のこれらの特徴を基にして、関係式Ｅｍに対する制約条件を作成する。

【0073】

ステップ１０３で、計測データ処理部４１は、ステップ２００で制約条件を作成した場合には、作成した制約条件を考慮して関係式Ｅｍを作成する。計測データ処理部４１は、光の点群地図６２に含まれる点を、ステップ２００で作成した制約条件が存在する点についてはこの制約条件を考慮し、音の点群地図６１に含まれる点を用いて表現するための関係式Ｅｍを作成する。より具体的には、計測データ処理部４１は、格納している光の点群地図６２に含まれる点の座標を、制約条件を考慮して、格納している音の点群地図６１に含まれる１つ以上の点の座標を用いて表すための関係式Ｅｍを作成する。制約条件は、例えば、音の点群地図６１に含まれる点のうち、関係式Ｅｍの作成に用いることのできる点を制限する条件である。

【0074】

本実施例では、このようにすることで、作業対象物５０に対する作業内容に応じて、光の点群地図６２に含まれる点の座標を更新でき、より正確な光の点群地図６２とこの光の点群地図６２に基づく映像８０を作業員へ提示することができる。

【0075】

以下では、作業内容が作業対象物５０の切断である場合について、ステップ２００における処理の例を説明する。

【0076】

図７Ａと図７Ｂは、作業内容が作業対象物５０の切断である場合について、図６に示したフローチャートのステップ２００での処理の一例を説明するための図である。図７Ａは、切断する作業対象物５０の上面と断面を示す模式図である。図７Ｂは、図７Ａに示した作業対象物５０に対応する、光の点群地図６２に含まれる点群Ｇを示す模式図である。

【0077】

初めに、計測データ処理部４１は、作業領域データから求めた作業機構１５（例えば、切断工具）の作業領域や、作業員が操作装置３０に入力した作業機構１５への操作指示から、作業機構１５の軌跡を求める。そして、計測データ処理部４１は、作業機構１５の軌跡と作業機構１５の特徴（例えば、切断工具の歯の形状や、生成される切断面の位置や形状）を基にして、作業対象物５０の切断面Ｕを算出する。作業機構１５の特徴は、既に述べたように、事前に把握しておくことができる。

【0078】

図７Ａには、計測データ処理部４１が算出した、作業対象物５０の切断面Ｕの例を示している。

【0079】

次に、計測データ処理部４１は、切断面Ｕと作業機構１５（例えば、切断工具）の特徴から、作業対象物５０の切断による欠損領域Ｄを算出する。そして、計測データ処理部４１は、欠損領域Ｄの内部または境界上に、複数の点Ｈを追加する。点Ｈの数と互いの間隔は、任意に定めることができる。なお、点Ｈは、光の点群地図６２に追加されるが、点Ｈの色は、切断によって生じた欠損領域Ｄを表すとして事前に定めた値（例えば、負の値）で表すことができる。

【0080】

図７Ｂには、光の点群地図６２に含まれる点群Ｇと、計測データ処理部４１が算出した作業対象物５０の欠損領域Ｄと、光の点群地図６２に追加された点Ｈの例を示している。

【0081】

最後に、計測データ処理部４１は、光の点群地図６２に含まれる点について関係式Ｅｍを作成する際に考慮する制約条件を作成する。関係式Ｅｍは、既に説明したように、光の点群地図６２に含まれる点を、音の点群地図６１に含まれる点を用いて表現する式である。

【0082】

本実施例では、例えば、光の点群地図６２に含まれている点を点Ｐ２とし、音の点群地図６１に含まれている点を点Ｐ１とし、点Ｐ１を用いて点Ｐ２を表現しようとしたときに、点Ｐ１と点Ｐ２とを結ぶ直線が作業対象物５０の切断面Ｕと交差する場合には、点Ｐ１を用いて点Ｐ２を表現するのを禁止するという制約条件を作成する。この制約条件は、切断面Ｕを挟んだ２点が互いに関係づけられるのを禁止するという条件であり、切断面Ｕが作業対象物５０を切断した面であること（切断面Ｕが作業対象物５０の開口部を表していること）を表す条件である。この制約条件により、切断面Ｕを挟んだ位置にある２点は、切断面Ｕをまたいで互いに関係づけられないようになる。

【0083】

以上のようにして、計測データ処理部４１は、図６のステップ２００で、光の点群地図６２への点の追加や関係式Ｅｍに対する制約条件の作成を実行した後、ステップ１０５で、互いに関係づけることのできる点を制限する制約条件を考慮して、光の点群地図６２を更新することができる。

【0084】

本実施例では、作業内容に応じた制約条件を考慮して光の点群地図６２を更新することができ、例えば、作業対象物５０の切断作業において、切断面Ｕの位置や切断面Ｕの開口部の形状などを、水中作業装置の作業員に提示することができる。

【0085】

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。