知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012833
(43)【公開日】2024-01-31
(54)【発明の名称】水中作業システム及び水中作業方法
(51)【国際特許分類】
G01S 15/87 20060101AFI20240124BHJP
G01S 15/89 20060101ALI20240124BHJP
【ＦＩ】
G01S15/87
G01S15/89 B
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022114580
(22)【出願日】2022-07-19
(71)【出願人】
【識別番号】507250427
【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】森 勇人
(72)【発明者】
【氏名】小林 亮介
(72)【発明者】
【氏名】松井 祐二
【テーマコード（参考）】
5J083
【Ｆターム（参考）】
5J083AA02
5J083AB20
5J083AC28
5J083AC29
5J083AC30
5J083AD01
5J083AD04
5J083AD17
5J083AE03
5J083AF01
5J083AG05
5J083AG20
5J083BA01
5J083BC04
5J083BC18
5J083BD05
5J083BD07
5J083CA12
5J083CA13
5J083EA32
5J083EA40
(57)【要約】
【課題】水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる水中作業システム及び水中作業方法を提供する。
【解決手段】水中作業方法は、作業装置７１の作業開始前に、２次元ソナー２の計測により２次元画像を収録し、計測装置３の計測により３次元画像を収録し、作業開始前の３次元画像から２次元ソナー２の設置位置を基準点とする作業装置の識別点ａ、ｂ、ｃ、ｄの３次元初期位置を演算し、作業開始前の２次元画像における識別点の２次元位置情報に演算結果の３次元初期位置を対応付ける。作業装置の作業開始後は、２次元ソナー２の計測により２次元画像を収録して逐次更新し、更新される２次元画像を第１モニタ６に表示する。さらに、識別点の３次元初期位置を起点とし、作業開始後に更新される２次元画像における識別点の２次元位置情報を用いて識別点の３次元位置情報を推定して更新する。
【選択図】 図４
【解決手段】水中作業方法は、作業装置７１の作業開始前に、２次元ソナー２の計測により２次元画像を収録し、計測装置３の計測により３次元画像を収録し、作業開始前の３次元画像から２次元ソナー２の設置位置を基準点とする作業装置の識別点ａ、ｂ、ｃ、ｄの３次元初期位置を演算し、作業開始前の２次元画像における識別点の２次元位置情報に演算結果の３次元初期位置を対応付ける。作業装置の作業開始後は、２次元ソナー２の計測により２次元画像を収録して逐次更新し、更新される２次元画像を第１モニタ６に表示する。さらに、識別点の３次元初期位置を起点とし、作業開始後に更新される２次元画像における識別点の２次元位置情報を用いて識別点の３次元位置情報を推定して更新する。
【選択図】 図４
【特許請求の範囲】
【請求項1】
水中に配置された作業装置の作業開始前に、２次元超音波ソナーの計測により水中作業環境の２次元画像を収録し、
前記作業装置の作業開始前に、３次元位置情報を計測可能な計測装置の計測により前記水中作業環境の３次元画像を収録し、
作業開始前の３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記作業装置の識別点の３次元初期位置を演算し、
作業開始前の２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の３次元初期位置の対応付けを行い、
前記作業装置の作業開始後は、前記２次元超音波ソナーの継続的な計測により２次元画像を収録して逐次更新すると共に、逐次更新される２次元画像を表示装置に表示し、
前記識別点の２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、作業開始後に逐次更新される２次元画像における前記識別点の２次元位置情報を用いることで前記識別点の３次元位置情報を推定して逐次更新する
ことを特徴とする水中作業方法。
前記作業装置の作業開始前に、３次元位置情報を計測可能な計測装置の計測により前記水中作業環境の３次元画像を収録し、
作業開始前の３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記作業装置の識別点の３次元初期位置を演算し、
作業開始前の２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の３次元初期位置の対応付けを行い、
前記作業装置の作業開始後は、前記２次元超音波ソナーの継続的な計測により２次元画像を収録して逐次更新すると共に、逐次更新される２次元画像を表示装置に表示し、
前記識別点の２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、作業開始後に逐次更新される２次元画像における前記識別点の２次元位置情報を用いることで前記識別点の３次元位置情報を推定して逐次更新する
ことを特徴とする水中作業方法。
【請求項2】
請求項１に記載の水中作業方法において、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーである
ことを特徴とする水中作業方法。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーである
ことを特徴とする水中作業方法。
【請求項3】
請求項２に記載の水中作業方法において、
複数の振動子が一方向に配列された第１の１次元アレイと複数の振動子が一方向に配列された第２の１次元アレイとが直交するように配置されたクロスアレイセンサを有する超音波ソナーが、前記２次元超音波ソナーの計測を行うと共に、前記３次元超音波ソナーの計測を行う
ことを特徴とする水中作業方法。
複数の振動子が一方向に配列された第１の１次元アレイと複数の振動子が一方向に配列された第２の１次元アレイとが直交するように配置されたクロスアレイセンサを有する超音波ソナーが、前記２次元超音波ソナーの計測を行うと共に、前記３次元超音波ソナーの計測を行う
ことを特徴とする水中作業方法。
【請求項4】
請求項１に記載の水中作業方法において、
前記作業装置の作業中に、前記作業装置の姿勢情報の検出値と前記作業装置の前記識別点の３次元位置情報の推定演算の情報とを比較することで、前記識別点の３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行う
ことを特徴とする水中作業方法。
前記作業装置の作業中に、前記作業装置の姿勢情報の検出値と前記作業装置の前記識別点の３次元位置情報の推定演算の情報とを比較することで、前記識別点の３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行う
ことを特徴とする水中作業方法。
【請求項5】
請求項４に記載の水中作業方法において、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記誤差判定において前記誤差が許容範囲を超えていると判定された場合には、前記作業装置の作業を中断し、
前記２次元超音波ソナーの計測により２次元画像を収録すると共に、前記３次元超音波ソナーの計測により３次元画像を再収録し、
作業中断後の３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記識別点の作業中断後の３次元位置情報を演算し、
作業中断後の２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の作業中断後の３次元位置情報の対応付けを行い、
前記作業装置の作業を再開する
ことを特徴とする水中作業方法。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記誤差判定において前記誤差が許容範囲を超えていると判定された場合には、前記作業装置の作業を中断し、
前記２次元超音波ソナーの計測により２次元画像を収録すると共に、前記３次元超音波ソナーの計測により３次元画像を再収録し、
作業中断後の３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記識別点の作業中断後の３次元位置情報を演算し、
作業中断後の２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の作業中断後の３次元位置情報の対応付けを行い、
前記作業装置の作業を再開する
ことを特徴とする水中作業方法。
【請求項6】
請求項１に記載の水中作業方法において、
作業開始前の前記２次元超音波ソナー及び前記計測装置の計測によって前記作業装置の作業の妨げになる障害物を計測した場合、
作業開始前の３次元画像から得られる前記障害物の３次元位置情報および作業開始後の前記識別点の３次元位置情報の推定演算で得られる情報を用いることで、前記作業装置から前記障害物までの距離を演算し、
演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行う
ことを特徴とする水中作業方法。
作業開始前の前記２次元超音波ソナー及び前記計測装置の計測によって前記作業装置の作業の妨げになる障害物を計測した場合、
作業開始前の３次元画像から得られる前記障害物の３次元位置情報および作業開始後の前記識別点の３次元位置情報の推定演算で得られる情報を用いることで、前記作業装置から前記障害物までの距離を演算し、
演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行う
ことを特徴とする水中作業方法。
【請求項7】
請求項６に記載の水中作業方法において、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記干渉判定において演算結果の距離が前記閾値以下であると判定された場合には、前記作業装置の作業を中断し、
前記２次元超音波ソナーの計測により２次元画像を収録すると共に、
前記３次元超音波ソナーの計測により３次元画像を再収録し、
作業中断後の３次元画像から得られる前記障害物の３次元位置情報および前記識別点の３次元位置情報を用いることで、前記作業装置から前記障害物までの作業中断後の距離を演算し、
演算結果の作業中断後の距離が前記閾値以下であるか否かを判定する干渉再判定を行う
ことを特徴とする水中作業方法。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記干渉判定において演算結果の距離が前記閾値以下であると判定された場合には、前記作業装置の作業を中断し、
前記２次元超音波ソナーの計測により２次元画像を収録すると共に、
前記３次元超音波ソナーの計測により３次元画像を再収録し、
作業中断後の３次元画像から得られる前記障害物の３次元位置情報および前記識別点の３次元位置情報を用いることで、前記作業装置から前記障害物までの作業中断後の距離を演算し、
演算結果の作業中断後の距離が前記閾値以下であるか否かを判定する干渉再判定を行う
ことを特徴とする水中作業方法。
【請求項8】
請求項７に記載の水中作業方法において、
前記干渉再判定において演算結果の作業中断後の距離が前記閾値を超えていると判定した場合には、前記作業装置の作業を再開する一方、
前記干渉再判定において演算結果の作業中断後の距離が前記閾値以下であると判定した場合には、前記作業装置の作業計画を変更する
ことを特徴とする水中作業方法。
前記干渉再判定において演算結果の作業中断後の距離が前記閾値を超えていると判定した場合には、前記作業装置の作業を再開する一方、
前記干渉再判定において演算結果の作業中断後の距離が前記閾値以下であると判定した場合には、前記作業装置の作業計画を変更する
ことを特徴とする水中作業方法。
【請求項9】
水中で作業を行う作業装置と、
前記作業装置の水中作業を可視化により監視する水中作業監視システムとを備え、
前記水中作業監視システムは、
超音波の発信により２次元位置情報を計測可能な２次元超音波ソナーと、
３次元位置情報を計測可能な計測装置と、
前記２次元超音波ソナーの計測により収録された２次元画像を表示する表示装置と、
前記２次元超音波ソナーの計測結果及び前記計測装置の計測結果を基に前記作業装置の識別点の３次元位置情報を演算する作業監視装置とを備え、
前記作業監視装置は、
前記作業装置の作業開始前に前記計測装置の計測により収録された３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記作業装置の前記識別点の３次元初期位置を演算し、
前記作業装置の作業開始前に前記２次元超音波ソナーの計測により収録された２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の３次元初期位置の対応付けを行い、
前記識別点の２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、前記作業装置の作業開始後に前記２次元超音波ソナーの計測により逐次更新される２次元画像における前記識別点の２次元位置情報を用いることで、前記識別点の３次元位置情報を推定して逐次更新するように構成されている
ことを特徴とする水中作業システム。
前記作業装置の水中作業を可視化により監視する水中作業監視システムとを備え、
前記水中作業監視システムは、
超音波の発信により２次元位置情報を計測可能な２次元超音波ソナーと、
３次元位置情報を計測可能な計測装置と、
前記２次元超音波ソナーの計測により収録された２次元画像を表示する表示装置と、
前記２次元超音波ソナーの計測結果及び前記計測装置の計測結果を基に前記作業装置の識別点の３次元位置情報を演算する作業監視装置とを備え、
前記作業監視装置は、
前記作業装置の作業開始前に前記計測装置の計測により収録された３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記作業装置の前記識別点の３次元初期位置を演算し、
前記作業装置の作業開始前に前記２次元超音波ソナーの計測により収録された２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の３次元初期位置の対応付けを行い、
前記識別点の２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、前記作業装置の作業開始後に前記２次元超音波ソナーの計測により逐次更新される２次元画像における前記識別点の２次元位置情報を用いることで、前記識別点の３次元位置情報を推定して逐次更新するように構成されている
ことを特徴とする水中作業システム。
【請求項10】
請求項９に記載の水中作業システムにおいて、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーである
ことを特徴とする水中作業システム。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーである
ことを特徴とする水中作業システム。
【請求項11】
請求項１０に記載の水中作業システムにおいて、
複数の振動子が一方向に配列された１次元アレイと複数の振動子が一方向に配列された別の１次元アレイとが直交するように配置されたクロスアレイセンサを有する超音波ソナーが前記２次元超音波ソナー及び前記３次元超音波ソナーを兼用する構成である
ことを特徴とする水中作業システム。
複数の振動子が一方向に配列された１次元アレイと複数の振動子が一方向に配列された別の１次元アレイとが直交するように配置されたクロスアレイセンサを有する超音波ソナーが前記２次元超音波ソナー及び前記３次元超音波ソナーを兼用する構成である
ことを特徴とする水中作業システム。
【請求項12】
請求項９に記載の水中作業システムにおいて、
前記作業装置は、前記作業装置の姿勢情報を検出する姿勢センサを有し、
前記水中作業監視システムは、前記作業装置の作業中に前記姿勢センサによって検出された姿勢情報と前記作業監視装置による前記作業装置の前記識別点の３次元位置情報の推定演算の情報とを比較することで、前記識別点の３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行うように構成されている
ことを特徴とする水中作業システム。
前記作業装置は、前記作業装置の姿勢情報を検出する姿勢センサを有し、
前記水中作業監視システムは、前記作業装置の作業中に前記姿勢センサによって検出された姿勢情報と前記作業監視装置による前記作業装置の前記識別点の３次元位置情報の推定演算の情報とを比較することで、前記識別点の３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行うように構成されている
ことを特徴とする水中作業システム。
【請求項13】
請求項１２に記載の水中作業システムにおいて、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記作業監視装置は、前記誤差判定において前記誤差が許容範囲を超えていると判定されることで前記作業装置の作業が中断された場合に、
前記作業装置の作業中断後に前記３次元超音波ソナーの計測により再収録された３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記識別点の作業中断後の３次元位置情報を演算し、
前記作業装置の作業中断後に前記２次元超音波ソナーの計測により収録された２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の作業中断後の３次元位置情報の対応付けを行うように構成されている
ことを特徴とする水中作業システム。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記作業監視装置は、前記誤差判定において前記誤差が許容範囲を超えていると判定されることで前記作業装置の作業が中断された場合に、
前記作業装置の作業中断後に前記３次元超音波ソナーの計測により再収録された３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記識別点の作業中断後の３次元位置情報を演算し、
前記作業装置の作業中断後に前記２次元超音波ソナーの計測により収録された２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の作業中断後の３次元位置情報の対応付けを行うように構成されている
ことを特徴とする水中作業システム。
【請求項14】
請求項９に記載の水中作業システムにおいて、
前記水中作業監視システムは、作業開始前の前記２次元超音波ソナー及び前記計測装置の計測によって前記作業装置の作業の妨げになる障害物が計測された場合には、
作業開始前に収録された３次元画像から得られる前記障害物の３次元位置情報および作業開始後の前記識別点の３次元位置情報の推定演算で得られる情報を用いることで、作業中における前記作業装置から前記障害物までの距離を演算し、
演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行うように構成されている
ことを特徴とする水中作業システム。
前記水中作業監視システムは、作業開始前の前記２次元超音波ソナー及び前記計測装置の計測によって前記作業装置の作業の妨げになる障害物が計測された場合には、
作業開始前に収録された３次元画像から得られる前記障害物の３次元位置情報および作業開始後の前記識別点の３次元位置情報の推定演算で得られる情報を用いることで、作業中における前記作業装置から前記障害物までの距離を演算し、
演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行うように構成されている
ことを特徴とする水中作業システム。
【請求項15】
請求項１４に記載の水中作業システムにおいて、
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記水中作業監視システムは、前記干渉判定において演算結果の距離が前記閾値以下であると判定されることで前記作業装置の作業が中断された場合に、
作業中断後に前記３次元超音波ソナーの計測により再収録された３次元画像から得られる前記障害物の３次元位置情報および前記識別点の３次元位置情報を用いることで、前記作業装置から前記障害物までの作業中断後の距離を演算し、
演算結果の作業中断後の距離が前記閾値以下であるか否かを判定する干渉再判定を行うように構成されている
ことを特徴とする水中作業システム。
前記計測装置は、超音波の発信により３次元位置情報を計測可能な３次元超音波ソナーであり、
前記水中作業監視システムは、前記干渉判定において演算結果の距離が前記閾値以下であると判定されることで前記作業装置の作業が中断された場合に、
作業中断後に前記３次元超音波ソナーの計測により再収録された３次元画像から得られる前記障害物の３次元位置情報および前記識別点の３次元位置情報を用いることで、前記作業装置から前記障害物までの作業中断後の距離を演算し、
演算結果の作業中断後の距離が前記閾値以下であるか否かを判定する干渉再判定を行うように構成されている
ことを特徴とする水中作業システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、水中作業システム及び水中作業方法に係り、詳しくは、濁水などの水中で作業する作業装置を備える水中作業システム及び水中作業システムを用いた水中作業方法に関する。
【背景技術】
【0002】
河川や海洋などの水中、或いは、タンクやプールなどの構造物の内部に満たされた水中において、自然物や人工物が存在している状況で何らかの作業を行う場合がある。この場合、水中での作業を把握するために当該作業を可視して監視することがある。水に濁りがあると、光学カメラによる水中環境の観察は困難である。また、水に濁りが無くとも、遠距離の観測を行いたい場合には、光学カメラは不向きである。このような場合には、光と比べて透過性が高い超音波を用いた可視化技術が好適である。
【0003】
超音波を用いた可視化技術は、超音波センサから水中へ超音波ビームを送信し、水中の物体（反射体）からの反射波を超音波センサで受信し、超音波センサで受信した反射波の情報（詳細には、反射波の強度や伝搬時間）に基づいて画像を生成して表示するものである。超音波による可視化技術としては、例えば、表面視法と称する２次元画像を生成する方法および正面視法と称する３次元画像を生成する方法が知られている。
【0004】
表面視法においては、扇状の拡散ビーム（以下、ファンビームと称することがある）を送信し、受信した反射波を時間軸上で分解して画像を生成する。当該ファンビームを１次元走査することで、２次元画像を生成する。表面視法を用いた技術は、例えば、特許文献１に開示されている。
【0005】
正面視法においては、レーザレンジファインダと同様なペンシル状の超音波ビームを２次元走査により送受信することで、３次元空間上の各位置に対応した画像（３次元画像）を生成する。正面視法を用いた技術は、例えば、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００８－２６８１９２号公報
【特許文献2】特開２０００－６４３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１に記載の技術においては、超音波ビームを電子的に１次元走査（回転走査）して或る回数（例えばＮ回）のビーム送受信で画像を生成するので、画像を高速に収録することができる。しかし、当該技術（表面視法）は、超音波ビーム（ファンビーム）の送信方向の分解能（拡散方向の分解能）が無いので、反射体の正確な位置（３次元空間上の位置）を計測することはできないという弱点がある。
【0008】
一方、特許文献２に記載のナローマルチビーム探査ソナーは、正面視法によって３次元画像を収録するので、反射体の正確な３次元位置を計測することができる。特許文献２に記載の技術においては、超音波ビームを電子的に１次元走査して或る回数（例えばＮ回）の送受信で１断面の画像を収録し、電子的な走査方向に直交する方向に探査ソナーの機械的な首振り操作を行うことで３次元画像を収録する。探査ソナーの首振り操作によりＮ枚の画像を生成する場合には、合計Ｎ×Ｎ回のビーム送受信が必要となるので、特許文献１に記載の技術のような表面視法を用いて画像を収録する場合と比べると、画像収録に時間を要する。
【0009】
このように、表面視法により収録した画像を用いて水中作業を行う場合、反射体の位置を正確に把握すること困難であるので、濁水中の作業速度の低下を抑制することは難しい。正面視法による画像を用いて水中作業を行う場合、反射体の正確な３次元位置を計測することはできるが、画像更新に時間を要するので、濁水中の作業速度の低下を抑制することは難しい。
【0010】
本発明は、上記の問題点を解消するためになされたものであり、その目的は、水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる水中作業システム及び水中作業方法を提供することである。
【課題を解決するための手段】
【0011】
本願は上記課題を解決する手段を複数含んでいる。その一例を挙げるならば、水中に配置された作業装置の作業開始前に、２次元超音波ソナーの計測により水中作業環境の２次元画像を収録し、前記作業装置の作業開始前に、３次元位置情報を計測可能な計測装置の計測により前記水中作業環境の３次元画像を収録し、作業開始前の３次元画像から、前記２次元超音波ソナーの設置位置を基準点とする前記作業装置の識別点の３次元初期位置を演算し、作業開始前の２次元画像における前記識別点の２次元位置情報に対して演算結果の前記識別点の３次元初期位置の対応付けを行い、前記作業装置の作業開始後は、前記２次元超音波ソナーの継続的な計測により２次元画像を収録して逐次更新すると共に、逐次更新される２次元画像を表示装置に表示し、前記識別点の２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、作業開始後に逐次更新される２次元画像における前記識別点の２次元位置情報を用いることで前記識別点の３次元位置情報を推定して逐次更新することを特徴とする。
【発明の効果】
【0012】
本発明によれば、作業装置の作業中に２次元超音波ソナーの計測により２次元画像を収録して表示装置に表示するので、作業中に３次元画像を収録して表示させる場合よりも、水中作業の可視化に要する時間を減らすことができる。また、作業開始前の３次元画像から算出する３次元初期位置を起点に作業中に更新される２次元画像の識別点の２次元位置情報を用いることで識別点の作業中の３次元位置情報を推定して更新するので、２次元画像からは計測不能な識別点（監視対象）の３次元位置情報を把握することができる。これらのことから、水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態に係る水中作業システムの構成を示すブロック図である。
【図9】図１に示す第１の実施形態に係る水中作業システムにおける監視対象の反射板の識別点に対する作業開始前の３次元ソナーの計測結果と２次元ソナーの計測結果との対応付けの方法の一例を世界座標系のＹＺ断面上において示す説明図である。
【図12】本発明の第１の実施形態の変形例に係る水中作業システムの構成を示すブロック図である。
【図13】本発明の第２の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。
【図15】本発明の第３の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の水中作業システム及び水中作業方法の実施の形態について図面を用いて説明する。
【0015】
［第１の実施の形態］
先ず、本発明の第１の実施の形態に係る水中作業システムの概略構成について図１～図３を用いて説明する。図１は本発明の第１の実施形態に係る水中作業システムの構成を示すブロック図である。図２は図１に示す第１の実施形態に係る水中作業システムにおける作業開始前の２次元ソナー及び３次元ソナーによる監視対象（作業装置）の計測状況を示す図である。図３は図１に示す第１の実施形態に係る水中作業システムにおける作業中の２次元ソナーによる監視対象（作業装置）の計測状況を示す図である。
先ず、本発明の第１の実施の形態に係る水中作業システムの概略構成について図１～図３を用いて説明する。図１は本発明の第１の実施形態に係る水中作業システムの構成を示すブロック図である。図２は図１に示す第１の実施形態に係る水中作業システムにおける作業開始前の２次元ソナー及び３次元ソナーによる監視対象（作業装置）の計測状況を示す図である。図３は図１に示す第１の実施形態に係る水中作業システムにおける作業中の２次元ソナーによる監視対象（作業装置）の計測状況を示す図である。
【0016】
図１において、水中作業システムは、水中で作業を行う作業装置７１と、作業装置７１を制御する作業装置コントローラ７２と、作業装置７１の駆動を指令する作業指令装置８０と備えている。本実施の形態に係る水中作業システムは、さらに、作業装置７１の水中作業を可視化により監視する水中作業監視システム１を備えている。
【0017】
水中作業監視システム１の監視対象である作業装置７１は、図１及び図２に示すように、少なくとも１本の作業アーム７１１と、床面などを移動するための移動機構７１２と、作業装置７１の作業環境を観察するための光学カメラ７１３（図１のみ図示）とを備えている。作業アーム７１１の表面には、図２に示すように、超音波を反射する第１反射板７１５及び第２反射板７１６が設置されている。第１反射板７１５と第２反射板７１６は、例えば、作業アーム７１１の長手方向に間隔をあけて配置されている。第１反射板７１５及び第２反射板７１６は、水中作業監視システム１が監視する作業装置７１のうちの超音波計測による識別対象となる部分である。作業アーム７１１の寸法並びに第１反射板７１５及び第２反射板７１６の寸法については後述する（後述の図６及び図７を参照）。移動機構７１２は、例えば、車輪やクローラのような回転式のもの又は多脚の歩行式のものが可能である。作業装置７１は、移動の必要性がない場合には、作業現場の構造物などに作業アーム７１１及び光学カメラ７１３を設置する構成も可能である。
【0018】
作業装置７１の駆動は、作業装置コントローラ７２により制御される。作業装置コントローラ７２は、例えば、水中に配置された作業装置７１から離れた位置にある大型母船や地上に配置されている。この場合、作業装置コントローラ７２は、作業装置７１にケーブル（図示せず）を介して電気的に接続されている。なお、作業装置コントローラ７２は、作業装置７１の内部に配置する構成も可能である。
【0019】
作業装置コントローラ７２は、例えば、ＲＡＭやＲＯＭ等からなる記憶装置とＣＰＵ又はＭＰＵ等からなる処理装置とを備えたコンピュータである。作業装置コントローラ７２は、作業装置７１を制御するために必要なプラグラムや各種情報が記憶装置に予め記憶されており、処理装置が記憶装置からプログラムや各種情報を適宜読み込んで当該プログラムに従って処理を実行することで各種の機能を実現する。作業装置コントローラ７２は、例えば、作業装置制御部７２１、アーム制御部７２２、移動機構制御部７２３、カメラ映像記憶部７２４の各機能部を有している。作業装置制御部７２１は、作業指令装置８０からの後述の作業装置７１の駆動指令に基づき、作業装置７１の作業アーム７１１の動作指令を出力すると共に、作業装置７１の移動機構７１２の動作指令を出力するものである。アーム制御部７２２は、作業装置制御部７２１からの作業アーム７１１の動作指令に応じて作業アーム７１１の動作を制御するものである。移動機構制御部７２３は、作業装置制御部７２１からの移動機構７１２の動作指令に応じて移動機構７１２の動作を制御するものである。カメラ映像記憶部７２４は、作業装置７１の光学カメラ７１３が撮影した映像データを記憶装置に記憶させると共に、当該映像データを外部の表示装置としての第４モニタ７３に表示させるものである。
【0020】
作業装置７１の駆動は、作業指令装置８０から入力される駆動指令に応じて作業装置コントローラ７２を介して制御される。作業指令装置８０は、例えば、ＲＡＭやＲＯＭ等からなる記憶装置とＣＰＵ又はＭＰＵ等からなる処理装置とを備えた独立したコンピュータであり、大型母船や地上に配置されている。なお、作業指令装置８０は、前述の作業装置コントローラ７２の機能の一部、又は、後述の作業監視装置５の機能の一部として実装することが可能である。
【0021】
作業指令装置８０は、作業装置７１の駆動を指令するために必要なプラグラムや各種情報が記憶装置に予め記憶されており、処理装置が記憶装置からプログラムや各種情報を適宜読み込んで当該プログラムに従って処理を実行することで各種機能を実現する。作業指令装置８０は、例えば、作業設定部８１、作業装置位置情報記憶部８２、３次元位置情報記憶部８３の各機能部を備えている。作業設定部８１は、例えば、予め設定された作業装置７１の作業計画（作業時の作業アーム７１１の動作データや移動機構７１２の動作データなど）又はオペレータによる操作入力を受け付け、受け付けた作業計画や操作入力に基づき作業装置７１の駆動指令を生成するものである。作業設定部８１は、作業装置７１の駆動指令を作業装置コントローラ７２に出力する。作業装置位置情報記憶部８２は、作業装置コントローラ７２の作業装置制御部７２１から出力される作業装置７１の位置情報を記憶装置に記憶させるものである。３次元位置情報記憶部８３は、作業監視装置５の後述の３次元位置情報更新部５９から出力される作業装置７１の後述の識別点の３次元位置情報を記憶装置に記憶させるものである。
【0022】
水中作業監視システム１は、超音波を用いて監視対象の作業装置７１の２次元位置情報を計測可能な２次元超音波ソナー２（以下、２次元ソナーと称する）と、超音波を用いて作業装置７１の３次元位置情報を計測可能な３次元超音波ソナー３（以下、３次元ソナーと称する）と、作業装置７１を含む作業環境を撮影する光学カメラ４と、２次元ソナー２の計測結果と３次元ソナー３の計測結果と光学カメラ４の映像データとを用いて作業装置７１を監視する作業監視装置５とを備えている。水中作業監視システム１は、さらに、２次元ソナー２の計測結果の２次元画像を表示する第１モニタ６と、３次元ソナー３の計測結果の３次元画像を表示する第２モニタ７と、光学カメラ４の光学画像を表示する第３モニタ８とを備えている。なお、水中作業監視システム１は、作業指令装置８０を含める構成とすることも可能である。
【0023】
２次元ソナー２は、監視対象の２次元位置情報を計測可能な２次元超音波センサ２１及び第１送受信機２２を備えている。２次元超音波センサ２１は、扇状に拡散する超音波ビームを送信して物体（反射体）からの反射波を受信するものであり、当該ビームの拡散方向に対して直交する方向に走査可能に構成されている。２次元超音波センサ２１は、例えば、複数の振動子が一方向に配列された１次元アレイセンサである。なお、２次元超音波センサ２１は、音響レンズを用いて扇状の拡散ビームを形成する構成も可能である。第１送受信機２２は、２次元超音波センサ２１の各振動子に対して作業監視装置５からの指令に応じた駆動信号を出力するものであり、当該駆動信号によって各振動子を振動させることで所望の超音波を形成する。第１送受信機２２は、また、２次元超音波センサ２１の各振動子が受信した反射波の信号を取り込み、当該反射波の信号を基に波形データ及び２次元画像を生成する。さらに、当該波形データ及び２次元画像を作業監視装置５へ出力する。
【0024】
３次元ソナー３は、監視対象の３次元位置情報を計測可能な３次元超音波センサ３１及び第２送受信機３２を備えている。３次元超音波センサ３１は、超音波ビームを２次元走査により送受信するように構成されている。３次元超音波センサ３１は、例えば、２つの１次元アレイを直交させた十字型もしくはＴ字型のクロスアレイセンサ又は振動子を２次元に配列したマトリクスアレイによって構成することが可能である。第２送受信機３２は、３次元超音波センサ３１の各振動子に対して作業監視装置５からの指令に応じた駆動信号を出力するものであり、当該駆動信号によって各振動子を振動させることで所望の超音波を形成する。第２送受信機３２は、また、３次元超音波センサ３１の各振動子が受信した反射波の信号を取り込み、当該反射波の信号を基に波形データ及び３次元画像を生成する。さらに、当該波形データ及び３次元画像を作業監視装置５へ出力する。なお、３次元ソナー３は、マルチビームソナーによって構成することが可能である。また、３次元ソナー３は、１振動子により送波すると共に２次元アレイセンサにより受波するダイナミックフォーカシング方式で送受信を行う構成も可能である。
【0025】
２次元ソナー２及び３次元ソナー３は、作業装置７１とは異なる位置に設置される。２次元ソナー２及び３次元ソナー３は、例えば、水面や水中を移動する移動装置や床面を移動する移動装置に搭載される。
【0026】
作業監視装置５は、例えば、ＲＡＭやＲＯＭ等からなる記憶装置とＣＰＵ又はＭＰＵ等からなる処理装置とを備えたコンピュータである。作業監視装置５は、大型母船や地上に配置されており、２次元ソナー２及び３次元ソナー３にケーブル（図示せず）を介して電気的に接続されている。作業監視装置５は、作業装置７１の水中作業を監視するために必要なプラグラムや各種情報が記憶装置に予め記憶されており、処理装置が記憶装置からプログラムや各種情報を適宜読み込んで当該プログラムに従って処理を実行することで各種機能を実現する。
【0027】
本実施の形態の水中作業システムは、概略すると、図２に示すように、監視対象の作業装置７１の作業開始前に、２次元ソナー２によって静止状態の作業装置７１を含む作業環境の計測（２次元画像の収録）を行うと共に、３次元ソナー３によって作業装置７１を含む作業環境の計測（３次元画像の収録）を行う。２次元ソナー２の計測結果である作業装置７１の特定部（例えば、反射板７１５、７１６）の２次元位置情報は、３次元ソナー３の計測結果から得られる作業装置７１の当該特定部（反射板７１５、７１６）の３次元位置情報に対して、１次元分の位置情報（例えば後述のピッチ角φ）が不足している。そこで、２次元ソナー２の計測結果の特定部の２次元位置情報に対して、３次元ソナー３の計測結果から算出される当該特定部の３次元初期位置（３次元位置情報の初期値）の対応付けを行う。次に、作業装置７１の作業が開始されると、図３に示すように、２次元ソナー２のみを用いて作業装置７１の計測（２次元画像の収録）を継続することで作業装置７１の作業を可視化により監視する。この場合、水中作業システムは、２次元ソナー２の計測毎に作業装置７１の特定部（反射板７１５、７１６）の２次元位置情報を更新する。加えて、作業開始直後は、当該特定部の２次元位置情報に対応付けた作業開始前の３次元初期位置（３次元ソナー３の計測結果）を基に、更新された特定部の２次元位置情報（２次元ソナー２の計測結果）を用いて当該特定部の３次元位置情報を推定して更新する。その後は、更新された特定部の３次元位置情報（推定値）を基に、更新された特定部の２次元位置情報（２次元ソナー２の計測結果）を用いて３次元位置情報を推定して更新することを繰り返す。これにより、作業装置７１の作業中に２次元画像の収録及び表示が継続されるので、リアルタイムの監視（可視化）が可能になる。さらに、作業装置７１の特定部（反射板７１５、７１６）の作業中の３次元位置情報は、３次元ソナー３の計測結果を基に算出された当該特定部の作業開始前の３次元初期位置を起点として、２次元ソナー２の計測毎に更新される当該特定部の２次元位置情報（２次元ソナー２の計測結果）を用いた推定によって更新が繰り返される。このため、２次元ソナー２による計測のみでは計測不能な当該特定部の３次元位置情報を把握可能となる。
【0028】
このような処理を実現するために、作業監視装置５は、例えば、ソナー制御部５１、２次元画像記憶部５２、３次元画像記憶部５３、カメラ映像記憶部５４、識別点設定部５５、３次元初期位置算出部５６、識別点照合部５７、時系列画像演算部５８、３次元位置情報更新部５９の機能部を備えている。
【0029】
ソナー制御部５１は、第１送受信機２２を介して２次元ソナー２の送受信を制御するものである。ソナー制御部５１は、作業指令装置８０の作業設定部８１からの指令や識別点設定部５５からの後述の監視範囲に応じて超音波ビームの走査条件などを設定し、２次元ソナー２に対する指令を第１送受信機２２へ出力する。
【0030】
２次元画像記憶部５２は、２次元ソナー２から出力された作業開始前及び作業中の波形データ及び２次元画像データを記憶装置に記憶させると共に、当該２次元画像データを２次元画像（例えば後述の図８及び図１１参照）として第１モニタ６に表示させるものである。２次元画像記憶部５２は、作業開始前の波形データ及び２次元画像を識別点設定部５５へ出力し、作業中の波形データ及び２次元画像を時系列画像演算部５８へ出力する。なお、作業開始前の波形データ及び２次元画像は、識別点設定部５５を介して識別点照合部５７に対しても出力される。
【0031】
３次元画像記憶部５３は、３次元ソナー３から出力された波形データ及び３次元画像を記憶装置に記憶させると共に、当該３次元画像を第２モニタ７に表示させるものである。さらに、当該波形データ及び３次元画像を識別点設定部５５および３次元初期位置算出部５６へ出力する。
【0032】
カメラ映像記憶部５４は、光学カメラ３が撮影した映像データを記憶装置に記憶させると共に、当該映像データを第３モニタ８に表示させるものである。
【0033】
識別点設定部５５は、予め計画した作業（作業計画）に応じて監視対象となる作業装置７１における２次元ソナー２の超音波計測による識別対象を選定するものである。本実施の形態においては、図２に示す作業装置７１の作業アーム７１１に設置された第１反射板７１５及び第２反射板７１６が選定される。概略的には、３次元画像記憶部５３から出力された作業開始前の３次元画像データ及び２次元画像記憶部５２から出力された作業開始前の２次元画像データの各ＹＺ断面（ヨー角θ）に対して反射板７１５、７１６の特定部分（根元部や先端部）を識別点として設定する（後述の図８及び図９参照）。また、識別点設定部５５は、設定した識別点（作業装置７１の反射板７１５、７１６）の位置に応じて、作業中の監視範囲としての２次元画像の更新領域を設定するものである。識別点設定部５５は、設定した識別点の情報を３次元初期位置算出部５６へ出力すると共に、設定した作業中の２次元画像の更新領域（監視範囲）の情報をソナー制御部５１及び時系列画像演算部５８へ出力する。識別点設定部５５の識別点の設定方法及び識別点の監視範囲の設定方法の詳細は後述する。
【0034】
３次元初期位置算出部５６は、３次元画像記憶部５３から出力される３次元画像を基に、識別点設定部５５にて設定された作業装置７１の各識別点（反射板７１５、７１６の特定部分）における作業開始前の３次元位置（例えば、後述の世界座標系のＸＹＺ空間上の３次元位置）を算出し、２次元ソナー２の２次元超音波センサ２１の設置位置を基準点（原点）とする当該識別点の作業開始前の３次元初期位置（すなわち、各ＹＺ平面（ヨー角θ）における距離ｒとピッチ角φ）に変換する。なお、３次元初期位置算出部５６により算出される２次元超音波センサ２１の設置位置を基準点とする各識別点のピッチ角φの初期情報は、２次元画像記憶部５２の２次元画像からは取得不能な情報である。３次元初期位置算出部５６は、算出結果である２次元超音波センサ２１の設置位置を基準点とする各識別点の３次元初期位置（各ＹＺ平面（ヨー角θ）の距離ｒとピッチ角φ）を識別点照合部５７及び３次元位置情報更新部５９へ出力する。３次元初期位置算出部５６の演算方法の詳細は後述する。
【0035】
識別点照合部５７は、２次元画像記憶部５２から識別点設定部５５を介して入力される作業開始前の２次元画像における作業装置７１の複数の識別点（反射板７１５、７１６の特定部分）の２次元位置情報に対して３次元初期位置算出部５６の算出結果である複数の識別点の３次元初期位置を照合することで、各識別点の作業開始前の２次元位置情報に対して不足分の位置情報（ピッチ角）を含む３次元初期位置を対応付けるものである。各識別点の作業開始前の２次元位置情報に対する作業開始前の３次元初期位置の対応付けは、２次元画像の各ＹＺ平面（ヨー角θ）について行われる。識別点照合部５７は、作業装置７１の各識別点の作業開始前の２次元位置情報および当該情報に対応付けた３各識別点の次元初期位置を３次元位置情報更新部５９へ出力する。作業開始前の２次元画像における各識別点の位置情報は、各ＹＺ平面において距離の情報のみを有する（後述の図８参照）。一方、３次元初期位置算出部５６の算出結果である各識別点の初期位置は、各ＹＺ平面（ヨー角θ）において、２次元超音波センサ２１の設置位置を基準点とする距離ｒの情報に加えてピッチ角φの情報を有する（後述の図９参照）。
【0036】
また、識別点照合部５７は、作業開始直後は、各識別点の作業開始前の２次元位置情報に対応付けた作業開始前の３次元初期位置を基に、時系列画像演算部５８による後述の各識別点の更新情報（２次元位置情報）を用いることで、各識別点の作業中の３次元位置情報を推定し、推定結果の３次元位置情報を各識別点の新たな位置情報として３次元位置情報更新部５９へ出力することで更新するものである。その後の作業中は、更新される識別点の３次元位置情報（推定値）を基に、時系列画像演算部５８により更新される当該識別点の２次元位置情報を用いることで、識別点の作業中の３次元位置情報を逐次推定して新たな位置情報として３次元位置情報更新部５９へ出力することで逐次更新する。識別点照合部５７の処理方法の詳細は後述する。
【0037】
時系列画像演算部５８は、２次元ソナー２の計測毎に出力される作業中の２次元画像に基づき作業装置７１の複数の識別点（反射板７１５、７１６の特定部分）の２次元位置情報を逐次更新する。時系列画像演算部５８は、更新した識別点の２次元位置情報を識別点照合部５７へ逐次出力する。時系列画像演算部５８の処理方法の詳細は後述する。
【0038】
３次元位置情報更新部５９は、作業開始前、３次元初期位置算出部５６から出力された作業装置７１の識別点の３次元初期位置を作業指令装置８０の３次元位置情報記憶部８３へ出力する。作業中、識別点照合部５７から出力された識別点の作業中の３次元位置情報（推定値）を作業指令装置８０の３次元位置情報記憶部８３へ出力する。これより、作業開始前から作業中において、作業装置７１の識別点が初期位置から作業による変位する過程が記録される。
【0039】
次に、第１の実施形態に係る水中作業システムによる水中作業方法の手順について説明する。先ず、水中作業の開始前の手順について図１～図９を用いて説明する。図４は図１に示す第１の実施形態に係る水中作業システムによる水中作業方法の手順の一例を示すフローチャートである。
【0040】
図４において、図１に示す水中作業システムは、作業開始前に水中作業環境を計測し（ステップＳ１０）、水中作業環境の３次元地図を作成する。当該計測時に水中が濁っている場合には、水面や水中を移動する移動装置に３次元ソナーを搭載して水中作業環境の計測を行う。一方、水の濁りの影響が小さい場合には、３次元ソナー３による計測の代わりに、レーザレンジファインダ、光切断法、ステレオカメラなどの光学式による計測が可能である。なお、事前に、水中作業環境の３次元地図を入手することができる場合には、ステップＳ１０の処理（計測）を省略することが可能である。
【0041】
次に、ステップＳ１０にて作成した水中作業環境の３次元地図を基に作業装置７１を水中の作業位置に配置する（ステップＳ２０）。作業位置は、水中作業環境の３次元地図及び作業内容（作業計画）によって決定される。
【0042】
次いで、作業開始前に、水中作業システムは、２次元ソナー２を用いて作業装置７１を含む水中作業環境を計測することで２次元画像を収録すると共に、３次元ソナー３を用いて作業装置７１を含む水中作業環境を計測することで３次元画像を収録する（ステップＳ３０）。２次元ソナー２は、超音波による計測結果である波形データ及び当該波形データから生成した２次元画像を作業監視装置５の２次元画像記憶部５２に出力する。２次元画像記憶部５２は、２次元ソナー２の波形データ及び２次元画像を記憶装置に記憶させると共に、当該２次元画像を第１モニタ６に表示させる。３次元ソナー３は、超音波による計測結果である波形データ及び当該波形データから生成した３次元画像を作業監視装置５の３次元画像記憶部５３に出力する。３次元画像記憶部５３は、３次元ソナー３の波形データ及び３次元画像を記憶装置に記憶させると共に、当該３次元画像を第２モニタ７に表示させる。なお、水の濁りの影響が小さい場合には、３次元ソナー３による計測の代わりに、レーザレンジファインダ、光切断法、ステレオカメラなどの光学式による３次元計測が可能である。
【0043】
具体的には、例えば図２に示すように、２次元ソナー２は、ピッチ角φ（水平線を基準とする縦方向の傾き角度）が角度φ２Ｄの範囲（実線の範囲）で拡散する超音波ビームを作業装置７１に向けて送信する。一方、３次元ソナー３は、超音波ビームをピッチ角φ３Ｄの範囲（一点鎖線の範囲）で走査して送信する。図２は、２次元ソナー２の振動子中心（設置位置）Ｚ１を通るＺ軸と水中の床面との交点を世界座標系の原点ＯとするＹＺ断面上における超音波計測の状況を示している。２次元ソナー２と３次元ソナー３は、制約がない限り、図２に示すように両者の振動子中心Ｚ１、Ｚ２をＺ軸上に配置することが好ましい。この場合、２次元ソナー２と３次元ソナー３の世界座標系のＸＹ平面上の方位角（図５におけるヨー角θ）が共通になる。また、２次元ソナー２は、例えば図５に示すように、作業開始前においてはヨー角θｓの範囲で超音波ビームを走査する。図５は、図２を水面から床面を見たときの世界座標系のＸＹ平面上における２次元ソナーの計測状況を示している。図５に示すＸＹ平面においては、作業装置７１の作業アーム７１１がヨー角θ＝０°に沿って延在するように配置されている。この場合において、２次元ソナー２の超音波ビームの送受信範囲はＹ軸（θ＝０°）を中心として対称に±θｓ／２の範囲とし、当該超音波ビームの走査角度の間隔はΔθとしている。世界座標系のＹＺ平面及びＸＹ平面上における３次元ソナー３の超音波ビームの２方向の走査範囲は、少なくとも監視対象の作業装置７１の作業アーム７１１が計測範囲に含まれることが必須であり、２次元ソナー２の超音波ビームの送信範囲を可能な限りカバーするように設定する方が好ましい（例えば、図２参照）。
【0044】
水中作業監視システム１の監視対象である作業装置７１の作業アーム７１１の表面には、図６及び図７に示すように、２次元ソナー２の識別対象とする第１反射板７１５及び第２反射板７１６が設置されている。図６は第１の実施形態に係る水中作業システムにおける監視対象である作業装置の作業アームに設置した２つの反射板の寸法を図２の世界座標系のＹＺ断面上において示す図であり、図７は図６に示す作業装置の作業アームを矢視VIIから見たときの作業アーム及び反射板の寸法を示す図である。
【0045】
両反射板７１５、７１６は、２次元ソナー２及び３次元ソナー３から送信される超音波ビームをあまり減衰させずに反射させて超音波センサ２１、３１に受信させることで、他の構造物との識別を容易にするものである。特に、反射板７１５、７１６の根元部（コーナ部）や先端部では、超音波の後方散乱が起こりやすく、反射波の信号強度が大きくなる。そこで、本実施の形態においては、第１反射板７１５の根元部ａ及び先端部ｂ並びに第２反射板７１６の根元部ｃ及び先端部ｄを２次元ソナー２及び３次元ソナー３の超音波計測の識別対象（識別点）として選定している。
【0046】
作業アーム７１１は、例えば図７に示すように、長手方向の長さがＬであり、幅がＷである。作業アーム７１１の先端側に配置された第１反射板７１５は、例えば図６及び図７に示すように、根元部（接続部）ａから先端部ｂまでの高さがｈ１であり、幅が作業アーム７１１の幅と同じＷである。作業アーム７１１の基端側に配置された第２反射板７１６は、根元部（接続部）ｃから先端部ｄまでの高さがｈ２であり、幅が作業アーム７１１の幅と同じＷである。第１反射板７１５の高さｈ１と第２反射板７１６の高さｈ２の偏差はΔｈであり、第２反射板７１６の方が第１反射板７１５よりも高くなっている。第１反射板７１５と第２反射板７１６の間隔はｋである。第１反射板７１５の根元部ａ及び先端部ｂ（識別点）の３次元位置、並びに、第２反射板７１６の根元部ｃ及び先端部ｄ（識別点）の３次元位置は、作業アーム７１１の作業（回動）に応じて変位するときに、上述の作業アーム７１１及び両反射板７１５、７１６の寸法設定によって幾何学的な拘束条件が生じる。
【0047】
ステップＳ３０における作業開始前の２次元ソナー２の計測結果は、例えば、図８の下図に示すような波形データになる。図８は第１の実施形態に係る水中作業システムにおける２次元ソナーの作業開始前の計測結果である波形データ及び波形データを基に生成される２次元画像の一例を示す図である。図８の下図中、横軸ｒは距離を、縦軸は反射波の信号強度を示している。なお、横軸ｒにおける（θ）は、２次元ソナー２のビーム走査角度、すなわちヨー角を示している。図８は、ヨー角θ＝０°の場合の波形データである。ヨー角θ＝０、±Δθ、±２Δθ、±３Δθ、…の各波形データをまとめることで、図８の上図に示すような２次元画像の生成が可能である。図８の上図に示す２次元画像は、２次元ソナー２の２次元超音波センサ２１の振動子中心Ｚ１を原点とし、ヨー角θｓの走査範囲において信号強度に応じて表示されるものである。２次元画像は、ヨー角θ（走査角度）及び距離ｒの２次元位置情報を含む。
【0048】
ステップＳ３０の終了後、監視対象の作業装置７１のうち超音波計測で識別が容易な識別点を設定する（ステップＳ４０）。本実施の形態においては、上述したように、図６に示す作業アーム７１１に設置された第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄを超音波計測の識別対象（識別点）とし選定している。
【0049】
具体的には、作業監視装置５の識別点設定部５５は、２次元画像記憶部５２によって記憶装置に保存された作業開始前の２次元画像を基に、第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄを識別点として設定する。例えば、図８に示す波形データ及び２次元画像に対して、距離ｒ及び信号強度に応じて、第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄの各点をそれぞれ識別点として設定する。図８に示す波形データは、ヨー角θ＝０°の場合である。このような各識別点の設定は、反射波を受信した全範囲の各断面に対して行うこと（図８の上図の２次元画像の４つの太線上に複数の識別点を設定すること）が好ましい。しかし、当該識別点の設定は、必ずしも反射波を受信した全範囲の断面に対して行う必要はない。なお、これらの識別点の設定及び確認には、作業アーム７１１及び反射板７１５、７１６の上述の寸法情報（図６及び図７参照）を用いている。
【0050】
また、識別点設定部５５は、３次元画像記憶部５３によって記憶装置に保存された作業開始前の３次元画像を基に、第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄを識別点として設定する。例えば、図９に示す３次元画像の断面図上において、第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄの各点を識別点として設定する。図９は第１の実施形態に係る水中作業システムにおける反射板の識別点に対する作業開始前の３次元ソナーの計測結果と２次元ソナーの計測結果との対応付けの方法の一例を世界座標系のＹＺ断面上において示す説明図である。図９は、ヨー角θ＝０°の場合のＹＺ断面である。このような各識別点の設定は、反射波を受信した全範囲に亘る各ＹＺ断面に対して行うことが好ましい。しかし、当該識別点の設定は、必ずしも反射波を受信した全範囲に対応した全断面に対して行う必要はない。なお、これらの識別点の設定及び確認には、作業アーム７１１及び両反射板７１５、７１６の上述した寸法情報（図６及び図７参照）を用いている。
【0051】
次に、３次元ソナー３の計測結果である３次元画像を基に、作業アーム７１１の各識別点の作業開始前の３次元初期位置を算出する（ステップＳ５０）。当該３次元初期位置は、３次元画像の各ＹＺ断面（ビーム走査角度としてのヨー角θ）において、２次元ソナー２の２次元超音波センサ２１の設置位置Ｚ１を基準点とする距離ｒとピッチ角φで表すものである。これは、２次元ソナー２の計測結果である識別点の２次元位置情報が２次元超音波センサ２１の設置位置Ｚ１を基準点とするビーム走査角度としてのヨー角θ及び距離ｒで表されるためである。
【0052】
具体的には、作業監視装置５の３次元初期位置算出部５６は、先ず、３次元画像記憶部５３から出力された３次元画像から、識別点設定部５５にて設定された各識別点（第１反射板７１５における根元部ａ及び先端部ｂ並びに第２反射板７１６における根元部ｃ及び先端部ｄ）の世界座標系のＸＹＺ空間上の３次元位置情報を取得する。世界座標系のＸＹＺ空間上の３次元位置情報の取得は、３次元画像の各ＹＺ断面に対して行う。さらに、各ＹＺ断面の各識別点の世界座標系のＸＹＺ空間上の３次元位置情報を各ＹＺ断面の２次元超音波センサ２１の設置位置Ｚ１を基準点とする距離ｒ及びピッチ角φに変換する。
【0053】
例えば、ヨー角θ＝０°のＹＺ断面を示す図９においては、第１反射板７１５における根元部ａ及び先端部ｂの３次元位置情報はそれぞれ、（０、Ｙａ０、Ｚａ０）及び（０、Ｙｂ０、Ｚｂ０）である。第２反射板７１６における根元部ｃ及び先端部ｄの３次元位置情報はそれぞれ（０、Ｙｃ０、Ｚｃ０）及び（０、Ｙｄ０、Ｚｄ０）である。これらの識別点の世界座標系のＸＹＺ空間上の３次元位置情報を次の式（１）及び式（２）を用いることで、２次元超音波センサ２１の振動子中心（設置位置）Ｚ１を基準点とする識別点に対する距離ｒｊ及びピッチ角φｊを算出する。
【0054】
【数1】
【0055】
【数2】
【0056】
ここで、距離ｒｊ、ピッチ角φｊ、座標Ｙｊ、座標Ｙｊに含まれる記号ｊは、第１反射板７１５の根元部ａ及び先端部ｂ又は第２反射板７１６の根元部ｃ及び先端部ｄのいずれかを示すものである。すなわち、ｒａ０及びφａ０は第１反射板７１５の根元部ａの作業開始前の距離及びピッチ角を、ｒｂ０及びφｂ０は第１反射板７１５の先端部ｂの作業開始前の距離及びピッチ角を示す。ｒｃ０及びφｃ０は第２反射板７１６の根元部ｃの距離及びピッチ角を、ｒｄ０及びφｄ０は第２反射板７１６の先端部ｄの作業開始前の距離及びピッチ角を示す。座標Ｙｊ及び座標Ｚｊは、上述の第１反射板７１５の根元部ａ及び先端部ｂ並びに第２反射板７１６の根元部ｃ及び先端部ｄの作業開始前の３次元位置情報を示している。
【0057】
次いで、２次元ソナー２の計測結果（波形テータ又は２次元画像）から得られる作業アーム７１１の各識別点の２次元位置情報に対して、ステップＳ６０にて算出した各識別点の３次元初期位置を対応付ける（ステップＳ６０）。２次元ソナー２の計測結果（波形テータ又は２次元画像）から得られる各識別点の２次元位置情報は、走査角度を示す各ヨー角θに対して距離の情報のみを有する。一方、３次元ソナー３の計測結果から得られる各識別点の３次元初期位置は、前述したように、各ヨー角θに対して距離ｒに加えてピッチ角φの情報を含む。そこで、本実施の形態においては、３次元ソナー３の計測結果である３次元画像の各断面（ヨー角θ）において設定された複数の識別点と２次元ソナー２の計測結果である２次元画像の各断面において設定された複数の識別点とを照合して各識別点を同定することで、各識別点（第１反射板７１５の根元部ａ、先端部ｂ、第２反射板７１６の根元部ｃ、先端部ｄ）の２次元位置情報に対して３次元初期位置（ステップＳ５０の算出結果）の対応付けを行う。各識別点の２次元位置情報に対する３次元初期位置の対応付けは、反射板７１５、７１６からの反射波を受信した各断面（ヨー角θ）について行う。
【0058】
具体的には、２次元画像の各断面（ヨー角θ）の波形データにおいて設定された複数の識別点に対して、３次元画像において設定された複数の識別点に対してステップＳ６０にて算出した各断面（ヨー角θ）における距離ｒｊを用いて照合することで各識別点を同定する。例えば、図９に示す第１反射板７１５の根元部ａ、先端部ｂ、第２反射板７１６の根元部ｃ、先端部ｄの３次元初期位置の１つの情報である距離ｒａ０、ｒｂ０、ｒｃ０，ｒｄ０と、図８に示す波形データ上の距離ｒａ０、ｒｂ０、ｒｃ０，ｒｄ０とを比較し、３次元初期位置の距離と２次元位置情報の距離が最も近似している識別点同士を同じ識別点として同定する。この同定された識別点の２次元位置情報（ヨー角と距離）に対して３次元初期位置（同じヨー角における距離とピッチ角）を対応付ける。ここで、作業アーム７１１を所定の距離だけ動作させることで、各識別点の動作後の距離が３次元情報の場合と２次元情報の場合とで同様に変化することで各識別点の同定が正しいことを確認することが可能である。これにより、２次元ソナー２の計測結果の波形データに設定した各識別点に対して、３次元ソナー３の計測結果から算出された正確なピッチ角φの情報（２次元位置情報に不足している情報）を対応付けることができる。図８の上図に示す２次元画像におけるヨー角θ＝±Δθ、±２Δθ、±３Δθ…の場合（反射板７１５、７１６からの反射波の受信範囲）の各断面の波形データに対しても、同様な処理を行う。
【0059】
水中作業の開始前の最後の準備として、作業開始後の監視領域としての２次元画像の更新領域を設定する（ステップＳ７０）。作業中は、作業アーム７１１の監視対象として反射板７１５、７１６の識別点が２次元ソナー２の計測により追跡されるので、反射板７１５、７１６の識別点の位置に応じて２次元画像の更新領域を設定する。２次元画像の更新領域が大きくなると、その分、２次元画像の生成に時間を要することになる。作業中は、リアルタイムの可視化を行うために、２次元画像の生成負荷を低減する必要がある。
【0060】
具体的には、識別点設定部５５は、作業開始前に反射板７１５、７１６からの反射波を受信した断面（走査角度のヨー角θ）のうち最も外側の位置よりも更に１断面分（Δθ）だけ外側の範囲までを監視範囲（ビーム走査範囲）として設定する。各断面の超音波ビームの伝搬方向の距離については、例えば、作業開始前に計測した反射波の最長距離及び最短距離に対して±Δｒｉの範囲に拡げて設定する。監視範囲は、例えば、図８に示す網掛けの領域である。なお、作業中の計測値の最長距離及び最短距離に応じて±Δｒｉの範囲まで拡げて設定することも可能である。また、予め定めた動作範囲の最長距離及び最短距離に対して±Δｒｉの範囲に拡げて設定することも可能である。
【0061】
次に、作業開始後の手順について図３～図４及び図１０～図１１を用いて説明する。図１０は第１の実施形態に係る水中作業監視システムにおける作業中の作業装置を監視したときの２次元ソナーの計測結果である波形データと２次元画像との関係を示す図である。図１１は第１の実施形態に係る水中作業監視システムにおける作業中の作業装置を監視したときの世界座標系のＹＺ断面上における識別点の３次元位置情報の推定方法を示す説明図である。
【0062】
水中作業が開始されると、水中作業システムは、２次元ソナー２のみを用いて計測して２次元画像を収録すると共に表示する（ステップＳ１１０）。２次元ソナー２は、図３に示すように、作業装置７１に対して超音波による計測を行い、計測結果である波形データ及び当該波形データから生成した２次元画像を作業監視装置５の２次元画像記憶部５２に出力する。２次元画像記憶部５２は、２次元ソナー２の波形データ及び２次元画像を記憶装置に記憶させると共に、当該２次元画像を第１モニタ６に表示させる。
【0063】
次に、水中作業システムは、現サイクル（最新）の２次元画像における複数の識別点を１サイクル前（直近）の２次元画像における複数の識別点と照合し、各識別点の２次元位置情報を更新する（ステップＳ１２０）。具体的には、作業監視装置５の時系列画像演算部５８は、２次元ソナー２の計測結果の出力（２次元画像の更新）の度に（処理サイクル毎に）、最新の２次元画像の各断面（ヨー角θ）における複数の識別点（第１反射板７１５の根元部ａ、先端部ｂ及び第２反射板７１６の根元部ｃ、先端部ｄ）と、直近の２次元画像の各断面（ヨー角θ）における複数の識別点と照合することで、最新の２次元画像の各断面における各識別点を特定する。これにより、特定された各識別点の２次元位置情報（各断面θにおける距離ｒ）が確定するので、各識別点の２次元位置情報を最新（現サイクル）の計測結果の情報に更新する。作業開始直後の場合は、作業開始前の２次元画像の各断面における複数の識別点と作業開始直後の計測結果の２次元画像の各断面における複数の識別点とを照合する。
【0064】
ここでは、時系列画像演算部５８による識別点の２次元位置情報の更新方法をわかりやすくする説明するために、作業の開始前と開始直後とで作業アーム７１１の姿勢が明確に変化した状態を例に挙げる。ただし、２次元画像の更新速度は１秒未満であるので、作業アーム７１１上の反射板７１５、７１６の実際の移動範囲は僅かである。図１０は、ＹＺ断面図上の作業アーム７１１が図９に示す姿勢状態から回動軸を中心に下方に時計回りに回動した姿勢状態になった場合を示している。図１１の上図は図１０の姿勢状態のときに計測された２次元画像であり、下図はヨー角θ＝０°の断面の波形データである。図１１中、作業開始前の２次元画像の識別点と波形データを点線で示す。
【0065】
反射板７１５、７１６の各識別点（ａ、ｂ、ｃ、ｄ）に対する作業アーム７１１の作業開始後の距離（ｒａ１、ｒｂ１、ｒｃ１、ｒｄ１）は、作業開始前の距離（ｒａ０、ｒｂ０、ｒｃ０、ｒｄ０）と作業アーム７１１の移動方向との関係から次の式（３）に示す拘束条件が成立する。さらに、当該各識別点（ａ、ｂ、ｃ、ｄ）の信号強度（Ｓａｉ、Ｓｂｉ、Ｓｃｉ、Ｓｄｉ）は、次の式（４）に示す拘束条件が成立する。すなわち、反射板７１５、７１６ではコーナ反射の方が先端反射よりも反射波の信号強度が大きくなるという条件である。ここで、記号ｉにおける「０」は作業開始前を「１」は作業開始後を示すものとする。
【0066】
【数3】
【0067】
【数4】
【0068】
式（３）の拘束条件から、図１１の下図に示す波形データにおける距離ｒの最短位置の波形部分は第１反射板７１５の先端部の識別点ｂの反射波の信号であると特定されると共に、距離ｒの最長位置の波形部分は第２反射板７１６の根元部の識別点ｃの反射波の信号であると特定される。また、式（４）の拘束条件から、図１１の下図に示す波形データにおける残りの波形部分のうち、信号強度が相対的に大きい波形部分は第１反射板７１５の根元部の識別点ａの反射波の信号であると特定されると共に、信号強度が相対的に小さい波形部分は第２反射板７１６の先端部の識別点ｄの反射波の信号であると特定される。特定された各識別点ａ、ｂ、ｃ、ｄの２次元超音波センサ２１の設置位置Ｚ１からの距離ｒａ１、ｒｂ１、ｒｃ１、ｒｄ１の情報は、図１１の下図に示す波形データから得られる。図１１の下図に示す波形データは、ヨー角θ＝０°の断面の場合を示している。各断面の波形データに対しても、式（３）及び式（４）の拘束条件を用いて上述の各識別点ａ、ｂ、ｃ、ｄの距離ｒａ１、ｒｂ１、ｒｃ１、ｒｄ１の情報を取得する。
【0069】
このように、時系列画像演算部５８は、２次元ソナー２の計測毎に更新される２次元画像の各断面における反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄを照合して特定し、特定した各識別点ａ、ｂ、ｃ、ｄの距離ｒａ１、ｒｂ１、ｒｃ１、ｒｄ１の情報を２次元画像（波形データ）から取得して直近の距離情報を更新する。すなわち、２次元ソナー２の計測毎に反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄの２次元位置情報（ヨー角θと距離ｒの情報）を更新する。
【0070】
次いで、水中作業システムは、反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄの３次元位置情報（ヨー角θ、距離ｒ、ピッチ角φ）をステップＳ１２０にて更新された各識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いてステップＳ６０にて対応付けた３次元初期位置を起点に推定して更新する（ステップＳ１３０）。作業開始直後は、作業監視装置５の識別点照合部５７が、ステップＳ６０にて反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄの作業開始前の２次元位置情報に対応付けた３次元初期位置（３次元ソナー３の計測結果）を起点に、ステップＳ１２０にて更新された各識別点ａ、ｂ、ｃ、ｄの２次元位置情報（２次元ソナー２の計測結果）を用いて後述の収束計算によって、作業アーム７１１の各識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報を推定し、推定結果の各識別点ａ、ｂ、ｃ、ｄの３次元位置情報を３次元位置情報更新部５９へ出力する。３次元位置情報更新部５９は、推定結果の各識別点ａ、ｂ、ｃ、ｄの３次元位置情報を作業指令装置８０に出力して３次元位置情報記憶部８３に格納させることで、各識別点ａ、ｂ、ｃ、ｄの３次元位置情報を更新する。その後（作業継続中）は、ステップＳ１３０にて更新された各識別点ａ、ｂ、ｃ、ｄの３次元位置情報（推定値）を基にステップＳ１２０にて更新された各識別点ａ、ｂ、ｃ、ｄの２次元位置情報（２次元ソナー２の計測結果）を用いて収束計算によって各識別点ａ、ｂ、ｃ、ｄの３次元位置情報を新たに推定して更新することを繰り返す。
【0071】
具体的には、作業開始直後の場合、識別点照合部５７は、反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄの作業開始前の３次元初期位置を起点として、作業アーム７１１の動作に応じた幾何計算（各識別点ａ、ｂ、ｃ、ｄの軌道計算）を行い、２次元超音波センサ２１の設置位置Ｚ１から各識別点ａ、ｂ、ｃ、ｄまでの距離Ｒａ１、Ｒｂ１、Ｒｃ１、Ｒｄ１を予測する。例えば、図９に示す作業開始前の３次元画像のＹＺ断面上において作業アーム７１１の動作に応じた幾何計算を行うことで、図１０に示すＹＺ断面上において作業開始後の反射板７１５、７１６の各識別点ａ、ｂ、ｃ、ｄを含む作業アーム７１１の位置を予測する。図１０に示す演算結果の各識別点ａ、ｂ、ｃ、ｄのＹＺ断面上の作業開始直後の位置情報（Ｙ座標Ｙａ１、Ｙｂ１、Ｙｃ１、Ｙｄ１及びＺ座標Ｚａ１、Ｚｂ１、Ｚｃ１、Ｚｄ１）を基に各識別点ａ、ｂ、ｃ、ｄから２次元超音波センサ２１の設置位置Ｚ１までの距離Ｒａ１、Ｒｂ１、Ｒｃ１、Ｒｄ１を算出する。これは、各識別点ａ、ｂ、ｃ、ｄの作業開始直後の位置を作業開始前のＹＺ断面上の３次元初期位置を起点として予測するものである。幾何計算では、図６及び図７に示す作業アーム７１１及び反射板７１５、７１６の形状寸法を用いて作業アーム７１１の回動角度を複数予測する。
【0072】
さらに、次の式（５）のように、各識別点ａ、ｂ、ｃ、ｄの３次元初期位置を起点として上述の幾何計算により予測される各識別点ａ、ｂ、ｃ、ｄの２次元超音波センサ２１の設置位置Ｚ１を基準点とする距離情報とステップＳ１２０にて更新された２次元画像から得られた各識別点ａ、ｂ、ｃ、ｄの距離情報との誤差（差分）の総和Ｓｕｍｅｒｒを算出する。算出した誤差の総和Ｓｕｍｅｒｒが最小となる収束計算を行い、誤差の総和Ｓｕｍｅｒｒが最小になる場合におけるＹＺ断面上の各識別点ａ、ｂ、ｃ、ｄの２次元超音波センサ２１の設置位置Ｚ１に対する距離Ｒａ１、Ｒｂ１、Ｒｃ１、Ｒｄ１及びピッチ角φａ１、φｂ１、φｃ１、φｄ１を作業開始直後の３次元位置情報として推定する。これにより、２次元ソナー２の計測結果からは取得不能な各識別点ａ、ｂ、ｃ、ｄのピッチ角φの情報を把握することができる。
【0073】
【数5】
【0074】
図９に示す３次元画像のＹＺ断面はヨー角θ＝０°の場合である。ヨー角θ＝０°以外の反射板７１５、７１６からの反射波を受信した各断面上においても、上述の幾何計算や式（５）を用いた収束計算を行い、各断面上における各識別点ａ、ｂ、ｃ、ｄの２次元超音波センサ２１の設置位置Ｚ１を基準点とする距離Ｒ及びピッチ角φを作業開始後の３次元位置情報として推定する。
【0075】
識別点照合部５７は、各識別点ａ、ｂ、ｃ、ｄの作業開始後の３次元位置情報の推定結果を３次元位置情報更新部５９へ出力する。３次元位置情報更新部５９は、推定結果の各識別点ａ、ｂ、ｃ、ｄの３次元位置情報を作業指令装置８０に出力して３次元位置情報記憶部８３に格納させる。このようにして、各識別点ａ、ｂ、ｃ、ｄの作業開始後の３次元位置情報（３次元画像の各断面θにおける距離Ｒとピッチ角φ）を更新する。
【0076】
水中作業システムは、作業が終了した否かを判定する（図４に示すステップＳ１４０）。作業が終了していないと判定した場合（ＮＯの場合）には、再びステップＳ１１０に戻り、ステップＳ１４０にて作業終了（ＹＥＳ）と判定されるまでステップＳ１１０～Ｓ１４０を繰り返す。すなわち、作業が終了するまで、設定した時間間隔で、２次元ソナー２の計測結果である２次元画像の収録及び表示を継続しつつ、各識別点ａ、ｂ、ｃ、ｄの３次元位置情報（３次元画像の各断面θにおける距離Ｒとピッチ角φ）を更新する。
【0077】
このように、本実施形態においては、作業開始前に超音波計測による２次元画像及び３次元画像を収録して監視対象の各識別点ａ、ｂ、ｃ、ｄの２次元位置情報と３次元初期位置との対応付けを行う。これにより、作業開始後に、一定の時間間隔で超音波の２次元画像を収録しつつ、この時間間隔のうちに変化する識別点ａ、ｂ、ｃ、ｄの３次元位置情報（各断面θにおける距離Ｒとピッチ角φ）を、収録した２次元画像の情報と作業開始前に対応付けた３次元初期位置（３次元ソナー３の計測結果）の情報を用いて３次元空間上の収束計算によって算出することができる。したがって、濁水中の作業でも、超音波計測による２次元画像を確認しながら、監視対象（識別点ａ、ｂ、ｃ、ｄ）の３次元情報を把握することができる。このため、作業速度の低下を抑えた作業が可能となる。
【0078】
上述したように、第１の実施の形態に係る水中作業方法は、水中に配置された作業装置７１の作業開始前に２次元ソナー２の計測により水中作業環境の２次元画像を収録し、作業装置７１の作業開始前に３次元位置情報を計測可能な３次元ソナー３（計測装置）の計測により水中作業環境の３次元画像を収録し、作業開始前の３次元画像から、２次元ソナー２の設置位置Ｚ１を基準点とする作業装置７１の識別点識別点ａ、ｂ、ｃ、ｄの３次元初期位置θ、ｒ、φを演算し、作業開始前の２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して演算結果の識別点ａ、ｂ、ｃ、ｄの３次元初期位置の対応付けを行う。作業装置７１の作業開始後は、２次元ソナー２の継続的な計測により２次元画像を収録して逐次更新すると共に、逐次更新される２次元画像を第１モニタ６（表示装置）に表示し、識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、作業開始後に逐次更新される２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いることで識別点ａ、ｂ、ｃ、ｄの３次元位置情報を推定して逐次更新する。
【0079】
また、上述したように、第１の実施の形態に係る水中作業システムは、水中で作業を行う作業装置７１と、作業装置７１の水中作業を可視化により監視する水中作業監視システム１とを備える。水中作業監視システム１は、超音波の発信により２次元位置情報を計測可能な２次元ソナー２と、３次元位置情報を計測可能な３次元ソナー３（計測装置）と、２次元ソナー２の計測により収録された２次元画像を表示する第１モニタ６（表示装置）と、２次元ソナー２の計測結果及び３次元ソナー３（計測装置）の計測結果を基に作業装置７１の識別点ａ、ｂ、ｃ、ｄの３次元位置情報を演算する作業監視装置５とを備える。作業監視装置５は、作業装置７１の作業開始前に３次元ソナー３（計測装置）の計測により収録された３次元画像から２次元ソナー２の設置位置Ｚ１を基準点とする作業装置７１の識別点ａ、ｂ、ｃ、ｄの３次元初期位置を演算し、作業装置７１の作業開始前に２次元ソナー２の計測により収録された２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して演算結果の識別点ａ、ｂ、ｃ、ｄの３次元初期位置の対応付けを行い、識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して対応付けを行った３次元初期位置を起点とし、作業装置７１の作業開始後に２次元ソナー２の計測により逐次更新される２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いることで、識別点ａ、ｂ、ｃ、ｄの３次元位置情報を推定して逐次更新するように構成されている。
【0080】
この方法及びこの構成によれば、作業装置７１の作業中に２次元ソナー２の計測により２次元画像を収録して第１モニタ６（表示装置）に表示するので、作業中に３次元画像を収録して表示させる場合よりも、水中作業の可視化に要する時間を減らすことができる。また、作業開始前の３次元画像から算出する３次元初期位置を起点に作業中に更新される２次元画像の識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いることで識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報を推定して更新するので、２次元画像からは計測不能な識別点ａ、ｂ、ｃ、ｄ（監視対象）の３次元位置情報を把握することができる。これらのことから、水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる。
【0081】
また、本実施形態に係る水中作業方法及び水中作業システムにおいては、前記計測装置が超音波の発信により３次元位置情報を計測可能な３次元ソナー３である。この方法及びこの構成によれば、作業開始前の水中環境が清水であっても濁水であっても、監視対象の３次元位置情報を計測することが可能である。
【0082】
［第１の実施形態の変形例］
次に、第１の実施形態の変形例に係る水中作業システム及び水中作業方法について図１２を用いて説明する。図１２は本発明の第１の実施形態の変形例に係る水中作業システムの構成を示すブロック図である。なお、図１２において、図１～図１１に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
次に、第１の実施形態の変形例に係る水中作業システム及び水中作業方法について図１２を用いて説明する。図１２は本発明の第１の実施形態の変形例に係る水中作業システムの構成を示すブロック図である。なお、図１２において、図１～図１１に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
【0083】
図１２に示す第１の実施形態の変形例に係る水中作業システムが第１の実施形態と相違する点は、水中作業監視システム１Ａが、第１の実施形態のような２次元ソナー２及び３次元ソナー３の両ソナーを備えるのではなく、２次元ソナー及び３次元ソナーの両機能を兼用する兼用ソナー２Ａを備えていることである。具体的には、兼用ソナー２Ａは、１つの１次元アレイセンサに対して別のもう１つの１次元アレイセンサを直交するように十字型もしくはＴ字型に配置させ、送信と受信のアレイセンサを分割したクロスアレイセンサ２１Ａと、クロスアレイセンサ２１Ａに対応する送受信機２２Ａとを備えている。この構成の場合、第１の実施形態の場合と異なり、送受信機２２Ａが１つのみでよい。
【0084】
本変形例においては、兼用ソナー２Ａが水中作業環境の２次元画像及び監視対象（反射体７１５、７１６の識別点ａ、ｂ、ｃ、ｄ）の２次元位置情報を計測すると共に、水中作業環境の３次元画像及び監視対象（反射体７１５、７１６の識別点ａ、ｂ、ｃ、ｄ）の３次元位置情報を計測すること以外、水中作業の監視方法は第１の実施の形態の場合と同様である。
【0085】
上述した第１の実施形態の変形例に係る水中作業方法においては、複数の振動子が一方向に配列された第１の１次元アレイと複数の振動子が一方向に配列された第２の１次元アレイとが直交するように配置されたクロスアレイセンサを有する兼用ソナー２Ａ（超音波ソナー）が、２次元ソナーの計測を行うと共に、３次元ソナーの計測を行う。
【0086】
また、本変形例に係る水中作業システムにおいては、複数の振動子が一方向に配列された１次元アレイと複数の振動子が一方向に配列された別の１次元アレイとが直交するように配置されたクロスアレイセンサを有する兼用ソナー２Ａ（超音波ソナー）が２次元超音波ソナー及び３次元超音波ソナーを兼用する構成である。
【0087】
この方法及びこの構成によれば、兼用ソナー２Ａが送受信機２２Ａを１つのみ備える構成が可能なので、第１の実施形態の場合よりもシステムの小型化及び費用の低減が可能である。
【0088】
［第２の実施形態］
次に、本発明の第２の実施形態に係る水中作業システム及び水中作業方法について図１３及び図１４を用いて説明する。図１３は本発明の第２の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。図１４は図１３に示す第２の実施形態に係る水中作業方法を実行する水中作業システムの構成を示すブロック図である。図１３及び図１４において、図１～図１２に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
次に、本発明の第２の実施形態に係る水中作業システム及び水中作業方法について図１３及び図１４を用いて説明する。図１３は本発明の第２の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。図１４は図１３に示す第２の実施形態に係る水中作業方法を実行する水中作業システムの構成を示すブロック図である。図１３及び図１４において、図１～図１２に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
【0089】
図１３及び図１４に示す第２の実施形態に係る水中作業システムによる水中作業方法が第１の実施の形態と相違する点は、作業開始後に更新されていく監視対象の反射板７１５、７１６の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の誤差の大きさを判定する誤差判定を行うことである。本実施の形態においては、作業装置７１Ｂが作業アーム７１１の姿勢を検出する姿勢センサ７１７を有していることを前提としている（図１４参照）。２次元ソナー２の作業中の計測結果を用いて行われる作業アーム７１１の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算の情報（図１３に示すステップＳ１３０の演算処理の情報）と姿勢センサ７１７の検出値から算出される作業アーム７１１の位置情報と比較することで、推定値である識別点ａ、ｂ、ｃ、ｄの３次元位置情報の誤差が予め設定した許容誤差の範囲内か否かを判定する（図１３に示すステップＳ１３５）。演算結果の誤差が許容誤差の範囲内の場合（図１３に示すステップＳ１３５のＹＥＳの場合）には、作業指令装置８０Ｂは、作業終了まで作業装置７１の作業を継続させる。演算結果の誤差が許容誤差の範囲外の場合（図１３に示すステップＳ１３５のＮＯの場合）には、作業を中断するか、又は、誤差拡大の警告を行う（図１３に示すステップＳ１５０）。誤差拡大の警告を行う場合には、作業を監視するオペレータの入力の有無によって作業の中断又は継続を判定するように構成することが可能である。作業を中断した場合には、作業開始前の処理手順である図１３に示すステップＳ３０～Ｓ７０の処理を行ってから作業を再開する。すなわち、２次元ソナー２の計測による２次元画像の収録及び３次元ソナー３の計測よる３次元画像の収録を行い、これらの再計測の結果に基づき反射板７１５、７１６の識別点ａ、ｂ、ｃ、ｄの２次元位置情報と３次元位置情報の対応付けをやり直す。これにより、識別点ａ、ｂ、ｃ、ｄの３次元位置情報の姿勢センサ７１７の検出値に対する誤差を小さくすることができる。
【0090】
次に、図１３に示す水中作業方法のフローを実行するための水中作業システムの構成を説明する。
【0091】
図１４に示す作業装置７１Ｂは、作業アーム７１１の姿勢情報（相対位置情報）を検出する姿勢センサ７１７を備えている。姿勢センサ７１７は、作業アーム７１１の姿勢情報として、例えば作業アーム７１１の各関節の回動角度を検出する。姿勢センサ７１７は、検出した作業アーム７１１の姿勢情報（回動角度）を作業装置コントローラ７２（アーム制御部７２２）へ出力する。作業装置コントローラ７２は、姿勢センサ７１７の検出した作業アーム７１１の姿勢情報（回動角度）を作業指令装置８０Ｂへ出力する。
【0092】
水中作業監視システム１Ｂは、作業指令装置８０Ｂを含んでいる。作業指令装置８０Ｂは、姿勢センサ７１７の検出した作業アーム７１１の姿勢情報（回動角度）を作業装置コントローラ７２から受け付ける。作業指令装置８０Ｂは、第１の実施形態の場合の作業設定部８１Ｂ、作業装置位置情報記憶部８２Ｂ、３次元位置情報記憶部８３に加えて、誤差判定部８４を有している。３次元位置情報記憶部８３の機能は、第１の実施形態の場合と同様なので説明を省略する。
【0093】
作業装置位置情報記憶部８２Ｂは、姿勢センサ７１７の検出した作業アーム７１１の姿勢情報（回動角度）を含む作業装置７１の位置情報を記憶装置に記憶させるものである。
【0094】
誤差判定部８４は、２次元ソナー２の作業中の計測結果を用いて行われる作業アーム７１１の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算の情報（図１３に示すステップＳ１３０の演算処理の情報）と姿勢センサ７１７の検出値から算出される作業アーム７１１の位置情報（姿勢情報）と比較することで、推定値である識別点ａ、ｂ、ｃ、ｄの３次元位置情報の誤差が予め設定した許容誤差の範囲内か否かを判定する誤差判定を行うものである（図１４に示すステップＳ１３５を参照）。例えば、作業装置位置情報記憶部８２Ｂによって記憶されている姿勢センサ７１７の検出値である作業アーム７１１の姿勢情報（例えば、作業アーム７１１の各関節の回動角度）と３次元位置情報記憶部８３によって記憶されている反射板７１５、７１６の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算（収束計算）の際に得られる作業アーム７１１の姿勢情報（たとえば、作業アーム７１１の各関節の回動角度）との差分（誤差）を演算し、演算結果の誤差が予め設定された閾値未満か否かを判定する。誤差判定部８４は、判定結果を作業設定部８１Ｂへ出力する。
【0095】
作業設定部８１Ｂは、演算結果の誤差が閾値以上である（図１３に示すステップＳ１３５にてＮＯ）と誤差判定部８４が判定した場合には、作業の中断又は誤差拡大の警告（図１３に示すステップＳ１５０）を行う指令を出力する。さらに、作業開始前の処理手順（図１３に示すステップＳ３０～Ｓ７０）の実行を指令する。すなわち、反射板７１５、７１６の識別点ａ、ｂ、ｃ、ｄの２次元位置情報と３次元位置情報の対応付けをやり直す指令を出力する。その後、作業を再開する指令を出力する。
【0096】
上述した第２の実施形態に係る水中作業方法及び水中作業システムによれば、第１の実施形態の場合と同様に、作業装置７１Ｂの作業中に２次元ソナー２の計測により２次元画像を収録して第１モニタ６（表示装置）に表示するので、作業中に３次元画像を収録して表示させる場合よりも、水中作業の可視化に要する時間を減らすことができる。また、作業開始前の３次元画像から算出する３次元初期位置を起点に作業中に更新される２次元画像の識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いることで識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報を推定して更新するので、２次元画像からは計測不能な識別点（監視対象）の３次元位置情報を把握することができる。これらのことから、水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる。
【0097】
また、本実施の形態に係る水中作業方法においては、作業装置７１Ｂの作業中に、作業装置７１Ｂの姿勢情報の検出値と作業装置７１Ｂの識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算の情報とを比較することで、識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行う。
【0098】
また、本実施の形態に係る水中作業システムにおいては、作業装置７１Ｂが作業装置７１Ｂの姿勢情報を検出する姿勢センサ７１７を有する。さらに、水中作業監視システム１Ｂが、作業装置７１Ｂの作業中に姿勢センサ７１７によって検出された姿勢情報と作業監視装置５による作業装置７１Ｂの識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算の情報とを比較することで、識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定値の誤差が許容範囲内であるか否を判定する誤差判定を行うように構成されている。
【0099】
この方法及びこの構成によれば、識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報の推定値に対して誤差判定を行うことで、識別点ａ、ｂ、ｃ、ｄ（監視対象）の位置をより正確に把握することができる。
【0100】
また、本実施の形態に係る水中作業方法においては、計測装置が超音波の発信により３次元位置情報を計測可能な３次元ソナー３である。また、誤差判定において前記誤差が許容範囲を超えていると判定された場合には、作業装置７１Ｂの作業を中断し、２次元ソナー２の計測により２次元画像を収録すると共に３次元ソナー３の計測により３次元画像を再収録し、作業中断後の３次元画像から、２次元ソナー２の設置位置Ｚ１を基準点とする識別点ａ、ｂ、ｃ、ｄの作業中断後の３次元位置情報を演算し、作業中断後の２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して演算結果の識別点ａ、ｂ、ｃ、ｄの作業中断後の３次元位置情報の対応付けを行い、作業装置７１Ｂの作業を再開する。
【0101】
また、本実施の形態に係る水中作業システムにおいては、上述の計測装置が超音波の発信により３次元位置情報を計測可能な３次元ソナー３である。また、作業監視装置５は、誤差判定において前記誤差が許容範囲を超えていると判定されることで作業装置７１Ｂの作業が中断された場合に、作業中断後に３次元ソナー３の計測により再収録された３次元画像から２次元ソナー２の設置位置Ｚ１を基準点とする識別点ａ、ｂ、ｃ、ｄの作業中断後の３次元位置情報を演算し、作業中断後に２次元ソナー２の計測により収録された２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して演算結果の識別点ａ、ｂ、ｃ、ｄの作業中断後の３次元位置情報の対応付けを行うように構成されている。
【0102】
この方法及びこの構成によれば、識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報の推定値の誤差が大きい場合に、作業中断後に収録された２次元画像における識別点ａ、ｂ、ｃ、ｄの２次元位置情報に対して作業中断後に再収録された３次元画像から算出される識別点ａ、ｂ、ｃ、ｄの３次元位置情報の対応付けを再び行うので、作業再開後の監視対象（識別点ａ、ｂ、ｃ、ｄ）の正確な位置を把握することが可能となる。
【0103】
［第３の実施形態］
次に、本発明の第３の実施形態に係る水中作業システム及び水中作業方法について図１５及び図１６を用いて説明する。図１５は本発明の第３の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。図１６は図１５に示す第３の実施形態に係る水中作業方法を実行する水中作業システムの構成を示すブロック図である。図１５及び図１６において、図１～図１４に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
次に、本発明の第３の実施形態に係る水中作業システム及び水中作業方法について図１５及び図１６を用いて説明する。図１５は本発明の第３の実施形態に係る水中作業システムによる水中作業方法の一例を示すフローチャートである。図１６は図１５に示す第３の実施形態に係る水中作業方法を実行する水中作業システムの構成を示すブロック図である。図１５及び図１６において、図１～図１４に示す符号と同符合のものは、同様な部分であるので、詳細な説明は省略する。
【0104】
図１５及び図１６に示す第３の実施形態に係る水中作業システムによる水中作業方法が第１の実施の形態と相違する点は、作業開始前に水中作業環境中に作業の障害となる障害物が計測された場合に、作業装置７１が作業中に障害物に干渉するか否かの干渉判定を行うことである。本実施の形態においては、作業開始前に障害物が計測された場合に、３次元ソナー３の計測結果から障害物の３次元位置情報を算出し、作業開始前の作業装置７１の作業アーム７１１と障害物との間の距離を演算する（図１５に示すステップＳ５５）。作業開始後は、作業アーム７１１の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算毎に作業アーム７１１と障害物との間の距離を演算し、演算結果の距離を予め設定した閾値と比較することで、作業アーム７１１の障害物への干渉（接触）の可能性の有無を判定する（図１５に示すステップＳ１３５Ｃ）。作業アーム７１１の障害物への干渉の可能性が無い（ステップＳ１３５ＣにてＮＯ）と判定した場合には、作業を継続する（図１５に示すステップＳ１１０～Ｓ１４０）。一方、障害物への干渉の可能性が有る（ステップＳ１３５ＣにてＹＥＳ）と判定した場合には、作業を中断するか、又は、障害物への干渉の警告を行う（図１５に示すステップＳ１５０Ｃ）。干渉の警告を行う場合には、作業を監視するオペレータの入力の有無によって作業の中断又は継続を判定するように構成することが可能である。
【0105】
作業を中断した場合には、作業開始前と同様な手順を行い、３次元ソナー３の計測結果を用いて作業アーム７１１と障害物との間の距離を再演算し、作業アーム７１１の障害物への干渉の可能性の有無を再確認する（図１５に示すステップＳ１６０～Ｓ２００）。すなわち、２次元ソナー２の再計測による２次元画像の収録及び３次元ソナー３の再計測による３次元画像の収録を行う（図１５に示すステップＳ１６０）。それから、作業開始前のステップＳ４０と同様に、２次元画像及び３３次元画像に対して監視対象の反射板７１５、７１６の識別点を再設定する（図１５に示すステップＳ１７０）。その後、作業開始前のステップＳ５０と同様に、設定した識別点ａ、ｂ、ｃ、ｄの３次元位置情報、すなわち、３次元画像の各断面θにおける距離ｒとピッチ角φを再演算する（図１５に示すステップＳ１８０）。次に、作業開始前のステップＳ５５と同様に、３次元ソナー３の計測結果から算出した障害物の３次元位置情報および再演算した識別点ａ、ｂ、ｃ、ｄの３次元位置情報を用いて作業アーム７１１と障害物との間の距離を再演算する（図１５に示すステップＳ１９０）。この再演算の結果は、３次元ソナー３の計測結果に基づく識別点の３次元位置情報を用いたものであり、２次元ソナー２の計測結果に基づく識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定値を用いた距離演算よりも高精度の結果を得ることができる。さらに、作業開始後のステップＳ１３５Ｃと同様に、ステップＳ１９０の演算結果の障害物への距離と閾値と比較することで、作業アーム７１１の障害物への干渉の可能性の有無を再判定する（図１５に示すステップＳ２００）。
【0106】
作業アーム７１１の障害物への干渉の可能性が有る（ステップＳ１３５ＣにてＹＥＳ）と判定した場合には、作業装置７１又は作業アーム７１１の作業位置を変更する（図１５に示すステップＳ２１０）。さらに、図１５に示すステップＳ１６０～Ｓ２００に戻り、作業装置７１又は作業アーム７１１の作業位置の変更後における作業アーム７１１の障害物への干渉の可能性の有無を再確認する。作業アーム７１１の障害物への干渉の可能性が無い（ステップＳ２００にてＮＯ）と判定した場合には、図１５に示すステップＳ１１０～Ｓ１４０に戻り作業を再開する。
【0107】
次に、図１５に示す水中作業方法のフローを実行するための水中作業システムの構成について説明する。
【0108】
図１６に示す水中作業監視システム１Ｃは、２次元ソナー２、３次元ソナー３、作業監視装置５Ｃなどの他に、作業指令装置８０Ｃを備えている。なお、作業監視装置５Ｃの機能部のうち、ソナー制御部５１、２次元画像記憶部５２、３次元画像記憶部５３、カメラ映像記憶部５４、識別点設定部５５、識別点照合部５７、時系列画像演算部５８については、第１の実施形態の場合と同様なので、その説明を省略する。
【0109】
作業監視装置５Ｃの３次元初期位置算出部５６Ｃは、第１の実施形態の場合と同様に反射板７１５、７１６の識別点の作業開始前の３次元初期位置（各ＹＺ平面θにおける距離ｒとピッチ角φ）を演算する（図１５に示すステップＳ５０）と共に、作業開始後の２次元ソナー２及び３次元ソナー３の再計測の結果に基づき反射板７１５、７１６の識別点ａ、ｂ、ｃ、ｄの３次元位置情報（各ＹＺ平面θにおける距離ｒとピッチ角φ）を演算する（図１５に示すステップＳ１８０）。加えて、作業開始前の３次元ソナー３の計測結果に基づき障害物の３次元位置情報を算出すると共に、作業開始後の２次元ソナー２及び３次元ソナー３の再計測に基づき障害物の３次元位置情報を算出する。３次元初期位置算出部５６Ｃは、演算結果である識別点ａ、ｂ、ｃ、ｄの３次元初期位置及び障害物の３次元位置情報を３次元位置情報更新部５９Ｃへ出力する。
【0110】
３次元位置情報更新部５９Ｃは、作業開始前の識別点ａ、ｂ、ｃ、ｄの３次元初期位置及び障害物の３次元位置情報を作業指令装置８０Ｃの３次元位置情報記憶部８３Ｃへ出力する。作業開始後は、２次元ソナー２の計測毎に更新されていく識別点ａ、ｂ、ｃ、ｄの３次元位置情報（推定値）を作業指令装置８０Ｃの３次元位置情報記憶部８３Ｃへ出力すると共に、２次元ソナー２及び３次元ソナー３の再計測の際に算出された識別点ａ、ｂ、ｃ、ｄの３次元位置情報及び障害物の３次元位置情報を作業指令装置８０Ｃの３次元位置情報記憶部８３Ｃへ出力する。
【0111】
作業指令装置８０Ｃは、第１の実施形態の場合の作業設定部８１、作業装置位置情報記憶部８２、３次元位置情報記憶部８３Ｃに加えて、干渉判定部８５を有している。作業設定部８１及び作業装置位置情報記憶部８２の機能は、第１の実施形態の場合と同様なのでその説明を省略する。
【0112】
３次元位置情報記憶部８３Ｃは、第１の実施形態の場合と同様に、作業開始前に３次元位置情報更新部５９Ｃから出力される識別点の３次元初期位置及び作業開始後に３次元位置情報更新部５９Ｃから逐次出力されて更新される識別点の３次元位置情報を記憶装置に記憶させる。さらに、作業開始前に３次元位置情報更新部５９Ｃから出力される障害物の３次元位置情報及び作業開始後に３次元位置情報更新部５９Ｃから出力された２次元ソナー２及び３次元ソナー３の再計測による識別点の３次元位置情報及び障害物の３次元位置情報を記憶装置に記憶させる。
【0113】
干渉判定部８５は、作業アーム７１１が障害物に干渉するか否かの干渉判定を行うものである。具体的には、３次元位置情報記憶部８３Ｃによって記憶されている作業開始前の障害物の３次元位置情報と識別点の３次元初期位置とを用いて作業アーム７１１と障害物との間の距離を演算する（図１５に示すステップＳ５５）。さらに、３次元位置情報記憶部８３Ｃによって記憶されている作業開始前の障害物の３次元位置情報と作業開始後に更新さていてく識別点の３次元位置情報とを用いて作業アーム７１１と障害物との間の距離を演算し、演算結果の距離を予め設定した閾値と比較することで作業アーム７１１が障害物に干渉するか否かの干渉判定を行う（図１５に示すステップＳ１３５Ｃ）。また、３次元位置情報記憶部８３Ｃによって記憶されている作業開始後の２次元ソナー２及び３次元ソナー３の再計測による障害物の３次元位置情報と識別点の３次元初期位置とを用いて作業アーム７１１と障害物との間の距離を演算し（図１５に示すステップＳ１９０）、演算結果の距離を閾値と比較することで作業アーム７１１が障害物に干渉するか否かの干渉判定を行う（図１５に示すステップＳ２００）。干渉判定部８５は、判定結果を作業設定部８１Ｃへ出力する。
【0114】
作業設定部８１Ｃは、干渉の可能性あり（図１５に示すステップＳ１３５ＣにてＹＥＳ）と干渉判定部８５が判定した場合には、作業の中断又は干渉の警告（図１３に示すステップＳ１５０Ｃ）を行う指令を出力する。さらに、２次元ソナー２及び３次元ソナー３の再計測による干渉の可能性の再判定（図１５に示すステップＳ１６０～Ｓ２００）の実行を指令する。
【0115】
上述した第３の実施形態に係る水中作業方法及び水中作業システムによれば、第１の実施形態の場合と同様に、作業装置７１の作業中に２次元ソナー２の計測により２次元画像を収録して第１モニタ６（表示装置）に表示するので、作業中に３次元画像を収録して表示させる場合よりも、水中作業の可視化に要する時間を減らすことができる。また、作業開始前の３次元画像から算出する３次元初期位置を起点に作業中に更新される２次元画像の識別点ａ、ｂ、ｃ、ｄの２次元位置情報を用いることで識別点ａ、ｂ、ｃ、ｄの作業中の３次元位置情報を推定して更新するので、２次元画像からは計測不能な識別点（監視対象）の３次元位置情報を把握することができる。これらのことから、水中作業を可視化して行う場合に監視対象の正確な位置の把握と共に濁水中の作業速度の低下を抑制することができる。
【0116】
また、本実施の形態に係る水中作業方法においては、作業開始前の２次元ソナー２及び３次元ソナー３（計測装置）の計測によって作業装置７１の作業の妨げになる障害物を計測した場合、作業開始前の３次元画像から得られる障害物の３次元位置情報および作業開始後の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算で得られる情報を用いることで作業装置７１から障害物までの距離を演算し、演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行う。
【0117】
また、本実施の形態に係る水中作業システムにおける水中作業監視システム１Ｃは、作業開始前の２次元ソナー２及び３次元ソナー３（計測装置）の計測によって作業装置７１の作業の妨げになる障害物が計測された場合には、作業開始前に収録された３次元画像から得られる障害物の３次元位置情報および作業開始後の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算で得られる情報を用いることで、作業中における作業装置から障害物までの距離を演算し、演算結果の距離が予め設定した閾値以下であるか否かを判定する干渉判定を行うように構成されている。
【0118】
この方法及びこの構成によれば、作業開始後の識別点ａ、ｂ、ｃ、ｄの３次元位置情報の推定演算で得られる情報を用いて作業中の作業装置７１と障害物との距離を演算することで作業装置７１と障害物の干渉判定を行うので、作業装置７１の障害物に対する接触を回避することが可能となる。
【0119】
また、本実施の形態に係る水中作業方法においては、計測装置が超音波の発信により３次元位置情報を計測可能な３次元ソナー３である。また、前記干渉判定において演算結果の距離が前記閾値以下であると判定された場合には、作業装置７１の作業を中断し、２次元ソナー２の計測により２次元画像を収録すると共に３次元ソナー３の計測により３次元画像を再収録し、作業中断後の３次元画像から得られる障害物の３次元位置情報および識別点ａ、ｂ、ｃ、ｄの３次元位置情報を用いることで、作業装置７１から障害物までの作業中断後の距離を演算し、演算結果の作業中断後の距離が前記閾値以下であるか否かを判定する干渉再判定を行う。
【0120】
また、本実施の形態に係る水中作業システムにおいては、計測装置が超音波の発信により３次元位置情報を計測可能な３次元ソナー３である。さらに、水中作業監視システム１Ｃは、前記干渉判定において演算結果の距離が閾値以下であると判定されることで作業装置７１の作業が中断された場合に、作業中断後に３次元ソナー３の計測により再収録された３次元画像から得られる障害物の３次元位置情報および識別点ａ、ｂ、ｃ、ｄの３次元位置情報を用いることで、作業装置７１から障害物までの作業中断後の距離を演算し、演算結果の作業中断後の距離が閾値以下であるか否かを判定する干渉再判定を行うように構成されている。
【0121】
この方法及びこの構成によれば、作業中断後に再収録された３次元画像から得られる障害物及び識別点ａ、ｂ、ｃ、ｄの３次元位置情報を用いて作業装置７１と障害物との距離を演算して作業装置７１と障害物の干渉再判定を行うことで、正確な干渉判定を行うことができるので、作業再開の可否の適切な判定が可能となる。
【0122】
また、本実施の形態に係る水中作業方法においては、前記干渉再判定において演算結果の作業中断後の距離が閾値を超えていると判定した場合には、作業装置７１の作業を再開する。一方、前記干渉再判定において演算結果の作業中断後の距離が閾値以下であると判定した場合には、作業装置７１の作業計画を変更する。
【0123】
この方法によれば、作業中断後に再収録された３次元画像から得られる障害物及び識別点ａ、ｂ、ｃ、ｄの３次元位置情報を用いた干渉再判定の判定結果に応じて作業再開の可否を判定しているので、妥当な判定により効率的な運用が可能となる。
【0124】
［その他］
なお、本発明は、上述した第１～第３の実施形態及びその変形例に限られるものではなく、様々な変形例が含まれる。上述した実施形態は本発明をわかり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、ある実施形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
なお、本発明は、上述した第１～第３の実施形態及びその変形例に限られるものではなく、様々な変形例が含まれる。上述した実施形態は本発明をわかり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、ある実施形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
【0125】
例えば、上述した第２の実施形態と第３の実施形態とを組み合わせる構成及び方法も可能である。すなわち、第２の実施形態における図１４に示す作業指令装置８０Ｂの誤差判定部８４による誤差判定（図１３に示すステップＳ１３５）と第３の実施形態における図１６に示す作業指令装置８０Ｃの干渉判定部８５による干渉判定（図１５に示すステップＳ１３５Ｃ）の両方を実行する構成及び方法も可能である。この場合、作業指令装置は、誤差判定部８４及び干渉判定部８５の機能部を有し、図１３に示すフローチャートと図１５に示すフローチャートとを組み合わせる。ただし、図１３に示すステップＳ１３５の誤差判定を図１５に示すステップＳ１３５Ｃの干渉判定よりも前に実行することが好ましい。
【0126】
また、上述した実施形態においては、監視対象の作業アーム７１１に対して平板状の２枚の反射板７１５、７１６を設置した例を示した。しかし、反射板の枚数は３枚以上も可能である。また、反射板の形状は、平板以外に、十字型や格子型、球や半球形状なども可能である。また、反射板は、内部の媒質を空気にして反射板の材質との音響インピーダンスの比を大きくして反射率を上げる構成も可能である。
【0127】
また、上述した実施形態においては、２次元ソナー２及び３次元ソナー３がそれぞれ１台である構成の例を示した。しかし、２次元ソナー２及び３次元ソナー３は、２台以上の構成とすることも可能である。
【符号の説明】
【0128】
１、１Ａ、１Ｂ、１Ｃ…水中作業監視システム、 ２…２次元超音波ソナー、 ２Ａ…兼用ソナー（超音波ソナー）、 ３…３次元超音波ソナー（計測装置）、 ５、５Ｃ…作業監視装置、 ６…第１モニタ（表示装置）、 ８０、８０Ｂ、８０Ｃ…作業指令装置、 ７１、７１Ｂ…作業装置、 ７１７…姿勢センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】