特許 7507753 機械学習を用いた３次元前方探知ソナー標的認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】機械学習を用いた３次元前方探知ソナー標的認識

(51)【国際特許分類】

   G01S 7/539 20060101AFI20240621BHJP

   G06T 7/00 20170101ALI20240621BHJP

   G06N 20/00 20190101ALI20240621BHJP

【ＦＩ】

G01S7/539

G06T7/00 350C

G06N20/00

【請求項の数】 24

(21)【出願番号】P 2021519634

(86)(22)【出願日】2019-10-09

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 US2019055435

(87)【国際公開番号】W WO2020139442

(87)【国際公開日】2020-07-02

【審査請求日】2022-09-27

(31)【優先権主張番号】62/743,768

(32)【優先日】2018-10-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515220476

【氏名又は名称】ファーサウンダー， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ジマーマン， マシュー ジェイソン

(72)【発明者】

【氏名】ヘンリー， ヒース

(72)【発明者】

【氏名】ベラード， オースティン

(72)【発明者】

【氏名】ラピスキー， エヴァン

【審査官】梶田 真也

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３７１０３９（ＵＳ，Ａ１）

【文献】特表２０１６－５１０１０６（ＪＰ，Ａ）

【文献】特開２０１６－１５１４６０（ＪＰ，Ａ）

【文献】米国特許第０６４４９２１５（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１６／０３０６０４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／００２５１８３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／００４６３２７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２５４３２４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ １／７２ － １／８２

Ｇ０１Ｓ ３／８０ － ３／８６

Ｇ０１Ｓ ５／１８ － ５／３０

Ｇ０１Ｓ ７／５２ － ７／６４

Ｇ０１Ｓ １５／００ － １５／９６

(57)【特許請求の範囲】

【請求項1】

水面下特徴を検出し分類する方法であって、前記方法は、
３次元前方探知ソナー（３Ｄ－ＦＬＳ）センサを動作させることにより、前記センサによって取得される標的強度値の３次元アレイを備えている３Ｄ－ＦＬＳデータを取得することと、
入力として前記３Ｄ－ＦＬＳデータを、（ｉ）後方散乱強度のアレイ及び（ｉｉ）参照源からの水深測量調査データを用いてラベル付けされた３Ｄ－ＦＬＳ訓練データを用いて訓練されたニューラルネットワークを含む機械学習アルゴリズムに提供することと、
前記アルゴリズムを用いて、前記３Ｄ－ＦＬＳデータ内の特徴を検出し、前記特徴を、ナビゲーション危険物になるのに十分に大きい海底または水中標的として分類することと
を含む、方法。

【請求項2】

前記標的強度値の３次元アレイは、後方散乱強度データのポイントクラウドを備えている、請求項１に記載の方法。

【請求項3】

前記３Ｄ－ＦＬＳデータは、センサの加速度読み取り値、ジャイロスコープの読み取り値、センサのロール方位、センサのピッチ方位、センサのヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および音速プロファイルのうちの１つ以上を備えているメタデータを備えている、請求項１に記載の方法。

【請求項4】

前記３Ｄ－ＦＬＳデータは、ボートの船体に搭載されるように構成されている３Ｄ－ＦＬＳシステムから取得される、請求項１に記載の方法。

【請求項5】

前記アルゴリズムは、前記３Ｄ－ＦＬＳシステムに動作可能に接続されているプロセッサにおいて実行される、請求項４に記載の方法。

【請求項6】

前記アルゴリズムは、畳み込みニューラルネットワークである、請求項１に記載の方法。

【請求項7】

二次源からデータを取得することと、
前記ラベル付けされた３Ｄ－ＦＬＳ訓練データを前記二次源からの前記データを用いて向上させることと
をさらに含む、請求項１に記載の方法。

【請求項8】

前記二次源からの前記データは、
手動でラベル付けされた体積型後方散乱強度データと、
マルチビーム音響測深機（ＭＢＥＳ）データと、
シングルビーム音響測深機（ＳＢＥＳ）データと、
異なる角度で、または異なる時間に同じソナーシステムから取得された３Ｄ－ＦＬＳデータと、
海図データと、
レーダデータと、
自動識別システム（ＡＩＳ）データと
のうちの１つ以上を備えている、請求項７に記載の方法。

【請求項9】

前記ＭＢＥＳデータまたは前記ＳＢＥＳデータは、前記３Ｄ－ＦＬＳデータと同じ船から取得される、請求項８に記載の方法。

【請求項10】

前記二次源からの前記データは、位置、速さ、および進行方向に関する情報を備えている、請求項７に記載の方法。

【請求項11】

航跡、ブイ、魚、ボートおよびエンジンノイズのうちの１つ以上として前記水中標的を下位分類することをさらに含む、請求項１に記載の方法。

【請求項12】

前記アルゴリズムは、前記３Ｄ－ＦＬＳデータ内の各ポイントのための分類を備えている出力を生成し、前記分類は、前記ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す、請求項１に記載の方法。

【請求項13】

水面下特徴のリアルタイム検出および分類のためのシステムであって、前記システムは、
船の前方の領域に音波を照射し、３次元前方探知ソナー（３Ｄ－ＦＬＳ）データを収集するように構成されている３Ｄ－ＦＬＳセンサを備えている３Ｄ－ＦＬＳデバイスであって、前記３Ｄ－ＦＬＳデータは、後方散乱強度データの体積型ポイントクラウドを形成するソナー帰還信号を備えている標的強度値の３次元アレイを備えている、３Ｄ－ＦＬＳデバイスと、
前記３Ｄ－ＦＬＳデバイスに動作可能に結合されているプロセッサと
を備え、
前記プロセッサは、ニューラルネットワークを備えている機械学習アルゴリズムを実行するように構成され、前記ニューラルネットワークは、（ｉ）後方散乱強度の３次元アレイ及び（ｉｉ）参照源からの水深測量調査データを用いてラベル付けされた３Ｄ－ＦＬＳ訓練データを用いて訓練されており、前記機械学習アルゴリズムは、前記３Ｄ－ＦＬＳデータ内の特徴を検出し、前記特徴を、海底または水中標的として分類するように動作可能である、システム。

【請求項14】

前記３Ｄ－ＦＬＳデバイスは、ボートの船体に搭載されるように構成されている、請求項１３に記載のシステム。

【請求項15】

前記３Ｄ－ＦＬＳデータは、センサの加速度読み取り値、ジャイロスコープの読み取り値、センサのロール方位、センサのピッチ方位、センサのヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および音速プロファイルのうちの１つ以上を備えているメタデータを備えている、請求項１３に記載のシステム。

【請求項16】

前記アルゴリズムは、畳み込みニューラルネットワークである、請求項１３に記載のシステム。

【請求項17】

前記プロセッサは、手動でラベル付けされた体積型後方散乱強度データを用いて前記訓練データを向上させるように構成されている、請求項１３に記載のシステム。

【請求項18】

前記アルゴリズムは、参照海底データを用いてさらに訓練されている、請求項１３に記載のシステム。

【請求項19】

前記プロセッサに動作可能に接続されている下方探知ソナーをさらに備え、前記下方探知ソナーは、前記参照海底データを取得するように構成されている、請求項１８に記載のシステム。

【請求項20】

前記下方探知ソナーは、音響測深機を備えている、請求項１９に記載のシステム。

【請求項21】

前記アルゴリズムは、異なる角度で、または異なる時間に前記３Ｄ－ＦＬＳデバイスから収集された３Ｄ－ＦＬＳデータを用いてさらに訓練されている、請求項１３に記載のシステム。

【請求項22】

前記プロセッサは、航跡、ブイ、魚、ボート、およびエンジンノイズのうちの１つ以上として前記水中標的を下位分類するようにさらに構成されている、請求項１３に記載のシステム。

【請求項23】

前記アルゴリズムは、前記３Ｄ－ＦＬＳデータ内の各ポイントのための分類を備えている出力を生成し、前記分類は、前記ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す、請求項１３に記載のシステム。

【請求項24】

前記特徴をそれらの分類または分類可能性を示すラベルとともに表示するためのディスプレイをさらに備えている、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、２０１８年１０月１０日に出願された米国仮特許出願第６２／７４３，７６８号の利益およびこの出願への優先権を主張し、その内容は、その全体が参照によって援用される。

【0002】

（本発明の分野）
本開示は、ソナーシステムに関し、特に、３次元前方探知ソナーデータを分析するための機械学習アルゴリズムに関している。

【背景技術】

【0003】

（背景）
暗礁に乗り上げることも、何らかの水面下物体または障害に衝突することもなく、ボートまたは他の航海船を安全にナビゲートすることは、海底または他の水中標的を検出し得るセンサ装備を必要とする。オペレータは、安全な航路を維持するために、センサによってピックアップされたデータを解釈して操作が必要であるか否かを決定することが可能である必要がある。水面下標的を識別することは、他の目的のためにも重要である。例えば、漁船は、海洋生物または他の水中特徴の位置を特定し、識別する必要があり得る。

【0004】

多くのボートは、水深測量測定のために、および水面下物体の検出のためにソナーに依拠している。ソナーシステムは、音響の伝播を用いて海底をマッピングし、水面下にある物体を識別する。３次元前方探知ソナーシステムは、秒単位で更新する大量のデータを生成し、それは、ボートのオペレータのためにデータを解釈しにくくする。したがって、これらのシステムは、リアルタイムナビゲーション用途へのそれらの適用を制限されていた。

【発明の概要】

【課題を解決するための手段】

【0005】

（概要）
本開示は、３次元ソナーデータを解読するために機械学習アルゴリズムを活用するソナーシステムおよび関連方法を提供し、３次元ソナーデータは、従来の検出アルゴリズムで既に利用可能である海底の深さの決定および水中標的の検出および分類のより精密かつ正確な決定、検出および分類を可能にする。開示される機械学習モデルは、本発明が３次元前方探知ソナー（３Ｄ－ＦＬＳ）データに適用した体積型データを解読するためのアーキテクチャに基づく。本発明では、訓練データのベースラインの組が、従来的な画像および信号処理技術を用いて生成され、機械学習モデルを訓練し評価するために用いられる。モデルは、追加のデータ入力を用いてさらに向上させられ、海底および水中標的検出の両方に関する誤った正例および誤った負例を除去する。

【0006】

モデルによる海底決定は、各種の源からの訓練データを用いて向上させられる。例えば、入力は、独立した参照源からの水深測量調査データ、またはシングルビームもしくはマルチビーム下方探知ソナー等の他のセンサからのデータを含み得、それらのデータは、船の通常の移動のコース中に重複する他の地理的に参照される入力データに関連付けられ得る。３次元後方散乱強度データに関する手動ラベル編集ツールは、オペレータによって実装されて、さらに訓練データを向上させ得る。一組のベースライン訓練における海底検出を向上させ拡大させるために用いられ得る他の入力が本明細書中で説明される。訓練データ内の海底ポイントのさらなる距離および数は、追加の入力特徴、パラメータ、または層を有する機械学習モデルによってフィッティングさせられ得る。より多くの特徴がモデルに入力されるにつれて、層および訓練可能なパラメータの数が増加させられ、性能を向上させる。

【0007】

水中標的に関して、訓練データは、独立した水深測量調査、表面レーダデータ、自動識別システムデータ、歴史上の海図データ、航空調査データ、視覚的観察、魚底引き網捕獲データ、および／または従来的に処理された３Ｄソナーデータの手動でラベル付けされた出力に由来する地理的に参照される水中標的場所を含む。

【0008】

本発明のシステムは、教師有り機械学習アルゴリズムによってソナーセンサのデータから標的検出および標的分類を抽出することが可能なソナープロセッサを含む。アルゴリズムへの入力は、ソナーセンサからの後方散乱強度の３次元アレイと、随意に、１つ以上の追加的入力とを含む。追加の入力は、センサロール方位、センサピッチ方位、センサヒーブ、１次元、２次元または３次元のセンサの回転速度、センサの進行方向、センサのコース、センサの緯度／経度、水温、水の塩分、船の速さ、船のコース、１次元、２次元または３次元のセンサ加速度測定値であり得る。

【0009】

本発明の側面は、水面下特徴を検出し分類するための方法を提供する。方法は、３次元前方探知ソナー（３Ｄ－ＦＬＳ）データを取得することと、入力として３Ｄ－ＦＬＳデータを機械学習アルゴリズムに提供することと、アルゴリズムを用いて３Ｄ－ＦＬＳデータ内の特徴を検出し、特徴を海底または水中標的として分類することとを伴う。

【0010】

実施形態において、３Ｄ－ＦＬＳデータは、後方散乱強度データのポイントクラウドであり、それは、ボートの船体に搭載された３Ｄ－ＦＬＳシステムから取得され得る。３Ｄ－ＦＬＳデータは、センサ加速度読み取り値、ジャイロスコープ読み取り値、センサロール方位、センサピッチ方位、センサヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および／または音速プロファイル等、追加のデータまたはメタデータも含み得る。アルゴリズムは、３Ｄ－ＦＬＳシステムに動作可能に接続されたプロセッサにおいて実行され得る。

【0011】

いくつかの実施形態では、アルゴリズムは、畳み込みニューラルネットワークである。アルゴリズムは、ラベル付けされた３Ｄ－ＦＬＳ訓練データにおいて訓練され得、３Ｄ－ＦＬＳデータ内の各ポイントに関する分類を備えている出力を生成し得、分類は、ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す。いくつかの実施形態では、水中標的は、航跡、ブイ、魚、ボート、および／またはエンジンノイズとしてさらに分類される。

【0012】

方法は、二次源からデータを取得することと、ラベル付けされた３Ｄ－ＦＬＳ訓練データを二次源データによって向上させることとをさらに伴う。二次源は、例えば、手動でラベル付けされた体積型後方散乱強度データ、参照源からの水深測量調査データ、３Ｄ－ＦＬＳデータと同一の船または異なる船から取得されたマルチビーム音響測深機データ（ＭＢＥＳ）、３Ｄ－ＦＬＳデータと同一の船から取得された同一の船から取得されたシングルビーム音響測深機データ（ＳＢＥＳ）、異なる角度で、または異なる時間に同一のソナーシステムから取得された３Ｄ－ＦＬＳデータ、海図データ、レーダデータ、および自動識別システム（ＡＩＳ）データであり得る。二次源データは、位置、速さ、および進行方向に関する情報を備え得る。

【0013】

関連する側面において、本発明は、水面下特徴のリアルタイム検出および分類のためのシステムを提供する。システムは、船の前方の領域に音波を照射し３Ｄ－ＦＬＳデータを収集するように構成された３次元前方探知ソナー（３Ｄ－ＦＬＳ）デバイスと、３Ｄ－ＦＬＳデバイスに動作可能に結合されたプロセッサとを含み、プロセッサは、３Ｄ－ＦＬＳデータにおいて機械学習アルゴリズムを実行し、３Ｄ－ＦＬＳデータ内の特徴を検出して分類するように構成され、特徴は、海底と水中標的とを備えている。

【0014】

実施形態において、３Ｄ－ＦＬＳは、ボートの船体に搭載され、３Ｄ－ＦＬＳが取得するデータは、後方散乱強度データの体積型ポイントクラウドを形成するソナー帰還信号である。３Ｄ－ＦＬＳデータは、センサの加速度読み取り値、ジャイロスコープの読み取り値、センサのロール方向、センサのピッチ方向、センサのヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および／または音速プロファイル等のデータまたはメタデータをさらに含み得る。システムは、特徴をそれらの分類または分類可能性を示すラベルと一緒に表示するためのディスプレイをさらに含み得る。

【0015】

実施形態において、アルゴリズムは、畳み込みニューラルネットワークであり得る。アルゴリズムは、ラベル付けされた３Ｄ－ＦＬＳ訓練データにおいて訓練され得る。アルゴリズムは、３Ｄ－ＦＬＳデータ内の各ポイントに関する分類を備えている出力を生成するように構成され得、分類は、ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す。実施形態において、プロセッサは、手動でラベル付けされた体積型後方散乱強度データまたは海底データによって訓練データを向上させるようにさらに構成されている。システムは、プロセッサに動作可能に接続され参照海底データを取得するように構成された音響測深機等の下方探知ソナーも含み得る。アルゴリズムは、異なる角度でまたは異なる時間に３Ｄ－ＦＬＳデバイスから収集された３Ｄ－ＦＬＳデータにおいても訓練され得る。プロセッサは、航跡、ブイ、魚、ボート、および／またはエンジンノイズとして水中標的を下位分類するようにさらに構成され得る。
本明細書は、例えば、以下の項目も提供する。
（項目１）
水面下特徴を検出し分類する方法であって、前記方法は、
３次元前方探知ソナー（３Ｄ－ＦＬＳ）データを取得することと、
入力として前記３Ｄ－ＦＬＳデータを機械学習アルゴリズムに提供することと、
前記アルゴリズムを用いて、前記３Ｄ－ＦＬＳデータ内の特徴を検出し、前記特徴を海底または水中標的として分類することと
を含む、方法。
（項目２）
前記３Ｄ－ＦＬＳデータは、後方散乱強度データのポイントクラウドを備えている、項目１に記載の方法。
（項目３）
前記３Ｄ－ＦＬＳデータは、センサの加速度読み取り値、ジャイロスコープの読み取り値、センサのロール方位、センサのピッチ方位、センサのヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および音速プロファイルのうちの１つ以上を備えているメタデータを備えている、項目１に記載の方法。
（項目４）
前記３Ｄ－ＦＬＳデータは、ボートの船体に搭載されるように構成されている３Ｄ－ＦＬＳシステムから取得される、項目１に記載の方法。
（項目５）
前記アルゴリズムは、前記３Ｄ－ＦＬＳシステムに動作可能に接続されているプロセッサにおいて実行される、項目４に記載の方法。
（項目６）
前記アルゴリズムは、畳み込みニューラルネットワークである、項目１に記載の方法。
（項目７）
前記アルゴリズムは、ラベル付けされた３Ｄ－ＦＬＳ訓練データにおいて訓練されている、項目１に記載の方法。
（項目８）
二次源からデータを取得することと、
前記ラベル付けされた３Ｄ－ＦＬＳ訓練データを前記二次源データを用いて向上させることと
をさらに含む、項目７に記載の方法。
（項目９）
前記二次源データは、
手動でラベル付けされた体積型後方散乱強度データと、
参照源からの水深測量調査データと、
マルチビーム音響測深機データ（ＭＢＥＳ）と、
シングルビーム音響測深機データ（ＳＢＥＳ）と、
異なる角度で、または異なる時間に同じソナーシステムから取得された３Ｄ－ＦＬＳデータと、
海図データと、
レーダデータと、
自動識別システム（ＡＩＳ）データと
のうちの１つ以上を備えている、項目８に記載の方法。
（項目１０）
前記ＭＢＥＳデータまたはＳＢＥＳデータは、前記３Ｄ－ＦＬＳデータと同じ船から取得される、項目９に記載の方法。
（項目１１）
前記二次源データは、位置、速さ、および進行方向に関する情報を備えている、項目８に記載の方法。
（項目１２）
航跡、ブイ、魚、ボートおよびエンジンノイズのうちの１つ以上として前記水中標的を下位分類することをさらに含む、項目１に記載の方法。
（項目１３）
前記アルゴリズムは、前記３Ｄ－ＦＬＳデータ内のポイントにおける各ポイントのための分類を備えている出力を生成し、前記分類は、前記ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す、項目１に記載の方法。
（項目１４）
水面下特徴のリアルタイム検出および分類のためのシステムであって、前記システムは、
船の前方の領域に音波を照射し、３Ｄ－ＦＬＳデータを収集するように構成されている３次元前方探知ソナー（３Ｄ－ＦＬＳ）デバイスと、
前記３Ｄ－ＦＬＳデバイスに動作可能に結合されているプロセッサと
を備え、
前記プロセッサは、前記３Ｄ－ＦＬＳデータに基づいて機械学習アルゴリズムを実行し、前記３Ｄ－ＦＬＳデータ内の特徴を検出し分類するように構成され、前記特徴は、海底および水中標的を備えている、システム。
（項目１５）
前記３Ｄ－ＦＬＳデバイスは、ボートの船体に搭載されるように構成されている、項目１４に記載のシステム。
（項目１６）
前記３Ｄ－ＦＬＳデータは、後方散乱強度データの体積型ポイントクラウドを形成するソナー帰還信号を備えている、項目１４に記載のシステム。
（項目１７）
前記３Ｄ－ＦＬＳデータは、センサの加速度読み取り値、ジャイロスコープの読み取り値、センサのロール方位、センサのピッチ方位、センサのヒーブ、センサの進行方向、センサのコース、センサの緯度、センサの経度、水温、水の塩分、および音速プロファイルのうちの１つ以上を備えているメタデータを備えている、項目１４に記載のシステム。
（項目１８）
前記アルゴリズムは、畳み込みニューラルネットワークである、項目１４に記載のシステム。
（項目１９）
前記アルゴリズムは、ラベル付けされた３Ｄ－ＦＬＳ訓練データにおいて訓練されている、項目１４に記載のシステム。
（項目２０）
前記プロセッサは、手動でラベル付けされた体積型後方散乱強度データを用いて前記訓練データを向上させるように構成されている、項目１９に記載のシステム。
（項目２１）
前記アルゴリズムは、参照海底データに基づいてさらに訓練されている、項目１９に記載のシステム。
（項目２２）
前記プロセッサに動作可能に接続されている下方探知ソナーをさらに備え、前記下方探知ソナーは、前記参照海底データを取得するように構成されている、項目２１に記載のシステム。
（項目２３）
前記下方探知ソナーは、音響測深機を備えている、項目２２に記載のシステム。
（項目２４）
前記アルゴリズムは、異なる角度で、または異なる時間に前記３Ｄ－ＦＬＳデバイスから収集された３Ｄ－ＦＬＳデータに基づいてさらに訓練されている、項目１９に記載のシステム。
（項目２５）
前記プロセッサは、航跡、ブイ、魚、ボート、およびエンジンノイズのうちの１つ以上として前記水中標的を下位分類するようにさらに構成されている、項目１４に記載のシステム。
（項目２６）
前記アルゴリズムは、前記３Ｄ－ＦＬＳデータ内のポイントにおける各ポイントのための分類を備えている出力を生成し、前記分類は、前記ポイントが（ｉ）海底、（ｉｉ）水中標的、または（ｉｉｉ）背景に対応する可能性を表す、項目１４に記載のシステム。
（項目２７）
前記特徴をそれらの分類または分類可能性を示すラベルとともに表示するためのディスプレイをさらに備えている、項目１４に記載のシステム。

【図面の簡単な説明】

【0016】

【図1】図１は、３Ｄ前方探知ソナーシステムを示している。

【0017】

【図2】図２は、３Ｄ－ＦＬＳを用いた単一のピングからの標的強度値の３Ｄ投影の例を示している。

【0018】

【図3】図３は、信号および画像処理技術のフローチャートを示している。

【0019】

【図4】図４－図６は、センサのピングに関連付けられた調査データを示している。

【図5】図４－図６は、センサのピングに関連付けられた調査データを示している。

【図6】図４－図６は、センサのピングに関連付けられた調査データを示している。

【0020】

【図7】図７および図８は、移動する船の経路に沿ったデータ収集を例証している。

【図8】図７および図８は、移動する船の経路に沿ったデータ収集を例証している。

【0021】

【図9】図９は、本発明の使用のための例示的コンピュータ環境を示している。

【0022】

【図10】図１０および図１１は、２つの体積型モデルの性能の例を示している。

【図11】図１０および図１１は、２つの体積型モデルの性能の例を示している。

【発明を実施するための形態】

【0023】

（詳細な説明）
本開示は、ナビゲーション用途のための３Ｄ－ＦＬＳデータにおける自動リアルタイム標的検出のためのシステムおよび方法を提供する。本発明において、３Ｄ－ＦＬＳセンサは、データの体積型ポイントクラウドを生成し、データは、海底および水中標的の両方を検出するように構成されたアルゴリズムによって解読される。本発明のアルゴリズムは、３Ｄ－ＦＬＳデータから学習すること、および３Ｄ－ＦＬＳデータに基づいて予測を作成することの両方ができ、従来の画像および信号処理技術に比べて優れた出力を提供する。アルゴリズムは、以下で説明されるように、１つ以上の二次データ源に基づいて訓練することによってさらに向上させられ得る。

【0024】

本発明の船は、船体に取り付けられたトランスデューサモジュールを有し得、トランスデューサモジュールは、１つ以上のソナー伝送トランスデューサまたはソナー受信トランスデューサを含み、随意に、本明細書中で説明されるアルゴリズムを実行するためのソナー処理電子機器、本明細書中で説明されるデータ収集を実行するためのソナー処理電子機器、本明細書中で説明される訓練を実行するためのソナー処理電子機器、および本明細書中で説明される処理機能を実行するためのソナー処理電子機器のうちのいくつかまたは全てを含み得る。好ましくは、トランスデューサ内のユニットは、船内または遠隔に位置し得るオペレータにアクセス可能なディスプレイユニットに結合されている。そのようなトランスデューサモジュールを有するソナーシステムは、例えば、海底調査、水雷検出、および釣り等の娯楽的趣味を含む各種の目的のために用いられ得る。ソナーアレイのうちの少なくとも１つは、前方探知ソナーであり、前方探知ソナーは、ボートの先の危険な浅瀬および障害物、または、難破船、岩山、魚、もしくは他の海洋生物のような他の水中物体を検出するために用いられ得る。以下で説明されるように、音響測深機等の他のセンサも本発明に対応可能である。

【0025】

図１は、特定の実施形態による３Ｄ前方探知ソナー（３Ｄ－ＦＬＳ）システム１１１を描写している。前方探知ソナーシステム１１１は、伝送デバイス１１９と受信アレイ１１５とを含む。レシーバの静電容量特性に起因して、レシーバプリアンプは、各レシーバ要素の近くに位置付けられ得る。レシーバのチャンネル数に起因して、残りのレシーバ電子機器は、トランスデューサモジュール内に位置付けられている可能性が最も高い。これは、トランスデューサモジュールからプロセッサモジュールに伸びることを必要とされる個々の導体の数を低減させる。前方探知システム１１１は、単一のピングで船の前方の３次元画像を生成することが可能である。実施形態において、前方探知システム１１１レシーバアレイ１１５は、アレイが鉛直方向性および水平方向性の両方を有するように向けられた要素を有する２次元アレイから成る。本発明の１つの実施形態では、従来的なビーム形成が、鉛直方向および水平方向の両方において活用されている。別の実施形態では、ビーム形成が水平方向において活用され、干渉法が鉛直方向において用いられる。この実施形態の１つのバリエーションでは、レシーバ要素は、水平の向きより鉛直の向きに長いような形状である。上の実施形態の１つのバリエーションでは、レシーバアレイは、平坦でない形状に適合している。３Ｄソナーシステムは、米国特許第７，０３５，１６６号および米国特許公報第２０１５／０３６９９０８号において説明されており、それらの各々の内容が、参照によって援用される。

【0026】

好ましい実施形態では、伝送トランスデューサ１１９は、受信アレイ１１５から分離しており、伝送トランスデューサ１１９は、単一の伝送が船の前方の対象体積全体に音波を照射でき、この対象体積がレシーバシステムの鉛直範囲および水平範囲全体に対応するように十分大きい水平および鉛直のビームパターンを有する。この実施形態の１つのバリエーションでは、トランスミッタは、２つ以上の水平の行から成り、それによって、伝送されるビームパターンは、標準的なフェイズドビーム操向または時間遅延ビーム操向の使用によって鉛直方向に操向させられ得る。前方探知システムは、好ましくは、トランスデューサモジュール内に収容されている。

【0027】

３Ｄ－ＦＬＳシステムの課題の１つは、それらが人間のオペレータによってリアルタイムで解読することが困難であり得ることである。３Ｄ－ＦＬＳシステムは、体積型ポイントクラウドの形式で大量のデータを生成し、体積型ポイントクラウドは、ソナーシステムのピング毎に秒単位で更新する。迅速に変化する大量のデータに起因して、人間のオペレータがデータを用いてリアルタイムで船をナビゲートすることは、非常に困難である。

【0028】

したがって、本開示は、３Ｄ－ＦＬＳデータを解釈し表示するための機械学習モデルを用いたリアルタイムでのナビゲーションのためのソナーベースのシステムのための自動標的認識を提供する。自動標的認識アルゴリズムも、ナビゲーション用３Ｄ－ＦＬＳの自律的適用のために用いられ得る。本発明の実施形態では、ナビゲーション用３Ｄ－ＦＬＳシステムは、船の前方（概して、左舷および右舷に対して６０度で約１０００メートル前方、または左舷および右舷に対して９０度で約５００メートル前方）の体積に音波を照射し、船首に搭載されたトランスデューサアレイを用いて後方散乱レベルを収集する。結果として生じるデータは、船の前方における標的強度値の３Ｄポイントクラウドを提供する。概して、システムは、数秒に一度、例えば１．６秒に一度ピングする。

【0029】

図２は、３Ｄ－ＦＬＳを用いた単一のピングからの標的強度値の３Ｄ投影の例を示している。ポイント２０１に位置付けられた船は、前方探知方向にソナー信号を発する。データは、比較的低い信号対ノイズ比（ＳＮＲ）を有する後方散乱情報の高密度なクラウドである。明確性のために、図は、鉛直平面２１０、水平平面２２０、および放射面２３０を示しているが、辺２５０によって画定される体積全体を表すデータが取得されることが理解されるべきである。システムは、ピング毎に新たな体積型ポイントクラウドを取得する。

【0030】

結果として生じるデータは、トランスデューサアレイによって処理される。図２に示される視覚化において、音調の変動は、デシベルでの標的強度に対応している。オペレータが生ソナーデータを視覚的に調べて海底および任意のナビゲーション危険物の場所を識別することは、多大な訓練および注意深さを必要とするであろう。全体のデータセットが高速で新しくなる場合、データを人力で監視して標的を認識しナビゲーションを決定することは、困難な作業である。したがって、本明細書中で説明される自動標的認識アルゴリズムは、ナビゲーション用３Ｄ－ＦＬＳデータの使用および理解の容易さを増加させる。

【0031】

図２に示されるように３Ｄ－ＦＬＳを用いて取得された後方散乱結果の３Ｄポイントクラウドを活用するために、データは、エンドユーザにとって理解することが容易である態様で処理され、提示されなければならない。図３は、従来の信号および画像処理技術を用いて、データ内の標的を検出し、船の前方の海底および任意のナビゲーション危険物の場所に関する情報を取得する処理チェーン３００のフローチャートを示している。ビームフォーマ３１０は、前方向に伝送されレシーバのアレイによって受信されるソナー信号から角度の関数として後方散乱信号の体積型プロットを生み出す。ソナーの戻りは、標的抽出部３２１および標的分類部３２２によって定義される検出アルゴリズム３２０に入る。標的抽出部３２１は、データ内の物体を表す可能性が高い特徴を決定し、標的分類部３２２は、特徴が海底、水中標的、または背景のどれであるかを識別する。標的分類部３２２は、船の向きを示すピッチロールセンサ３３０等の他のセンサからの入力も受信する。表面クラッター残響除去フィルタ３４０は、海面クラッターを示すデータ内のエコーを識別し、クラッターを引き起こす体積または表面の知識を標的分類部３２２に提供する。これらの入力を用いて、標的分類部３２２は、水中標的モデル３５０および海底モデル３６０を生成する。これらのモデルは、海底および水中標的の両方を示す単一のディスプレイ３７０に結合され、ディスプレイ３７０は、船のナビゲーションのためにオペレータによって使用され得る。加えて、水中標的は、航跡、ブイ、魚、動く標的、静止標的、ボート、または関連ノイズ（例えば、エンジンノイズ）を含む各種の下位分類にさらに分類され得る。

【0032】

本発明の検出アルゴリズムは、リアルタイムでデータを解釈し得る機械学習モデルである。開示される機械学習ベースの標的検出方法は、ソナー用途のために開発されてきた他の標的検出方法または標的認識方法を向上させる。従来の方法は、固定閾値または適応性閾値のいずれかを用いてソナーの戻り内のピークを決定し、データのポイントを分類することに基づいている。エッジ検出等の画像処理技術は、標的をアルゴリズム的に検出するために閾値処理と組み合わせて用いられ得る。

【0033】

本発明において、機械学習アルゴリズムを実行するプロセッサは、船の前方の体積を走査する３Ｄ－ＦＬＳから、後方散乱強度データの３Ｄポイントクラウドを取得する。開示されるシステムは、データに機械学習モデルを適用し、ソナーのピングサイクル時間内の単一のピングから収集されたソナーデータを処理する。

【0034】

３Ｄ畳み込み層を実装する畳み込みニューラルネットワーク（ＣＮＮ）は、画像セグメンテーションおよびソナーデータによって提示される物体検出問題のために特に有用なモデルである。ＣＮＮフレームワークは、ソナー画像内の水雷のような物体または小型遠隔操作船の検出のために用いられてきた。しかし、従来の前方探知ソナー画像内の物体検出における先行の試行は、前方探知ソナーデータにおける典型的に低い信号対ノイズ比および公共的に利用可能なラベル付けされたデータの不足に起因して、効果的ではなかった。先行の前方探知ソナー画像検出は、短範囲高分解能２Ｄ撮像ソナーを考えていた。今回開示されるシステムおよび方法は、３Ｄ－ＦＬＳデータを用い、標的強度または後方散乱強度値の３Ｄポイントクラウドを生成し得る。

【0035】

データの体積型ポイントクラウドを分析するためのいくつかのＣＮＮフレームワークが、自律運転用途、ならびに、ＭＲＩおよび共焦点顕微鏡データ等の医療撮像用途において用いられてきたが、ここで開示されるモデルは、初めて３Ｄ－ＦＬＳデータを用いる。加えて、開示されるモデルは、アルゴリズムを向上させるために他の二次データ源を提供し、それによって、３Ｄデータのための既に公知のＣＮＮベースのモデルに勝る向上した標的検出性能を提供する。

【0036】

いくつかの実施形態では、開示されるシステムアーキテクチャは、３Ｄ Ｕ－ＮｅｔおよびＶ－Ｎｅｔアーキテクチャ等、体積型データを処理するための公知のＣＮＮアーキテクチャの修正されたバージョンである。アーキテクチャは、Ｃｉｃｅｋ ｅｔ ａｋ，「３Ｄ Ｕ―ｎｅｔ： Ｌｅａｒｎｉｎｇ ｄｅｎｓｅ ｖｏｌｕｍｅｔｒｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ ｓｐａｒｓｅ ａｎｎｏｔａｔｉｏｎ」，Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ （ｉｎｃｌｕｄｉｎｇ ｓｕｂｓｅｒｉｅｓ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ）， ｖｏｌ． ９９０１ ＬＮＣＳ， ｐｐ．４２４－４３２， ２０１６、および、Ｍｉｌｌｅｔａｒｉ ｅｔ ａｋ，「Ｖ―Ｎｅｔ： Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｖｏｌｕｍｅｔｒｉｃ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，」 ｐｐ． １―１１， ２０１６において説明されており、その両方が参照によって本明細書中に援用される。両アーキテクチャにおいて、特徴層の数は、ＧＰＵメモリのフットプリントを低減させるように調整され得る。

【0037】

３Ｄ Ｕ－Ｎｅｔおよび３Ｄ Ｖ－Ｎｅｔアーキテクチャの修正されたバージョンは、３Ｄ－ＦＬＳデータを処理するために用いられ得る。３Ｄ－ＦＬＳセンサによって生成される入力データのサイズに起因して、体積型畳み込みにおいて用いられるフィルタの数は、Ｕ－ｎｅｔモデルおよびＶ－Ｎｅｔモデルの両方から低減させられ、それによって、８ＧＢ Ｎｖｉｄｉａ ＧＴＸ １０７０ ＧＰＵにおけるメモリリソースを使い果たすことなく正しく訓練され得る。代替的実施形態において、これは、より多くの利用可能なＧＰＵメモリを有するシステムにおいて実行され得る。しかしながら、現在（４ＧＢのＧＰＵメモリを有する）Ｎｖｉｄｉａ ＧＴＸ １０５０で指定されているコンピュータにおいてリアルタイム標的検出用ネットワークを展開するために、フィルタの数が低減させられ得る。

【0038】

代替的実施形態では、これらのモデルの２Ｄバージョンが、３Ｄ畳み込みを２Ｄ畳み込みに切り替えることによって作り出され得、３Ｄ入力データの２Ｄスライスをモデルに入力することによってテストされ得る。同一のサイズのＧＰＵメモリフットプリントに関して、モデルの２Ｄバージョンは、データを通した隣接するスライスに関する情報を無視しつつ、より多くのフィルタが各層において考慮されることを可能にする。

【0039】

本開示は、概して、画像セグメンテーションおよび物体検出動作のためのＣＮＮにおける実装を言及しているが、本テクノロジが概して教師有り機械学習に適用可能であり、特定のタイプの機械学習アルゴリズムに依存しないことが理解されるべきである。モデルは、異なるネットワークアーキテクチャおよび損失関数、オプティマイザ、ならびに／またはハイパーパラメータの組み合わせに対応可能である。ネットワークアーキテクチャは、所与の用途のための任意の機械学習ベースのモデルの効力のために重要であり、３Ｄデータを処理するための多くの異なるシステムアーキテクチャが、本明細書中で開示される方法において用いられ、および／または向上させられ得る。

【0040】

モデルがＣＮＮかまたは他のタイプの教師有り機械学習アルゴリズムであるかどうかに関わらず、モデルは、図２に示されるアレイ等の後方散乱強度の３次元アレイの入力を用いて訓練される。そのようなアレイ内のボクセルの数は、数百万の単位である。ラベル付けされたデータの初期訓練の組は、センサレベルデータを人間が読み取り可能な検出マップに変換するために、図３に示されるアルゴリズム等の従来のアルゴリズムによって生成され得る。いくつかの実施形態では、訓練データは、以下でより詳細に議論される方法によって、手動で、または従来の後処理アルゴリズムによって、外れ値を除去され得る。アルゴリズムは、出力として、入力体積内の各ポイントに関する「クラス」ラベルを生成し、（１）背景、（２）海底、または（３）水中標的のいずれかとしてポイントを識別する。これは、最初の３次元での入力と同一形状であるが最後に付与された３要素ベクトルの追加の次元を有する出力を生み出す。最後の次元における３要素ベクトルは、ボクセルが背景、海底、または水中標的である可能性を表す。

【0041】

従来の処理アルゴリズムから開発された訓練データにおいて機械学習モデルを訓練することに加え、本発明は、さらなる入力を含み、さらなる入力は、検出器の性能を高めるために追加され得る。これらの入力は、二次源からのラベル付けされたデータであり得、それらは、３Ｄ－ＦＬＳデータ入力を向上させることを助ける。いくつかの実施形態では、二次データは、信頼性のある基準源から、またはクラウドソーシングされたデータからのものである。他の実施形態では、手動でラベル付けされたデータが追加される。いくつかの実施形態では、ソナー以外の他のタイプのセンサからのデータが、３Ｄ－ＦＬＳデータを増強させるために用いられる。システムが新たな信号を動作させて解読しているとき、アルゴリズムは、これらの入力に基づいて継続的に訓練され得る。

【0042】

手動でラベル付けされた海底または水中標的は、訓練データに追加され得る。手動でラベル付けされたデータは、船の航跡またはエンジンノイズの干渉等、オペレータによって認識され得る特定の所望されない特徴を除去するために特に有用である。船の航跡またはエンジンノイズの干渉等の標的を検出し続けるようにモデルを訓練することを避けるために、随意の実施形態において、本発明は、データからそれらの特徴を手動で取り払うためのツールを提供する。ツールは、ソナーオペレータが相互作用し得るディスプレイに動作可能に結び付けられ得る。オペレータは、ディスプレイで各ピングを調べ、クラッター、航跡、または干渉として識別されたオブジェクトのいくつかをタグ付けし得る。したがって、これらの手動でラベル付けされたタグでモデルを訓練することによって、アルゴリズムは、実際の標的を示していない特定の検出を無視することを学習し得る。

【0043】

手動でラベル付けされたデータに加え、アルゴリズムは、入力として他の源からのデータも受け入れ得る。本発明は、海底および水中標的（ＩＷＴ）の２つの特徴のクラスの各々におけるデータを訓練することを向上させるために異なる手法を想定している。これらの手法は、互いに別々に、または一緒に用いられ得る。

【0044】

海底検出は、深さに関する情報の他の源を参照して向上させられ得る。概して、海底検出は、船の前方の海底の深さを測定する。しかしながら、本発明では、これらの測定は、既知の基準源からの訓練データで補足され得る。例えば、Ｎａｔｉｏｎａｌ Ｏｃｅａｎｉｃ ａｎｄ Ａｔｍｏｓｐｈｅｒｉｃ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ （ＮＯＡＡ）によって収集された水深測量調査データが、３Ｄ－ＦＬＳによって生成される海底の検出を補足するために用いられ得る。ＮＯＡＡ調査データは、より高い分解能のセンサ（マルチビーム音響測深機）を用いて収集され、水路測量技師による後処理で洗練されているので、部分的に有用な補足である。したがって、領域が比較的最近調査されたことを仮定すると、ＮＯＡＡ調査データは、領域内のグラウンドトゥルース深さの合理的に適切な推定であり得る。これらの調査は、調査ポイントについての場所および深さを含む訓練データ内のデータベースに追加される。

【0045】

各ピングに関して、データベースは、センサの視野（ＦＯＶ）内にある調査されたポイントを問い合わせられる。図４－図６は、３Ｄ－ＦＬＳの単一のピングの視野内に含まれるＮＯＡＡ調査データを示している。側面図が、図４において示され、見下げ図が、図５に示され、回転図が、図６に示されている。３つのサブプロットは、対象の水深測量を有する領域内の位置の関数として深さを例証している。このフィッティング手続が、多くのピングにわたって適用される。

【0046】

放射基底関数（ＲＢＦ）補間部は、センサ視野内の所与の緯度および経度におけるこの深さの組をフィッティングするために用いられ得る１つの例示的方法である。３Ｄポイントクラウド内の各ポイントのために、ＲＢＦ補間部を用いて予測される場合、緯度および経度が、深さを算出するために用いられる。算出された深さが、３Ｄクラウド内のポイントの深さの任意に選択された許容値に属する場合、ポイントは、底としてラベル付けされる。ラベルの新たなアレイは、モデルを訓練するために保存され、用いられる。

【0047】

別の二次水深測量データ源は、クラウドソーシングされたデータであり得る。他の船からの水深測量の読み取り値は、１つ以上のポイントにおいて合意された深さを形成し得、モデルのための入力として用いられ得る。いくつかの実施形態では、システムは、他の近くの船から現在の水深測量データを受信し得、またはデータベースから履歴データを受信し得る。

【0048】

ＮＯＡＡもしくはクラウドソーシングされたデータ、または別の信頼性のある源からの水深測量データを用いてラベル付けされた訓練データを向上させることに加え、データは、他の方法によっても向上させられ得る。例えば、単純な下方探知音響測深機がＦＬＳデータより正確な水深の測定を提供することが知られている。したがって、ほぼ全ての船に搭載されて含まれている高分解能マルチビーム音響測深機（ＭＢＥＳ）ソナーまたは標準的なシングルビーム音響測深機（ＳＢＥＳ）からのデータは、船の軌跡に沿って海底データを収集するために用いられ得る。船が前方に移動するとき、音響測深機のカバレッジラインは、前方探知ソナーの現在の視野に重複する。音響測深機からの重複底測定は、訓練データ／ラベルが生成されるときの船の軌跡に沿ってラベルを向上させるために用いられ得る。つまり、ＦＬＳのＦＯＶ内またはＦＬＳからの現在のピングのＦＯＶ内の海底の深さに関するＳＢＥＳセンサからの情報が存在する場合、その情報は、次のモデルの開発のために訓練の組において海底をラベル付けするために用いられる。

【0049】

訓練においてラベル付けされた海底データを向上させる別の手法は、上の手法と同様であるが、追加的な音響測深機センサを必要としない。その代わり、この方法は、３Ｄ－ＦＬＳデータ自体に依拠する。概してＦＬＳから急な下方探知角度が浅い下方探知角度よりビームのフットプリント内の水深のより正確な測定を提供することが知られている。船の運動、センサの不正確性、およびより低いＳＮＲに起因して、（ＦＬＳセンサから海底への角度がより急である）船により近い海底の検出は、（より浅い角度で）より遠く離れて行われる検出より正確である。３Ｄ－ＦＬＳからのより高い正確性の短距離海底検出は、船が前進するにつれて、長距離海底検出に重複する。したがって、システムは、訓練を向上させるために、および／またはモデルのライブ訓練のために、「過去の」長距離検出に代えて「現在の」急角度ＦＬＳデータをグラウンドトゥルース水深測量として用い得る。より高い正確性の短距離海底３Ｄ－ＦＬＳ検出が、訓練データ／ラベルの組が生成されるときに海底に関する訓練ラベルを向上させるために用いられ、これらの更新されたデータが、訓練においてモデルの海底予測を向上させるために用いられる。つまり、同一の領域から取得されるが異なる時間または角度で撮影された３Ｄ－ＦＬＳデータが、自身のデータセットを向上させるために用いられ得る。

【0050】

この重複が、図７および図８に示されている。図７において、船７５０は、前方向に移動し、船が前進するにつれて一連のピング７０１－７０４で３Ｄ－ＦＬＳデータを取得しているように示されている。３Ｄ－ＦＬＳは、船の前方においてＶ字型ＦＯＶを有し、音響測深機より遥かに広い幅に伝わる。各Ｖ字型ピングは、船の船首を始点とする９０°の弓形で図中に表されている。船が経時的に移動するにつれて、船は、以前にピングを取得した領域を通って進み、それによって、同一の海底の場所に対応するが異なる角度から取得された複数のデータポイントを生成する。

【0051】

ピング７０１は、時刻ｔ_１におけるカバレッジゾーンを表す。ピング７０２は、時刻ｔ_２におけるカバレッジゾーンであり、ピング７０３は、時刻ｔ_３におけるカバレッジゾーンであり、ピング７０４は、時刻ｔ_４におけるカバレッジゾーンである。これらのピングは、例えば１．６秒間隔であり得る。図中に見られ得るように、７１０で番号付けされたくさび形の領域は、ピング７０２、７０３、および７０４によって覆われている、時刻ｔ_２において、ピング７０２はおそらく５００～１０００メートル離れた距離から浅い角度で領域７１０のデータを収集する。時刻ｔ_３において、船７５０は、より領域７１０の近くに前進しており、ピング７０３は、比較的急角度で追加のデータポイントを取得する。時刻ｔ_４において、領域７１０は、船７５０のすぐ近くにあり、ピング７０４によって収集されたデータは、急峻な角度である。急峻な下方探知角度は、音速の変動による影響をほとんど受けず、そのため、前方探知ソナーからのもっとも高い正確性の角度は、船が直接標的上にあるときである。ピング７０４によって収集された領域７１０に関するデータは、（ピング７０１－７０４の中から）その領域のグラウンドトゥルースに最も近いとみなされ得る。船が前進するときの各読み取り値は、最後の読み取り値より正確であり、つまり、領域において収集される追加データは、より遠くからの過去の読み取り値と比較され得、この態様において、連続するピングは、アルゴリズムを訓練するための重複するデータを提供し、モデルがより正確な特徴の読み取り値を与えることを可能にする。

【0052】

いくつかの実施形態では、重複する３Ｄ－ＦＬＳデータは、上で説明されるような音響測深機データと組み合わせられ得る。図７において、船７５０は、その経路に沿って示される各ポイントにおいて、ＳＢＥＳからの音響も取得する。

【0053】

図８に示されるように、船の音響測深機またはより高い正確性の前方探知ソナー角度からの最新の測深は、船の過去の場所からの過去の前方探知ソナーピングのカバレッジゾーンに地理的に参照され得る。ソナーカバレッジゾーン８０１は、過去のカバレッジゾーンの対象の場所を示しており、その上に、音響測深機からの最新の測深またはカバレッジゾーン８０２－８０４がマッピングされ得る。

【0054】

ラベル付けされた海底データの質を向上させることに加え、今回開示されるシステムおよび方法は、数多くの方法で水中標的（ＩＷＴ）ラベルを向上させる。ＩＷＴは、暗礁、輸送コンテナ、氷山、または海図に載っていない特徴等、ナビゲーション危険物になるほど十分大きい水柱内の検出を指す。上で議論されるように、航跡、強い潮流、および他の船のエンジンからの干渉も、ノイズから信号を取り出すことを困難にし得る。この情報を有用な態様で表示することは、ナビゲーション危険物に対応し得る全てのＩＷＴ検出を維持しながら、可能な限り多くのノイズを取り除くことを必要とする。

【0055】

このことを達成するために、機械学習モデル用の訓練データにおけるＩＷＴラベルは、「正」例（すなわち、ブイ、船、海岸線、および海図に載っている岩等、モデルが検出すべき特徴を強化すること）、および「負」例（すなわち、船の航跡等、モデルが無視すべき特徴を強化すること）の両方を用いて向上させられる。手動でラベル付けされたデータは、既に上で議論されており、正例および負例の両方に対応し得る。

【0056】

ＩＷＴデータを向上させるための別の手法は、海図から抽出されたデータを用いてＩＷＴラベルを生成することを伴う。例えば、ベクトル形式のナビゲーション用海図は、岩山および海底の特徴の場所に関する重要な情報のみならず、ブイ、海岸線、橋脚、桟橋、難破船の場所に関する情報も含む。この情報は、対象の領域内のデータベースの中に引き抜かれ、この情報は、訓練データ／ラベルデータセットが同一の領域内の３Ｄ－ＦＬＳデータのために生成されるとき、ＩＷＴラベルを向上させるために用いられる。

【0057】

この手法は、静的情報を用いてラベルを向上させるが、現在の環境の動態に関する情報を全く含まない。他の手法は、現在の環境に関する情報を提供し、これらは、海図または手動で入力されたラベルの代替として用いられるか、またはそれと一緒に用いられ得る。

【0058】

ＦＬＳの動作環境に関する動的情報のいくつかの源が、利用可能であり、訓練データに統合され得る。例えば、ブイ、海岸線、桟橋、およびおそらく非常に重要である他の船等、多くのタイプの関連のあるソナー標的も、レーダ反射を生成する。船等の近くの物体の位置、速さ、進行方向を示すレーダデータが、地上速さ対水中速さの比と一緒にモデルに入力され、船によって生成される関連航跡を推定するために用いられる。通過する船の航跡の場所および時間に関する情報は、訓練データ／ラベルが生成されるとき、ＩＷＴラベルに統合される。

【0059】

同様の手法は、近くの船に関する位置、速さおよび進行方向の情報を取得するための自動識別システム（ＡＩＳ）データを用いて、適用される。レーダと同様、ＡＩＳからの情報は、容易に船の航跡に関連付けられ得、情報は、同一の態様で用いられ、ＩＷＴラベルを向上させる。

【0060】

現在のシステム動作環境の動態に関するオペレータの観測も、ＩＷＴラベルを修正し向上させるために用いられ得る。例えば、ブイまたは氷山が観測されたとき、それらの精密な場所が、オペレータによって記録され得る。そして、このデータストリームは、海図、レーダ、およびＡＩＳと同一の態様で用いられ、訓練の組が生成されるときＩＷＴラベルを向上させる。

【0061】

これらのデータを用いて、モデルは、ソナーの底マッピング距離を超える海底からの検出、船の航跡からの検出、他の船のエンジンノイズ等の外部の継続的な干渉源からの検出、魚および他の海洋生物からの検出、船の船体からの検出、およびクラッターを含む１つ以上の下位分類にＩＷＴをさらに分類し得る。

【0062】

上で言及されるデータ源の全てが、他の状況データおよびメタデータを含み得る。これらのデータおよびメタデータは、船自体または環境的条件に関連し得る。例えば、入力データは、加速器の読み取り値、ジャイロスコープの読み取り値、ロール／ピッチ／ヒーブ値、センサの進行方向、コース、および緯度／経度、ならびに／または、船の速さおよびコースを含み得る。データは、水の温度および塩分、音速プロファイル（ＳＳＰ）またはＳＳＰと同等の屈折等の環境的要因を含み得る。本発明は、船が進むにつれてソナーの動作環境が変化し、ソナーの性能はそれらが動作する水のいくつかのパラメータによる影響を受けるという事実を説明する。アルゴリズムは、水中での非定常的な音速を説明し得る。システムは、リアルタイムでその周辺の音速を推定し得る。

【0063】

本発明の実施形態は、コンピュータ環境で実装される。機械学習アルゴリズムを動作させるように構成されているプロセッサは、３Ｄ－ＦＬＳシステム、音響測深機システム、他のセンサ、手動でラベル付けされたデータ源、または遠隔データベース等、１つ以上のデータ入力源に接続される。

【0064】

いくつかの実施形態では、ソナーオペレータ等のユーザは、視覚的インタフェースと相互作用して、ラベルまたはパラメータを入力するかまたは選択する。ユーザからの入力または別のデータ源からの入力は、例えばコンピュータ４４９等の電子デバイス内のプロセッサによって受信される。データは、可視的ディスプレイにレンダリングされ得る。図９に示される例示的システムに示されるように、データ獲得モジュール８５５を含むソナーシステム８５９は、コンピュータ４４９のみならず、ネットワーク４０９上のサーバ４１３とも通信する。データは、他のセンサまたは他のデータベースによっても取得され得る。いくつかの実施形態では、オペレータは、コンピュータ４４９を用いて、システム９００を制御し、またはデータを受信し得る。データは、モニタを含み得るＩ／Ｏ４５４、４３７、または４７１を用いて表示され得る。任意のＩ／Ｏは、プロセッサ４２１、４５９、４４１または４７５のいずれかと通信し、例えば、データが任意の有形の非一過性メモリ４６３、４４５、４７９、または４２９内に記憶されるようにするために、キーボード、マウス、またはタッチスクリーンを含み得る。サーバ４１３は、概して、ネットワーク４０９上での通信を有効化するか、またはデータをデータファイル４１７に書き込むために、インタフェースモジュール４２５を含む。本発明の方法は、ソフトウェア、ハードウェア、ファームウェア、ハードワイヤリング、またはこれらのうちのいずれかの組み合わせを用いて実施され得る。特徴実装機能も、種々の位置に物理的に位置付けられ得、分散させられて機能の一部が異なる物理的場所において実装されることを含む（例えば、ソナー８５９が１つの場所にあり、サーバが別の場所にあり、例えば、無線または有線で接続されている）。

【0065】

コンピュータプログラムの実行のために適したプロセッサは、例えば、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびに、任意の種類のデジタルコンピュータのうちの１つ以上のプロセッサを含む。概して、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的要素は、命令を実行するためのプロセッサ、ならびに、命令およびデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータは、データを記憶するための１つ以上マスストレージデバイス（例えば、磁気ディスク、磁気光学ディスク、または光ディスク）も含むか、または、そこからデータを受信しもしくはデータを転送するか、またはその両方を行うように動作可能に結合されている。コンピュータプログラム命令およびデータを具現化するために適した情報キャリアは、例えば半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＮＡＮＤベースのフラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、および他のフラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスクまたはリムーバブルディスク）、磁気光学ディスク、および光ディスク（例えば、ＣＤおよびＤＶＤディスク）を含むすべての形式の不揮発性メモリを含む。プロセッサおよびメモリは、専用論理回路によって補強され得、またはそれらに組み込まれ得る。

【0066】

本明細書中で説明される主題は、バックエンドコンポーネント（例えば、データサーバ４１３）、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネント（例えば、ユーザが本明細書中で説明される主題の実装と相互作用し得るグラフィカルユーザインタフェース４５４またはウェブブラウザを有するクライアントコンピュータ４４９）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、およびフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて実装され得る。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信（例えば通信ネットワーク）によってネットワーク４０９を通じて相互接続され得る。通信ネットワークの例は、携帯電話ネットワーク（３Ｇ、４Ｇ）、ローカルエリアネットワーク（ＬＡＮ）、およびワイドエリアネットワーク（ＷＡＮ）、例えばインターネットを含む。

【0067】

本発明の方法がクライアント／サーバアーキテクチャを採用する場合、本発明の方法のステップは、サーバ４１３を用いて実施され得、サーバ４１３は、プロセッサおよびメモリのうちの１つ以上を含み、サーバ４１３は、データ、命令等を取得することが可能であるか、または、インタフェースモジュールを介して結果を提供することが可能であるか、もしくはファイルとして結果を提供することが可能である。サーバ４１３は、Ｈｉｔａｃｈｉによる商標ＢＬＡＤＥ（登録商標）として販売されているラックマウントコンピュータ等、単一または複数のコンピュータデバイスによって提供され得る。サーバ４１３は、オンサイトもしくはオフサイトまたはその両方に位置付けられたサーバの組として提供され得る。サーバ４１３は、所有されているか、またはサービスとして提供され得る。サーバ４１３またはストレージは、Ａｍａｚｏｎ Ｗｅｂ ＳｅｒｖｉｃｅまたはＧｏｏｇｌｅ等のクラウドベースリソースとして全体的にまたは部分的に提供され得る。クラウドリソースの包含は、利用可能なハードウェアが要求に即座に応じてスケールアップしスケールダウンするときに有益であり得る。計算タスクを実施する実際のプロセッサ（特有のシリコンチップ）は、情報処理がスケールアップまたはスケールダウンするときに任意に変化し得る。ある実施形態では、サーバ４１３は、クラウドリソースと一緒に動作する１つまたは複数のローカルユニットを含む（ここで、ローカルとは、クラウドではないことを意味し、オフサイトを含む（ｉｎｃｌｕｄｅ ｏｒ ｏｆｆ－ｓｉｔｅ））。サーバ４１３は、コンピュータ４４９によってネットワーク４０９上で係合させられ得、その一方または両方がストレージと係合し得る。システム４００では、各コンピュータは、好ましくは、メモリに結合された少なくとも１つのプロセッサと、少なくとも１つの入力／出力（Ｉ／Ｏ）機構とを含む。

【0068】

頻繁に決定されるべき数百万のパラメータが存在するので、ディープラーニングアルゴリズムは、学習を実施するためにグラフィカル処理ユニット（ＧＰＵ）に大きく依拠している。モデルの開発において、干渉、認識、またはセグメンテーションステップも、ＧＰＵによって提供されるそのような強力な並行処理を必要とし、したがって、ＧＰＵは、開発が、モデルおよび入力データの量に依存して、効率的に実行するためにＣＰＵに加えて専用ハードウェアを必要とすることを必要とする。ＧＰＵは、典型的に、グラフィックスカードに収容されている。そのため、開発は、グラフィックスカードを有する通常のＰＣを用いてもよいし、または、その代わり、クラウドに収容されたサーバを用いてもよい。このことは、これらの方法の１つの実現が、クラウドに画像データをプッシュすることを伴い、情報をローカルに回収する前にクラウドにおいて処理が発生することを示唆している。そして、受信デバイスは、コンピュータ（ＰＣ）、またはスマートフォンもしくはタブレットであり得る。

【0069】

本明細書中で説明される主題は、データ処理装置（例えば、プログラマブルプロセッサ、コンピュータ、または複数のコンピュータ）による実行のため、または、その動作を制御するための情報キャリアとして（例えば、非一過性のコンピュータ読み取り可能な媒体として）有形で具現化された１つ以上のコンピュータプログラム等の１つ以上のコンピュータプログラム製品として実装され得る。コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、マクロ、またはコードとしても知られている）は、コンパイル型言語またはインタプリタ型言語（例えば、Ｃ、Ｃ＋＋、Ｐｅｒｌ）を含む任意の形式のプログラミング言語で記述され得、それは、スタンドアロン型プログラムとして、または、コンピューティング環境における使用のために適したモジュール、コンポーネント、サブルーチン、もしくは他のユニットを含む任意の形式で開発され得る。本発明のシステムおよび方法は、Ｃ、Ｃ＋＋、Ｐｅｒｌ、Ｊａｖａ（登録商標）、ＡｃｔｉｖｅＸ、ＨＴＭＬ５、Ｖｉｓｕａｌ Ｂａｓｉｃ、またはＪａｖａＳｃｒｉｐｔ（登録商標）を限定することなく含む業界において知られているプログラミング言語を含み得る。

【0070】

コンピュータプログラムは、必ずしもファイルに対応しているわけではない。プログラムは、他のプログラムまたはデータを保持するファイル４１７の一部として、当該プログラム専用の単一のファイルとして、または複数の連携されたファイルとして（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶しているファイル）として記憶され得る。コンピュータプログラムは、展開されて、１つのコンピュータ上で、または、１つの場所において複数のコンピュータ上で、もしくは複数の場所にわたって分散され通信ネットワークによって相互接続された複数のコンピュータ上で実行され得る。

【0071】

ファイルは、例えば、ハードドライブ、ＳＳＤ、ＣＤ、または他の有形の非一過性媒体に記憶されているデジタルファイルであり得る。ファイルは、１つのデバイスからネットワーク４０９上の別のデバイスに（例えば、ネットワークインターフェースカード、モデム、無線カード、または同様のものを通じてサーバからクライアントに送信されるパケットとして）送信され得る。

【0072】

本発明によるファイルへの書き込みは、例えば、読み取り／書き込みヘッドによって磁化パターンに（例えば、正味電荷または双極子モーメントを有する）粒子を追加し、除去し、または再配置することによって、有形の非一過性のコンピュータ読み取り可能な媒体を変形させることを伴い、パターンは、その後、ユーザによって所望されユーザにとって有用な情報の新たなコレクションを表す。いくつかの実施形態では、書き込みは、特定の特性を有する有形の非一過性のコンピュータ読み取り可能な媒体における材料の物理的変形を伴い、それによって、光読み取り／書き込みデバイスは、新しい有用な情報のコレクションを読み取り得る（例えば、ＣＤ－ＲＯＭを焼く）。いくつかの実施形態では、ファイルに書き込むことは、ＮＡＮＤフラッシュメモリ等のフラッシュメモリを用いることを含み、メモリセルのアレイ内に情報を記憶することは、フローティングゲートトランジスタを含む。ファイルに書き込む方法は、業界において周知であり、例えば、プログラムによって自動的に呼び出され得るか、または、保存コマンドによってソフトウェアから保存コマンドによって、もしくはプログラミング言語から書き込みコマンドによって呼び出され得る。

【実施例】

【0073】

（例）
ＣＮＮベースのモデルは、３Ｄ－ＦＬＳデータを分析するためのそれらの適性を決定するため、およびどのアーキテクチャおよびパラメータを用いるかを査定するために調査された。ここで提示される例に加え、多数の可能なネットワークアーキテクチャおよびハイパーパラメータの組み合わせが、本発明において用いられ得る。

【0074】

１４５０個の３Ｄ－ＦＬＳピングのデータセットが、一組のベースライン訓練としての使用のために記録された。データセット内に含まれるピングは、各種の異なる場所の異なる日の異なるボート航海に由来する。データセットは、さらに、訓練用の１１８７個のピングとバリデーション用の２６３個のピングとに分割された。テストされる各モデルは、ＫｅｒａｓおよびＴｅｎｓｏｒｆｌｏｗを用いてｐｙｔｈｏｎで実装された。それらは、８ＧＢの専用メモリを有するＮｖｉｄｉａ ＧＴＸ １０７０ ＧＰＵを有するコンピュータにおいて訓練された。データをＧＰＵにフィッティングすることが要求されたので、ＣＮＮモデルの３Ｄバージョンの全てにバッチサイズ１が用いられた。各エポックは、完了に約５時間かかり、モデルの各々は、１０エポックの間実行された。１０エポックリミットが経験的に選択され、それにより、損失および正確性は、１つのエポックから次のエポックに大きくは変更していなかった。モデルの２Ｄバージョンは、バッチサイズ１０で約１０エポックの間、または損失が変化しなくなるまで実行され、実行時間は、同一のシステムにおいてエポックあたり１．５時間であった。Ｕ－Ｎｅｔの２ＤバージョンおよびＶ－Ｎｅｔの２Ｄバージョンの両方のために、体積型畳み込みを有するモデルの１つのバージョンが、２Ｄ畳み込みと切り替えられたが、多くの特徴は一定を維持された。各モデルの第２の２Ｄバージョンは、畳み込み層において用いられるフィルタの数を増加させることにより、大量の訓練可能なパラメータを用いて作り出された。

【0075】

全てのモデルを訓練するために、Ａｄａｍオプティマイザが用いられ、全てのケースにおいて、多クラス交差エントロピーが損失として選択された。検出を表すポイントの数と比べた３Ｄ－ＦＬＳデータ内の背景ポイントの数の不均衡に起因して、２つの異なる重み付け方法がテストされた。第１は、ピング内のクラスの周波数を用いて各サンプルを重み付けするサンプル重み付け手法であり、第２では、全体のデータセットにわたる所与のクラスの頻度を用いて重みが計算された。後者の方法は、より高い訓練およびバリデーション正確性を有するモデルを生み出した。

【0076】

この作業において考慮されたモデルの全てを実行した結果が表１に集計されている。表において、ＣＷ＝クラス重み付け損失関数であり、ＳＷ＝サンプル重み付け損失関数であり、多クラス交差エントロピー損失関数が全てのケースに用いられ、パラメータを訓練するために、デフォルトのＫｅｒａｓパラメータを有するＡｄａｍ最適化アルゴリズムが用いられた。「＊」は、訓練可能なパラメータの数を増加させるために畳み込み層において増加した特徴を有するモデルを表す。

【表1】

【0077】

訓練およびバリデーションにおける正確性の定量的メトリックに関して、クラス重み付け損失を用いた３Ｄ Ｖ－Ｎｅｔモデルの方がよい性能であった。しかしながら、クラス重み付けであるにもかかわらず、訓練データおよびバリデーションデータの両方において、このモデルは、収束して、海底クラス（最も過小評価されたクラス）をほとんど予測しなかった。対照的に、３Ｄ Ｕ－ｎｅｔモデルは、同様の正確性を達成したが、それが訓練データの頻度により近い頻度を有するクラスを予測するという意味で、質的により良い性能であった。この理由のため、クラス重み付け手法を用いた３Ｄ Ｕ－ｎｅｔモデルが、調査されたからのさらなる開発のために最も良い候補であった。

【0078】

図１０および図１１において、モデルの質的性能の例が与えられ、それらの図は、所与の入力に関する３Ｄ Ｕ－Ｎｅｔモデルおよび従来の検出モデルの質的出力の比較を示している。体積型入力データが、左に示され、従来モデルの結果が、右上に示され、ＣＮＮベースのモデルの結果が右下に示されている。図１０および図１１を生成するために用いられるピングは、ＣＮＮモデル用の訓練データの組に含まれていなかった。図１０および図１１の両方において、ＣＮＮモデルは、水中標的特徴を検出することが可能であり、水中標的特徴は、桟橋の縁に対応する従来的処理を用いて検出される。しかしながら、訓練データには存在しないいくらかの追加の検出が明確に存在している。図１１を生成するために用いられるＣＮＮモデルは、重み付けされた損失を用いた同一の３Ｄ Ｕ－Ｎｅｔモデルである。しかしながら、それは、Ａｄａｍの代わりに５エポックのＡｄａＤｅｌｔａオプティマイザを用いて、ピング毎の入力を標準化せずに訓練された。このモデルは、より少ない「誤りの正」検出を有するように思われる。図１０および図１１におけるＣＮＮモデルの両方によって生成される海底検出は、短距離での標準化アルゴリズムによく一致している。しかしながら、両方のＣＮＮモデルは、より長い距離において、さらに深い海底の標的を検出する。長距離の検出は、全てのピングに存在しているわけではなく、海底は、他の調査されたピングのいくつかにおいて、従来のアルゴリズムによく一致している。

【0079】

結果は、これらの利用可能なＣＮＮモデルが、従来の検出アルゴリズムに取って替わり得ることを示している。しかしながら、モデルは、本明細書中で開示される方法でさらに洗練され、特に海底の余計な検出を低減させ得る。これらのＣＮＮモデルは、従来の検出アルゴリズムによって検出された特徴の全ての再現した一方で、それらは、エンジンノイズおよび通過する船による航跡等の所望されない検出も複製した。これらの所望されない検出は、上で議論されるストラテジーによって低減させられ、または除去され得る。

【0080】

訓練データのサブセットは、既に説明された自動化されたプロセスを用いて向上させられ、３Ｄ Ｕ－Ｎｅｔモデルの訓練を継続するために用いられた。モデルは、大量の訓練可能なパラメータまたは追加の層を用いてさらに向上させられ得る。さらに、後方散乱強度に加えて追加の特徴が、ＣＮＮモデルの入力に追加され得る。例えば、後方散乱強度と一緒にポイントクラウド内の各要素のデカルト位置を含むことは、ネットワークがデータのデカルト座標表示および球面座標表示の間の差を取り扱うことを可能にする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】