特表 2024-524100 ＭＬを連続的に更新する航行システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】ＭＬを連続的に更新する航行システム及び方法

(51)【国際特許分類】

   G08G 3/02 20060101AFI20240628BHJP

【ＦＩ】

G08G3/02 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577478

(86)(22)【出願日】2022-06-08

(85)【翻訳文提出日】2024-02-09

(86)【国際出願番号】 IL2022050610

(87)【国際公開番号】W WO2022264120

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】284155

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】IL

(81)【指定国・地域】

(71)【出願人】

【識別番号】509338673

【氏名又は名称】イスラエル アエロスペース インダストリーズ リミテッド

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】レゲフ オメール

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA25

5H181BB04

5H181BB20

5H181CC04

5H181CC14

5H181FF04

5H181LL06

5H181LL09

(57)【要約】

第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することを含む船舶管理システム及び方法を説明する。レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定する。前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得する。前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理する。前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションに対応する１つ以上の画像データ片を判定する。ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成する。それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にする。

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサ及びメモリ回路によって実装される方法であって、前記方法が、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を含む、方法。

【請求項2】

前記レーダメタデータが、レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む、請求項１に記載の方法。

【請求項3】

レーダメタデータが、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む、請求項１又は２に記載の方法。

【請求項4】

１つ以上の画像データ片と、１つ以上の人工知能（ＡＩ）モジュールの訓練処理のためのラベリングデータと、を含む、前記出力データを提供し、それによって、前記画像データにおける物体認識及び／又は分類のための連続的訓練を可能にすることを更に含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記ＡＩモジュールが、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする、請求項４に記載の方法。

【請求項6】

前記ＡＩモジュールが、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている、請求項５に記載の方法。

【請求項7】

前記ＡＩモジュールが、前記船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする、請求項６に記載の方法。

【請求項8】

前記レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記１つ以上の反射物体の位置に関するデータを提供することと、自動識別システム（ＡＩＳ）及び前記１つ以上の反射物体の前記位置を利用して、前記１つ以上の反射物体のアイデンティティに関するデータを取得することと、追加のラベルデータを生成するために前記アイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成することと、を更に含む、請求項１～８のいずれか一項に記載の方法。

【請求項10】

少なくとも１つのプロセッサ及びメモリ回路と、１つ以上のカメラユニットと、１つ以上のレーダユニットと、を備える、船舶管理システムであって、前記少なくとも１つのプロセッサが、オートキャプテンモジュールと、物体検出訓練モジュールと、訓練データ生成器と、を備え、
前記オートキャプテンモジュールが、ラベル付けされた画像データに基づいて連続的に訓練可能な人工知能（ＡＩ）モジュールを含み、前記１つ以上のカメラユニットから画像データを受信し、前記画像データを処理して、前記船舶の周りの選択された視野内の１つ以上の物体に関するデータを判定するように構成されており、
前記訓練データ生成器が、前記１つ以上のカメラユニット及び１つ以上のレーダユニットから入力データを受信することであって、前記入力データが、第１の視野を示すレーダ入力データ及び前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データを少なくとも含む、受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記入力画像データの前記第２の視野の重複部分内の前記それぞれの場所を処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成され動作可能であり、
前記物体検出訓練モジュールが、前記ラベル付けされた出力データを受信し、前記ラベル付けされた出力データに基づいて、物体を検出するために前記オートキャプテンモジュールの前記ＡＩモジュールの訓練を更新し、それによって、前記ＡＩモジュールの訓練を連続的に更新することを可能にするように構成されている、船舶管理システム。

【請求項11】

前記ＡＩモジュールが、前記１つ以上のカメラユニットから受信された入力画像データを処理し、前記画像データにおいて識別された１つ以上の物体に関するデータを判定し、それによって、前記画像データからの１つ以上の物体の物体認識を提供するように適合される、請求項１０に記載のシステム。

【請求項12】

前記レーダメタデータが、前記レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む、請求項１０又は１１に記載のシステム。

【請求項13】

レーダメタデータが、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面、及びシグネチャの群から選択される１つ以上のデータ片を含む、請求項１０～１２のいずれか一項に記載のシステム。

【請求項14】

前記ＡＩモジュールが、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている、請求項１０～１３のいずれか一項に記載のシステム。

【請求項15】

前記オートキャプテンモジュールが、前記船舶のステアリング制御に接続可能であり、前記船舶の速度及び船首方位のうちの少なくとも１つを変化させ、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にするように構成されている、請求項１０～１４のいずれか一項に記載のシステム。

【請求項16】

前記レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含む、請求項１０～１５のいずれか一項に記載のシステム。

【請求項17】

自動識別システム（ＡＩＳ）モジュールを更に含み、前記訓練データ生成器が、前記１つ以上の反射物体の位置に関するデータを提供し、前記ＡＩＳモジュールから前記位置に位置する船舶のアイデンティティに関するデータを取得し、追加のラベルデータを生成するために前記アイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成するように更に構成されている、請求項１０～１６のいずれか一項に記載のシステム。

【請求項18】

ラベル付けされた訓練データを生成するためのシステムであって、前記システムが、１つ以上のプロセッサと、メモリユニットと、１つ以上のカメラユニット及び１つ以上のレーダユニットに接続可能な通信モジュールと、を備える処理ユーティリティを備え、前記処理ユーティリティが、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成されている、システム。

【請求項19】

前記処理ユーティリティが、レーダ反射検出器と、レーダシグネチャ処理モジュールと、ＦＯＶ分析器と、を備え、前記レーダ反射検出器が、前記１つ以上のレーダユニットから入力データを受信し、前記１つ以上のレーダユニットの視野内の１つ以上の物体を示す１つ以上のレーダ信号反射のデータと、前記１つ以上の物体の場所とを判定するように構成されており、前記レーダシグネチャ処理モジュールが、前記レーダ信号反射に関するデータを受信及び処理し、前記１つ以上の物体のレーダシグネチャに関するデータを判定するように構成されており、前記ＦＯＶ分析器が、前記１つ以上のカメラユニットからの入力画像データと、前記１つ以上の物体の前記場所に関するデータとを受信し、前記入力画像データを処理して、前記１つ以上の物体の前記場所に関連付けられた１つ以上の画像データ片を判定するように構成されており、前記処理ユーティリティが、前記画像データ片と、前記１つ以上の物体の前記レーダシグネチャに関するデータに関連付けられたラベリングデータと、を含む出力データを生成し、それによって、１つ以上の人工知能（ＡＩ）モジュールの訓練のためにラベル付けされた訓練データを生成する、請求項１８に記載のシステム。

【請求項20】

前記レーダメタデータが、前記レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む、請求項１８又は１９に記載のシステム。

【請求項21】

レーダメタデータが、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む、請求項１８～２０のいずれか一項に記載のシステム。

【請求項22】

前記処理ユーティリティが、１つ以上の画像データ片と、１つ以上のＡＩモジュールの訓練処理のためのラベリングデータを含む前記出力データを提供し、それによって、前記画像データ内の物体検出のための連続的訓練を可能にするように更に構成されている、請求項１８～２１のいずれか一項に記載のシステム。

【請求項23】

前記１つ以上のＡＩモジュールが、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする、請求項２２に記載のシステム。

【請求項24】

前記１つ以上のＡＩモジュールが、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている、請求項２３に記載のシステム。

【請求項25】

前記１つ以上のＡＩモジュールが、前記船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする、請求項２４に記載のシステム。

【請求項26】

前記処理ユニットが、前記第１の視野内の１つ以上の反射物体を示すデータを識別し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定することに応答して、追加の１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成するように構成されている、請求項２１～２５のいずれか一項に記載のシステム。

【請求項27】

自動識別システム（ＡＩＳ）モジュールを更に含み、前記訓練データ生成器が、前記１つ以上の反射物体の位置に関するデータを提供し、前記ＡＩＳモジュールから前記位置に位置する船舶のアイデンティティに関するデータを取得し、追加のラベルデータを生成するために前記アイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成するように更に構成されている、請求項１８～２６のいずれか一項に記載のシステム。

【請求項28】

１つ以上のプロセッサ及びメモリ回路によって実装される方法を実行するために機械によって実行可能なプログラム命令を有形的に具現化する、前記機械によって読み取り可能なプログラム記憶デバイスであって、前記方法が、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記入力画像データの前記第２の視野の重複部分内の前記それぞれの場所を処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を含む、プログラム記憶デバイス。

【請求項29】

プログラムがコンピュータ上で実行されるときに、請求項１～９のいずれか一項に記載の全てのステップを実行するためのコンピュータプログラムコード手段を含むコンピュータプログラム。

【請求項30】

コンピュータ可読媒体上に具現化される、請求項２９に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能（Artificial Intelligence、ＡＩ）制御技術を使用した自動航行、交通回避、及び衝突防止の技法に関し、具体的には、海事交通及び海洋環境における自動及び「オンザフライ」機械学習訓練を使用することによって自律的かつ自動的に更新されるＡＩに関する。

【背景技術】

【0002】

自律的な車両への関心の高まりは、自律的な船舶にも向けられている。海洋環境及び経路は、自律的な航行及び処理のための有望な候補を提示し得るが、既存の国際海事期間（International Maritime Organization、ＩＭＯ）規制及び規則は、状況及び衝突の危険性の完全な評価を行うことに関して、船のブリッジ上で、２４時間体制の目視による人間の見張りの存在を指示している。そのような規制は、光学撮像及び光学画像処理を、船の自動的又は自律的な監視機能及び航行制御のための入力として使用することを指示している。

【発明の概要】

【0003】

船舶の自律的又は自動的な制御は、一般に、航行、障害物の回避、並びに他の船との経路及び交通衝突の解決を含むいくつかの態様における船の動作を必要とする。海洋規制は、状況及び衝突の危険性の完全な評価を行うために、目視による人間の見張りの使用による視覚入力の使用を要求する。船舶の自動的及び自律的な航行の制御は、視覚光学入力の処理を必要とする。この目的のために、船舶のそのような自動的又は自律的な航行のための適切な制御システムは、衝突を回避し、様々な航行上の衝突又は起こり得る潜在的な衝突を適時に解決するための経路再計画又は一時的経路変更だけでなく、物体検出、物体分類、及び物体挙動の特性の判定を可能にするために、異なる視覚条件における様々な物体を検出及び分析するように訓練される。

【0004】

規制に従いながら、様々な条件において自動的及び／又は自律的な海洋航行を可能にするために、本技法は、自動及び「オンザフライ」機械学習制御によってＡＩ技術の進行中の学習及び訓練を提供して、様々な視覚条件における様々な物体の検出、分類、及び挙動プロファイルの生成を可能にする。

【0005】

この目的のために、本発明は、１つ以上の光学撮像装置（１つ以上のカメラユニットなど）及び１つ以上のレーダシステムを含む船舶上の感知装置と、１つ以上のコンピュータプロセッサ及びメモリユニットを備える航行制御システム（制御システム）とを利用する。制御システムはまた、ローカル又はリモートディスプレイと、シップオートパイロット及びエンジンスロットルに対する制御を提供する１つ以上のシップ制御ユニットと、シップインターフェースユニットと、を備え得る。制御システムは、一般に、入力画像データ及び入力レーダデータを受信するために感知装置に動作可能に接続された入力通信ポート及び出力通信ポートを備える。制御システムは、一般に、船のステアリング及び推力を制御するために船エンジン及びステアリング航行モジュールに接続され、それによって、船を制御、パイロット、及び航行する。

【0006】

制御システムは更に、例えば、入力データ、少なくとも画像データを受信及び処理し、船の周り又はその経路内の物体に関連付けられたリスクレベルを判定するように構成された安全モジュールと、船及びその周りの環境に関するデータを受信及び処理し、１つ以上の意思決定アルゴリズムを適用し、エンジン及びステアリングモジュールへの動作コマンドを生成するように構成されたオートキャプテンモジュールと、を含む、１つ以上の処理モジュールを含み得る。制御システムはまた、船の燃料使用を監視及び最適化するための効率モジュールなどの追加のモジュールと、セキュリティ侵害を制限するためにデータ通信を監視及び検証するように構成されたサイバーセキュリティモジュールと、を備え得る。一般に、制御システムは、１つ以上の撮像装置から入力画像データを受信し、画像データ内の１つ以上の物体を識別し、そのように識別された物体の１つ以上の分類データを判定し、対応する出力を安全モジュール及びオートキャプテンモジュールのうちの少なくとも１つに提供するように構成された物体分析モジュールを含み得る。通常、海洋環境では、物体分析モジュールは、例えば、シップ、ボート、筏、障害物、様々なプラットフォーム（例えば、石油掘削装置）などを含む様々なタイプの船舶を検出、認識、及び分類するために、並びに静止物体上のそのような船舶の挙動プロファイルを分析するために訓練され得る。追加的に、分析モジュールは、物体光、煙、旗、形状、帆、船ベクトル及び操縦、後方水航跡、前方（機首）水波、水泡などの物体特性を判定するように訓練され得る。更に、物体分析モジュールは、島及び岸などの土地領域を認識するように訓練され得る。

【0007】

一般に、物体分析モジュール、並びに安全モジュール及びオートキャプテンモジュールのうちの１つ以上は、対応する人工知能（ＡＩ）処理モジュールを利用し得る。この目的のために、ＡＩモジュールは、通常、様々なシナリオで、海洋規制に従って訓練される。本技法は、一般に、船が遭遇し得る様々なタイプの物体を検出及び分類するために、物体分析モジュールの進行中の訓練を利用して、再訓練及び連続的な学習能力を船舶に提供する。この目的のために、本技法は、画像入力データ及びレーダ入力データを含む入力データを受信し、船の周りで発見された物体に関連付けられた１つ以上のラベル付けされた画像セクションを生成するために入力データを処理するために、感知装置に接続可能な訓練データ生成器モジュールを利用する。各画像データセクションは、１つ以上の入力画像フレームのカットセクションであり、物体を描写し、物体に関する１つ以上の分類データを提供するメタデータラベルを含む。

【0008】

より具体的には、訓練データ生成器は、感知装置から入力データを受信するように構成され動作可能である。入力データは、１つ以上の撮像装置／カメラユニットによって取得された画像データと、１つ以上のレーダユニットによって取得されたレーダ入力データと、を含む。レーダ入力データは、第１の視野を示し、画像入力データは、当該第１の視野と少なくとも部分的に重複する第２の視野を示す。訓練データ生成器は、レーダ入力データを処理して、１つ以上の反射物体を示すデータを判定し、物体のそれぞれの場所及びレーダメタデータを含む反射物体に関するデータを判定するように構成されている。訓練データ生成器は、画像データ内の１つ以上の物体を検出するために入力画像データを処理するように更に構成されている。一般に、訓練データ生成器は、レーダ入力データにおいて検出された物体のそれぞれの場所内の画像データを処理して、１つ以上の反射物体に関連付けられた当該画像データの１つ以上のセクションに対応する１つ以上の画像データ片を判定し得る。訓練データ生成器は、レーダ入力データから取得された物体特性と、画像データ内で検出されたそれぞれの物体との間の相関を判定するように動作し得る。相関レベルは、検出された物体に関するデータの使用可能性を判定するために使用され得、スコア閾値は、天候及び視界条件、並びに昼夜条件に従って選択され得る。

【0009】

レーダメタデータを使用して、訓練データ生成器は、ラベリングデータを作成し、したがって、前記１つ以上の画像データセクション及び対応するラベルデータを含む出力データを生成する。ラベリングデータはまた、画像メタデータを提供する画像データの処理から判定された物体特性と、画像データセクションと反射レーダデータとの間の相関に関連付けられたデータと、を含み得る。出力データは、通常、船舶の周りで発見された物体を示すラベル付けされた画像データ片及び対応するレーダメタデータの形態であり得る。したがって、訓練データ生成器は、レーダ入力データから取得されたメタデータと１つ以上の物体の画像データとの間の接続を容易にし、したがって、当該画像データに基づく物体検出のための機械学習訓練を可能にする。訓練データ生成器は、船システムデータ及びアルマナックデータベースを用いて、対応するラベルデータを強化し得る。

【0010】

したがって、訓練データ生成器は、船舶の周囲において発見された様々な物体についてラベル付けされた画像データ片を連続的に生成し得、ラベル付けされた画像データ片を利用して、物体分析モジュール、安全モジュール、及びオートキャプテンモジュールのうちの少なくとも１つに関連付けられたＡＩモジュールの連続的かつオンザフライの訓練を可能にする。したがって、船を動作させながら、自動的な機械学習を使用して船ＡＩモジュールの連続的訓練を可能にする。

【0011】

したがって、広い態様によれば、本発明は、例えば、１つ以上のプロセッサ及びメモリ回路によって実装される方法を提供し、本方法は、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を含む。

【0012】

いくつかの実施形態によれば、レーダメタデータは、前記レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む。

【0013】

いくつかの実施形態によれば、レーダメタデータは、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む。

【0014】

いくつかの実施形態によれば、本方法は、１つ以上の画像データ片と、１つ以上の人工知能（ＡＩ）モジュールの訓練処理のためのラベリングデータと、を含む、前記出力データを提供し、それによって、前記画像データにおける物体認識及び／又は分類のための連続的訓練を可能にすることを更に含む。

【0015】

いくつかの実施形態によれば、ＡＩモジュールは、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする。

【0016】

いくつかの実施形態によれば、ＡＩモジュールは、１つ以上の場所検出ユニット（location detection unit、ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている。

【0017】

いくつかの実施形態によれば、ＡＩモジュールは、前記船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする。例えば、オートキャプテンモジュールは、船の駆動制御及び駆動システムに接続され得る。

【0018】

いくつかの実施形態によれば、本方法は、レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含み得る。

【0019】

いくつかの実施形態によれば、本方法は、前記１つ以上の反射物体の位置に関するデータを提供することと、自動識別システム（automatic identification system、ＡＩＳ）及び前記１つ以上の反射物体の前記位置を利用して、前記１つ以上の反射物体のアイデンティティに関するデータを取得することと、追加のラベルデータを生成するためにアイデンティティに関する前記データを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成することと、を更に含み得る。

【0020】

本発明の別の広い態様によれば、本発明は、少なくとも１つのプロセッサ及びメモリ回路と、１つ以上のカメラユニットと、１つ以上のレーダユニットと、を備える船舶管理システムを提供し、少なくとも１つのプロセッサが、オートキャプテンモジュールと、物体検出訓練モジュールと、訓練データ生成器と、を備える、船舶管理システムを提供する。

【0021】

オートキャプテンモジュールは、ラベル付けされた画像データに基づいて連続的に訓練可能な人工知能（ＡＩ）モジュールを備え、前記１つ以上のカメラユニットから画像データを受信し、前記画像データを処理して、前記船舶の周りの選択された視野内の１つ以上の物体に関するデータを判定するように構成されている。

【0022】

訓練データ生成器は、前記１つ以上のカメラユニット及び１つ以上のレーダユニットから入力データを受信することであって、前記入力データが、第１の視野を示すレーダ入力データ及び前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データを少なくとも含む、受信することと、レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記入力画像データの前記第２の視野の重複部分内の前記それぞれの場所を処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成され動作可能である。

【0023】

物体検出訓練モジュールは、前記ラベル付けされた出力データを受信し、前記ラベル付けされた出力データに基づいて、物体を検出するために前記オートキャプテンモジュールの前記ＡＩモジュールの訓練を更新し、それによって、前記ＡＩモジュールの訓練を連続的に更新することを可能にするように構成されている。

【0024】

いくつかの実施形態によれば、ＡＩモジュールは、前記１つ以上のカメラユニットから受信された入力画像データを処理し、前記画像データにおいて識別された１つ以上の物体に関するデータを判定し、それによって、前記画像データからの１つ以上の物体の物体認識を提供するように適合される。

【0025】

いくつかの実施形態によれば、レーダメタデータは、前記レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む。

【0026】

いくつかの実施形態によれば、レーダメタデータは、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む。

【0027】

いくつかの実施形態によれば、ＡＩモジュールは、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている。

【0028】

いくつかの実施形態によれば、オートキャプテンモジュールは、前記船舶のステアリング制御に接続可能であり、前記船舶の速度及び船首方位のうちの少なくとも１つを変化させ、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にするように構成されている。

【0029】

いくつかの実施形態によれば、本システムは、レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含み得る。

【0030】

いくつかの実施形態によれば、本システムは、自動識別システム（ＡＩＳ）モジュールを更に備え得、前記訓練データ生成器は、前記１つ以上の反射物体の位置に関するデータを提供し、前記ＡＩＳモジュールから前記位置に位置する船舶のアイデンティティに関する前記データを取得し、追加のラベルデータを生成するためにアイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成するように更に構成されている。

【0031】

更に別の広い態様によれば、本発明は、ラベル付けされた訓練データを生成するためのシステムを提供し、本システムは、１つ以上のプロセッサと、メモリユニットと、１つ以上のカメラユニット及び１つ以上のレーダユニットに接続可能な通信モジュールと、を備える処理ユーティリティを備える。処理ユーティリティは、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成されている。

【0032】

いくつかの実施形態によれば、処理ユーティリティは、レーダ反射検出器と、レーダシグネチャ処理モジュールと、ＦＯＶ分析器と、を備える。前記レーダ反射検出器は、１つ以上のレーダユニットから入力データを受信し、１つ以上のレーダユニットの視野内の１つ以上の物体を示す１つ以上のレーダ信号反射のデータと、前記１つ以上の物体の場所と、を判定するように構成されている。レーダシグネチャ処理モジュールは、前記レーダ信号反射に関するデータを受信及び処理し、前記１つ以上の物体のレーダシグネチャに関するデータを判定するように構成されている。前記ＦＯＶ分析器は、前記１つ以上のカメラユニットからの入力画像データと、前記１つ以上の物体の場所に関する前記データと、を受信し、入力画像データを処理して、前記１つ以上の物体の前記場所に関連付けられた１つ以上の画像データ片を判定するように構成されている。処理ユーティリティは、前記画像データ片と、前記１つ以上の物体のレーダシグネチャに関する前記データに関連付けられたラベリングデータと、を含む出力データを生成し、それによって、１つ以上の人工知能（ＡＩ）モジュールの訓練のためにラベル付けされた訓練データを生成する。

【0033】

いくつかの実施形態によれば、レーダメタデータは、前記レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む。

【0034】

いくつかの実施形態によれば、レーダメタデータは、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む。

【0035】

いくつかの実施形態によれば、処理ユーティリティは、１つ以上の画像データ片と、１つ以上のＡＩモジュールの訓練処理のためのラベリングデータを含む前記出力データを提供し、それによって、前記画像データ内の物体検出のための連続的訓練を可能にするように更に構成されている。

【0036】

いくつかの実施形態によれば、１つ以上のＡＩモジュールは、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする。

【0037】

いくつかの実施形態によれば、１つ以上のＡＩモジュールは、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている。

【0038】

いくつかの実施形態によれば、１つ以上のＡＩモジュールは、前記船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする。

【0039】

いくつかの実施形態によれば、処理ユニットは、前記第１の視野内の１つ以上の反射物体を示すデータを識別し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定することに応答して、追加の１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成するように構成されている。

【0040】

いくつかの実施形態によれば、本システムは、自動識別システム（ＡＩＳ）モジュールを更に備え得、前記訓練データ生成器は、前記１つ以上の反射物体の位置に関するデータを提供し、前記ＡＩＳモジュールから前記位置に位置する船舶のアイデンティティに関するデータを取得し、追加のラベルデータを生成するためにアイデンティティに関する前記データを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成するように更に構成されている。

【0041】

本発明によるシステムは、好適にプログラムされたコンピュータであり得ることが理解されよう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって読み取り可能なコンピュータプログラムを企図する。本発明は更に、本発明の方法を実行するためにコンピュータによって実行可能なプログラムの命令を有形に具体化する機械可読メモリを企図する。

【0042】

したがって、更に別の広い態様によれば、本発明は、１つ以上のプロセッサ及びメモリ回路によって実装される方法を実行するためにマシンによって実行可能なプログラム命令を有形的に具現化する、マシンによって読み取り可能なプログラム記憶デバイスを提供し、本方法は、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を含む。

【図面の簡単な説明】

【0043】

本明細書に開示されている主題をより良く理解し、実際にそれがどのように実行され得るかを例示するために、添付の図面を参照して、非限定的な例としてのみ、実施形態をここで説明する。

【図1】本発明のいくつかの実施形態による、船（例えば、船舶）を概略的に例解する。

【図2】本発明のいくつかの実施形態による、船の主要モジュール及び動作を例示する。

【図3】本発明のいくつかの実施形態による、自動的及び／又は自律的な船における意思決定動作を例解する。

【図4】本発明のいくつかの実施形態による、ラベル付けされた訓練データを連続的に生成するための技法を例解する。

【図5】本発明のいくつかの実施形態による、ラベル付けされた訓練データを連続的に生成するためのシステムを概略的に例解する。

【発明を実施するための形態】

【0044】

上に示されるように、本技法は、自動的及び／又は自律的に動作する船、通常、船の環境及びアリーナに関する収集されたデータに従って、その動作を連続的に学習及び更新することができる船舶を提供する。これに関連して、例えば、船舶、シップ、ボートなどの船のシステム５０を例示する図１を参照する。システム５０は、特定の駆動システム１８０（例えば、エンジン並びにかじやプロペラなどの駆動及び航行手段を含む）と、感知装置２００と、制御システム１００とを含み得る。制御システムは、一般に、１つ以上のプロセッサ、メモリユニット１９０、入力／出力通信ポートを含むコンピュータ化された制御システムとして構成され、ディスプレイスクリーン、及びキーボードなどの１つ以上のユーザインターフェースモジュールを含み得る。制御システム１００は、動作命令／コマンドを提供し、入力感知データを受信するために感知装置２００に接続され、駆動システムの動作に関する動作コマンドを提供し、時には駆動システム１８０の状態に関する入力データを受信するために駆動システム１８０に接続される。この目的のために、制御システム１００は、１つ以上のプロセッサ及びメモリを備え、かつ１つ以上の人工知能（ＡＩ）モジュールを動作させるプロセッサ及びメモリ回路機構（processor and memory circuitry、ＰＭＣ）を含む。制御システム１００の１つ以上のプロセッサは、非一時的コンピュータ可読メモリ１９０上に実装されたコンピュータ可読命令に従って、いくつかの機能モジュールを実行するように構成され得る。このような機能モジュールは、以下、ＰＭＣに含まれるものとして言及される。

【0045】

感知装置２００は、船の周囲の可視スペクトル及び／又は赤外スペクトルの画像データを収集するように構成された１つ以上の撮像装置又はカメラユニット２１０と、ＲＦ放射を使用して船５０の周囲を走査するように構成されたレーダユニットと、を含む。これに関連して、用語カメラユニット又は撮像装置は、光波長範囲を使用し、場合によってはＩＲ及び／又はＵＶ波長を含む、その周囲についての入力データを収集するように構成されたユニットに関するものとして広く理解されるべきである。

【0046】

制御システム１００は、船５０の動作を管理するように構成されたオートキャプテンモジュール１３０を含み得る。オートキャプテンモジュール１３０は、一般に、例えば、船の選択されたルートに関するデータ、船の周りの環境に関する感知データ、及び駆動システム１８０の動作及び有効性に関するデータを含む、入力データを取得するように構成されている。オートキャプテンモジュール１３０は、入力データを処理し、船５０を操縦し、必要に応じて経路を変化させ、経路競合を解決するために駆動システム１８０の選択された動作を判定するように構成されている。また、オートキャプテンモジュール１３０は、必要に応じて警報を発してルート変更推奨を提供し、船状態に関するデータ及び警報を（もしあれば）船の人員及び／又はリモート制御センター及び／又は他の船に通信するように動作し得る。一般に、オートキャプテンモジュール１３０は、事前記憶されたデータ及び船の状態に関するデータを利用して入力データを処理するために、事前訓練されたＡＩモジュールを利用し得る。そのようなデータは、太陽及び月の経路、星図、気象条件、照明条件などを示す暦データを含み得る。

【0047】

通常、船５０は、選択された目的地への所定のルートに沿って船を航行するように動作可能なオートパイロットモジュールを含み得ることに留意されたい。オートパイロットモジュールは、駆動システム１８０及び／又はオートキャプテンモジュール１３０と関連付けられ得る。

【0048】

オートキャプテンモジュール１３０は、船５０の周りの様々な安全上の問題の入力データ及び動作推奨を受信するために、安全モジュール１２０に接続され得る。そのような安全上の問題は、船５０の周りの様々な物体、環境条件の変更などに関連付けられ得る。安全モジュールは、適切な安全関係問題及び解決オプションで様々な状況に対して訓練されたＡＩモジュールを利用し得る。追加的に、オートキャプテンモジュールはまた、駆動システム１８０の動作に関するデータを受信及び処理し、例えば、燃料効率、電気効率、時間節約などの効率を最適化するための動作に関する動作推奨を提供するように構成された効率モジュール１４０に接続され得る。オートキャプテンモジュール１３０はまた、入力通信及び出力通信を監視し、様々なサイバーセキュリティ脅威を検出して傍受するように構成されたサイバーモジュール１５０に接続され得る。この目的のために、サイバーモジュールは、入力通信を監視及び処理し、許可されたコマンド入力経路に従って動作コマンドのシグネチャを検証するように構成され得る。

【0049】

一般に、オートキャプテンモジュール１３０は、１つ以上の撮像装置又はカメラユニット２１０によって収集された画像入力に基づいて動作可能であり得る。これは、船舶の監視を必要とするＩＭＯ規制に準拠するためである。収集された画像データを処理し、そこから物体を検出及び分析するために、制御システム１００は、１つ以上のカメラユニット２１０から入力画像データを受信及び処理し、画像データ内の物体の存在を識別し、物体場所を判定し、物体のタイプを分類し、物体データをオートキャプテンモジュール１３０及び／又は安全モジュール１２０に提供するように構成された物体分析モジュール１１０を含み得る。

【0050】

通常、オートキャプテンモジュール１３０及び／又は安全モジュール１２０はまた、船５０の近傍で検出された船舶の場所及び／又はアイデンティティを判定するために、自動識別システム（Automatic Identification Systems、ＡＩＳ）モジュール（図示せず）からのデータを利用し得る。ＡＩＳシステムは、一般に、船舶において必要とされるモジュールであり、シップ、ボート、プラットフォーム、及び他の船舶の場所及びアイデンティティに関するグローバルにアクセス可能なデータを提供する。

【0051】

物体分析モジュール１１０は、一般に、機械学習によって訓練された、例えば、ＭＬ訓練モジュール１７０によって連続的に訓練されたＡＩ処理を利用するように構成され得る。物体分析モジュール１１０は、船が使用され得る環境において検出され得る様々な物体の物体認識及び分類に関して訓練される。例えば、船５０は、シップなどの船舶、又は水上輸送に使用するための任意の他のタイプの船であり得る。したがって、物体分析モジュール１１０は、様々なタイプの船舶、筏、海洋プラットフォーム（例えば、石油掘削装置）、及び氷山、陸塊、島、又は岸領域の認識及び分類に関して訓練され得る。物体分析モジュール１１０は、好ましくは、雨、霧などの海洋移動中に通常生じる様々な気象条件における物体認識及び分類のために訓練される。物体分析モジュールはまた、入力感知データ（画像データ及び／又はレーダデータ）と、船測位システム（例えば、ＧＰＳ）によって提供される場所データと、船５０の近傍に位置する種々の船舶のアイデンティティに関するＡＩＳデータとの間の相関を判定するように動作し得る。追加的に、物体分析モジュール１１０は、物体光、煙、旗、形状、帆、船ベクトル及び操縦、後方水航跡、前方（機首）水波、水泡などの物体及び／又は環境特徴を判定するように訓練され得る。更に、物体分析モジュール１１０は、島及び岸などの土地領域を認識するように訓練され得る。

【0052】

本技法は更に、感知装置に関連付けられた１つ以上のレーダユニット２２０と、訓練データ生成器１６０と、ＭＬ訓練モジュール１７０とを利用して、船５０の連続的な学習を可能にする。レーダユニット２２０は、船５０を取り囲む環境に関するデータを得るためにＲＦ信号を利用する。より具体的には、レーダユニット２２０は、船５０の周りの第１の視野に向けてＲＦ信号を送信し、船５０の周りの第１の視野内の様々な物体から反射された反射ＲＦ信号に関するデータを収集するように動作する。したがって、感知装置２００は、第１の視野からのＲＦ反射データを示すレーダデータと、第２の視野から１つ以上の撮像装置／カメラユニット２１０によって収集された撮像装置データと、を含む入力感知データを提供するように構成されている。典型的には、第１及び第２の視野は、少なくとも部分的に重複している。更に、いくつかの好ましい実施形態では、第１及び第２の視野は、船の周りの３６０°水平視野を含み、選択された垂直視野、例えば、約３０°垂直視野を含み得る。

【0053】

訓練データ生成器１６０は、感知装置２００から入力データを受信するように構成され、入力データは、レーダ入力データ及び画像入力データを含む。訓練データ生成器１６０は、レーダ入力データを処理して、１つ以上の反射物体を示すデータを判定するように構成されている。典型的には、海洋環境では、レーダデータは、波の反射バックグラウンドを含み得、したがって、処理は、船の周りの波からのＲＦ信号の反射に関連付けられたバックグラウンドノイズに対する反射を識別することに向けられ得る。一般に、そのようなバックグラウンドノイズは、レーダユニット２２０に関連付けられた１つ以上の処理ユニットによって、又はいくつかの構成では、システム１００の好適なフィルタリングモジュールによって、フィルタ除去され得る。訓練データ生成器１６０は、ノイズ閾値を超える反射を示す収集されたレーダ信号を分析し、そのような収集された反射を引き起こす物体に関するレーダメタデータを判定するように構成されたレーダ信号分析器（特に図示せず）を含み得る。レーダメタデータは、物体のレーダシグネチャを形成するＲＦ信号を反射する物体に関する様々なデータ片を含み得る。レーダメタデータは、一般に、物体距離、物体場所、方位角及び仰角に関するデータと、物体サイズ、物体アスペクト、有効反射特性、反射サイズ、ドップラーシフト成分、接近速度、及びレーダ技術を使用して判定することができる任意の他の物体特徴に関するデータなどのレーダシグネチャデータと、を含む。

【0054】

訓練データ生成器１６０は、入力画像データ、具体的には、レーダ反射が識別される１つ以上の場所に関連付けられた画像データのセクションを処理するように更に構成されている。これに関連して、訓練データ生成器１６０は、画像データ内にキャプチャされた１つ以上の物体に関するデータを判定するために、１つ以上の画像処理及び物体認識技法を利用し得る。訓練データ生成器１６０は、反射物体が識別される視野内の場所に関連付けられた、通常、前記画像データの１つ以上のセクションである１つ以上の画像データ片を判定するように動作する。これらの画像セクションは、一般に、レーダデータにおいて識別された物体の画像データを含み得る。

【0055】

訓練データ生成器１６０は、検出された物体に関連付けられたレーダメタデータと、対応する領域を描写する画像データとの間の相関を判定し、時には画像データからの物体に対して判定されたデータを使用するように構成された相関器モジュール（具体的には図示せず）を含み得る。一般に、高い相関は、撮像装置データセクションが、レーダ入力データにおいて検出されたものと同じ物体に関連付けられていることを示し得る。十分な相関レベルを判定する閾値は、昼又は夜、天候、及び一般的な視界条件に関連付けられ得る。

【0056】

前記レーダメタデータを使用して、訓練データ生成器１６０は更に、ラベルデータを生成し、ラベルデータをそれぞれの１つ以上の画像データ片に添付して出力データを形成するように動作可能である。出力データは、一般に、それぞれの場所から取得されたレーダメタデータによってラベル付けされた、１つ以上のカメラユニット２１０によって収集された画像データのセクションである１つ以上の画像データ片の形態である。したがって、訓練データ生成器は、１つ以上の反射物体から取得されたレーダメタデータと、それぞれの１つ以上の物体の画像データとの間の接続を容易にする。したがって、出力は、画像データに基づく物体検出のための機械学習訓練を可能にするために使用され得る。

【0057】

再訓練データ生成器１６０はまた、ＡＩＳ及び場所（例えば、ＧＰＳ）データを利用して、画像ラベルデータに船舶アイデンティティを更に含み得る。これにより、レーダメタデータに加えて、シップのアイデンティティ及び対応する視覚的特徴に基づく訓練を更に可能にすることができる。

【0058】

一般に、レーダ入力データ及び画像データは、わずかに異なる視野に関連付けられ得るので、訓練データ生成器１６０は、１つ以上の選択された場所から画像データを取得することに関する動作命令を提供するために、１つ以上の撮像装置／カメラユニット２１０に接続可能であり得る。したがって、入力画像データの視野（第２の視野）が、レーダ反射信号が識別されるそれぞれの場所を含まない場合、訓練データ生成器１６０は、レーダ入力データにおいて物体が識別されるそれぞれの場所から画像データを取得するように１つ以上のカメラユニット２１０に命令し得る。

【0059】

訓練データ生成器１６０は、ラベル付けされた画像データ片を、後で使用するためにメモリユニット１９０に記憶し得る。追加的に、訓練データ生成器１６０は、物体分析モジュール１１０、安全モジュール１２０、及びオートキャプテンモジュール１３０のうちの１つ以上を含むＡＩモジュールの追加のＭＬ訓練のために、ラベル付けされた画像データ片をＭＬ訓練モジュール１７０に提供し得る。ＭＬ訓練モジュール１７０は、周期的に、又は選択されたボリュームのラベル付けされた画像データ片の収集に応答して、追加の訓練のために動作し得る。これは、船の制御システム１００が、動作中に経験される種々の物体及び異なる環境条件に基づいて、連続的に訓練及び学習することを可能にする。したがって、事前提供された訓練データに基づく制御されたＭＬ訓練に関連付けられた制限が除去される。更新された学習は、雨、霧などの様々な気象条件において、並びに昼と夜との間の異なる照明条件及び異なる天候又は一般的な視界条件において、近くの物体を識別及び分類する更新能力を自動的又は自律的な船舶に提供し得る。

【0060】

一般に、ＭＬ訓練モジュールは、物体分析モジュール１１０、安全モジュール１２０、及びオートキャプテンモジュール１３０の１つ以上のＡＩモジュールを訓練するために、１つ以上の機械学習技法と、選択された収集期間にわたって訓練データ生成器１６０によって収集されたラベル付けされた画像データ片のセットと、を利用し得る。ＭＬ訓練モジュールは、ＡＩモジュールを訓練するために自動ＭＬ技法及び／又は他の機械学習訓練技法を利用し得る。訓練技法は、ＩＭＯ規制に関連付けられた動作制限を含み得る。更に、訓練は、通常、建設的であり、以前の訓練を利用する。

【0061】

通常、オートキャプテンモジュール１３０は、船を動作させるために様々なデータを利用し得る。例えば、オートキャプテンモジュール１３０は、日の出及び日の入りデータ及び太陽経路を含む太陽テーブル、月経路及び月の出及び月の入り時間を含む月テーブル、場所データ（例えば、全地球測位システムＧＰＳなどの場所特定システムを使用する）、加速度データ（例えば、１つ以上の慣性加速度計によって提供される）、海流マップ、地理的マップ、並びに船の動作を制御するために使用され得る任意の他のデータなどの事前記憶されたデータテーブルを利用し得る。オートキャプテンモジュール１３０はまた、天候更新及び予報データ、並びに波高、視界、他の近くの船の経路などに関するデータを受信するために、１つ以上のリモート局と通信するように構成され得る。オートキャプテンモジュールは、ターゲット目的に従って船５０を動作させるために、そのようなデータを利用し得る。より具体的には、オートキャプテンモジュール１３０は、船の航路を判定し、航路を維持するためにオートパイロットモジュールを動作させ、又は変化する気象条件若しくは検出された可能な航路競合に応答して経路及び／又は速度を変更するように動作し得る。

【0062】

制御システム１００は、通常、オートキャプテンモジュール１３０及び／又は安全モジュール１２０を使用して、変化する条件に関するデータ及び／又は船５０の近傍に位置する様々な物体に関するデータを利用して、経路競合を解決し、したがって、衝突の危険を回避するように構成され得る。この目的のために、オートキャプテンモジュール１３０は、海洋ルートプロトコル及びルート競合規則に関して訓練され得る。

【0063】

例えば、船５０の近傍の１つ以上の船舶の検出に関する物体分析モジュール１１０からの入力データに応答して、オートキャプテンモジュール１３０は、ホーン、光信号、ＲＦビーコンなどの１つ以上の信号ユニット（具体的には図示せず）を動作させ、その訓練に従って船５０の航行を再計算し得る。

【0064】

いくつかの実施形態による船５０の概略構造図を例示する図２を参照する。図示のように、オートキャプテンモジュール１３０は、船動作に関する入力データを取得及び／又は受信し、船駆動システム１８０を動作させるための事前記憶されたデータ及びＭＬ訓練に従って入力データを利用するように構成されている。更に、オートキャプテンモジュール１３０は、必要なときに１つ以上のリモート局１９５と通信し得る。入力データは、１つ以上のカメラユニットによって取得された光学撮像データ２１０、レーダシステムによって取得されたレーダ入力データ２２０、ＡＩＳ２４０から取得された近くのシップに関するデータ、場所データ２３０、運転状態データ３００、速度ログ３１０、及び船方位又はジャイロデータ３２０に関連付けられた１つ以上のデータ片を含み得る。上記で示したように、入力画像データ２１０及びレーダ入力データ２２０などの外部入力データは、収集されたデータ内で識別された物体を判定及び分類するために、物体分析モジュール（ＯＡＭ）１１０によって物体認識のために処理され得る。追加的に、物体分析モジュール１１０は、画像データ及びレーダ入力データを含む感知データを処理して、波、地平線、天候、及び一般的な視界条件に関するデータを判定し得る。

【0065】

船を危険にさらす可能性がある物体又は他の条件が視界内又は選択された範囲内で検出された場合、それぞれのデータが安全モジュール１２０に送信されて、リスクレベル（例えば、衝突のリスク）を判定する。オートキャプテンモジュール１３０は、船の動作を判定するためにそのようなデータを利用する。オートキャプテンモジュール１３０は、上記した異なるタイプの入力データを処理し、船が１つ以上の動作目標を確立するのを支援するための１つ以上のアクションに関連付けられた条件を判定するように構成されている。例えば、オートキャプテンモジュール１３０は、潜在的な競合のレベルを判定し、好適な競合解決動作を選択するように動作し得る。条件解決動作は、例えば、船信号ユニットを動作させ、船５０の近傍で検出されたシップを警報する命令を生成することを含み得る。安全モジュール１２０が、検出されたシップ／物体のルートが、選択された又は所定の閾値を超える衝突の可能性を有すると判定した場合、オートキャプテンモジュール１３０は、船駆動システム１８０を動作させ、選択されたルート変化オプションに従ってそのような衝突を回避するために船のルートを変化させる動作命令を生成し得る。

【0066】

一般に、オートキャプテンモジュール１３０は、交通及びルート計画に関するデータ、警報解釈データ、及びＣＯＬＲＥＧ（International Regulations for Preventing Collisions at Sea）を含む、事前記憶された及び／又は定期的に更新される電子チャート表示及び情報システムＥＣＤＩＳ１３５に関連付けられ得る。オートキャプテンモジュール１３０は、異なる状況に応答して好適な条件解決動作を判定するために、事前記憶されたデータを利用し得る。

【0067】

上記のように、入力データをオートキャプテンモジュール１３０に提供する異なるデータソースが使用される。オートキャプテンモジュールは、異なるソースのデータに対する重みを判定し、船及びその周囲の状態並びに適切な条件解決動作を判定し得る。したがって、入力データは、例えば、船の周りで検出された異なる物体に関連付けられたデータに加えて、環境データを含む様々なタイプの入力データを含み得る。環境データは、１つ以上の撮像装置によって収集された画像データの処理によって判定され得る。例えば、環境データは、光レベルデータ、相対地平線、海面反射レベル（波の泡及び波自体）、太陽又は月のきらめき、天候、及び視界条件などを含み得る。また、オートキャプテンモジュール１３０は、メモリユニット（図示せず）からの事前記憶されたデータを利用して、事前記憶されたデータを取得するか、又は１つ以上のリモート局及び／又は船の場所であり得る追加のセンサと通信し得る。事前記憶されたデータ又はリモート通信によって取得されたデータは、例えば、ＡＩＳシステムによって取得された、太陽及び月暦データ、世界シップデータベースを含み得る。更に、追加データは、温度、雲データ、湿度、海水噴霧レベル、霧状態、降雨レベル（例えば、ミリメートル単位）、波サイズ／高さ、視界などの天候条件を含み得る。

【0068】

上記のように、オートキャプテンモジュール１３０は、様々な競合タイプを解決するための事前定義された規則に従って１つ以上の決定木で訓練された１つ以上の人工知能モジュールによって形成され得るか、又はそれを利用し得る。これに関連して、船５０の近傍における１つ以上の物体の検出に関連付けられたいくつかの構成による意思決定スキームを例示する図３参照が行われる。感知データは、感知装置によって収集され、制御システム１００に送信される。制御システムは、感知装置からの入力データを処理するための１つ以上のプロセッサを動作させる船航行命令によって動作可能である（３０１０）。このようなデータは、１つ以上の撮像装置からの画像データ、レーダデータ、及び／又は他のセンサを含み得る。検出されたセンサデータは、一般に、物体の１つ以上の特徴を判定するための物体認識／分類のために送信され得る（３０２０）。認識及び／又は分類は、物体分析モジュール１１０の訓練を利用し得、シップアイデンティティに関するＡＩＳデータと組み合わされた測位システムから取得されたデータも含み得る。物体データは、物体の推定軌道／経路を判定するために、特定の期間に沿って更に分析及び／又は相関され得る（３０３０）。分析は、経路競合及び／又は衝突の確率を判定することを含み得る。これは、検出された物体の判定された経路、及び／又は船５０の計画された経路に関連付けられ得る。検出された物体に基づく意思決定は、通常、衝突解決、航行、及び交通規制、シグナリングプロトコルなどに関するガイドラインを含むＥＣＤＩＳデータに関連付けられる（３０４０）。分析及びＥＣＤＩＳガイドラインに基づいて、処理は、検出された物体との経路境界競合のレベルを判定する（３０５０）。経路境界競合が判定されない場合、例えば、検出された物体が船経路エンベロープの外にある場合、システムは、内部警報を発するように動作し得る（３０６０）。検出された物体がエンベロープ内にあるが、競合のリスクを何らもたらさない場合、適切な外部シグナリング（例えば、ホーンを使用する音響信号、ＲＦ、又は視覚信号）が使用され得る（３０７０）。このようなシグナリングは、通常、様々な可能な経路競合を解決し得る。しかしながら、検出された物体が、特定の確率閾値を上回る衝突をもたらし得る経路境界競合をもたらす場合、決定はまた、例えば、軌道競合のリスクが最小限に抑えられることを検証するために、船駆動システムの好適な動作に関連付けられ得る（３０９０）。検出された物体及びその分析が、所定の閾値を上回る競合のリスクに関する可能性のある軌道競合経路境界競合を示す場合、適切な衝突防止アクションセットが取られる（３０８０）。このような衝突防止アクションセットは、少なくとも船駆動及びシグナリングシステムを動作させるための１つ以上の動作アクションを含み得、通常、ＥＣＤＩＳ及び対応するガイドラインに従って判定される。したがって、オートキャプテンは、船軌道を修正し、衝突の危険性を除去するように、駆動システムの動作を変化させるように動作し得る（３０９０）。

【0069】

上記のように、本技法は更に、制御システム１００の機械学習システムのための連続的な学習能力を提供する。このような連続的な学習能力は、船５０の近傍で検出された様々な物体の物体認識に関連付けられ得る。本技法のいくつかの実施形態による、ラベル付けされた画像データ片の形態で訓練データを連続的に生成するための技法を例示する図４を参照する。上記のように、本技法は、上記した制御システム１００などの１つ以上のプロセッサ及びメモリ回路機構を使用して実装され得る。図示のように、本技法は、レーダユニットによって取得された入力レーダデータを提供すること（４０１０）と、１つ以上のカメラユニットによって取得された入力画像データを提供すること（４０２０）とを含む。一般に、レーダ入力データは、第１の特定の視野を示し、画像データは、第２の視野を示し、第１及び第２の視野は、少なくとも部分的に重複する。いくつかの好ましい例では、レーダデータは、水平方向に３６０°及び仰角に少なくとも３０°に延在する視野から収集される。画像データは、好ましくは、同様の視野から収集され得るが、レーダデータの収集と視野の同じセクションの画像データの収集との間に特定の遅延が生じ得る。

【0070】

レーダ入力データ及び画像データによって形成される入力データは、ラベル付けされた画像データを生成するために処理される。入力レーダデータは、例えば海洋環境における波からの反射に関連付けられたノイズを除去するためにフィルタリングされ得る（４０１５）。このようなフィルタリングは、天候及び波の状態に関する入力データを利用して、異なる海の状態による波の反射の変化に関し得ることに留意されたい。レーダデータのフィルタリングは、一般に、レーダユニットによって提供され得る。レーダデータは、船の近傍の様々な物体に関連付けられた１つ以上の反射信号の検出のために処理される（４０３０）。物体が検出されると、物体の場所及びレーダメタデータが判定されている（４０３５、４０５０）。物体の場所は、船５０に対する相対場所として、及び／又は物体のグローバル場所として好適な処理及び船測位システムを使用して判定され得る。レーダメタデータは、入力レーダ反射シグネチャ、ドップラーシフト、及び物体が２つ以上のレーダ掃引において検出される場合の検出インスタンス間のそれぞれの変動に基づいて判定される。メタデータは、物体サイズ、アスペクト、断面、距離、方位角、仰角、物体場所、接近速度、ドップラーシフト、及び物体レーダシグネチャなどの１つ以上のデータ片を含み得る。いくつかの構成では、通常、船舶について、本技法は、検出された物体の場所における１つ以上の船舶の存在に関するＡＩＳデータを利用し得る（４０６０）。ＡＩＳデータは、通常、船舶のアイデンティティ及びそれらのグローバル位置を含み、それによって、フラグデータ、サイズ、方向、シグネチャ色などを含む、検出されたシップに関するほぼ完全なデータの直接情報を取得することを可能にする。

【0071】

物体相対場所を利用して、画像データの対応するセクションが選択され、通常、物体を描写する画像データ片を生成するために切り取られる（４０４０）。画像データがそれぞれの場所の画像データを含まない場合、本技法は、それぞれの場所の画像データを収集するために、カメラユニットのうちの１つ以上への動作命令を生成するように動作し得る。

【0072】

いくつかの構成では、画像データセクション及びレーダメタデータは、画像中で検出された物体と対応する場所座標中のレーダデータとの間の相関を判定するための更なる処理を受け得る（４０４５）。この目的のために、本技法は、物体検出のための、並びに波高及び方向、水平カーブ角度、クラウドデータなどの追加データのための入力画像データの処理を含み得る。

【0073】

撮像装置データセクションと検出された物体のレーダ信号との間の相関が選択された閾値を上回ると判定されると、関連するデータがラベル付けされた出力データとして使用される。いくつかのかすかに検出された物体反射は、閾値を下回る画像データとの相関レベルに応答して省略され得る。相関の閾値は、一般に、天候、照明、及び他の視界状態に基づいて判定される。

【0074】

画像データ片と、レーダメタデータを含む収集されたデータと、使用されるときにはＡＩＳデータとが、ラベル付けされた出力データを生成するために使用される（４０７０）。ラベル付けされた出力データは、レーダ入力データと、船の近傍で検出された物体に関連付けられた撮像装置データとの間の接続を容易にし、提供する。本技法は、典型的には、入力データを連続的に収集し、他の船舶、海洋プラットフォーム、ボート、石油掘削装置、氷山、島、及び海岸線からの範囲の様々な検出された物体、並びに船の周りで検出された任意の他のタイプの物体を示すラベル付けされた出力データを生成するように動作し得る。収集されたラベル付けされた出力データは、一般に、船の周りの様々な物体を認識するために、制御システムのＭＬモジュールを連続的又は定期的に訓練するために使用され得る（４０８０）。これは、初期訓練及び周期的更新によって提供されるものにわたって連続的な学習ができる自動的及び／又は自律的な船を提供することを可能にする。

【0075】

図５は、本技法のいくつかの実施形態による、ラベル付けされた訓練データを生成するためのシステムの構成を例示する。上記のように、システムは、制御システム１００又は訓練データ生成器（ＴＤＧ）モジュール１６０の形態で構成され得る。一般に、システム１００は、１つ以上のプロセッサ、メモリユニット１９０、並びに１つ以上のカメラユニット及び１つ以上のレーダユニットに接続可能な通信モジュール、Ｉ／Ｏポート１９５を利用する１つ以上のプロセッサ及びメモリ回路機構（ＰＭＣ）を含む。ＴＤＧ１６０は、少なくともレーダ入力データ及び画像入力データに関連付けられた入力データを受信し、入力データを処理して、１つ以上のラベル付けされた画像データ片を生成し、ラベル付けされた画像データをＭＬ訓練モジュール１７０に提供して、連続的訓練を可能にするように構成されている。ラベル付けされた画像データ片は、一般に、レーダデータの受信信号反射と、船の周りの物体を描写する画像データの対応するセクションとの間の接続に基づいてラベル付けされる。この例では、ＴＤＧ１６０は、レーダ反射検出器４１０、レーダ信号処理モジュール４２０、視野分析器４３０、物体データ相関器４３５、及びラベル付けされた出力データ生成器４４０を含む、ソフトウェア又はハードウェアモジュールを含み得る。

【0076】

レーダ反射検出器４１０は、１つ以上の収集ビームを使用してレーダシステムによって収集された収集ＲＦ信号に関するデータを受信し、収集された信号を処理して視野内の物体を示す信号部分を判定するように構成されている。この目的のために、レーダ反射検出器４１０は、バックグラウンドノイズに対する物体を示す収集された信号部分を検出するために、ノイズフィルタリング、好適な位相変化を有するＲＦ収集チャネルの合計、及び／又はピーク検出技法を利用し得る。１つ以上の物体によって引き起こされた反射信号を検出すると、レーダ反射検出器４１０は、反射信号成分を処理し、反射ＲＦ信号に基づいて物体の１つ以上の特徴を判定するために、検出された反射に関するデータをレーダ信号処理モジュール４２０に送信する。レーダ信号処理モジュール４２０は、収集されたＲＦ信号を反射する１つ以上の物体に関するデータを判定するために様々な処理アルゴリズムを利用し得る。このような処理は、収集された信号のフーリエ成分を判定すること、ドップラーシフトを判定すること、収集されたチャネルを処理すること、１つ以上の追加の収集ビームを判定して、反射信号をグループ内に位置する１つ以上の物体から区別することなどを含み得る。一般に、物体の数、物体の場所、方位角、仰角、船からの距離、物体サイズ、長さ、幅、高さ、物体アスペクト、断面、接近速度、部分ドップラーシフト（例えば、物体内の要素の内部移動に関連付けられる）などから選択されるデータ片を含む物体に関するレーダメタデータを判定するように構成されている。レーダ信号処理モジュール４２０は更に、物体の横方向速度を判定するために、共通物体の２つ以上の検出インスタンスを利用し得る。そのように判定されたレーダメタデータは、画像データの対応するセクションのラベリングのために、ラベリングデータにパッケージ化される。また、レーダ信号処理モジュール４２０は、測位データ（例えば、ＧＰＳデータ）を利用して、船の位置及び船５０に対する物体の相対的な場所に基づいて、検出された物体のグローバル位置を判定し得る。この目的のために、レーダ信号処理モジュール４２０は、少なくとも、一般に方位角、仰角、及び距離を含む物体場所に関するデータを視野（field of view、ＦＯＶ）分析器４３０に提供する。

【0077】

ＦＯＶ分析器４３０は、検出された１つ以上の物体の場所に関するデータと、１つ以上のカメラユニットによって収集された画像データとを受信し、画像データを処理して、物体が検出されたそれぞれの場所から収集された画像データのセクションに関連付けられた１つ以上の画像データ片を判定するように動作する。ＦＯＶ分析器４３０は、物体距離及び物体サイズ／断面に関するデータを利用して、通常、画像セクション内でカバーされる立体角に基づいて画像セクションのサイズを判定し得る。一般に、画像データがそれぞれの場所の十分なデータを含まない場合、ＦＯＶ分析器４３０は、１つ以上のカメラユニットを動作させ、それぞれの場所の追加の画像データを収集するための感知装置への要求を生成し得る。

【0078】

ＦＯＶ分析器４３０は、画像データの１つ以上の関連するセクションを処理して、それぞれのセクションに現れる物体に関するデータを判定するように構成された画像処理モジュールを含むか、又はそれに関連付けられ得る。この目的のために、ＦＯＶ分析器４３０は、異なる時間インスタンス、又は１つ以上の異なる時間において取得された画像データを利用し得、略静止したバックグラウンド上の移動物体の検出を可能にする。追加的に、又は代替的に、ＦＯＶ分析器４３０は、画像データ内に現れる物体に関するデータを判定するために、勾配検出又は他の技法（ＡＩ画像処理を含む）を利用し得る。

【0079】

物体相関器４３５は、検出された物体を示す異なるデータ片を処理するように構成され得る。より具体的には、物体相関器４３５は、検出された物体に関するレーダメタデータと、それぞれの１つ以上の場所の画像データセクションとを受信し、レーダデータ及び画像データを処理して、異なる技術における物体検出間の相関を判定するように構成されている。相関レベルは、ラベリングデータに含まれ得る。追加的に、相関レベルについて、天候、視界及び／又は照明条件に従って処理され得る。検出された物体のセンサ表現と選択された閾値未満との間の相関がある場合、本技法は、相関を改善するために追加の感知データを取得するように、及び／又はそれぞれの感知データを省略するように動作し得る。

【0080】

したがって、切り取られた画像データ片及びレーダメタデータは、ラベル付けされた出力データとしてパッケージ化されるためにラベル付けされた出力データ生成器４４０に送信される。上記のように、ラベル付けされた出力データ生成器は、ＡＩＳシステム２４０及び／又はリモート通信を利用して、検出された物体の場所において見つけられ得る１つ以上の船舶に関するデータを取得し得る。そのようなＡＩＳデータは、存在する場合、ラベル付けされた出力データの値を高める追加のラベリングデータフィールドを提供し得る。例えば、ＡＩＳデータは、シップアイデンティティを示し、検出された物体が特定のタイプのシップであることを明確にし得る。追加的に、ＡＩＳデータは、シップフラグデータ、色スキーム、船首方位などを示し得る。ラベル付けされた出力データ生成器４４０は、したがって、１つ以上の物体の画像によって形成されるラベル付けされた画像データ片と、物体に関して収集されたレーダメタデータとから形成される出力データを生成するように動作し、物体に関するＡＩＳデータも含み得る。ラベル付けされた出力データは、通常、後で使用するためにメモリユニット１９０に記憶され、一般に、ＭＬ訓練モジュール１７０を使用してＭＬ物体分析モジュールの連続的訓練を可能にするために使用される。

【0081】

したがって、本技法は、ラベル付けされた画像データを連続的に生成し、自律的な船を連続的に学習することを可能にするために、組み合わされたＲＦ及び光信号収集を利用する。本技法は、一般の解析視野を利用して、本技法が、共通物体に関するレーダ入力データ及び画像データを一意的かつ効率的に相関させることを可能にする、船舶での使用に特に関連する。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-02-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサ及びメモリ回路によって実装される方法であって、前記方法が、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を含み、前記方法が、１つ以上の画像データ片と、１つ以上の人工知能（ＡＩ）モジュールの訓練処理のためのラベリングデータと、を含む、前記出力データを提供し、それによって、前記画像データにおける物体認識及び／又は分類のための連続的訓練を可能にすることを更に含む、方法。

【請求項2】

前記レーダメタデータが、レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む、請求項１に記載の方法。

【請求項3】

レーダメタデータが、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面及びシグネチャの群から選択される１つ以上のデータ片を含む、請求項１に記載の方法。

【請求項4】

前記ＡＩモジュールが、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする、請求項１に記載の方法。

【請求項5】

前記ＡＩモジュールが、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている、請求項４に記載の方法。

【請求項6】

前記ＡＩモジュールが、前記船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする、請求項５に記載の方法。

【請求項7】

前記レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含む、請求項１に記載の方法。

【請求項8】

前記１つ以上の反射物体の位置に関するデータを提供することと、自動識別システム（ＡＩＳ）及び前記１つ以上の反射物体の前記位置を利用して、前記１つ以上の反射物体のアイデンティティに関するデータを取得することと、追加のラベルデータを生成するために前記アイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成することと、を更に含む、請求項１に記載の方法。

【請求項9】

少なくとも１つのプロセッサ及びメモリ回路と、１つ以上のカメラユニットと、１つ以上のレーダユニットと、を備える、船舶管理システムであって、前記少なくとも１つのプロセッサが、オートキャプテンモジュールと、物体検出訓練モジュールと、訓練データ生成器と、を備え、
前記オートキャプテンモジュールが、ラベル付けされた画像データに基づいて連続的に訓練可能な人工知能（ＡＩ）モジュールを含み、前記１つ以上のカメラユニットから画像データを受信し、前記画像データを処理して、船舶の周りの選択された視野内の１つ以上の物体に関するデータを判定するように構成されており、
前記訓練データ生成器が、前記１つ以上のカメラユニット及び１つ以上のレーダユニットから入力データを受信することであって、前記入力データが、第１の視野を示すレーダ入力データ及び前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データを少なくとも含む、受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータを取得することと、前記入力画像データの前記第２の視野の重複部分内の前記それぞれの場所を処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成され動作可能であり、
前記物体検出訓練モジュールが、前記ラベル付けされた出力データを受信し、前記ラベル付けされた出力データに基づいて、物体を検出するために前記オートキャプテンモジュールの前記ＡＩモジュールの訓練を更新し、それによって、前記ＡＩモジュールの訓練を連続的に更新することを可能にするように構成されている、船舶管理システム。

【請求項10】

前記ＡＩモジュールが、前記１つ以上のカメラユニットから受信された入力画像データを処理し、前記画像データにおいて識別された１つ以上の物体に関するデータを判定し、それによって、前記画像データからの１つ以上の物体の物体認識を提供するように適合される、請求項９に記載のシステム。

【請求項11】

前記レーダメタデータが、レーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含む、請求項９に記載のシステム。

【請求項12】

レーダメタデータが、物体サイズ、物体距離、物体接近速度、物体アスペクト、物体場所、角度、方位角、ベクトル、ドップラー、断面、及びシグネチャの群から選択される１つ以上のデータ片を含む、請求項９に記載のシステム。

【請求項13】

前記ＡＩモジュールが、１つ以上の場所検出ユニット（ＧＰＳ）から場所データを受信するように、かつ前記船舶の航行ルートを判定するように更に構成されている、請求項９に記載のシステム。

【請求項14】

前記オートキャプテンモジュールが、前記船舶のステアリング制御に接続可能であり、前記船舶の速度及び船首方位のうちの少なくとも１つを変化させ、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にするように構成されている、請求項９に記載のシステム。

【請求項15】

前記レーダ入力データを処理して、前記第１の視野内の１つ以上の反射物体を示すデータを判定し、反射物体が識別された１つ以上のそれぞれの場所が前記第２の視野の外側にあると判定すると、前記１つ以上のそれぞれの場所から画像データを取得する動作コマンドを生成することを更に含む、請求項９に記載のシステム。

【請求項16】

自動識別システム（ＡＩＳ）モジュールを更に含み、前記訓練データ生成器が、前記１つ以上の反射物体の位置に関するデータを提供し、前記ＡＩＳモジュールから前記位置に位置する船舶のアイデンティティに関するデータを取得し、追加のラベルデータを生成するために前記アイデンティティに関するデータを使用し、前記１つ以上の画像データセクション並びに前記ラベルデータ及び前記追加のラベルデータを含む出力データを生成するように更に構成されている、請求項９に記載のシステム。

【請求項17】

ラベル付けされた訓練データを生成するためのシステムであって、前記システムが、１つ以上のプロセッサと、メモリユニットと、１つ以上のカメラユニット及び１つ以上のレーダユニットに接続可能な通信モジュールと、を備える処理ユーティリティを備え、前記処理ユーティリティが、第１の視野を示すレーダ入力データと、前記第１の視野と少なくとも部分的に重複する第２の視野を示す画像入力データとを少なくとも含む入力データを受信することと、前記レーダ入力データを処理して、前記第１の視野の重複部分内の１つ以上の反射物体を示すデータを判定し、前記１つ以上の反射物体が識別される前記第２の視野内の１つ以上のそれぞれの場所を判定し、前記１つ以上の反射物体のレーダメタデータであってレーダ信号を反射する１つ以上の物体のレーダシグネチャを示す１つ以上のデータ片を含むレーダメタデータを取得することと、前記第２の視野の重複部分内の前記それぞれの場所で前記入力画像データを処理し、前記１つ以上の反射物体に関連付けられた前記画像データの１つ以上のセクションと対応する１つ以上の画像データ片を判定し、ラベルデータを生成するために前記レーダメタデータを使用し、前記１つ以上の画像データセクション及び前記ラベルデータを含む出力データを生成し、それによって、前記レーダメタデータと１つ以上の物体の画像データとの接続を容易にして、前記画像データに基づく物体検出のための機械学習訓練を可能にすることと、を行うように構成され、前記処理ユーティリティが、１つ以上の画像データ片と、１つ以上のＡＩモジュールの訓練処理のためのラベリングデータを含む前記出力データを提供し、それによって、前記画像データ内の物体検出のための連続的訓練を可能にするように更に構成されている、システム。

【請求項18】

前記処理ユーティリティが、レーダ反射検出器と、レーダシグネチャ処理モジュールと、ＦＯＶ分析器と、を備え、前記レーダ反射検出器が、前記１つ以上のレーダユニットから入力データを受信し、前記１つ以上のレーダユニットの視野内の１つ以上の物体を示す１つ以上のレーダ信号反射のデータと、前記１つ以上の物体の場所とを判定するように構成されており、前記レーダシグネチャ処理モジュールが、前記レーダ信号反射に関するデータを受信及び処理し、前記１つ以上の物体のレーダシグネチャに関するデータを判定するように構成されており、前記ＦＯＶ分析器が、前記１つ以上のカメラユニットからの入力画像データと、前記１つ以上の物体の前記場所に関するデータとを受信し、前記入力画像データを処理して、前記１つ以上の物体の前記場所に関連付けられた１つ以上の画像データ片を判定するように構成されており、前記処理ユーティリティが、前記画像データ片と、前記１つ以上の物体の前記レーダシグネチャに関するデータに関連付けられたラベリングデータと、を含む出力データを生成し、それによって、１つ以上の人工知能（ＡＩ）モジュールの訓練のためにラベル付けされた訓練データを生成する、請求項１７に記載のシステム。

【請求項19】

前記１つ以上のＡＩモジュールが、海洋環境における物体検出のために適合され、前記画像データに従って、船舶における衝突防止を可能にする、請求項１７に記載のシステム。

【請求項20】

前記１つ以上のＡＩモジュールが、船舶のステアリング制御に接続可能であり、それによって、前記船舶の少なくとも部分的に自律的な動作を可能にする、請求項１７に記載のシステム。

【国際調査報告】