特許 7579068 水中目標物検知用学習装置および水中目標物検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】水中目標物検知用学習装置および水中目標物検知装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241030BHJP

   G01S 1/72 20060101ALI20241030BHJP

【ＦＩ】

G06N20/00

G01S1/72

【請求項の数】 11

(21)【出願番号】P 2020098166

(22)【出願日】2020-06-05

(65)【公開番号】P2021190040

(43)【公開日】2021-12-13

【審査請求日】2023-02-15

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】市毛 健志

(72)【発明者】

【氏名】下脇 僚太

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０１９／０４５０９１（ＷＯ，Ａ１）

【文献】特開２０１９－１３８１５２（ＪＰ，Ａ）

【文献】特開２０１９－２００１７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００５０２０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ １／７２

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

水中目標物を、観測データを用いて検知するための水中目標物用学習装置において、
前記水中目標物の検知に用いる複数の学習データを、前記水中目標物に対する観測条件とそれぞれ対応付けて記憶する記憶部と、
前記水中目標物の観測データおよび前記観測データの観測条件を受け付ける入力部と、
受け付けられた前記観測条件と、前記記憶部に記憶された複数の観測条件のそれぞれの距離を計算する距離計算部と、
前記距離計算部で計算された距離に基づいて、前記記憶部から学習モデルを選択するモデル選択部と、
前記モデル選択部で選択された学習モデルを用いて、前記水中目標物の検知に対する学習を行う学習部とを有し、
前記学習部で学習された前記学習モデルを用いて、前記入力部で受け付けられた前記水中目標物に対して検知に関する推論を行うことを可能とする水中目標物検知用学習装置。

【請求項2】

請求項１に記載の水中目標物検知用学習装置において、
前記モデル選択部は、前記距離計算部で計算された距離が最も短い観測条件に対応付けられた学習モデルを選択する水中目標物検知用学習装置。

【請求項3】

請求項１に記載の水中目標物検知用学習装置において、
前記モデル選択部は、前記距離計算部で計算された距離に基づいて、複数の学習モデルを選択する水中目標物検知用学習装置。

【請求項4】

請求項３に記載の水中目標物検知用学習装置において、
前記モデル選択部は、
前記記憶部に記憶された複数の観測条件の距離の第１の代表値を計算し、
前記第１の代表値と同等の第２の代表値になる観測条件を複数特定し、
特定された複数の前記観測条件に対応付けられた学習モデルを選択する水中目標物検知用学習装置。

【請求項5】

請求項３または４のいずれかに記載の水中目標物検知用学習装置において、
前記モデル選択部は、さらに、前記距離計算部で計算された距離が短い順に複数の学習モデルを選択する水中目標物検知用学習装置。

【請求項6】

水中航行物あるいは船舶の航行に関する水中目標物を、観測データを用いて検知する水中目標物検知装置において、
前記水中目標物の検知に用いる複数の学習データを、前記水中航行物あるいは前記水中目標物に対する観測条件とそれぞれ対応付けて記憶する記憶部と、
前記水中目標物の観測データおよび前記観測データの観測条件を受け付ける入力部と、
受け付けられた前記観測条件と、前記記憶部に記憶された複数の観測条件のそれぞれの距離を計算する距離計算部と、
前記距離計算部で計算された距離および前記船舶が航行を予定する航行ルートに基づいて、前記記憶部から学習モデルを選択するモデル選択部と、
前記モデル選択部で選択された前記学習モデルに基づいて、前記入力部で受け付けられた前記水中目標物に対して検知に関する推論を行う推論部とを有する水中目標物検知装置。

【請求項7】

請求項６に記載の水中目標物検知装置において、
さらに、前記距離計算部で計算された距離に基づき、学習モデルを抽出し、抽出した前記学習モデルと、当該学習モデルに対応する観測条件および前記航行ルートを対応付けたルートプログラムを作成して、前記記憶部に前記ルートプログラムを記憶するルート処理手段を有し、
前記モデル選択部は、前記ルートプログラムから、前記学習モデルの選択を行う水中目標物検知装置。

【請求項8】

請求項７に記載の水中目標物検知装置において、
前記ルート処理手段は、前記距離計算部で計算された距離が最も短い観測条件に対応付けられた学習モデルを抽出する水中目標物検知装置。

【請求項9】

請求項７に記載の水中目標物検知装置において、
前記ルート処理手段は、前記距離計算部で計算された距離に基づいて、複数の学習モデルを抽出する水中目標物検知装置。

【請求項10】

請求項９に記載の水中目標物検知装置において、
前記ルート処理手段は、
前記記憶部に記憶された複数の観測条件の距離の第１の代表値を計算し、
前記第１の代表値と同等の第２の代表値になる観測条件を複数特定し、
特定された複数の前記観測条件に対応付けられた学習モデルを抽出する水中目標物検知装置。

【請求項11】

請求項９または１０のいずれかに記載の水中目標物検知装置において、
前記ルート処理手段は、さらに、前記距離計算部で計算された距離が短い順に複数の学習モデルを抽出する水中目標物検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水中目標物を、観測データを用いて検知する技術に関する。その中でも特に、水中目標物の検知に用いる機械学習による学習を実行する技術に関する。

【0002】

なお、観測データには、音波および観測された音波を変換した画像データが含まれる。

【背景技術】

【0003】

従来、水中目標物を探知するアクティブソーナーに関する従来技術として、特許文献１がある。特許文献１では、連続したパルスを目標物に複数個送波して、その反射エコーの強度を、縦軸に距離、横軸に方位を示す画面を表示して、専門知識を有する判定者が目標物の存在を判定していた。

【0004】

ここで、アクティブソーナーを用いた水中目標物の検知において、機械学習の結果であるニューラルネットで代用することが考えられる。具体的には、反射エコーの強度を、縦軸に距離、横軸に方位を示す画面、すなわち、Bスコープ画面を入力画像として、その中に含まれる目標物のエコーを人ではなく、ニューラルネットで水中目標物の検知を代用する。水中目標物を探知するソーナー装置において、ニューラルネットを適用した従来技術として、特許文献２および３がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平8-129065号公報

【文献】特開2019-200175号公報

【文献】特開2010-266280号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の特許文献２や３に関し、水中目標物の音波を使用した検出において、観測されるソーナーデータは観測条件に大きく依存し、単一のモデルデータですべての条件のデータに対して、要求される高い検出精度を維持することが困難である。このため、個別の条件に応じた、学習モデルを複数準備し、条件により学習モデルを切り替えて運用することが考えられる。

【0007】

上記のような人工知能（AI）による水中目標物の検知システムで、各種観測条件に対応した、より高い検出精度を発揮することは困難であった。そこで、本発明では、このような水中目標物の検知装置を提供することを目的とする。さらなる本発明の目的として、このような水中目標物の検知装置の構築方法を提供することである。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明では、水中目標物を検知するための学習モデルを複数用意しておき、前記観測データの観測条件と前記複数の学習モデルの観測条件の距離に基づいて、１つ以上の学習モデルを選択するものである。

【0009】

より具体的には、水中目標物を、観測データを用いて検知するための水中目標物用学習装置において、前記水中目標物の検知に用いる複数の学習データを、前記水中目標物に対する観測条件とそれぞれ対応付けて記憶する記憶部と、前記水中目標物の観測データおよび前記観測データの観測条件を受け付ける入力部と、受け付けられた前記観測条件と、前記記憶部に記憶された複数の観測条件のそれぞれの距離を計算する距離計算部と、前記距離計算部で計算された距離に基づいて、前記記憶部から学習モデルを選択するモデル選択部と、前記モデル選択部で選択された学習モデルを用いて、前記水中目標物の検知に対する学習を行う学習部とを有し、前記学習部で学習された前記学習モデルを用いて、前記入力部で受け付けられた前記水中目標物に対して検知に関する推論を行うことを可能とする水中目標物検知用学習装置である。

【0010】

本発明の別態様として、水中航行物あるいは船舶の航行に関する水中目標物を、観測データを用いて検知する水中目標物検知装置において、前記水中目標物の検知に用いる複数の学習データを、前記水中目標物に対する観測条件とそれぞれ対応付けて記憶する記憶部と、前記水中目標物の観測データおよび前記観測データの観測条件を受け付ける入力部と、受け付けられた前記観測条件と、前記記憶部に記憶された複数の観測条件のそれぞれの距離を計算する距離計算部と、前記距離計算部で計算された距離および前記水中航行物あるいは前記船舶が航行を予定する航行ルートに基づいて、前記記憶部から学習モデルを選択するモデル選択部と、前記モデル選択部で選択された前記学習モデルに基づいて、前記入力部で受け付けられた前記水中目標物に対して検知に関する推論を行う推論部とを有する水中目標物検知装置が含まれる。

【発明の効果】

【0011】

本発明によれば、AIを適用した各種観測条件に対応したより高い検出精度を発揮する水中目標物の検知が可能になる。

【図面の簡単な説明】

【0012】

【図1】実施例１の機能構成を示した図である。

【図2】実施例１で用いられる観測データの一覧表を示した図である。

【図3】実施例１で用いられる観測条件の例の構成内容を示した図である。

【図4】実施例１での条件距離の換算方法の一例を示す図である。

【図5】実施例１で用いられる条件空間マップの一つの表現形式の一例を示す図である。

【図6】実施例１で用いられる学習モデル集合体を条件空間マップ上に記載した一例を示す図である。

【図7】実施例１で用いられる学習モデル集合体の内容をある条件空間で切り取った図である。

【図8】本発明の実施例１で用いられる条件データの内容を示す図である。

【図9】本発明の実施例１で用いられる条件距離の評価値の一例を示す図である。

【図10】本発明の実施例１で用いられる推論性能データを示す図である。

【図11】本発明の実施例１で用いられるマルチクラス学習モデルの組の一例を示す図である。

【図12】実施例２の機能構成を示した図である。

【図13】実施例２で用いる ループプログラムの構成内容を示す図である。

【図14】実施例１のシステム構成図である。

【図15】実施例１の処理概要を示すフローチャートである。

【図16】実施例２のシステム構成図である

【図17】実施例２の処理概要を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の各実施例を説明する。各実施例では、水中航行物あるいは船舶の航行における障害物の検知や水中航行物あるいは船舶を用いた探索のために、水中目標物を検知する。水中目標物の例として、魚群、機雷、人、その他浮遊物・漂流物が含まれる。これらは、あくまでも例であり、他の物体を排除するものではない。また、各実施例において、水中目標物は、少なくともその一部が水上・海上に現れていてもよい。なお、水中航行物あるいは船舶には、水上、海上の他、水中や海中を航行する移動体が含まれる。以後の説明において、単に船舶と記載する際には、水中航行物あるいは船舶を意味するものとする。

【実施例1】

【0014】

まず、本発明の実施例１を説明する。図１は、本実施例の機能構成図である。図１で、１００はソーナーデータ、１０１はソーナーデータ１００が測定ないし観測された際の観測条件、１０２はアノテーションデータ、１０３はモデルデータ、１０４は性能データ、１０５は目標位置推論結果を示す。また、１０６はシステムインターフェース、１０７はモデル読書き手段、１０８はモデル選択手段、１０９は距離計算手段、１１０はデータ分割手段、１１１は学習プロセス手段、１１２は前処理手段、１１３は推論プロセス手段を示す。また、１１４は学習モデル集合体、１１５は条件マップ、１１６は条件データ、１１７は複製されたRawデータ、１１８はRawデータ、１１９はマルチクラス学習モデル、１２０は推論性能データを示す。さらに、１２１は学習手段、１２２は推論手段、１２３は学習手段の出力多次元スコア、１２４は推論手段の出力多次元スコア、１２５はスコアの評価関数、１２６はスコアの評価関数、１２７は性能分析手段を示す。なお、Rawデータ１１８に対するポインタも本システムには含まれる。

【0015】

本システムは、図１４に示す水中目標物の検知システムに実装可能である。ここで、本システムの各機能や処理を説明する前に、図１４を用いて、本実施例のシステム構成を説明する。図１４において、本システムは、データセンタ等に設置される水中目標物検知用学習装置１０や端末装置２０、水上を航行可能な船舶３０に設けられた水中目標物検知装置３４から構成される。さらに、船舶３０には、ソーナー送受信装置３１、センサ類３２、無線装置３３が設けられている。

【0016】

ここで、ソーナー送受信装置３１は、検知した音波を電気信号に変換する機能を有する。そして、ソーナー送受信装置３１自身もしくは他の装置が、その電気信号を画像データであるソーナーデータ１００に変換する。このソーナー送受信装置３１は、いわゆるアクティブソーナーが含まれる。

【0017】

また、センサ類３２は、観測条件１０１の少なくとも一部を検知する機能を有する。例えば、海域の位置情報を測定するＧＰＳセンサ、水深毎の水温である水中温度プロファイルを計測する水温計で実現可能である。なお、観測条件１０１のうち、海質などは、予め水中目標物検知装置３４が記憶している地図情報を用いてもよい。

【0018】

また、水中目標物検知用学習装置１０と水中目標物検知装置３４は、ネットワーク４０を介して接続される。この際、水中目標物検知装置３４は、船舶３０に設置された無線装置３３を介して、ネットワーク４０と接続される。ネットワーク４０は、インターネットのような公衆回線でもよいし、専用線でもよい。

【0019】

このように接続されることで、水中目標物検知装置３４は、水中目標物検知用学習装置１０へ、水中目標物検知装置３４が測定ないし特定されるソーナーデータ１００や観測条件１０１を通知できる。さらに、水中目標物検知用学習装置１０での学習結果を、水中目標物検知装置３４に通知でき、当該水中目標物検知装置３４で水中目標物に対する検知に関する推論が可能になる。なお、上述のソーナーデータ１００、観測条件１０１や学習結果はデータ容量が大きくなることがある。この場合、ネットワーク４０ではなく、ＨＤＤやＤＶＤなどの記憶媒体６０を介して、これらをやり取りすることが望ましい。

【0020】

次に、水中目標物検知用学習装置１０の詳細について、説明する。水中目標物検知用学習装置１０は、いわゆるコンピュータで実現でき、ＣＰＵの如き処理部１１、メモリのような記憶部１２、データの入出力を行うインターフェースのような入出力部１３で構成される。そして、各機能は、記憶部１２に展開されたプログラムに従って処理部１１が演算を行うことで実現される。つまり、モデル選択部１０８０、距離計算部１０９０、データ分割部１１００、学習プロセス部１１１０、前処理部１１２０、学習部１２１０、性能分析部１２７０は、プログラムとして、もしくは、プログラムに従った演算の主体として、実現される。ここで、処理部１１におけるこれらの各構成要件は、図１に示した各機能ブロックと以下の対応関係にある。

【0021】

モデル選択部１０８０は、モデル選択手段１０８に該当する。距離計算部１０９０は、距離計算手段１０９に該当する。データ分割部１１００は、データ分割手段１１０に該当する。学習プロセス部１１１０は、学習プロセス手段１１１に該当する。前処理部１１２０は、前処理手段１１２に該当する。学習部１２１０は、学習手段１２１に該当する。性能分析部１２７０は、性能分析手段１２７に該当する。

【0022】

また、水中目標物検知用学習装置１０はコンピュータの中でも特に、サーバで構成されることが望ましい。この場合、水中目標物検知用学習装置１０は、コンピュータとして実装される端末装置２０からの入力を受け付けたり、端末装置２０に処理結果を出力することになる。さらに、水中目標物検知用学習装置１０は、データベース５０に接続される。データベース５０には、図１にも示した各種情報が記憶されている。

【0023】

また、水中目標物検知装置３４もコンピュータとして実装可能である。つまり、処理部、記憶部、入出力部を有する。そして、処理部は、推論プロセス部１１３０および推論部１２２０を有する。推論プロセス部１１３０および推論部１２２０は、処理部１１の構成と同様に、プログラムとして、もしくは、プログラムに従った演算の主体として、実現される。また、推論プロセス部１１３０は、図１の推論プロセス手段１１３に該当し、推論部１２２０は、同じく推論手段１２２に該当する。

【0024】

さらに、図１４の入出力部１３は、図１のシステムインターフェース１０６やモデル読書き手段１０７に該当する。なお、システムインターフェース１０６やモデル読書き手段１０７の一部の機能は、水中目標物検知装置３４の入出力部にも該当する。

【0025】

なお、水中目標物検知用学習装置１０と水中目標物検知装置３４は一体化してもよい。この場合、水中目標物検知装置３４に、水中目標物検知用学習装置１０の機能を実装することが望ましい。また、水中目標物検知用学習装置１０と水中目標物検知装置３４の機能分担は、図１４に示した内容に限定されない。例えば、水中目標物検知装置３４が、距離計算部１０９０を有してもよい。

【0026】

次に、本実施例での処理の概要を説明する。そして、その後に、本実施例で用いられる各種情報および各情報を用いた処理の詳細を説明する。

【0027】

図１５は、本実施例での処理の概要を示すフローチャートである。なお、以下の説明においては、処理の主体を、図１に示す各機能ブロックとして説明する。

【0028】

まず、ステップＳ１において、システムインターフェース１０６が、ソーナーデータ１００、観測条件１０１、教師データであるアノテーションデータ１０２を受け付ける。

【0029】

次に、ステップＳ２において、距離計算手段１０９が、ステップＳ１で入力された観測条件と、学習モデル集合体１１４の各観測条件との距離を計算する。このことで、距離計算手段１０９は、学習モデル集合体１１４の各観測条件に対応付けられた学習モデルまでの距離を特定することが可能になる。

【0030】

次に、ステップＳ３において、モデル選択手段１０８は、学習の際と推論の際で異なる働きをする。学習の際には、学習の結果として得られる学習モデルを格納する学習モデル集合体１１４の内部の位置を１つ決定する。この際、観測条件を条件データ１１６に格納し、条件マップ１１５の位置を特定する。推論の際には、ステップＳ２で特定される各学習モデルの距離に基づいて、ステップＳ４の学習に用いる学習モデルを、学習モデル集合体１１４から選択する。

【0031】

次に、ステップＳ４は、学習の際にのみ処理を実行されることが望ましく、学習プロセス手段１１１および学習手段１２１は、協働して学習処理を実行する。ステップＳ４は、推論の際には、本処理をスキップし、ステップＳ５へと移行することが望ましい。

【0032】

最後に、ステップＳ５は、推論時の際にのみ処理を実行されることが望ましく、推論プロセス手段１１３と推論手段１２２は、ステップＳ３で選択された学習モデルを用いて、ソーナーデータ１００に対する水中目標物の検知のための推論処理を実行する。ステップＳ５では、学習の際には、本処理をスキップすることが望ましい。

【0033】

以上で、本実施例の処理の概要の説明を終了する。以下、図１を用いて、本実施例での処理の詳細を、用いる情報の説明を交えながら説明する。

【0034】

ここで、図１５のステップＳ１を実行する機能ブロックについて、説明する。この前提として、本実施例のソーナー送受信装置３１の動作について説明する。なお、以下で説明する情報の格納は、図１に示すデータベース５０、記憶部１２、水中目標物検知装置３４の記憶部などに適宜格納することを意味する。

【0035】

ソーナー送受信装置３１の一種であるアクティブ方式のソーナー装置では、水中目標物に対して音波を発生し、反射してくる音波の強度を応答時間に基づいて分析して、目標物の方位と距離を推定する。その観測データすなわちソーナーデータはBスコープ形式の画像データに変換し、目標物の反射波の形状により目標物の検出を行うシステムを構成する。Bスコープ形式で画像を表示する際に表示装置に投影するための表示用の解像度変換、強調処理が行われる。この変換を行う前のソーナーデータ１００を特に、Rawデータと呼ぶ。AIで学習および推論を行う際には、主にRawデータを用いる。ソーナーデータの種別、およびAIの処理に応じて、解像度を変換したデータを用いてもよい。

【0036】

ソーナーデータ１００、観測条件１０１、およびアノテーションデータ１０２は本システムのシステムインターフェース１０６を介して入力され、学習手段１２１により機械学習による学習を実行する。前述のように、ソーナーデータ１００は画像データ、すなわち、信号強度を値とする2次元の配列データが、時系列で入力されるデータ形式である。観測条件１０１は、観測を行っている海域の位置情報、目標物の深度、海質（砂、泥ほか）、水温、測定船の速力、ソーナー送受信装置３１の姿勢などが含まれる。

【0037】

アノテーションデータ１０２は、学習を行うための教師データであり、あらかじめ設定された目標物の種類、位置、姿勢の情報である。アノテーションデータ１０２としては、目標物に関するGPSシステム上の緯度経度および深度の情報を2次元画像データ上の位置情報に変換したデータや、熟練した水測員がＢスコープ上に表示したソーナーデータについて、フレーム毎に水中目標物の位置、姿勢を算出して結果を用いる。

【0038】

本システムで使用する機械学習のモデルは、画像データ中の物体検出に適したモデル形式を採用する。画像中から定まった形状で任意の大きさの物体を検出するAI手法が公開されており、そのひとつを用いれば、複数の物体の位置および物体の画像範囲を推定することが可能である。この場合、複数の形状の異なる物体は、それぞれは独立したクラスとして認識される。複数のクラスに対応した学習モデルはマルチクラス対応と呼称される。

【0039】

上記のほかのシステムインターフェース１０６の入出力として、モデルデータ１０３、性能データ１０４、目標位置推論結果１０５がある。モデルデータ１０３は、本システムが生成した学習モデル（学習済みデータ）あるいは外部システムに格納されていた学習モデルそのものを示す。性能データ１０４は、目標物の検出精度など本システムの保持する学習モデルの性能に関するデータであり、図示しない外部システムとの入出力がなされる。目標位置推論結果１０５は、本システムで学習モデルを設定し、新たなソーナーデータ１００を入力して、推論を行った目標物の推論結果のデータである。

【0040】

図１のシステムインターフェース１０６の右側に配置したブロックは、本システムの内部処理を実行する機能ブロックである。以下、その内部処理の概要について説明する。

【0041】

モデル読書き手段１０７は、学習モデルの入出力を実行する機能ブロックであり、学習手段１２１が生成する学習モデルや、学習モデル集合体１１４に含まれる学習モデルについて、観測条件１０１に基づく入出力を行う。

【0042】

次に、図１５のステップＳ２を実行する機能ブロックについて、説明する。距離計算手段１０９は、システムインターフェース１０６を介いて入力された観測条件１０１に対して、学習モデル集合体１１４に含まれる各観測条件との距離を計算する。このことで、距離計算手段１０９は、計算された距離を学習モデル集合体１１４に格納された各学習モデルの距離を特定することになる。ここで、距離計算手段１０９は、学習モデル集合体１１４に格納された各学習モデルについて、条件距離を計算し、その結果を条件マップ１１５として格納する。

【0043】

距離計算手段１０９は、さらに、入力された条件データ１１６を格納し、必要に応じて読み出し処理する。条件距離の算出には、入力された観測条件１０１と処理する学習モデルの観測条件の２つの条件データが必要である。ここで、図８に、条件データ１１６を示す。

【0044】

次に、図１５のステップＳ３を実行する機能ブロックについて、説明する。モデル選択手段１０８は、学習モデル集合体１１４から条件が適した１つ以上の学習モデルを選択する機能ブロックである。この条件判断には距離計算手段１０９が算出する２つの条件間の距離、すなわち条件距離が用いられる。この条件距離は、前述の各学習モデルの距離が含まれる。

【0045】

評価関数１２５および１２６は多次元スコアから１つのスカラー値を算出する関数である。目標物が複数のクラスのどれかであることを検出するケースでは、この評価関数は多次元スコアの最大値を抽出する関数を用いることができる。その場合、最大値のスコアに対応するクラスが目標物のクラスとして推定されることになる。

【0046】

性能分析手段１２７は、評価関数１２６により選ばれた目標物の推論結果を教師データであるアノテーションデータと比較し、その一致度合いを推論データのグループ全体にわたって評価して、推論精度を算出する機能ブロックである。

【0047】

推論性能データ１２０は、上記の推論精度を示すデータであるモデル選択手段１０８での学習モデルの選択にあたって用いられるデータである。この推論性能データ１２０を、図１０に示す。モデル選択手段１０８は、推論性能データ１２０の示す推論性能を考慮し、推論性能が所定の推論性能のしきい値を満たさない場合は選択する学習モデルから除外する。

【0048】

次に、図１５のステップＳ４について、説明する。データ分割手段１１０は、学習プロセス手段１１１と推論プロセス手段１１３の入力となるソーナーデータおよびアノテーションデータのデータ集合を分割する処理を実行する。時系列のソーナーデータ１００を時刻ごと画像フレーム単位で、学習あるいは推論に振り分けて、それぞれのデータ集合に分割する。

【0049】

学習プロセス手段１１１は、上記の学習用のソーナーデータ集合について、学習手段１２１を動作させて、学習モデルを生成する一連の処理を制御する。生成された学習モデルは観測条件に基づいて、学習モデル集合体１１４に格納し、活用する。

【0050】

学習手段１２１は、入力の観測データに対応したアノテーションデータを使用する。学習手段１２１は、その内部処理で、アノテーションデータ１０２を用いた損失関数の計算を行い、学習モデルの最適化を実行する。

【0051】

また、前処理手段１１２は、学習など各種処理を行う際に、扱うデータに対して前処理を実行する。前処理には、データの整形などが含まれる。

【0052】

次に、図１５のステップＳ５を実行する機能ブロックについて、説明する。推論プロセス手段１１３は、上記の推論用のソーナーデータ集合について、推論手段１２２を動作させて、推論結果を算出する一連の処理を制御する。

【0053】

推論手段１２２は、目標物の候補についてのデータを出力する。具体的には、推論の設定しきい値に対応して、有限個の目標物候補の位置とその確からしさを数値化したスコアを出力する。目標物が複数ある場合は複数のクラスに対応した多次元スコアを出力する。 以上で、図１に示す機能ブロックの説明を終了し、以下、さらに、各種情報の詳細の説明を、処理内容を交えながら行う。特に、ステップＳ２の距離計算の詳細も、下記に示す。

【0054】

まず、観測条件１０１とソーナーデータ１００の対応関係について、図２を用いて説明する。ここでは２つの種類の条件として、海域の識別情報A1～A4と深度D1～D4を例にとって説明する。符号２０１が海域の種類であり、符号２０２が深度の違いを区別するためのもので、それら２つの条件に対応するソーナーデータの名称（識別符号として、符号２０３など）を対応させて示す。図２では、すべての条件に対応するソーナーデータが観測済みで、利用可能であるように示されている。しかしながら、実際の現場ではすべての条件が取得済みとは限らず、未取得のデータ（あるいは欠損データ）もあることにも対応する（具体的には、欠損データを識別し、例外処理を実行する）。

【0055】

図３は、観測条件の一例として、海域情報、深度、目標物の種類、目標物の大きさの4種類を示した。aの海域情報は、緯度、経度、底質で構成する。bの深度は目標物の深度を用いる（ここで、depth1などは具体的なメートル単位の数値で置き換えることを想定している）。ｃの目標物の種類はそれらを区別するための名称あるいは識別コードを格納したデータである。dの大きさは目標物の大きさについて、センチメートルを単位とした数値で格納している。

【0056】

図２の海域の情報は、図３の観測条件のaにその詳細が対応しており、図２の深度は図３の深度のbにその詳細が対応している。

【0057】

ここで、ステップＳ２の距離計算に関する情報およびこの距離計算の詳細について、図４、図５および図９を用いながら説明する。図４は、上記4種類の観測条件の距離への変換、すなわち、条件距離の換算方法の一例を示している。各条件はそれぞれでスカラー量（距離）に対応付けている。a,b,c,dそれぞれが海域（A）、深度（D）、目標の種類(O)、目標の大きさ（S）に対応するスカラー量X1,X2,X3、X4への変換テーブルである。各条件の種類を独立した次元とみなせば、図４に示すX1からX4それぞれを座標軸とする多次元空間を想定することができる。図４は各座標軸に沿った距離の計算方法とみなすことができる。上記の多次元空間での距離の測定方法は別途定義することが必要である。

【0058】

図９は、図４の条件距離の換算方法を用いて計算した条件距離の結果、つまり、評価値を示す例である。ここに示す条件距離の数値は、海域A1、深度D1を基準とした値である。条件距離の数値範囲は０から３３０となっている。観測条件１０１で入力されるすべての条件を用いて条件距離を計算する必要は必ずしもない。学習モデルの適用に対応した条件距離の計算方法であればよい。

【0059】

ここで、図９の計算に使用した条件距離の計算法の例を数１に示す。
条件距離(d1,d2)＝k1 *｜X1（d1）- X1（d2）｜＋ k2 *｜ X2（d1) - X2（d2） ｜(ただし、k1=1, k2=1)・・・（数１）
２つの観測点d1およびd2について、その条件距離(d1,d2)は、２つの条件、海域条件間の距離X1、および深度間の距離X2によってのみ依存する計算式としている。ここで、k1およびk2は各条件の種類（次元）の重みづけの係数である。

【0060】

上記の各条件の次元を用いた多次元空間に観測データおよびその学習結果である学習モデルを対応付けることができ、それらを条件マップと呼称する。

【0061】

図５は、条件マップの一例であり、観測データを各観測点に対応付けている。各次元のスカラー量X1,X2に対応した位置にプロットしている。観測が行われていない条件があれば、その点は欠損箇所となる。

【0062】

次に、ステップＳ３のモデル選択における選択条件について、説明する。モデル選択手段１０８は、予め記憶されている選択条件に従って、計算された距離に基づき学習モデルを１つ以上選択する。この選択条件には、例えば、「近傍」、「全体」がある。

【0063】

まず、近傍について、説明する。近傍を用いる場合、モデル選択手段１０８は、計算された距離が最も短い学習モデルを選択する。また、この場合、近傍の条件として、モデル選択手段１０８が、距離が短い順に複数の学習モデルを選択することとしてもよい。さらに、近傍の条件として、モデル選択手段１０８が、予め定めた距離以内の学習モデルを１以上選択する構成としてもよい。この際、予め定めた距離以内の学習モデルが存在しない場合、モデル選択手段１０８は、距離の短い順に１以上の学習モデルを選択することが望ましい。このことで、その際に観測された観測条件１０１にピンポイントで合致した学習モデルを選択することが可能になる。

【0064】

次に、全体について、説明する。ここでは、モデル選択手段１０８は、学習モデル集合体１１４の各学習モデルの最近傍モデルまでの距離（最近傍距離）の代表値を計算し、これを用いる。このために、モデル選択手段１０８は、選択される学習モデルの最近傍距離の代表値が、学習モデル集合体１１４の学習モデル全体と同等なるように選択を行う。ここで、同等とは、同じ値の他、予め定められた差以内であることを含む。また、代表値には、平均値、中央値などが含まれる。以上の全体を用いることで、より汎用的な学習モデルを選択することが可能になる。

【0065】

以上のように、選択条件は、何らかの条件で、１以上つまり単数ないし複数の学習モデルを選択するための条件であればよい。

【0066】

このため、モデル選択手段１０８は、複数の選択条件を組合せて用いることも可能である。例えば、モデル選択手段１０８は、最も距離の短い学習モデルと、代表値が同等になる複数の学習モデルを選択する。このことで、近傍と全体のバランスが取れた学習モデルの選択が可能になる。

【0067】

さらに、上述の各選択条件においては、選択する学習モデルの数の上限を定めてもよいし、その数を一定数と定めてもよい。

【0068】

なお、図１で学習手段１２１から３つの出力多次元スコア１２３が出力されているのは、３つの学習モデルに対して学習がされていることを示す。つまり、モデル選択手段１０８が３つの学習モデルを選択したことを示している。また、推論手段１２２が、３つの多次元スコア１２４を出力していることも、同様に、モデル選択手段１０８が３つの学習モデルを選択したことを示す。

【0069】

次に、ステップＳ４の学習処理に関する情報について説明する。

【0070】

図６は、条件マップ１１５上に学習モデルをプロットしたものである。つまり、学習プロセス手段１１１および学習手段１２１での学習を行った結果である。この図では、観測が行われていない条件の位置に学習モデルがプロットされている。それらは学習モデル５０４，５０５、５０６である。これらは、2つ以上の学習データの和集合を用いて学習を行った結果である。学習モデル５０４は深度D１で海域A1と海域A2の和集合を用いた結果であり、学習モデル５０５，５０６も同様である。

【0071】

図７は、学習モデル集合体の内容を示した図である。ここでは、２つの条件の次元について、各条件に対応する学習モデルの名称を記載している。図６の説明で示した観測データの和集合からの学習モデルについても、学習モデル集合体のデータ内容に追加している。この例のように、学習モデル集合体は運用により、データ内容を拡張する仕組みとすることができる。学習モデルの名称について、一例として、M1111は海域A1、深度D1に対応する学習モデルであり、他の例として、M12-1-1-1は海域A1とA2の和集合、深度D1の条件に対応する学習モデルである。

【0072】

最後に、図１５のステップＳ５の推定処理について説明する。本実施例のシステムに新たな観測条件１０１とそのソーナーデータ１００を入力し、生成済みの学習モデル集合体で推論を行う場合の処理を説明する。

【0073】

ソーナーデータ１００、観測条件１０１がシステムインターフェース１０６に入力され、モデル選択手段１０８が入力された観測条件に最適な1つ以上の学習モデルを学習モデル集合体１１４から読み出し、マルチクラス学習モデル１１９に一時的に保持する。推論プロセス手段１１３は、入力されるソーナーデータの各フレームについて、推論手段１２２を動作させ、多次元スコア１２４を出力させ、評価関数１２６により推論結果を算出する。算出した推論結果は、推論プロセス手段１１３がシステムインターフェース１０６を経由して、目標位置推論結果１０５に出力する。

【0074】

マルチクラス学習モデル１１９の構成例を、図11に示す。この例では３つの学習モデルM1,M2,M3を使用している。上記の処理で、推論手段１２２はこのマルチクラス学習モデルに含まれる３つの学習モデルを使用して推論を行い、各モデルに対応するスコア値を多次元スコアにまとめて出力する。評価関数１２６の処理は前述の最大値を算出する処理を用いる。これにより、選択された３つの学習モデルのうちの１つが目標物の候補になり、その推定位置、目標の確からしさが算出される。

【0075】

以上、実施例１によれば、ソーナーデータ１００を観測条件１０１ごとに学習モデルを生成し、それらにより学習モデルの集合体を構築し、新たに入力されるソーナーデータについて、観測条件に対応した最適な学習モデルを1つ以上選定することができる。このため、学習モデルが観測条件１０１に依存する水中目標物のソーナーデータ１００についても、入力される地点の観測条件に対応して、高精度に水中目標物を検出することができる。

【実施例2】

【0076】

次に、本発明の実施例２について、説明する。この実施例は、船舶３０に設置された水中目標物検知装置３４’がモデル選択を実行するものである。この水中目標物検知装置３４’を含むシステム構成を図１６に示す。水中目標物検知装置３４’は、実施例１の水中目標物検知用学習装置１０と同様に、ソーナー送受信装置３１、センサ類３２、無線装置３３と接続されている。また、図１６には、図示しないが実施例１と同様に、ネットワーク４０や記憶媒体６０を介して、水中目標物検知用学習装置１０と情報のやり取りが可能である。

【0077】

さらに、水中目標物検知装置３４’は、水中目標物検知装置３４’に情報の入出力が可能な端末装置３６やデータベース３５と接続する。なお、端末装置３６やデータベース３５は、水中目標物検知装置３４’と一体化して構成してもよい。

【0078】

次に、水中目標物検知装置３４’の詳細を説明する。水中目標物検知装置３４’は、実施例１の水中目標物検知用学習装置１０や水中目標物検知装置３４と同様に、コンピュータで実現される。つまり、水中目標物検知装置３４’は、処理部３４１、記憶部３４２、入出力部３４３を有する。このため、そして、水中目標物検知装置３４’の各機能は、記憶部３４２に展開されたプログラムに従って処理部３４１が演算を行うことで実現される。

【0079】

ここで、水中目標物検知装置３４’の各機能を実現するプログラムについて、説明する。水中目標物検知装置３４’は、実施例１の水中目標物検知装置３４が備える推論プロセス部１１３０および推論部１２２０の他、以下構成を有する。

【0080】

まず、水中目標物検知装置３４’は、モデル選択部１０８０、距離計算部１０９０、データ分割部１１００、前処理部１１２０を有している。これらは、実施例１の水中目標物検知用学習装置１０でも有している。水中目標物検知装置３４’は、これらに加え、ルート処理部１４０２１を有する。なお、ルート処理部１４０２１以外は、実施例１と同じ機能を発揮する。また、ルート処理部１４０２１の機能については、図１２および図１３を用いて後述する。

【0081】

次に、データベース３５に格納している各種情報について、説明する。データベース３５は、アノテーションデータ１０２、性能データ１０４、目標位置推論結果１０５、学習モデル集合体１１４、条件マップ１１５、条件データ１１６を有する。これらは、実施例１のデータベース５０で記憶する情報と同じである。これに加え、実施例２においては、データベース３５は、ルートプログラム１４０３を記憶する。

【0082】

ここで、実施例２の機能構成を、図１２を用いて説明する。図１２の機能構成は、図１６に示す水中目標物検知装置３４’の機能を実現するものである。ここで、図１２は、図１と比較し、以下の相違がある。ルート処理手段１４０２およびルートプログラム１４０３が追加されている。ここで、ルート処理手段１４０２は、図１６のルート処理部１４０２１に対応する。また、図１２では、図１から学習プロセス手段１１１、複製データ１１７、Rawデータ１１８、推論性能データ１２０、学習手段１２１、出力多次元スコア１２３、スコアの評価関数１２５、性能分析手段１２７が省略されている。

【0083】

次に、本実施例の処理について、図１７のフローチャートを用いて説明する。上述した構成の相違により、本実施例では、図１５のステップＳ１、Ｓ２およびＳ５と同じ処理を実行する。ここでは、これらのステップの説明は省略し、実施例１との相違するステップＳ３－１およびＳ３－２について説明する。

【0084】

また、図１７において、（ａ）ステップＳ１～Ｓ３－１が事前準備処理を示し、（ｂ）ステップＳ３－２およびステップＳ５が航行の際の処理を示す。このため、（ａ）については、水中目標物検知用学習装置１０が実行してもよい。

【0085】

なお、実施例１と同様に、その処理主体は、図１２に示す機能ブロックを用いて説明する。

【0086】

まず、ステップＳ３－１では、ルート処理手段１４０２が、航行ルート、観測条件および学習モデルを対応づけるルートプログラム１４０３を作成する。このために、モデル選択手段１０８は、ステップＳ２で計算された距離に基づいて、学習モデルを抽出する。この抽出は、実施例１のステップＳ３におけるモデル選択と同様の処理を行う。

【0087】

但し、ルート処理手段１４０２、予定される航行ルートに応じた観測条件などの入力情報とする。そして、ルート処理手段１４０２は、単位時間順の航行ルートごとに、各学習モデルを抽出する。

【0088】

そして、ルート処理手段１４０２は、抽出した学習モデルとこれに対応する観測条件と、走行ルートを対応付けたルートプログラム１４０３を作成し、これをデータベース３５に記憶する。このルートプログラム１４０３の一例を、図１３に示す。図１３では、航行ルートを示すルート（水中経路情報）と、観測条件を示す海域(A)、深度(D)、水中目標物の種別 (O)と、学習モデルを示すmodelが対応付けられている。なお、図１３では、航行ルートに対して、観測条件と学習モデルがそれぞれ１つずつ対応付けられているが、複数の観測条件と学習モデルを対応付けてもよい。

【0089】

また、ルート処理手段１４０２は、ルートプログラム１４０３を、航行ルートを予定される単位時間の順に時系列でソートし、記録する。また、ルート処理手段１４０２は、ルートプログラム１４０３に航行予定時間を記録してもよい。

【0090】

次に、航行の際、ステップＳ３－２において、モデル選択手段１０８は、ルートプログラム１４０３から、そのルートあるいは航行時間に該当する学習モデルを適宜選択する。つまり、モデル選択手段１０８は、時系列にソートされた順に、予定の航行ルートに応じた学習モデルを、ルートプログラム１４０３から選択する。

【0091】

そして、航行の際に、選択された学習モデルを用いて、ステップＳ５での推論処理が実行される。

【0092】

なお、実施例２の処理も、実施例１と同じように、水中目標物検知用学習装置１０と連携してその機能を発揮してもよい。

【0093】

実施例２によれば、あらかじめ設定された航行ルートに対応する観測条件の時系列に対応して、適宜選ばれた必要な学習モデルを保持して、航行する各地点の観測条件に対応した学習モデルを読み出して目標物を推定する。このため、本実施例では、航行ルートに即した高精度の水中目標物の検出が可能になる。

【0094】

以上の各実施例では、学習を伴うシステムは学習データおよび学習モデルの維持管理による運用コストを増大させないことが可能になる。

【0095】

また、各実施例では、船舶を対象としたが、航空機等水中目標物を検知する移動体やその手段でも適用可能である。

【符号の説明】

【0096】

１００…ソーナーデータ、１０１…観測条件入力、１０２…アノテーションデータ、１０５…目標位置推論結果、１１４…学習モデル集合体、１０８…モデル選択手段、１０９…距離計算手段、１１５…条件マップ、１２１…学習手段、１２２…推論手段、１１９…マルチクラス学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】