知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027023
(43)【公開日】2024-02-29
(54)【発明の名称】魚種学習装置、魚種学習方法およびプログラム
(51)【国際特許分類】
G01S 15/96 20060101AFI20240221BHJP
G01S 7/56 20060101ALI20240221BHJP
【ＦＩ】
G01S15/96
G01S7/56
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022129707
(22)【出願日】2022-08-16
(71)【出願人】
【識別番号】000166247
【氏名又は名称】古野電気株式会社
(74)【代理人】
【識別番号】100111383
【弁理士】
【氏名又は名称】芝野 正雅
(74)【代理人】
【識別番号】100170922
【弁理士】
【氏名又は名称】大橋 誠
(72)【発明者】
【氏名】笠井 昭範
(72)【発明者】
【氏名】平林 祐太
(72)【発明者】
【氏名】村垣 政志
【テーマコード（参考）】
5J083
【Ｆターム（参考）】
5J083AA02
5J083AB02
5J083AB03
5J083AC29
5J083AD06
5J083AE04
5J083AF16
5J083BE60
5J083DC05
5J083EA14
5J083EA41
(57)【要約】
【課題】魚種判別のための機械学習をより精度良く行うことが可能な魚種学習装置、魚種学習方法およびプログラムを提供する。
【解決手段】サーバ２０（魚種学習装置）は、単位エコー画像ごとにアノテーションデータを記憶する記憶部２０２と、制御部２０１と、を備える。制御部２０１は、時間的に連続する第１単位エコー画像および第２単位エコー画像のアノテーションデータから、第１単位エコー画像と第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、抽出した第１アノテーションデータおよび第２アノテーションデータを統合して、第１単位エコー画像と第２単位エコー画像との間に跨る魚群全体のアノテーションデータを生成する。。
【選択図】図２
【解決手段】サーバ２０（魚種学習装置）は、単位エコー画像ごとにアノテーションデータを記憶する記憶部２０２と、制御部２０１と、を備える。制御部２０１は、時間的に連続する第１単位エコー画像および第２単位エコー画像のアノテーションデータから、第１単位エコー画像と第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、抽出した第１アノテーションデータおよび第２アノテーションデータを統合して、第１単位エコー画像と第２単位エコー画像との間に跨る魚群全体のアノテーションデータを生成する。。
【選択図】図２
【特許請求の範囲】
【請求項1】
単位エコー画像ごとにアノテーションデータを記憶する記憶部と、
制御部と、を備え、
前記制御部は、
時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する、
ことを特徴とする魚種学習装置。
制御部と、を備え、
前記制御部は、
時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する、
ことを特徴とする魚種学習装置。
【請求項2】
請求項１に記載の魚種学習装置において、
前記制御部は、
前記第１単位エコー画像上において前記第２単位エコー画像側の第１境界付近まで延びている第１魚群と、前記第２単位エコー画像上において前記第１単位エコー画像側の第２境界付近まで延びている第２魚群とを特定し、
前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致する場合に、前記第１魚群および前記第２魚群の前記アノテーションデータを、前記第１アノテーションデータおよび前記第２アノテーションデータとしてそれぞれ抽出する、
ことを特徴とする魚種学習装置。
前記制御部は、
前記第１単位エコー画像上において前記第２単位エコー画像側の第１境界付近まで延びている第１魚群と、前記第２単位エコー画像上において前記第１単位エコー画像側の第２境界付近まで延びている第２魚群とを特定し、
前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致する場合に、前記第１魚群および前記第２魚群の前記アノテーションデータを、前記第１アノテーションデータおよび前記第２アノテーションデータとしてそれぞれ抽出する、
ことを特徴とする魚種学習装置。
【請求項3】
請求項２に記載の魚種学習装置において、
前記制御部は、前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致するか否かを、前記第１境界付近における前記第１魚群の深度範囲と、前記第２境界付近における前記第２魚群の深度範囲との合致率に基づいて判定する、
ことを特徴とする魚種学習装置。
前記制御部は、前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致するか否かを、前記第１境界付近における前記第１魚群の深度範囲と、前記第２境界付近における前記第２魚群の深度範囲との合致率に基づいて判定する、
ことを特徴とする魚種学習装置。
【請求項4】
請求項２に記載の魚種学習装置において、
前記制御部は、前記第１境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第１魚群として抽出し、前記第２境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第２魚群として抽出する、
ことを特徴とする魚種学習装置。
前記制御部は、前記第１境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第１魚群として抽出し、前記第２境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第２魚群として抽出する、
ことを特徴とする魚種学習装置。
【請求項5】
請求項１に記載の魚種学習装置において、
前記制御部は、前記第１アノテーションデータに含まれる魚種と前記第２アノテーションデータに含まれる魚種とが相違する場合、所定の設定条件に基づき、前記魚群のアノテーションデータの魚種を設定する、
ことを特徴とする魚種学習装置。
前記制御部は、前記第１アノテーションデータに含まれる魚種と前記第２アノテーションデータに含まれる魚種とが相違する場合、所定の設定条件に基づき、前記魚群のアノテーションデータの魚種を設定する、
ことを特徴とする魚種学習装置。
【請求項6】
請求項５に記載の魚種学習装置において、
前記設定条件は、
前記第１アノテーションデータおよび前記第２アノテーションデータのうち新しい方のアノテーションデータの魚種に設定することを含む、
ことを特徴とする魚種学習装置。
前記設定条件は、
前記第１アノテーションデータおよび前記第２アノテーションデータのうち新しい方のアノテーションデータの魚種に設定することを含む、
ことを特徴とする魚種学習装置。
【請求項7】
時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する、
ことを特徴とする魚種学習方法。
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する、
ことを特徴とする魚種学習方法。
【請求項8】
コンピュータに、
時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出する機能と、
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する機能と、を実行させるプログラム。
時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出する機能と、
抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する機能と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教師データ（アノテーションデータ）を用いて魚種判別のための機械学習を行う魚種学習装置、魚種学習システム、魚種学習方法およびプログラムに関する。
【背景技術】
【0002】
従来、水中の魚群を探知する魚群探知装置が知られている。この種の魚群探知装置では、水中に超音波が送波され、その反射波が受波される。受波された反射波の強度に応じたエコーデータが生成され、生成されたエコーデータに基づいてエコー画像が表示される。ユーザは、エコー画像から魚群を確認でき、魚群の捕獲を円滑に進めることができる。
【0003】
この場合、エコー画像上の魚群について、さらに魚種が判別されて表示されると好ましい。これにより、ユーザは、自身が望む魚種の魚を効率よく捕獲できる。
【0004】
このような魚種の判別は、たとえば、機械学習モデル（機械学習アルゴリズム）を用いて行われ得る。機械学習モデルに対して、多数の教師データ（アノテーションデータ）を用いた学習が行われる。それぞれのアノテーションデータは、魚群のエコーデータと、当該魚群の範囲（水深、時間）と、当該魚群の魚種とを含んでいる。以下の特許文献１には、このようなアノテーションデータをユーザが生成する場合の構成が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－２００１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般に、アノテーションデータの生成は、単位エコー画像ごとに行われる。すなわち、所定時間分の一連のエコー画像が、１フレームに対応する時間幅で複数に区切られて、アノテーションデータの生成対象とされる複数の単位エコー画像が生成される。専門家等のオペレータは、各々の単位エコー画像に対して、魚群の範囲を指定し、さらに、指定した魚群に魚種のラベルを付与する。これにより、魚群の範囲と、当該魚群の範囲の魚種と、当該魚群の範囲に含まれる画像データ（エコーデータ）とが対応付けられたアノテーションデータが生成される。
【0007】
このような生成手法では、単位エコー画像に魚群全体が含まれるとは限らない。すなわち、時間的に連続する２つの単位エコー画像に１つの魚群が跨ることが起こり得る。このような場合、１つの魚群が分断された２つの魚群部分が、２つのエコー画像にそれぞれ含まれることになる。上記生成手法では、単位エコー単位で処理が行われるため、分断された各々の魚群部分に対して個別にアノテーションデータが生成されてしまう。
【0008】
しかしながら、上記機械学習では、魚種固有に生じるエコーの尾引や分布等、魚群全体から生じる特徴が、機械学習の精度に影響を及ぼし得る。このため、上記のように、魚群の一部について生成されたアノテーションデータが機械学習に用いられると、機械学習の精度が低下することが起こり得る。
【0009】
かかる課題に鑑み、本発明は、魚種判別のための機械学習をより精度良く行うことが可能な魚種学習装置、魚種学習方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第１の態様は、魚種学習装置に関する。この態様に係る魚種学習装置は、単位エコー画像ごとにアノテーションデータを記憶する記憶部と、制御部と、を備える。前記制御部は、時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する。
【0011】
本態様に係る魚種学習装置によれば、第１単位エコー画像と第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータが統合されて、当該魚群全体のアノテーションデータが生成される。したがって、魚群全体に対するアノテーションデータを機械学習に用いることができるため、魚種判別のための機械学習をより精度良く行うことができる。
【0012】
本態様に係る魚種学習装置において、前記制御部は、前記第１単位エコー画像上において前記第２単位エコー画像側の第１境界付近まで延びている第１魚群と、前記第２単位エコー画像上において前記第１単位エコー画像側の第２境界付近まで延びている第２魚群とを特定し、前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致する場合に、前記第１魚群および前記第２魚群の前記アノテーションデータを、前記第１アノテーションデータおよび前記第２アノテーションデータとしてそれぞれ抽出するよう構成され得る。
【0013】
この構成によれば、１つの魚群を構成する確率が高い第１魚群および第２魚群を、第１単位エコー画像および第２単位エコー画像において円滑に特定できる。よって、これら魚群のアノテーションデータを統合することにより、１つの魚群全体のアノテーションデータを精度良く生成できる。
【0014】
この構成において、前記制御部は、前記第１魚群の深度範囲と前記第２魚群の深度範囲とが略合致するか否かを、前記第１境界付近における前記第１魚群の深度範囲と、前記第２境界付近における前記第２魚群の深度範囲との合致率に基づいて判定するよう構成され得る。
【0015】
この構成によれば、第１単位エコー画像と第２単位エコー画像との間の境界である第１境界および第２境界の付近において、第１魚群の深度範囲と第２魚群の深度範囲とが略合致するかが判定されるため、これら第１魚群および第２魚群が互いに連続するものであるかを正確に判定できる。よって、第１魚群および第２魚群のアノテーションデータから１つの魚群全体のアノテーションデータを精度良く生成できる。
【0016】
また、この構成において、前記制御部は、前記第１境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第１魚群として抽出し、前記第２境界から所定の時間範囲に少なくとも一部が含まれる魚群を前記第２魚群として抽出するよう構成され得る。
【0017】
この構成によれば、境界付近で魚の分布が疎らになっている場合も、第１単位エコー画像と第２単位エコー画像とに跨る魚群を構成する第１魚群および第２魚群を、第１単位エコー画像および第２単位エコー画像において取りこぼしなく特定できる。よって、１つの魚群全体のアノテーションデータを適正に生成できる。
【0018】
本態様に係る魚種学習装置において、前記制御部は、前記第１アノテーションデータに含まれる魚種と前記第２アノテーションデータに含まれる魚種とが相違する場合、所定の設定条件に基づき、前記魚群のアノテーションデータの魚種を設定するよう構成され得る。
【0019】
この場合、前記設定条件は、たとえば、前記第１アノテーションデータおよび前記第２アノテーションデータのうち新しい方のアノテーションデータの魚種に設定することを含み得る。
【0020】
これらの構成によれば、統合対象の第１アノテーションデータおよび第２アノテーションデータにそれぞれ含まれる魚種が互いに相違する場合、信頼性の高い魚種を、統合後のアノテーションデータに設定できる。よって、機械学習の精度を高めることができる。
【0021】
本発明の第２の態様は、魚種学習方法に関する。この態様に係る魚種学習方法は、時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出し、抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する。
【0022】
本発明の第３の態様は、コンピュータに所定の機能を実行させるプログラムに関する。本態様に係るプログラムは、時間的に連続する第１単位エコー画像および第２単位エコー画像の前記アノテーションデータから、前記第１単位エコー画像と前記第２単位エコー画像との間に跨る魚群の第１アノテーションデータおよび第２アノテーションデータをそれぞれ抽出する機能と、抽出した前記第１アノテーションデータおよび前記第２アノテーションデータを統合して、前記魚群全体のアノテーションデータを生成する機能と、を含む。
【0023】
上記第２および第３の態様によれば、上記第１の態様と同様の効果が奏される。
【発明の効果】
【0024】
以上のとおり、本発明によれば、魚種判別のための機械学習をより精度良く行うことが可能な魚種学習装置、魚種学習方法およびプログラムを提供することができる。
【0025】
本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【0026】
【発明を実施するための形態】
【0027】
以下、本発明の実施形態について、図面を参照して説明する。
【0028】
以下の実施形態では、サーバ２０が、特許請求の範囲に記載の「魚種学習装置」に対応する。但し、本発明に係る「魚種学習装置」は、必ずしも、サーバ２０に限られるものではなく、たとえば、端末装置５０等の他の装置が、本発明に係る「魚種学習装置」の機能を実行してもよい。
【0029】
図１は、魚種判別システム１の構成を示す図である。
【0030】
魚種判別システム１は、水中探知装置１０と、サーバ２０とを備える。水中探知装置１０は、船２に設置される魚群探知機である。水中探知装置１０は、外部通信網３０（たとえば、インターネット）および基地局４０を介して、サーバ２０と通信可能である。水中探知装置１０およびサーバ２０は、それぞれ、相互に通信を行うためのアドレス情報を保持している。それぞれのアドレス情報は、初期設定時に、水中探知装置１０およびサーバ２０に設定される。
【0031】
水中探知装置１０は、送受波器１１と、制御ユニット１２とを備える。送受波器１１は、船２の船底に設置され、制御ユニット１２は、船の操舵室等に設置される。送受波器１１と制御ユニット１２は、信号ケーブル（図示せず）で接続されている。送受波器１１は、送受波用の超音波振動子を備える。送受波器１１は、制御ユニット１２からの制御に応じて、超音波振動子により、海底４に向かって超音波３（送信波）を送波し、その反射波を受波する。送受波器１１は、受波した反射波に基づく受信信号を制御ユニット１２に送信する。
【0032】
制御ユニット１２は、受信信号を処理して、各深度のエコー強度を示すエコーデータを生成する。制御ユニット１２は、エコーデータに基づく各深度のエコー強度を時系列に並べて、１画面分のエコー画像を生成する。制御ユニット１２は、生成したエコー画像を表示部に表示させる。制御ユニット１２は、超音波の送受波ごとにエコー画像を更新する。ユーザは、エコー画像を参照することで、魚群５の存在および位置を把握できる。
【0033】
さらに、制御ユニット１２は、生成したエコーデータを、随時、サーバ２０に送信する。サーバ２０は、受信したエコーデータを記憶するとともに、制御ユニット１２と同様のエコー画像を生成する。サーバ２０は、機械学習モデル（機械学習アルゴリズム）により、エコー画像に含まれる魚群に対し、魚種ごとに予測確率（その魚種である確率）を算出する。
【0034】
サーバ２０は、機械学習モデルにより算出した魚種ごとの予測確率に基づき、当該魚群に対する魚種の判別結果を取得する。サーバ２０は、こうして取得した当該魚種の判別結果を、判別対象の魚群の範囲（深度、時間）とともに、エコーデータの受信先の水中探知装置１０に送信する。
【0035】
水中探知装置１０は、受信した判別結果および魚群の範囲（深度、時間）に基づき、エコー画像上の対応する範囲に魚種の判別結果を重ねて表示する。これにより、ユーザは、エコー画像上の各魚群の魚種を確認でき、所望の魚の漁獲を円滑に進めることができる。
【0036】
さらに、サーバ２０は、機械学習モデルに対する学習を行うためのアノテーションデータ（教師データ）を、外部通信網３０を介して、複数の端末装置５０から取得する。すなわち、サーバ２０は、水中探知装置１０から受信したエコーデータを、複数の端末装置５０の何れかに分配する。端末装置５０は、受信したエコーデータからアノテーションデータを生成するために用いられる。
【0037】
すなわち、端末装置５０は、専門家等の、アノテーションデータの生成を行うオペレータが所持する。オペレータは、受信したエコーデータに基づくエコー画像を端末装置５０に表示させ、これらエコー画像に含まれる魚群ごとに、魚種を設定する。設定された魚種は、当該魚群の範囲（深度、時間）と、当該範囲のエコーデータとに対応付けられる。こうして対応付けられた魚種、魚群の範囲およびエコーデータによって、当該魚群に対するアノテーションデータが構成される。アノテーションデータは、当該アノテーションデータが生成されたエコー画像の識別情報とともに、サーバ２０に送信される。
【0038】
サーバ２０は、受信したアノテーションデータを用いて、機械学習モデルに対する学習を行う。これにより、機械学習モデルの魚種判別精度が高められる。
【0039】
なお、ここでは、サーバ２０が端末装置５０に提供したエコーデータに対して、アノテーションデータが生成され、生成されたアノテーションデータがサーバ２０に戻されたが、サーバ２０に対するアノテーションデータの提供方法は、これに限られるものではない。たとえば、サーバ２０以外の装置から端末装置５０にエコーデータが提供されてアノテーションデータが生成され、生成されたアノテーションデータがサーバ２０に提供されてもよい。
【0040】
また、図１には、水中探知装置１０が１つだけ図示されているが、実際は、多数の水中探知装置１０が外部通信網３０および最寄りの基地局を介して、サーバ２０と通信可能である。また、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれ得る。
【0041】
図２は、魚種判別システム１の構成を示すブロック図である。
【0042】
水中探知装置１０は、制御部１０１と、表示部１０２と、入力部１０３と、送受波部１０４と、信号処理部１０５と、通信部１０６と、位置検出部１０７とを備える。
【0043】
制御部１０１は、マイクロコンピュータおよびメモリ等により構成される。制御部１０１は、メモリに記憶されたプログラムに従って、水中探知装置１０の各部を制御する。
【0044】
表示部１０２は、モニタを備え、制御部１０１からの制御により、所定の画像を表示させる。入力部１０３は、表示部１０２に表示された画像上でカーソルを移動させるトラックボールや、操作キー等を備え、ユーザからの操作に応じた信号を制御部１０１に出力する。表示部１０２および入力部１０３が、液晶タッチパネル等により一体的に構成されてもよい。
【0045】
送受波部１０４は、図１に示した送受波器１１と、送受波器１１に送信信号を供給するための送信回路と、送受波器１１から出力される受信信号を処理して信号処理部１０５に出力する受信回路とを備える。送信回路および受信回路は、図１の制御ユニット１２に含まれる。
【0046】
送受波部１０４は、制御部１０１からの制御に従って、所定周波数の送信波（超音波）を送波する。送受波部１０４は、送波した送信波の反射波を受波して受信信号を出力する。受信回路は、送信波の周波数の受信信号を抽出して信号処理部１０５に出力する。
【0047】
信号処理部１０５は、送受波部１０４から入力される受信信号から、深度に応じた反射波の強度を示すエコーデータを生成し、生成したエコーデータを制御部１０１に出力する。送信波を送波したタイミングからの経過時間が深度に対応する。ここで、反射波の強度は、深度が大きくなるほど減衰する。したがって、信号処理部１０５は、深度の差異に拘わらずエコーデータを定量的に扱えるようにするために、経過時間に応じて減衰する反射波の強度を補正し、強度を補正したエコーデータを制御部１０１に出力する。
【0048】
制御部１０１は、受信したエコーデータに基づきエコー画像を生成し、表示部１０２に表示させる。制御部１０１は、各深度におけるエコー強度を色スケールにより階調表現した深度方向の１列の画像を、エコーデータから生成する。制御部１０１は、現時点から所定時間前までの各列の画像を時間方向に統合して、１画面分のエコー画像を生成する。
【0049】
通信部１０６は、基地局４０と無線通信可能な通信モジュールである。位置検出部１０７は、ＧＰＳを備え、水中探知装置１０の位置を検出する。位置検出部１０７は、検出した位置情報を制御部１０１に出力する。
【0050】
図１を参照して説明したとおり、制御部１０１は、随時、通信部１０６を介して、エコーデータをサーバ２０に送信する。また、制御部１０１は、通信部１０６を介して、サーバ２０から魚種の判別結果を受信する。制御部１０１は、さらに、位置検出部１０７により検出された位置情報をサーバ２０に送信する。
【0051】
図２に示すように、水中探知装置１０の他にも、多数の水中探知装置１０ａ、１０ｂ、…が外部通信網３０および最寄りの基地局４０ａ、４０ｂ、…を介して、サーバ２０と通信可能である。上記のように、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。他の水中探知装置の基本的な構成は、図２の水中探知装置１０と同様である。
【0052】
サーバ２０は、制御部２０１と、記憶部２０２と、通信部２０３とを備える。制御部２０１は、ＣＰＵ等により構成される。記憶部２０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部２０２には、魚種判別のためのプログラムおよび機械学習のためのプログラムが記憶されている。制御部２０１は、記憶部２０２に記憶されたプログラムにより、各部を制御する。通信部２０３は、制御部２０１からの制御により、外部通信網３０および基地局４０を介して、水中探知装置１０と通信を行う。また、サーバ２０は、外部通信網３０を介して、複数の端末装置５０と通信を行う。
【0053】
端末装置５０は、パーソナルコンピュータやタブレット型コンピュータ等の、情報を入出力可能な装置である。端末装置５０は、制御部５０１と、記憶部５０２と、表示部５０３と、入力部５０４と、通信部５０５とを備える。
【0054】
制御部５０１は、ＣＰＵ等により構成される。記憶部５０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部５０２には、アノテーションデータを生成するためのプログラムが記憶されている。制御部５０１は、記憶部５０２に記憶されたプログラムにより、各部を制御する。表示部５０３は、液晶モニタ等により構成され、制御部５０１からの制御により所定の画像を表示させる。入力部５０４は、マウスやキーボード等の入力手段を備える。通信部５０５は、制御部５０１からの制御により、サーバ２０と通信を行う。
【0055】
図３は、ニューラルネットワークによる魚種判別処理を模式的に示す図である。
【0056】
本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。
【0057】
サーバ２０の制御部２０１は、処理対象の１画面分のエコーデータから魚群の範囲（深度、時間）を抽出する。エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある領域が魚群として抽出され、さらにこの魚群の最大時間幅および最大深度幅により構成される矩形の範囲が魚群の範囲として抽出される。魚群の抽出方法については、出願人が先に出願した国際公開第２０１９／００３７５９号の記載が、参照により取り込まれ得る。
【0058】
制御部２０１は、抽出した魚群の範囲のエコーデータを、図３の機械学習モデル（ニューラルネットワークによる機械学習アルゴリズム）３０１の入力３０１ａに適用する。
【0059】
機械学習モデル３０１の出力３０１ｂには、イワシ、アジ、サバなどの魚種の項目が割り当てられている。機械学習モデル３０１の入力３０１ａに魚群の範囲のエコーデータが適用されると、機械学習モデル３０１の出力３０１ｂの各項目から、当該魚群の魚種が各項目の魚種である確率（予測確率）が出力される。図３の例では、イワシの項目から８５％の予測確率が出力され、サバの項目から７０％の予測確率が出力され、アジの項目から１０％の予測確率が出力されている。
【0060】
各項目の予測確率は、出力条件３０２と照合される。出力条件３０２には、たとえば、予測確率が所定の下限値以上で且つ一番順位（最高）である項目の魚種を判別結果３０３として出力する条件が適用される。下限値は、確度が低い魚種が判別結果として出力されることを防ぐために設定される。図３の例では、予測確率が８５％であるイワシが、魚種の判別結果３０３として出力される。
【0061】
機械学習モデル３０１に対する機械学習は、一連のアノテーションデータ（教師データ）を機械学習モデル３０１の入力３０１ａおよび出力３０１ｂに順番に適用することにより行われる。すなわち、機械学習モデル３０１の入力３０１ａに、１つのアノテーションデータに含まれる魚群のエコーデータが入力され、機械学習モデル３０１の出力３０１ｂには、このアノテーションデータに含まれる魚種に対応する項目に１００％が設定され、その他の項目には０％が設定されて、機械学習が行われる。
【0062】
機械学習モデル３０１の入力３０１ａには、魚群のエコーデータの他に、当該エコーデータが得られた位置や、その位置の海況データ等の、魚種判別に用い得る他の情報が入力されてもよい。アノテーションデータは、これらの他の情報をさらに含んでいてよい。
【0063】
【0064】
水中探知装置１０の制御部２０１は、サーバ２０から判別結果および魚群の範囲（深度、時間）を受信すると、受信した魚群の範囲に対応する深度幅および時間幅に対応するエコー画像Ｐ１上の領域に、魚群の範囲を示す枠状のマーカーＭ０を表示する。さらに、制御部２０１は、受信した魚種の判定結果を示すラベルＬ０を、このマーカーＭ０の周囲にさらに表示する。
【0065】
図４の例では、サーバ２０から受信した判別結果および魚群の範囲（深度、時間）に基づき、魚群Ｆ１～Ｆ８に対してマーカーＭ０が表示され、さらに、これらのマーカーＭ０の周囲に、魚種の判別結果を示すラベルＬ０が表示されている。エコー画像Ｐ１の左上の角付近には、現在の日時が表示されている。
【0066】
図４の例では、魚群Ｆ９については、図３の機械学習モデル３０１および出力条件３０２により魚種の判別結果が出力されなかったため、魚群Ｆ９には、マーカーおよびラベルの表示がなされていない。これは、たとえば、機械学習モデル３０１による魚群Ｆ９の予測確率が出力条件３０２を満たさなかった場合に起こり得る。このような場合、この魚群については判別結果がサーバ２０から水中探知装置１０に送信されないため、図４の魚群Ｆ９のように、魚種の判別結果が表示されないことになる。
【0067】
図５は、端末装置５０において行われるアノテーションデータの生成方法を模式的に示す図である。
【0068】
アノテーションデータの生成は、端末装置５０において、処理対象のエコーデータに基づくエコー画像が表示部５０３に表示されることにより行われる。
【0069】
専門家等のオペレータは、表示されたエコー画像上において、魚群の範囲を指定する。たとえば、魚群の範囲は、矩形の範囲で指定される。オペレータは、入力部５０４を操作して、矩形の対角の頂点を指定することにより、魚群の範囲を指定する。さらに、オペレータは、入力部５０４を操作して、各魚群に魚種を設定する。たとえば、魚群の範囲の指定に応じて、魚種の選択候補のリストが表示部５０３に表示される、オペレータは、このリストから設定対象の魚種を選択する。これにより、当該魚群の範囲に魚種が設定される。
【0070】
ここで、アノテーションデータの生成は、図５に示すように、単位エコー画像ごとに行われる。すなわち、所定時間分の一連のエコー画像が、１フレームに対応する時間幅で複数に区切られて、アノテーションデータの生成対象とされる複数の単位エコー画像が生成される。時間方向における単位エコー画像の境界Ｂ１、Ｂ２のうち、時間が新しい側の境界Ｂ１は、次の単位エコー画像の時間が古い側の境界Ｂ２と一致している。
【0071】
専門家等のオペレータは、各々の単位エコー画像に対して、魚群の範囲を指定し、さらに、指定した魚群に魚種を設定する。これにより、魚群の範囲と、当該魚群の範囲の魚種と、当該魚群の範囲に含まれる画像データ（エコーデータ）とが対応付けられたアノテーションデータが生成される。
【0072】
図５の例では、単位エコー画像Ｐｎに対するアノテーション処理Ａｎによって、６つの魚群の範囲（矩形破線の範囲）が指定され、各魚群の範囲に魚種が設定されている。また、単位エコー画像Ｐｎ＋１に対するアノテーション処理Ａｎ＋１によって、５つの魚群の範囲（矩形破線の範囲）が指定され、各魚群の範囲に魚種が設定されている。したがって、単位エコー画像Ｐｎからは、６つの魚群に対して、それぞれ、魚群の範囲と、当該魚群の範囲の魚種と、当該魚群の範囲に含まれる画像データ（エコーデータ）とが対応付けられたアノテーションデータが生成される。また、単位エコー画像Ｐｎ＋１からは、５つの魚群に対して、それぞれ、魚群の範囲と、当該魚群の範囲の魚種と、当該魚群の範囲に含まれる画像データ（エコーデータ）とが対応付けられたアノテーションデータが生成される。
【0073】
こうして生成されたアノテーションデータは、端末装置５０からサーバ２０に送信され、サーバ２０の記憶部２０２に記憶される。
【0074】
図６は、サーバ２０の記憶部２０２におけるアノテーションデータの記憶形態を示す図である。
【0075】
記憶部２０２には、エコーＩＤおよび画像ＩＤに対応付けて、単位エコーデータおよびアノテーションデータが記憶される。
【0076】
エコーＩＤは、上述の所定時間分の一連のエコー画像（エコーデータ）を識別するための識別情報である。エコーＩＤは、サーバ２０によって固有に設定される。画像ＩＤは、単位エコー画像を識別するための識別情報である。画像ＩＤは、たとえば、時間が古いものから順番に各々の単位エコー画像に付される番号とされる。単位エコーデータは、各々の単位エコー画像に対応する１フレーム分のエコーデータである。アノテーションデータは、各々の単位エコー画像から生成されたアノテーションデータである。
【0077】
サーバ２０の制御部２０１は、アノテーション処理の対象とされる所定時間分のエコーデータを新たに水中探知装置１０等から受信すると、このエコーデータにエコーＩＤを付する。さらに、制御部２０１は、このエコーデータを時間が古い側の先頭から１フレーム分の時間幅ごとに区切って、各々の単位エコー画像に対応する単位エコーデータを生成する。そして、制御部２０１は、各々の単位エコーデータに画像ＩＤを付し、単位エコーデータを画像ＩＤに対応付けて記憶部２０２に記憶させる。これにより、図６のデータ構造のうち、エコーＩＤ、画像ＩＤおよび単位エコーデータの部分が構成される。
【0078】
その後、制御部２０１は、各々の単位エコーデータを、エコーＩＤおよび画像ＩＤとともに、端末装置５０に送信する。端末装置５０の制御部５０１は、受信したこれらのデータを記憶部５０２に記憶させ、オペレータによるアノテーション処理に供する。オペレータからアノテーション処理の操作が行われると、制御部５０１は、処理対象の単位エコーデータに基づく単位エコー画像を表示部５０３に表示させる。オペレータは、図５に示した処理により、処理対象の単位エコー画像に対しアノテーション処理を実行する。これにより、当該単位エコー画像に対するアノテーションデータが生成される。
【0079】
こうして、サーバ２０から受信した全ての単位エコーデータに対するアノテーション処理が終了すると、制御部５０１は、単位エコー画像ごとに生成されたアノテーションデータを、それぞれの単位エコー画像の画像ＩＤに対応付けて、エコーＩＤとともに、サーバ２０に送信する。サーバ２０の制御部２０１は、受信したアノテーションデータを、図６の画像ＩＤに対応付けて、記憶部２０２に記憶させる。図５に示したように、各々の画像ＩＤには、単位エコー画像に含まれる魚群の数に応じたアノテーションデータが対応付けられる。こうして、記憶部２０２にアノテーションデータが記憶されることにより、図６のデータ構造が全て構築される。
【0080】
ところで、図５に示した単位エコー画像には、魚群全体が含まれるとは限られず、時間的に連続する２つの単位エコー画像に１つの魚群が跨ることが起こり得る。
【0081】
たとえば、図５の例では、単位エコー画像Ｐｎの右上のイワシの魚群は、次の単位エコー画像Ｐｎ＋１の左上のイワシの魚群に繋がっていると考えられる。しかし、上記の生成手法では、単位エコー画像ごとに魚群が指定されるため、単位エコー画像Ｐｎと単位エコー画像Ｐｎ＋１とに跨るイワシの魚群が、単位エコー画像Ｐｎの部分と単位エコー画像Ｐｎ＋１の部分に分断されて指定される。そして、分断された各々の魚群部分に対して個別にアノテーションデータが生成されることになる。
【0082】
しかしながら、上述の機械学習では、魚種固有に生じるエコーの尾引や分布等、魚群全体から生じる特徴が、機械学習の精度に影響を及ぼし得る。このため、上記のように、魚群の一部について生成されたアノテーションデータが機械学習に用いられると、機械学習の精度が低下してしまう。
【0083】
このような問題を解消するため、本実施形態では、時間的に連続する２つの単位エコー画像のアノテーションデータから、これら単位エコー画像間に跨る魚群のアノテーションデータがそれぞれ抽出され、抽出された２つのアノテーションデータを統合して、当該魚群のアノテーションデータが生成される。すなわち、図５の例では、単位エコー画像Ｐｎの右上のイワシの魚群のアノテーションデータと、単位エコー画像Ｐｎ＋１の左上のイワシの魚群のアノテーションデータとが統合されて、当該イワシの魚群全体に対するアノテーションデータが生成される。
【0084】
図７は、サーバ２０の制御部２０１により実行されるアノテーションデータの統合処理を示すフローチャートである。
【0085】
制御部２０１は、同じエコーＩＤの単位エコー画像（単位エコーデータ）のうち、時間的に連続する２つの単位エコー画像のアノテーションデータを参照する（Ｓ１１）。次に、制御部２０１は、参照したアノテーションデータから、これら２つの単位エコー画像に跨る魚群のアノテーションデータを抽出する（Ｓ１２）。そして、制御部２０１は、抽出したアノテーションデータを統合して、２つの単位エコー画像に跨る魚群全体のアノテーションデータを生成し、生成したアノテーションデータを記憶部２０２に記憶させる（Ｓ１３）。制御部２０１は、同じエコーＩＤの全ての単位エコー画像（単位エコーデータ）に対して、図７の処理を実行する。
【0086】
図３の機械学習モデル３０１の学習には、端末装置５０により生成された図６のアノテーションデータと、図７の処理により生成されたアノテーションデータが用いられる。このとき、図７の処理により統合された２つのアノテーションデータは、機械学習に用いるアノテーションデータから除外されてよい。たとえば、図７の処理により統合された２つのアノテーションデータは、記憶部２０２に構築された図６のデータ構造から消去されてよい。
【0087】
【0088】
【0089】
制御部２０１は、ステップＳ１１において、時間的に連続する２つの単位エコー画像のアノテーションデータを参照し、各々のアノテーションデータにおける魚群の範囲を把握する。次に、制御部２０１は、これら２つの単位エコー画像のうち、時間が古い方の第１単位エコー画像において、右側の境界付近、すなわち、図５の境界Ｂ１付近に魚群が存在するか否かを判定する（Ｓ１０１）。第１単位エコーの右側の境界Ｂ１付近に魚群が存在しない場合（Ｓ１０１：ＮＯ）、制御部２０１は、図８の処理を終了する。第１単位エコーの右側の境界Ｂ１付近に魚群が存在する場合（Ｓ１０１：ＹＥＳ）、制御部２０１は、この魚群を、統合対象の第１魚群として特定する（Ｓ１０２）。
【0090】
次に、制御部２０１は、これら２つの単位エコー画像のうち、時間が新しい方の第２単位エコー画像において、左側の境界付近、すなわち、図５の境界Ｂ２付近に魚群が存在するか否かを判定する（Ｓ１０３）。第２単位エコーの左側の境界Ｂ２付近に魚群が存在しない場合（Ｓ１０３：ＮＯ）、制御部２０１は、図８の処理を終了する。第２単位エコーの左側の境界Ｂ２付近に魚群が存在する場合（Ｓ１０３：ＹＥＳ）、制御部２０１は、この魚群を、統合対象の第２魚群として特定する（Ｓ１０４）。
【0091】
次に、制御部２０１は、第１魚群の深度範囲と第２魚群の深度範囲とが略合致するか否かを判定する（Ｓ１０５）。より詳細には、制御部２０１は、第１魚群の深度範囲と第２魚群の深度範囲との合致率が所定の閾値Ｔｈ１以上であるか否かを判定する。ステップＳ１０５の判定がＮＯの場合、制御部２０１は、ステップＳ１３の処理を行うことなく図８の処理を終了する。
【0092】
ステップＳ１０５の判定がＹＥＳの場合、制御部２０１は、第１魚群および第２魚群は、第１単位エコー画像と第２単位エコー画像とに跨る魚群を構成するとして、第１魚群および第２魚群のアノテーションデータを統合し、魚群全体のアノテーションデータを生成する（Ｓ１３）。これにより、制御部２０１は、これら２つの単位エコー画像のアノテーションデータに対する処理を終了する。
【0093】
制御部２０１は、時間的に連続する次の２つの単位エコー画像のアノテーションデータに対して、図８の処理を実行する。こうして、制御部２０１は、同じエコーＩＤが付された全ての単位エコー画像のアノテーションデータに対して、図８の処理を行う。
【0094】
図９（ａ）、（ｂ）は、第１単位エコー画像と第２単位エコー画像との境界付近の魚群の状態を模式的に示す図である。
【0095】
図９（ａ）には、図５の単位エコー画像Ｐｎ（第１単位エコー画像）の右上の部分と単位エコー画像Ｐｎ＋１（第２単位エコー画像）の左上の部分が示されている。Ｆａ、Ｆｂは、イワシの魚群であり、Ｒａ、Ｒｂは、アノテーションデータに含まれる魚群の範囲（時間範囲、深度範囲）である。上記のように、魚群の範囲Ｒａ、Ｒｂは矩形に設定される。
【0096】
図８のステップＳ１０１では、第１単位エコー画像Ｐｎの境界Ｂ１から所定の時間範囲Ｔａに魚群が存在するか否かが判定され、ステップＳ１０３では、第２単位エコー画像Ｐｎ＋１の境界Ｂ２から所定の時間範囲Ｔｂに魚群が存在するか否かが判定される。時間範囲Ｔａ、Ｔｂは、１つの魚群において生じ得る、エコー画像上の時間軸方向の隙間の最大値程度に設定される。時間範囲Ｔａ、Ｔｂは、同じ時間幅に設定されてよい。
【0097】
図９（ａ）の例では、魚群Ｆａ（魚群の範囲Ｒａ）が時間範囲Ｔａ内に存在するため、図８のステップＳ１０１の判定がＹＥＳとなり、魚群Ｆａが第１魚群として特定される。また、図９（ａ）の例では、魚群Ｆｂ（魚群の範囲Ｒｂ）が時間範囲Ｔｂ内に存在するため、図８のステップＳ１０３の判定がＹＥＳとなり、魚群Ｆｂが第２魚群として特定される。
【0098】
これに対して、図９（ｂ）の例では、魚群Ｆａ（魚群の範囲Ｒａ）が時間範囲Ｔａ内に存在しないため、図８のステップＳ１０１の判定がＮＯとなり、魚群Ｆａは第１魚群として特定されない。また、図９（ｂ）の例では、魚群Ｆｂ（魚群の範囲Ｒｂ）が時間範囲Ｔｂ内に存在しないため、図８のステップＳ１０３の判定がＮＯとなり、魚群Ｆｂは第２魚群として特定されない。
【0099】
また、図８のステップＳ１０５では、以下の式（１）による判定が行われる。
【0100】
【数1】
【0101】
図９（ａ）に示すように、ＡｍａｘおよびＡｍｉｎは、それぞれ、第１単位エコー画像Ｐｎにおける第１魚群Ｆａ（魚群の範囲Ｒａ）の最大深度および最小深度であり、ＢｍａｘおよびＢｍｉｎは、それぞれ、第２単位エコー画像Ｐｎ＋１における第２魚群Ｆｂ（魚群の範囲Ｒｂ）の最大深度および最小深度である。
【0102】
すなわち、式（１）の左辺の分母は、ＡｍｉｎとＢｍｉｎの小さい方（浅い方）からＡｍａｘとＢｍａｘの大きい方（深い方）までの深度範囲であり、図９（ａ）の例ではＡｍｉｎからＢｍａｘまでの深度範囲である。また、式（１）の左辺の分子は、ＡｍｉｎとＢｍｉｎの大きい方（深い方）からＡｍａｘとＢｍａｘの小さい方（浅い方）までの深度範囲であり、図９（ａ）の例ではＢｍｉｎからＡｍａｘまでの深度範囲である。式（１）の左辺により、第１魚群Ｆａの深度範囲と第２魚群Ｆｂの深度範囲との合致率が算出される。図８のステップＳ１０５では、この合致率が閾値Ｔｈ１以上であるか否かによって、第１魚群Ｆａの深度範囲と第２魚群Ｆｂの深度範囲とが略合致するか否かが判定される。閾値Ｔｈ１は、統計的に設定されたデフォルト値であってよく、あるいは、サーバ２０の管理者により任意に設定されてもよい。
【0103】
【0104】
図８のステップＳ１３において、制御部２０１は、第１魚群Ｆａの魚群の範囲Ｒａおよび第２魚群Ｆｂの魚群の範囲Ｒｂの深度範囲を整合させる。すなわち、制御部２０１は、図１０（ａ）に示すように、最大深度Ａｍａｘ、Ｂｍａｘの小さい方（Ａｍａｘ）を大きい方（Ａｍａｘ）に整合させ、最小深度Ａｍｉｎ、Ｂｍｉｎの大きい方（Ｂｍｉｎ）を小さい方（Ａｍｉｎ）に整合させるよう、魚群の範囲Ｒａ、Ｒｂの深度範囲を修正する。そして、制御部２０１は、図１０（ｂ）に示すように、修正後の魚群の範囲Ｒａ、Ｒｂのアノテーションデータを統合して、魚群Ｆａ、Ｆｂにより構成される１つの魚群のアノテーションデータを生成する。
【0105】
生成されたアノテーションデータは、修正後の魚群の範囲Ｒａ、Ｒｂを統合した魚群の範囲Ｒａｂと、この魚群の範囲Ｒａｂに含まれるエコーデータと、当該魚群の魚種（ここではイワシ）とから構成される。魚群の範囲Ｒａｂも、魚群の範囲Ｒａ、Ｒｂと同様、矩形となり、この矩形の範囲に魚群Ｆａ、Ｆｂが内包される。上記のように、サーバ２０の制御部２０１は、統合後のアノテーションデータを機械学習モデル３０１の学習に用いる。
【0106】
なお、図９（ａ）～図１０（ｂ）には、第１単位エコー画像Ｐｎの右上の部分と第２単位エコー画像Ｐｎ＋１の左上の部分の魚群が例示されたが、第１単位エコー画像と第２単位エコー画像とに跨る魚群が複数存在する場合は、それぞれの魚群に対して上記と同様の処理が行われて、統合後のアノテーションデータが複数生成される。
【0107】
また、３つ以上の単位エコー画像に１つの魚群が跨る場合は、これら単位エコー画像のうち隣り合う単位エコー画像について、上記の処理が順次行われる。これにより、３つ以上の単位エコー画像に分断された魚群の部分のアノテーションデータが統合され、１つの魚群に対するアノテーションデータが生成される。
【0108】
＜実施形態の効果＞
実施形態によれば、以下の効果が奏され得る。
実施形態によれば、以下の効果が奏され得る。
【0109】
図７～図１０（ｂ）に示したように、第１単位エコー画像Ｐｎと第２単位エコー画像Ｐｎ＋１との間に跨る魚群のアノテーションデータ（第１アノテーションデータおよび第２アノテーションデータ）が統合されて、当該魚群全体のアノテーションデータが生成される。したがって、魚群全体に対するアノテーションデータを機械学習に用いることができるため、魚種判別のための機械学習の精度を高めることができる。
【0110】
図９（ａ）に示したように、制御部２０１は、第１単位エコー画像Ｐｎ上において第２単位エコー画像Ｐｎ＋１側の境界Ｂ１（第１境界）付近まで延びている魚群Ｆａを第１魚群に特定し、第２単位エコー画像Ｐｎ＋１上において第１単位エコー画像Ｐｎ側の境界Ｂ２（第２境界）付近まで延びている魚群Ｆｂを第２魚群に特定し、魚群Ｆａ（第１魚群）の範囲Ｒａと魚群Ｆｂ（第２魚群）の範囲Ｒｂとが略合致する場合に、これら魚群Ｆａ、Ｆｂ（第１魚群、第２魚群）のアノテーションデータを、統合対象のアノテーションデータ（第１アノテーションデータおよび第２アノテーションデータ）としてそれぞれ抽出する。これにより、１つの魚群を構成する確率が高い魚群Ｆａ、Ｆｂ（第１魚群、第２魚群）を、第１単位エコー画像Ｐｎおよび第２単位エコー画像Ｐｎ＋１において円滑に特定できる。よって、これら魚群のアノテーションデータを統合することにより、１つの魚群全体のアノテーションデータを精度良く生成できる。
【0111】
図９（ａ）に示したように、制御部２０１は、境界Ｂ１（第１境界）から所定の時間範囲Ｔａに少なくとも一部が含まれる魚群Ｆａを統合対象の魚群（第１魚群）として抽出し、境界Ｂ２（第２境界）から所定の時間範囲Ｔｂに少なくとも一部が含まれる魚群Ｆｂを統合対象の魚群（第２魚群）として抽出する。これにより、境界Ｂ１、Ｂ２付近で魚の分布が疎らになっている場合も、第１単位エコー画像Ｐｎと第２単位エコー画像Ｐｎ＋１とに跨る魚群を構成する第１魚群および第２魚群を、第１単位エコー画像Ｐｎおよび第２単位エコー画像Ｐｎ＋１において取りこぼしなく特定できる。よって、１つの魚群全体のアノテーションデータを適正に生成できる。
【0112】
＜変更例１＞
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。
【0113】
たとえば、上記実施形態では、アノテーションデータを構成する魚群の範囲（時間範囲、深度範囲）が矩形であったが、アノテーションデータを構成する魚群の範囲は、矩形以外の他の形状であってもよい。
【0114】
たとえば、図１１（ａ）に示すように、魚群の範囲Ｒａ、Ｒｂが、魚群Ｆａ、Ｆｂの外縁に沿った形状であってもよい。この場合、上記のように、エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある領域が魚群Ｆａ、Ｆｂとして抽出され、抽出された魚群Ｆａ、Ｆｂの外縁に沿った範囲が、魚群の範囲Ｒａ、Ｒｂとして抽出される。端末装置５０の制御部５０１は、オペレータがエコー画像上において魚群の位置を指示すると、指定された位置を含む魚群に対して上記処理により抽出した魚群の範囲を、エコー画像上に重ねて表示する。
【0115】
この場合も、上記実施形態１と同様、図８のステップＳ１０１では、境界Ｂ１から時間範囲Ｔａに魚群が存在するかが判定され、ステップＳ１０３では、境界Ｂ２から時間範囲Ｔｂに魚群が存在するかが判定される。これにより、図１１（ａ）に示すように、魚群Ｆａ、Ｆｂが、それぞれ、第１魚群および第２魚群に特定される。
【0116】
また、この場合、図１１（ａ）のステップＳ１０５では、魚群Ｆａ（第１魚群）の深度範囲と魚群Ｆｂ（第２魚群）の深度範囲とがほぼ合致するか否かが、境界Ｂ１（第１境界）付近における魚群Ｆａ（第１魚群）の深度範囲と、境界Ｂ２（第２境界）付近における魚群Ｆｂ（第２魚群）の深度範囲との合致率に基づいて判定される。
【0117】
すなわち、魚群Ｆａについては、魚群の範囲Ｒａのうち時間範囲Ｔａに含まれる部分に対して最大深度Ａｍａｘおよび最小深度Ａｍｉｎが取得され、魚群Ｆｂについては、魚群の範囲Ｒｂのうち時間範囲Ｔｂに含まれる部分に対して最大深度Ｂｍａｘおよび最小深度Ｂｍｉｎが取得される。
【0118】
制御部２０１は、こうして取得した最大深度Ａｍａｘ、Ｂｍａｘおよび最小深度Ａｍｉｎ、Ｂｍｉｎを上記式（１）に適用して、ステップＳ１０５の判定を行う。このように、境界Ｂ１（第１境界）および境界Ｂ２（第２境界）の付近において、魚群Ｆａ（第１魚群）の深度範囲と魚群Ｆｂ（第２魚群）の深度範囲とが略合致するかを判定することにより、これら魚群Ｆａ、Ｆｂ（第１魚群、第２魚群）が互いに連続するものであるかを正確に判定できる。よって、魚群Ｆａ、Ｆｂ（第１魚群、第２魚群）のアノテーションデータから１つの魚群全体のアノテーションデータを精度良く生成できる。
【0119】
この場合、図１１（ａ）のステップＳ１３では、図１１（ｂ）のように、最大深度Ａｍａｘ、Ｂｍａｘをそれぞれ取得した魚群の範囲Ｒａ、Ｒｂの位置を互いに接続し、最小深度Ａｍｉｎ、Ｂｍｉｎをそれぞれ取得した魚群の範囲Ｒａ、Ｒｂの位置を互いに接続することにより、魚群全体の魚群の範囲Ｒａｂが設定され得る。これにより、魚群全体のアノテーションデータを構成する魚群の範囲Ｒａｂを、円滑かつ適正に設定できる。
【0120】
但し、魚群の範囲Ｒａｂの設定方法がこれに限られるものではない。たとえば、最大深度Ａｍａｘ、Ｂｍａｘをそれぞれ取得した魚群の範囲Ｒａ、Ｒｂの位置よりもやや境界Ｂ１、Ｂ２側の魚群の範囲Ｒａ、Ｒｂの位置を接続し、最小深度Ａｍｉｎ、Ｂｍｉｎをそれぞれ取得した魚群の範囲Ｒａ、Ｒｂの位置よりもやや境界Ｂ１、Ｂ２側の魚群の範囲Ｒａ、Ｒｂの位置を接続することにより、魚群の範囲Ｒａｂが設定されてもよい。この場合も、魚群全体のアノテーションデータを構成する魚群の範囲Ｒａｂを、円滑かつ適正に設定できる。
【0121】
＜変更例２＞
上記実施形態では、第１魚群のアノテーションデータを構成する魚種と、第２魚群のアノテーションデータを構成する魚種とが同じであると想定された。しかしながら、魚群の画像に基づく魚種の判定は、オペレータにおいて困難な場合もある。このため、１つの魚群を構成するとして特定された第１魚群および第２魚群にそれぞれ設定されたアノテーションデータの魚種が互いに相違することが起こり得る。
上記実施形態では、第１魚群のアノテーションデータを構成する魚種と、第２魚群のアノテーションデータを構成する魚種とが同じであると想定された。しかしながら、魚群の画像に基づく魚種の判定は、オペレータにおいて困難な場合もある。このため、１つの魚群を構成するとして特定された第１魚群および第２魚群にそれぞれ設定されたアノテーションデータの魚種が互いに相違することが起こり得る。
【0122】
変更例２では、このような場合に、統合後のアノテーションデータに対して、所定の条件に基づき、魚種が設定される。
【0123】
【0124】
制御部２０１は、統合対象の第１魚群および第２魚群のアノテーションデータの魚種が一致するか否かを判定する（Ｓ２０１）。両者が一致する場合（Ｓ２０１：ＹＥＳ）、制御部２０１は、一致した魚種を、統合後の魚群の魚種に設定する（Ｓ２０２）。他方、両者が一致しない場合、制御部２０１は、所定の設定条件に従って、統合後の魚群の魚種を設定する（Ｓ２０３）。
【0125】
ステップＳ２０３の設定条件は、たとえば、第１魚群および第２魚群のアノテーションデータ（第１アノテーションデータ、前記第２アノテーションデータ）のうち新しい方のアノテーションデータの魚種に設定することを含み得る。
【0126】
たとえば、図１１（ａ）の例において、魚群Ｆａ（第１魚群）および魚群Ｆｂ（第２魚群）のアノテーションデータをそれぞれ構成する魚種が相違する場合、制御部２０１は、新しい方の単位エコー画像Ｐｎ＋１から取得された魚群Ｆｂのアノテーションデータの魚種を、統合後の魚群の範囲Ｒａｂに対する魚種として設定する。
【0127】
なお、ステップＳ２０３における設定条件は、上記のように、新しい方のアノテーションデータの魚種に設定するとの条件（第１条件）に限られるものではなく、信頼性の高い魚種を統合後のアノテーションデータに設定可能な限りにおいて、他の条件であってもよい。
【0128】
たとえば、統合対象の第１魚群および第２魚群のアノテーションデータ（第１アノテーションデータ、第２アノテーションデータ）のうち魚群の範囲が大きい方のアノテーションデータの魚種を、統合後の魚群のアノテーションデータの魚種に設定するとの条件（第２条件）が、ステップＳ２０３の設定条件に含まれてもよい。
【0129】
あるいは、統合したアノテーションデータを魚種判別の機械学習モデル３０１で処理して得られた魚種を、統合後の魚群のアノテーションデータの魚種に設定するとの条件（第３条件）が、ステップＳ２０３の設定条件に含まれてもよい。
【0130】
この場合、たとえば、第２条件により魚種を設定できない場合（たとえば、第１魚群の範囲と第２魚群の範囲とが略同じである場合）に、第１条件または第３条件が適用されて、魚種が設定されてもよい。あるいは、第１条件から第３条件によりそれぞれ取得された魚種のうち、互いに一致する魚種の数が最も多い魚種が、統合後の魚群のアノテーションデータの魚種に設定されてもよい。設定条件は、第１条件から第３条件に限られるものではなく、他の条件をさらに含んでもよい。
【0131】
このように、魚群Ｆａ（第１魚群）および魚群Ｆｂ（第２魚群）のアノテーションデータをそれぞれ構成する魚種が相違する場合に、ステップＳ２０３の処理を行うことで、信頼性の高い魚種を、統合後のアノテーションデータに設定できる。よって、機械学習の精度を高めることができる。
【0132】
なお、ステップＳ２０１の判定がＮＯの場合は、第１魚群および第２魚群のアノテーションデータを統合する処理を中止してもよい。この場合、制御部２０１は、第１魚群および第２魚群のアノテーションデータの両方を、機械学習モデル３０１の機械学習に用いるアノテーションデータの対象から除外してよく、あるいは、これらアノテーションデータの一方（たとえば、古い方または魚群の範囲が小さい方）を機械学習モデル３０１の機械学習に用いるアノテーションデータの対象から除外してよい。
【0133】
＜その他の変更例＞
上記実施形態および変更例１、２では、図７および図８の処理が、サーバ２０の制御部２０１において行われたが、これらの処理が、サーバ２０以外の他の装置で行われて、統合後のアノテーションデータがサーバ２０に提供されもよい。たとえば、図７および図８の処理が、オペレータによるアノテーションデータの生成後に、端末装置５０の制御部５０１が行い、オペレータが生成したアノテーションデータと、図７および図８の処理により生成したアノテーションデータとを、制御部５０１がサーバ２０に送信してもよい。この場合、端末装置５０が、特許請求の範囲に記載の魚種学習装置に対応する。
上記実施形態および変更例１、２では、図７および図８の処理が、サーバ２０の制御部２０１において行われたが、これらの処理が、サーバ２０以外の他の装置で行われて、統合後のアノテーションデータがサーバ２０に提供されもよい。たとえば、図７および図８の処理が、オペレータによるアノテーションデータの生成後に、端末装置５０の制御部５０１が行い、オペレータが生成したアノテーションデータと、図７および図８の処理により生成したアノテーションデータとを、制御部５０１がサーバ２０に送信してもよい。この場合、端末装置５０が、特許請求の範囲に記載の魚種学習装置に対応する。
【0134】
また、上記実施形態および変更例１、２では、上記式（１）によって、第１魚群および第２魚群の深度範囲が略合致するか否かが判定されたが、この判定の方法は、これに限られるものではない。たとえば、図９（ａ）において、最大深度Ａｍａｘと最小深度Ａｍｉｎとの間の第１深度幅と、最大深度Ｂｍａｘと最小深度Ｂｍｉｎとの間の第２深度幅との差分が所定の閾値より小さく、且つ、第１深度幅の中間深度と第２深度幅の中間深度との差分が所定の閾値より小さいとの条件が満たされる場合に、第１魚群および第２魚群の深度範囲が略合致し、この条件が満たされない場合に、これら魚群の深度範囲が合致しないと判定されてもよい。図１１（ａ）の場合も、同様の判定方法にて、第１魚群および第２魚群の深度範囲が略合致するか否かが判定されてもよい。
【0135】
また、第１単位エコー画像と第２単位エコー画像とに跨る魚群のアノテーションデータを抽出する方法は、図８のステップＳ１０１～Ｓ１０５に示した方法に限られるものではない。たとえば、第１魚群のエコーデータおよび第２魚群のエコーデータの分布の連続性に基づいて、第１魚群および第２魚群が１つの魚群を構成するかが判定されてもよい。
【0136】
また、上記実施形態および変更例１、２では、送受波部１０４により送波される送信波の周波数が１つであることが想定されたが、互いに異なる２種類の周波数の送信波が送受波部１０４から送波されてもよい。この場合、各周波数の受信信号に基づくエコーデータが魚群ごとに機械学習モデル３０１に適用されて、各魚群の魚種が判別されてもよい。このように２種類の周波数で送受波が行われることにより、機械学習モデル３０１による魚種判別をより高精度に行うことができる。たとえば、鰾の有無によって、各周波数のエコー強度に差が生じる。このため、魚群からのエコーの強度の差を参照することによって、当該魚群の魚種を精度良く判別できる。
【0137】
この場合、単位エコー画像により生成されるアノテーションデータは、それぞれの魚群に対して周波数ごとに生成されればよい。また、図７および図８に示したアノテーションデータの統合処理は、各周波数のエコーデータ（単位エコー画像）に対して個別に行われればよい。
【0138】
また、上記実施形態では、機械学習モデル３０１を用いた魚種の判別処理がサーバ２０側で行われたが、この判別処理が水中探知装置１０側で行われてもよい。この場合、アノテーションデータにより更新された機械学習モデル３０１が、随時、水中探知装置１０に送信され、水中探知装置１０に記憶される。水中探知装置１０の制御部１０１は、送受波部１０４および信号処理部１０５により取得したエコーデータに基づいて、上記サーバ２０の制御部２０１と同様、機械学習モデル３０１を用いた魚種判別を実行し、判別結果をエコー画像に表示させる。
【0139】
また、上記実施形態では、アノテーションデータが端末装置５０において生成されたが、アノテーションデータを生成する装置はこれに限られるものではない。たとえば、水中探知装置１０のユーザが、自身の漁獲結果からエコー画像上の魚群とその魚種を入力し、この魚群のエコーデータと当該魚群の魚種が、アノテーションデータとしてサーバ２０に送信されてもよい。
【0140】
また、上記実施形態では、水中探知装置１０が魚群探知機であったが、水中探知装置１０がソナー等、魚群探知機以外の装置であってもよい。
【0141】
この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜種々の変更可能である。
【符号の説明】
【0142】
２０ サーバ（機械学習装置）
２０１ 制御部
２０２ 記憶部
３０１ 機械学習モデル
Ｐｎ、Ｐｎ＋１ 単位エコー画像（第１単位エコー画像、第２単位エコー画像）
Ｆａ、Ｆｂ 魚群（第１魚群、第２魚群）
Ｂ１、Ｂ２ 境界（第１境界、第２境界）
Ｔａ、Ｔｂ 時間範囲
２０１ 制御部
２０２ 記憶部
３０１ 機械学習モデル
Ｐｎ、Ｐｎ＋１ 単位エコー画像（第１単位エコー画像、第２単位エコー画像）
Ｆａ、Ｆｂ 魚群（第１魚群、第２魚群）
Ｂ１、Ｂ２ 境界（第１境界、第２境界）
Ｔａ、Ｔｂ 時間範囲
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】