特開 2024-43266 魚種学習装置、魚種学習システム、魚種学習方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043266

(43)【公開日】2024-03-29

(54)【発明の名称】魚種学習装置、魚種学習システム、魚種学習方法およびプログラム

(51)【国際特許分類】

   G01S 15/96 20060101AFI20240322BHJP

   G01S 7/539 20060101ALI20240322BHJP

   G01S 7/62 20060101ALN20240322BHJP

【ＦＩ】

G01S15/96

G01S7/539

G01S7/62 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022148357

(22)【出願日】2022-09-16

(71)【出願人】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100111383

【弁理士】

【氏名又は名称】芝野 正雅

(74)【代理人】

【識別番号】100170922

【弁理士】

【氏名又は名称】大橋 誠

(72)【発明者】

【氏名】笠井 昭範

(72)【発明者】

【氏名】平林 祐太

(72)【発明者】

【氏名】村垣 政志

【テーマコード（参考）】

5J083

【Ｆターム（参考）】

5J083AA02

5J083AB03

5J083AC40

5J083AD01

5J083AD06

5J083AD17

5J083AE04

5J083AF16

5J083BA01

5J083BE21

5J083BE60

5J083CA01

5J083EA37

(57)【要約】

【課題】機械学習のためのアノテーションデータをより簡便且つ効率的に取得可能な魚種学習装置、魚種学習システム、魚種学習方法およびプログラムを提供する
【解決手段】サーバ２０（魚種学習装置）は、所定時間分のエコーデータを記憶する記憶部２０２と、制御部２０１と、を備える。ここで、制御部２０１は、所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて魚群をグループ分けし、魚種判別の精度向上のために規定されたアノテーション処理の優先条件に基づいて、各々のグループに優先度を設定し、各々のグループの優先度に基づいて、魚群のエコーデータをアノテーション処理に供するグループを決定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定時間分のエコーデータを記憶する記憶部と、
制御部と、を備え、
前記制御部は、
前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、
算出した特徴量の類似度に基づいて前記魚群をグループ分けし、
魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、
各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する、
ことを特徴とする魚種学習装置。

【請求項2】

請求項１に記載の魚種学習装置において、
前記特徴量は、魚種判別のニューラルネットワークの所定の中間層において前記魚群のエコーデータから算出される特徴量を含む、
ことを特徴とする魚種学習装置。

【請求項3】

請求項１に記載の魚種学習装置において、
前記特徴量は、前記魚群のエコーデータ以外の情報に基づく特徴量を含む、
ことを特徴とする魚種学習装置。

【請求項4】

請求項３に記載の魚種学習装置において、
前記特徴量は、前記魚群の深度の代表値、および前記魚群のエコーデータの取得位置の海況に関する所定の値の少なくとも一方を含む、
ことを特徴とする魚種学習装置。

【請求項5】

請求項１に記載の魚種学習装置において、
前記記憶部は、魚種判別の誤りの発生度合いを魚種ごとに記憶し、
前記優先条件は、前記誤りの発生度合いが高い前記魚種に対応する前記グループほど前記優先度を高く設定することを含む、
ことを特徴とする魚種学習装置。

【請求項6】

請求項１に記載の魚種学習装置において、
前記記憶部は、魚種ごとのアノテーションデータの数を識別可能な情報を記憶し、
前記優先条件は、前記アノテーションデータの数が少ない前記魚種に対応する前記グループほど前記優先度を高く設定することを含む、
ことを特徴とする魚種学習装置。

【請求項7】

請求項１に記載の魚種学習装置において、
前記制御部は、前記アノテーション処理に供すると決定した前記グループ中の所定の前記魚群のエコーデータについてアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てる、
ことを特徴とする魚種学習装置。

【請求項8】

所定時間分のエコーデータを記憶する記憶部と、
制御部と、を備え、
前記制御部は、
前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、
算出した特徴量の類似度に基づいて前記魚群をグループ分けし、
１つの前記グループに含まれる所定の前記魚群のエコーデータをアノテーション処理に供し、
前記アノテーション処理に供した前記魚群のエコーデータに対するアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てる、
ことを特徴とする魚種学習装置。

【請求項9】

所定時間分のエコーデータを記憶する記憶部と、
制御部と、を備え、
前記制御部は、
前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、
算出した特徴量の類似度に基づいて前記魚群をグループ分けし、
魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、
各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する、
ことを特徴とする魚種学習システム。

【請求項10】

所定時間分のエコーデータを記憶する記憶部と、
制御部と、を備え、
前記制御部は、
前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、
算出した特徴量の類似度に基づいて前記魚群をグループ分けし、
１つの前記グループに含まれる所定の前記魚群のエコーデータをアノテーション処理に供し、
前記アノテーション処理に供した前記魚群のエコーデータに対するアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てる、
ことを特徴とする魚種学習システム。

【請求項11】

所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、
算出した特徴量の類似度に基づいて前記魚群をグループ分けし、
魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、
各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する、
ことを特徴とする魚種学習方法。

【請求項12】

コンピュータに、
所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出する機能と、
算出した特徴量の類似度に基づいて前記魚群をグループ分けする機能と、
魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定する機能と、
各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する機能と、を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師データ（アノテーションデータ）を用いて魚種判別のための機械学習を行う魚種学習装置、魚種学習システム、魚種学習方法およびプログラムに関する。

【背景技術】

【0002】

従来、水中の魚群を探知する魚群探知装置が知られている。この種の魚群探知装置では、水中に超音波が送波され、その反射波が受波される。受波された反射波の強度に応じたエコーデータが生成され、生成されたエコーデータに基づいてエコー画像が表示される。ユーザは、エコー画像から魚群を確認でき、魚群の捕獲を円滑に進めることができる。

【0003】

この場合、エコー画像上の魚群について、さらに魚種が判別されて表示されると好ましい。これにより、ユーザは、自身が望む魚種の魚を効率よく捕獲できる。

【0004】

このような魚種の判別は、たとえば、機械学習モデル（機械学習アルゴリズム）を用いて行われ得る。機械学習モデルに対して、多数の教師データ（アノテーションデータ）を用いた学習が行われる。それぞれのアノテーションデータは、魚群のエコーデータと、当該魚群の範囲（水深、時間）と、当該魚群の魚種とを含んでいる。

【0005】

以下の特許文献１には、ソナーの受信データに対して入力された魚群の魚種を、魚群探知機の受信データにおける魚群の魚種に適用する魚群学習システムが記載されている。このシステムでは、ソナーの受信データに含まれる魚群と魚群探知機の受信データに含まれる魚群とが自動で対応付けられる。そして、ソナー側の魚群に魚種が入力されると、入力された魚種が、この魚種に対応する魚群探知機側の魚群に適用される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－１２１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一般に、アノテーションデータの生成は、オペレータの端末装置にエコー画像が表示されて行われる。すなわち、オペレータは、端末装置に表示されたエコー画像上において、魚群の範囲（水深、時間）を指定し、指定した魚群の範囲に対して魚種のラベルを付する。これにより、魚群の範囲（水深、時間）と、当該魚群の範囲のエコーデータと、当該魚群の魚種とが対応付けられたアノテーションデータが生成される。生成されたアノテーションデータは、端末装置から、機械学習装置に送信され、魚種判別の機械学習モデルの学習に供される。

【0008】

このように、アノテーションデータの生成には、煩雑な作業を伴う。特に、アノテーションデータの生成のために所定時間分のエコーデータを処理する場合、オペレータは、当該時間分の膨大な数のエコー画像に対して、逐一、上記の作業を行わねばならない。

【0009】

かかる課題に鑑み、本発明は、機械学習のためのアノテーションデータをより簡便且つ効率的に取得可能な魚種学習装置、魚種学習システム、魚種学習方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の第１の態様は、魚種学習装置に関する。この態様に係る魚種学習装置は、所定時間分のエコーデータを記憶する記憶部と、制御部と、を備える。ここで、前記制御部は、前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて前記魚群をグループ分けし、魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する。

【0011】

本態様に係る魚種学習装置によれば、アノテーション処理に供される魚群のエコーデータが、優先度に基づいて決定されたグループの魚群のエコーデータに制限される。このため、アノテーション処理の対象とされる魚群の数が制限され、オペレータにおけるアノテーション処理の負荷を軽減できる。また、アノテーション処理の対象とされるグループが、魚種判別の精度向上のために規定された優先条件に基づいて決定されるため、魚種判別の精度を向上させ得るグループのアノテーションデータを取得できる。よって、アノテーションデータを効率的に取得でき、魚種判別の精度を効率的に高めることができる。

【0012】

本態様に係る魚種学習装置において、前記特徴量は、魚種判別のニューラルネットワークの所定の中間層において前記魚群のエコーデータから算出される特徴量を含み得る。

【0013】

この構成によれば、各々のグループに同一魚種の魚群が含まれやすくなる。このため、処理に供すると決定されたグループから、同じ魚種のアノテーションデータを効率的に取得できる。

【0014】

また、前記特徴量は、前記魚群のエコーデータ以外の情報に基づく特徴量を含んでもよい。

【0015】

たとえば、前記特徴量は、前記魚群の深度の代表値、および前記魚群のエコーデータの取得位置の海況に関する所定の値の少なくとも一方を含んでよい。

【0016】

この構成によっても、各々のグループに同一魚種の魚群のエコーデータが含まれやすくなるため、処理に供すると決定されたグループから、同じ魚種のアノテーションデータを効率的に取得できる。

【0017】

本態様に係る魚種学習装置において、前記記憶部は、魚種判別の誤りの発生度合いを魚種ごとに記憶し、前記優先条件は、前記誤りの発生度合いが高い前記魚種に対応する前記グループほど前記優先度を高く設定することを含み得る。

【0018】

この構成によれば、魚種判別に誤りが発生しやすい魚種に対応するグループに、高い優先度が設定されやすくなる。このため、魚種判別に誤りが発生しやすい魚種について、アノテーションデータが優先的に取得されやすくなる。よって、取得されたアノテーションデータによる機械学習により、当該魚種に対する判別誤りを改善でき、魚種全体の判別精度を高めることができる。

【0019】

あるいは、前記記憶部は、魚種ごとのアノテーションデータの数を識別可能な情報を記憶し、前記優先条件は、前記アノテーションデータの数が少ない前記魚種に対応する前記グループほど前記優先度を高く設定することを含み得る。

【0020】

この構成によれば、アノテーションデータの数が少ない魚種に対応するグループに、高い優先度が設定されやすくなる。このため、アノテーションデータの数が十分でない魚種について、アノテーションデータが優先的に取得されやすくなる。よって、取得されたアノテーションデータによる機械学習により、当該魚種に対する判別精度を改善でき、魚種全体の判別精度を高めることができる。

【0021】

本態様に係る魚種学習装置において、前記制御部は、前記アノテーション処理に供すると決定した前記グループ中の所定の前記魚群のエコーデータについてアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てるよう構成され得る。

【0022】

この構成によれば、グループ中の所定の魚群のエコーデータについてアノテーションデータが得られると、当該グループに含まれるその他の魚群に、取得したアノテーションデータの魚種が割り当てられるため、アノテーションデータの生成作業をさらに簡便化できる。また、各々のグループは、魚種に関する特徴量でグループ化されているため、１つのグループには同じ魚種の魚群が含まれる可能性が高い。このため、上記のように、グループ中の所定の魚群のエコーデータに対して得られた魚種をこのグループのその他の魚群に対して割り当てたとしても、アノテーションデータとしての精度は保たれ得る。よって、簡易且つ効率的に多数のアノテーションデータを生成できる。

【0023】

本発明の第２の態様は、魚種学習装置に関する。この態様に係る魚種学習装置は、所定時間分のエコーデータを記憶する記憶部と、制御部と、を備える。ここで、前記制御部は、前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて前記魚群をグループ分けし、１つの前記グループに含まれる所定の前記魚群のエコーデータをアノテーション処理に供し、前記アノテーション処理に供した前記魚群のエコーデータに対するアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てる。

【0024】

本態様に係る魚種学習装置によれば、グループ中の所定の魚群のエコーデータについてアノテーションデータが得られると、当該グループに含まれるその他の魚群に、取得したアノテーションデータの魚種が割り当てられるため、アノテーションデータの生成作業を簡便化できる。また、各々のグループは、魚種に関する特徴量でグループ化されているため、１つのグループには同じ魚種の魚群が含まれる可能性が高い。このため、上記のように、グループ中の所定の魚群のエコーデータに対して得られた魚種をこのグループのその他の魚群に対して割り当てたとしても、アノテーションデータとしての精度は保たれる。よって、簡便且つ効率的に多数のアノテーションデータを生成できる。

【0025】

本発明の第３の態様は、魚種学習システムに関する。この態様に係る魚種学習システムは、所定時間分のエコーデータを記憶する記憶部と、制御部と、を備える。ここで、前記制御部は、前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて前記魚群をグループ分けし、魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する。

【0026】

第３の態様によれば、上記第１の態様と同様の効果が奏される。

【0027】

本発明の第４の態様は、魚種学習システムに関する。この態様に係る魚種学習システムは、所定時間分のエコーデータを記憶する記憶部と、制御部と、を備える。ここで、前記制御部は、前記所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて前記魚群をグループ分けし、１つの前記グループに含まれる所定の前記魚群のエコーデータをアノテーション処理に供し、前記アノテーション処理に供した前記魚群のエコーデータに対するアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の前記魚群に、取得した前記アノテーションデータの魚種を割り当てる。

【0028】

第４の態様によれば、上記第２の態様と同様の効果が奏される。

【0029】

本発明の第５の態様は、魚種学習方法に関する。この態様に係る魚種学習方法は、所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出し、算出した特徴量の類似度に基づいて前記魚群をグループ分けし、魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定し、各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する。

【0030】

本発明の第６の態様は、コンピュータに所定の機能を実行させるプログラムに関する。本態様に係るプログラムは、所定時間分のエコーデータ中の魚群ごとに魚種に関する特徴量を算出する機能と、算出した特徴量の類似度に基づいて前記魚群をグループ分けする機能と、魚種判別の精度向上のために規定された優先条件に基づいて、各々の前記グループに優先度を設定する機能と、各々の前記グループの前記優先度に基づいて、前記魚群のエコーデータをアノテーション処理に供する前記グループを決定する機能と、を含む。

【0031】

上記第５および第６の態様によれば、上記第１の態様と同様の効果が奏される。

【発明の効果】

【0032】

以上のとおり、本発明によれば、機械学習のためのアノテーションデータをより簡便且つ効率的に取得可能な魚種学習装置、魚種学習システム、魚種学習方法およびプログラムを提供することができる。

【0033】

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

【図面の簡単な説明】

【0034】

【図1】図１は、実施形態に係る、魚種判別システムの構成を示す図である。

【図2】図２は、実施形態に係る、魚種学習システムの構成を示すブロック図である。

【図3】図３は、実施形態に係る、ニューラルネットワークによる魚種判別処理を模式的に示す図である。

【図4】図４は、実施形態に係る、端末装置から受信したアノテーションデータを管理するデータベースの構成を示す図である。

【図5】図５は、実施形態に係る、魚種判別の誤りの発生状況を管理する管理情報の構成を示す図である。

【図6】図６（ａ）～図６（ｆ）は、それぞれ、実施形態に係る、アノテーションデータの生成工程を模式的に示す図である。

【図7】図７は、実施形態に係る、アノテーションデータの生成処理を示すフローチャートである。

【図8】図８は、実施形態に係る、アノテーション処理の際に端末装置に表示される画面の一例を示する図である。

【図9】図９は、変更例２に係る、アノテーションデータの生成処理を示すフローチャートである。

【発明を実施するための形態】

【0035】

以下、本発明の実施形態について、図面を参照して説明する。

【0036】

以下の実施形態では、サーバ２０が、特許請求の範囲に記載の「魚種学習装置」に対応する。但し、本発明に係る「魚種学習装置」は、必ずしも、サーバ２０に限られるものではなく、たとえば、端末装置５０等の他の装置が、本発明に係る「魚種学習装置」の機能を実行してもよい。

【0037】

図１は、魚種判別システム１の構成を示す図である。

【0038】

魚種判別システム１は、水中探知装置１０と、サーバ２０とを備える。水中探知装置１０は、船２に設置される魚群探知機である。水中探知装置１０は、外部通信網３０（たとえば、インターネット）および基地局４０を介して、サーバ２０と通信可能である。水中探知装置１０およびサーバ２０は、それぞれ、相互に通信を行うためのアドレス情報を保持している。それぞれのアドレス情報は、初期設定時に、水中探知装置１０およびサーバ２０に設定される。

【0039】

水中探知装置１０は、送受波器１１と、制御ユニット１２とを備える。送受波器１１は、船２の船底に設置され、制御ユニット１２は、船の操舵室等に設置される。送受波器１１と制御ユニット１２は、信号ケーブル（図示せず）で接続されている。送受波器１１は、送受波用の超音波振動子を備える。送受波器１１は、制御ユニット１２からの制御に応じて、超音波振動子により、海底４に向かって所定周波数の超音波３（送信波）を送波し、その反射波を受波する。送受波器１１は、受波した反射波に基づく受信信号を制御ユニット１２に送信する。

【0040】

制御ユニット１２は、受信信号を処理して、各深度のエコー強度を示すエコーデータを生成する。制御ユニット１２は、送受波器１１から入力される受信信号から、深度に応じた反射波の強度を示すエコーデータを生成する。送信波を送波したタイミングからの経過時間が深度に対応する。ここで、反射波の強度は、深度が大きくなるほど減衰する。したがって、制御ユニット１２は、深度の差異に拘わらずエコーデータを定量的に扱えるようにするために、経過時間に応じて減衰する反射波の強度を補正し、強度を補正したエコーデータを生成する。

【0041】

制御ユニット１２は、エコーデータに基づく各深度のエコー強度を時系列に並べて、１画面分のエコー画像を生成する。制御ユニット１２は、生成したエコー画像を表示部に表示させる。制御ユニット１２は、超音波の送受波ごとにエコー画像を更新する。ユーザは、エコー画像を参照することで、魚群５の存在および位置を把握できる。

【0042】

さらに、制御ユニット１２は、生成したエコーデータを、随時、サーバ２０に送信する。このとき、制御ユニット１２は、船２に設置されたＧＰＳにより検出された位置情報を、サーバ２０に送信する。

【0043】

サーバ２０は、受信したエコーデータを記憶するとともに、制御ユニット１２と同様のエコー画像を生成する。サーバ２０は、機械学習モデル（機械学習アルゴリズム）により、エコー画像に含まれる魚群に対し、魚種ごとに予測確率（その魚種である確率）を算出する。

【0044】

サーバ２０は、機械学習モデルにより算出した魚種ごとの予測確率に基づき、当該魚群に対する魚種の判別結果を取得する。サーバ２０は、こうして取得した当該魚種の判別結果を、判別対象の魚群の範囲（深度、時間）とともに、エコーデータの受信先の水中探知装置１０に送信する。

【0045】

水中探知装置１０は、受信した判別結果および魚群の範囲（深度、時間）に基づき、エコー画像上の対応する範囲に魚種の判別結果を重ねて表示する。これにより、ユーザは、エコー画像上の各魚群の魚種を確認でき、所望の魚の漁獲を円滑に進めることができる。

【0046】

ユーザは、エコー画像上に表示された魚群の魚種と、自身が実際に捕獲した魚群の魚種とが異なる場合、サーバ２０の魚種判別結果を修正するためのフィードバック情報を、水中探知装置１０または自身の端末装置を介してサーバ２０に送信する。たとえば、ユーザは、自身の端末装置からサーバ２０にアクセスして、所定日時における魚群の魚種判別結果を、当該日時のエコー画像とともに、サーバ２０から取得する。ユーザは、これにより、自身の端末装置に表示されたエコー画像上の魚種判別結果を当該端末装置に対する操作により修正した後、確定操作を行う。これにより、修正された魚種と、修正対象の魚群の範囲（深度、時間）とを含むフィードバック情報が、当該端末装置からサーバ２０に送信される。サーバ２０は受信したフィードバック情報を適宜記憶する。

【0047】

さらに、サーバ２０は、機械学習モデルに対する学習を行うためのアノテーションデータ（教師データ）を、外部通信網３０を介して、複数の端末装置５０から取得する。すなわち、サーバ２０は、水中探知装置１０から受信したエコーデータを、複数の端末装置５０の何れかに分配する。端末装置５０は、受信したエコーデータからアノテーションデータを生成するために用いられる。サーバ２０および端末装置５０は、アノテーションデータを用いた魚種判別の機械学習のための魚種学習システム６を構成する。

【0048】

端末装置５０は、専門家等の、アノテーションデータの生成を行うオペレータが所持する。オペレータは、受信したエコーデータに基づくエコー画像を端末装置５０に表示させ、これらエコー画像に含まれる魚群に魚種を設定する。設定された魚種は、当該魚群の範囲（深度、時間）と、当該範囲のエコーデータとに対応付けられる。こうして対応付けられた魚種、魚群の範囲およびエコーデータによって、当該魚群に対するアノテーションデータが構成される。アノテーションデータは、当該アノテーションデータが生成されたエコー画像の識別情報とともに、サーバ２０に送信される。

【0049】

サーバ２０は、受信したアノテーションデータを用いて、機械学習モデルに対する学習を行う。これにより、機械学習モデルの魚種判別精度が高められる。

【0050】

なお、ここでは、サーバ２０が端末装置５０に提供したエコーデータに対して、アノテーションデータが生成され、生成されたアノテーションデータがサーバ２０に戻されたが、サーバ２０に対するアノテーションデータの提供方法は、これに限られるものではない。たとえば、サーバ２０以外の装置から端末装置５０にエコーデータが提供されてアノテーションデータが生成され、生成されたアノテーションデータがサーバ２０に提供されてもよい。

【0051】

また、図１には、水中探知装置１０が１つだけ図示されているが、実際は、多数の水中探知装置１０が外部通信網３０および最寄りの基地局を介して、サーバ２０と通信可能である。また、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれ得る。

【0052】

図２は、魚種学習システム６の構成を示すブロック図である。

【0053】

サーバ２０は、制御部２０１と、記憶部２０２と、通信部２０３とを備える。制御部２０１は、ＣＰＵ等により構成される。記憶部２０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部２０２には、魚種判別のためのプログラムおよび機械学習のためのプログラムが記憶されている。制御部２０１は、記憶部２０２に記憶されたプログラムにより、各部を制御する。通信部２０３は、制御部２０１からの制御により、外部通信網３０および基地局４０を介して、水中探知装置１０と通信を行う。また、サーバ２０は、外部通信網３０を介して、複数の端末装置５０と通信を行う。サーバ２０は、さらに、表示部および入力部を備えてよい。

【0054】

端末装置５０は、パーソナルコンピュータやタブレット型コンピュータ等の、情報を入出力可能な装置である。端末装置５０は、制御部５０１と、記憶部５０２と、表示部５０３と、入力部５０４と、通信部５０５とを備える。

【0055】

制御部５０１は、ＣＰＵ等により構成される。記憶部５０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部５０２には、アノテーションデータを生成するためのプログラムが記憶されている。制御部５０１は、記憶部５０２に記憶されたプログラムにより、各部を制御する。表示部５０３は、液晶モニタ等により構成され、制御部５０１からの制御により所定の画像を表示させる。入力部５０４は、マウスやキーボード等の入力手段を備える。通信部５０５は、制御部５０１からの制御により、サーバ２０と通信を行う。

【0056】

図３は、ニューラルネットワークによる魚種判別処理を模式的に示す図である。

【0057】

本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。

【0058】

サーバ２０の制御部２０１は、処理対象の１画面分のエコーデータから魚群の範囲（深度、時間）を抽出する。エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある領域が魚群として抽出され、さらにこの魚群の最大時間幅および最大深度幅により構成される矩形の範囲が魚群の範囲として抽出される。魚群の抽出方法については、出願人が先に出願した国際公開第２０１９／００３７５９号の記載が、参照により取り込まれ得る。

【0059】

制御部２０１は、抽出した魚群の範囲のエコーデータを、図３の機械学習モデル（ニューラルネットワークによる機械学習アルゴリズム）３０１の入力３０１ａに適用する。

【0060】

機械学習モデル３０１の出力３０１ｂには、イワシ、アジ、サバなどの魚種の項目が割り当てられている。機械学習モデル３０１の入力３０１ａに魚群の範囲のエコーデータが適用されると、機械学習モデル３０１の出力３０１ｂの各項目から、当該魚群の魚種が各項目の魚種である確率（予測確率）が出力される。図３の例では、イワシの項目から７５％の予測確率が出力され、サバの項目から１５％の予測確率が出力され、アジの項目から１０％の予測確率が出力されている。

【0061】

各項目の予測確率は、出力条件３０２と照合される。出力条件３０２には、たとえば、予測確率が所定の下限値以上で且つ一番順位（最高）である項目の魚種を判別結果３０３として出力する条件が適用される。下限値は、確度が低い魚種が判別結果として出力されることを防ぐために設定される。図３の例では、予測確率が７５％であるイワシが、魚種の判別結果３０３として出力される。

【0062】

機械学習モデル３０１に対する機械学習は、一連のアノテーションデータ（教師データ）を機械学習モデル３０１の入力３０１ａおよび出力３０１ｂに順番に適用することにより行われる。すなわち、機械学習モデル３０１の入力３０１ａに、１つのアノテーションデータに含まれる魚群のエコーデータが入力され、機械学習モデル３０１の出力３０１ｂには、このアノテーションデータに含まれる魚種に対応する項目に１００％が設定され、その他の項目には０％が設定されて、機械学習が行われる。

【0063】

機械学習モデル３０１の入力３０１ａには、魚群のエコーデータの他に、当該エコーデータが得られた位置や、その位置の海況データ（その位置を含む海域の温度、流速、塩分濃度等）等の、魚種判別に用い得る他の情報が入力されてもよい。海況データは、海上の浮標等に設置された検出器によって検出され、各検出器から無線通信によりサーバ２０に周期的に送信される。検出器は、ＧＰＳを備え、ＧＰＳで検出した位置情報を海況データとともにサーバ２０に送信する。サーバ２０は、浮標（検出器）の位置ごとに、海況データを記憶部２０２に記憶させる。水中探知装置１０が海況データを取得するための検出器を備える場合、水中探知装置１０からサーバ２０に海況データが位置情報とともに送信されてもよい。

【0064】

ところで、アノテーションデータの生成は、通常、端末装置５０にエコー画像が表示されて行われる。すなわち、専門家等のオペレータは、端末装置５０に表示されたエコー画像上において、魚群の範囲（水深、時間）を指定し、指定した魚群の範囲に対して魚種のラベルを付する。これにより、魚群の範囲（水深、時間）と、当該魚群の範囲のエコーデータと、当該魚群の魚種とが対応付けられたアノテーションデータが生成される。生成されたアノテーションデータは、端末装置５０からサーバ２０に送信され、魚種判別の機械学習モデル３０１の学習に供される。

【0065】

このように、アノテーションデータの生成には、煩雑な作業を伴う。特に、アノテーションデータの生成のために所定時間分のエコーデータを処理する場合、オペレータは、当該時間分の膨大な数のエコー画像に対して、逐一、上記の作業を行わねばならない。このような作業には多大の労力が掛かり、オペレータにはかなりの負担となる。

【0066】

そこで、本実施形態では、機械学習のためのアノテーションデータをより簡便且つ効率的に取得可能な処理が、サーバ２０において行われる。以下、この処理について説明する。

【0067】

図４は、端末装置５０から受信したアノテーションデータを管理するデータベースの構成を示す図である。

【0068】

サーバ２０の制御部２０１は、記憶部２０２に図４のデータベースを構築する。データベースには、魚群の範囲（時間幅、深度幅）と、その魚群の範囲に含まれるエコーデータと、その魚群の魚種とが対応付けられて保持される。魚群の範囲、エコーデータおよび魚種は、アノテーションデータを構成する。制御部２０１は、後述の処理によりアノテーションデータを取得して、データベースに記憶させる。

【0069】

さらに、このアノテーションデータに日時と位置が対応付けられる。日時は、当該魚群のエコーデータが取得された日時である。位置は、当該魚群のエコーデータが取得された位置である。位置は、上記のように、水中探知装置１０からエコーデータとともに受信する位置情報から取得される。

【0070】

これらの日時および位置により、上述の海況データがさらにアノテーションデータに紐づけられ得る。すなわち、サーバ２０の制御部２０１は、海上の浮標等に設置された検出器から位置情報とともに受信した海況データを、位置情報および受信日時に対応付けて、記憶部２０２に記憶させる。制御部２０１は、図４の各々のアノテーションデータに対応付けられた日時および位置に最も接近する受信日時および位置の海況データを、各々のアノテーションデータに紐づけることができる。

【0071】

図５は、魚種判別の誤りの発生状況を管理する管理情報の構成を示す図である。

【0072】

サーバ２０の制御部２０１は、記憶部２０２に図５の管理情報を記憶させる。管理情報は、現在から一定期間前までに生じた魚種判別の誤りの発生度合いを魚種ごとに管理する情報である。管理情報は、各々の魚種と、判別数および判別誤り数とが対応付けて構成される。上述の一定期間は、たとえば、数週間または数カ月に設定される。判別数は、機械学習モデル３０１によって得られた各々の魚種の判別結果の数である。判別誤り数は、魚種ごとの判別結果のうち上述のフィードバック情報によって修正された判別結果の数である。各々の魚種において、判別誤り数を判別数で除することにより、判別の誤り率が算出され得る。

【0073】

図６（ａ）～（ｆ）は、アノテーションデータの生成工程を模式的に示す図である。

【0074】

図６（ａ）に示すように、サーバ２０の制御部２０１は、水中探知装置１０から受信した所定時間分のエコーデータを、エコー画像１枚分の時間幅で区切って、単位エコーデータＥ１～Ｅｎを構成する。単位エコーデータＥ１～Ｅｎによって、処理対象のデータセット（所定時間分の単位エコーデータの集合）が構成される。

【0075】

これらの単位エコーデータＥ１～Ｅｎの各々に対して、魚群の範囲Ｒが設定される。魚群の範囲は、上述の手法により制御部２０１が自動で設定してよく、あるいは、サーバ２０のオペレータが単位エコーデータＥ１～Ｅｎのエコー画像に対する操作により手動で設定してもよい。

【0076】

次に、制御部２０１は、設定した魚群の範囲Ｒの魚群ごとに、魚種に関する特徴量を算出する。特徴量は、図３の機械学習モデル３０１（魚種判別のニューラルネットワーク）の入力３０１ａに魚群（魚群の範囲Ｒ）のエコーデータを入力した場合に所定の中間層（入力３０１ａと出力３０１ｂとの間の所定のユニット）において算出される特徴量を含み得る。また、特徴量は、魚群（魚群の範囲Ｒ）のエコー強度の代表値（平均値、中央値またはモード等）やエコー強度の分布を示す値（分散等）を含んでよい。

【0077】

また、特徴量は、魚群（魚群の範囲Ｒ）のエコーデータ以外の情報に基づく特徴量を含んでもよい。たとえば、魚群（魚群の範囲Ｒ）の深度の代表値、および当該魚群のエコーデータの取得位置の海況に関する所定の値（水温、流速、塩分濃度、等）の少なくとも一方を含んでよい。魚群の深度の代表値には、たとえば、魚群の範囲Ｒの深度幅の中間値、魚群の範囲の幾何学的重心の深度、または魚群の範囲のエコー強度分布における重心の深度等が用いられ得る。海況に関する所定の値は、上記のように、魚群のエコーデータに紐づけられ得る海況データから取得される。

【0078】

この他、水中探知装置１０が、魚群の範囲Ｒ０のエコーデータを取得した周波数とは異なる周波数でさらに送受波を行って、当該魚群の範囲Ｒ０について他のエコーデータを取得する場合、これら２つの周波数間における、魚群の範囲Ｒのエコー強度の代表値の差分値が、特徴量に含まれてもよい。この場合、この差分値は、図３の機械学習モデル３０１の入力３０１ａに適用されてもよい。

【0079】

このように２種類の周波数のエコー強度の差分値を魚種判別に用いることで、機械学習モデル３０１による魚種判別精度を高めることができる。たとえば、鰾の有無によって、各周波数のエコー強度に差が生じる。このため、魚群からのエコーの強度の差分値を機械学習モデル３０１にさらに適用することによって、当該魚群の魚種を精度良く判別できる。また、この差分値は、魚種に関する特徴量としても有効なものとなる。

【0080】

制御部２０１は、算出した特徴量の類似度に基づいて魚群をグループ分け（クラスタリング）する。ここでは、図６（ｂ）のように、特徴量空間における魚群の集散状態によりクラスタリングが行われる。クラスタリングの手法としては、既存の手法（たとえば、Ｋ－ｍｅａｎｓ等）が用いられ得る。図６（ｂ）では、１つの円が１つの魚群を示している。こうして、データセットから抽出された魚群は、図６（ｃ）の破線で示されるように、特徴量の類似度によってグループ化される。ここでは、３つのグループＧ１～Ｇ３に魚群がグループ分けされている。

【0081】

なお、図６（ｂ）、（ｃ）には、３つの特徴量の軸が示されているが、特徴量の種類は３つに限られるものではなく、１つ、２つまたは４つ以上の種類の特徴量が、魚群のグループ分けに用いられてもよい。また、図６（ｂ）、（ｃ）には、便宜上、１８個の魚群が示されているが、特徴量空間に分布する魚群の数は、図６（ａ）のデータセットから抽出される魚群の数となる。また、グループの数も３つに限られるものではなく、これら魚群の特徴量に応じて変わり得る。

【0082】

次に、制御部２０１は、魚種判別の精度向上のために規定された優先条件に基づいて、図６（ｄ）に示すように、各々のグループＧ１～Ｇ３に優先度を設定する。優先条件は、各々のグループＧ１～Ｇ３に対応する魚種における魚種判別の誤りの発生度合い（機械学習モデル３０１による魚種判別について魚種ごとにどの程度の誤りが発生しているか）に基づいて、各々のグループＧ１～Ｇ３に優先度を設定することを含み得る。あるいは、優先条件は、各々のグループＧ１～Ｇ３に対応する魚種のアノテーションデータの数に基づいて、各々のグループに優先度を設定することを含んでよい。

【0083】

上述のように、特徴量は、魚種に関するものであるため、特徴量空間には、各々の魚種に概ね対応する領域（対応領域）を予め規定できる。制御部２０１は、特徴量空間において、各々のグループに最も近い対応領域の魚種を、当該グループに対応する魚種として、上記優先条件に基づく優先度を、各々のグループに設定する。

【0084】

たとえば、優先条件が魚種判別の誤りの発生度合いに基づくものである場合、制御部２０１は、各々のグループに対応する魚種における誤りの発生度合いを、図５の管理テーブルを参照して把握する。たとえば、制御部２０１は、各々のグループに対応する魚種の判別数および判別誤り数から判別誤り率（判別誤り数÷判別数）をグループごとに算出する。そして、制御部２０１は、判別誤り率が高いものから順に優先度が高くなるように、各々のグループに優先度を設定する。

【0085】

また、優先条件が、各々のグループに対応する魚種のアノテーションデータの数に基づくものである場合、制御部２０１は、各々のグループに対応する魚種におけるアノテーションデータの数を、図４のデータベースを参照して把握する。たとえば、制御部２０１は、各々のグループに対応する魚種に対応付けられたアノテーションデータを計数して、アノテーションデータの数をグループごとに算出する。そして、制御部２０１は、アノテーションデータの数が少ないものから順に優先度が高くなるように、各々のグループに優先度を設定する。

【0086】

なお、ここでは、優先条件が１つの場合の優先度の設定方法を示したが、複数の優先条件が複合されて優先度が設定されてもよい。この場合、たとえば、優先条件ごとに、各々のグループに中間優先度が設定される。そして、これら優先条件間に予め設定された重み付けでこれら中間優先度が積算され、その積算値が高いものから順に優先度が高くなるように、各々のグループに最終的な優先度が設定される。

【0087】

こうして、各々のグループに優先度が設定される。図６（ｄ）では、グループＧ１の優先度が最高順位であり、グループＧ３の優先度が最低順位である。その後、制御部２０１は、各々のグループの優先度に基づいて、魚群のエコーデータをアノテーション処理に供するグループを決定する。たとえば、制御部２０１は、優先順位が最高であるグループのみを、アノテーション処理に供するグループとして決定する。あるいは、制御部２０１は、最高順位から所定番目（たとえば３番目）までのグループを、アノテーション処理に供するグループとして決定してもよい。どの順位までのグループをアノテーション処理に供するかを、サーバ２０のオペレータが任意に設定可能であってもよい。

【0088】

次に、制御部２０１は、アノテーション処理に供すると決定したグループ中の魚群のうち、所定の魚群のエコーデータを、アノテーション処理に供する。たとえば、制御部２０１は、このグループ中の１つの魚群のエコーデータのみをアノテーション処理に供する。この場合、制御部２０１は、図６（ａ）のデータセットのうち、アノテーション処理に供するべき魚群を含む単位エコーデータを、当該魚群の範囲を特定する情報とともに、端末装置５０に送信する。図６（ｄ）の例では、グループＧ１に含まれる魚群のうちの１つの魚群を含む単位エコーデータが、当該魚群の範囲を特定する情報とともに、端末装置５０に送信される。

【0089】

なお、アノテーション処理に供される魚群のエコーデータは、当該グループ中の複数（たとえば数個）の魚群のエコーデータであってもよい。また、アノテーション処理に供すると決定されたグループからアノテーション処理にエコーデータが供される魚群の数を、サーバ２０のオペレータが任意に設定できてもよい。当該グループから複数の魚群のエコーデータがアノテーション処理に供される場合、制御部２０１は、当該グループから複数の魚群を選択し、選択した魚群のエコーデータを、上記と同様、端末装置５０に送信する。

【0090】

グループからアノテーション処理に供される魚群を選択する方法は、種々の方法を用い得る。たとえば、時間が最も古い魚群（複数選択の場合は時間が古い順に所定数の魚群）が選択されてもよく、あるいは、時間が最も新しい魚群（複数選択の場合は時間が新しい順に所定数の魚群）が選択されてもよい。また、魚群の範囲の形状、時間幅または深度幅や、魚群の範囲におけるエコー強度の分布状態に基づいて、アノテーション処理に供される魚群がグループから選択されてもよい。たとえば、グループ中で最も広い魚群が、アノテーション処理に供される魚群として選択されてもよい。

【0091】

その後、制御部２０１は、アノテーション処理に供したエコーデータにアノテーション処理を行うことにより生成されたアノテーションデータを、端末装置５０から受信する。これにより、制御部２０１は、当該グループに含まれるその他の魚群に、受信したアノテーションデータの魚種を割り当てる。

【0092】

図６（ｅ）の例では、グループＧ１の１つの魚群に対して魚種がサバであることを含むアノテーションデータが取得されている。このため、図６（ｆ）に示すように、グループＧ１のその他の魚群にも、サバの魚種が割り当てられる。これにより、グループＧ１に含まれる全ての魚群の魚種がサバに設定され、これら魚群ごとに、魚群の範囲、エコーデータおよび魚種からなるアノテーションデータが生成される。生成されたこれらのアノテーションデータは、図４のデータベースに記憶される。

【0093】

なお、１つのグループから複数の魚群のエコーデータがアノテーション処理に供される場合、複数の魚群に対するアノテーションデータが端末装置５０から取得される。この場合、制御部２０１は、取得した複数のアノテーションデータの魚種を比較し、これらの魚種が完全に一致すれば、当該グループのその他の魚群に、これらアノテーションデータに含まれる魚種を割り当てる。また、取得した複数のアノテーションデータの魚種が複数に分かれる場合、制御部２０１は、そのうち最も多い魚種を当該グループのその他の魚群に割り当てる。

【0094】

図７は、アノテーションデータの生成処理を示すフローチャートである。図７のフローチャートは、上述の図６（ｂ）～（ｆ）の工程をサーバ２０の制御部２０１の処理として示したものである。

【0095】

制御部２０１は、所定時間分のデータセットに対して設定された複数の魚群ごとに特徴量を算出する（Ｓ１０１）。この工程は、図６（ｂ）の工程に対応する。制御部２０１は、算出した特徴量間の類似度に基づき、複数の魚群をグループ化する（Ｓ１０２）。この工程は、図６（ｃ）の工程に対応する。制御部２０１は、魚種判別の精度向上のために規定されたアノテーション処理の優先条件に基づいて、各々のグループに優先度を設定する（Ｓ１０３）。この工程は、図６（ｄ）の工程に対応する。

【0096】

制御部２０１は、各々のグループの優先度に基づいて、魚群のエコーデータをアノテーション処理に供するグループを決定する（Ｓ１０４）。図６（ｄ）の例では、この工程において、最高順位のグループＧ１が、当該グループに決定される。制御部２０１は、決定したグループ中の所定の魚群のエコーデータを端末装置５０に送信してアノテーション処理に供する（Ｓ１０５）。この工程では、上記のように、当該魚群を含む単位エコーデータと魚群の範囲を示す情報とが、端末装置５０に送信される。図６（ｄ）の例では、グループＧ１中の１つの魚群のエコーデータが、アノテーション処理に供される。

【0097】

制御部２０１は、アノテーション処理に供したエコーデータに対して生成されたアノテーションデータを、端末装置５０から受信する（Ｓ１０６：ＹＥＳ）。制御部２０１は、当該グループに含まれるその他の魚群に、受信したアノテーションデータの魚種を割り当てる（Ｓ１０７）。この工程は、図６（ｅ）、（ｆ）の工程に対応する。図６（ｅ）、（ｆ）の例では、グループＧ１に含まれる全ての魚群の魚種がサバに割り当てられる。

【0098】

図８は、アノテーション処理の際に端末装置５０に表示される画面Ｐ２の一例を示する図である。

【0099】

図８の画面Ｐ２は、図７のステップＳ１０５において送信された情報に基づき端末装置５０の表示部５０３に表示される。ステップＳ１０５では、上記のように、アノテーション対象のグループ中の所定の魚群を含む単位エコー画像と、当該魚群の範囲を示す情報とが、サーバ２０から端末装置５０に送信される。端末装置５０の制御部５０１は、受信した単位エコー画像に基づくエコー画像を表示させ、さらに、受信した魚群の範囲を示す情報に基づき、このエコー画像上に魚群の範囲を示すマーカーＭ１０を表示させる。

【0100】

図８の例では、魚群の範囲を示す情報に基づき、魚群Ｆ１０を囲む範囲にマーカーＭ１０が表示される。その他の魚群Ｆ１１～Ｆ１６は、アノテーション対象外のグループに含まれた魚群、または、アノテーション対象のグループ中のアノテーション処理に供されない魚群であるため、マーカーＭ１０は表示されない。

【0101】

オペレータは、マーカーＭ０が表示された魚群Ｆ１０に対して魚群を設定すればよい。オペレータがマーカーＭ１０の範囲に対する操作を行うと、魚種の選択候補Ｃ１０がスクロールバーとともに表示される。オペレータは、選択候補Ｃ１０のスクロールバーを操作して所望の魚種を表示させ、その後、自身が設定しようとする魚種を選択する。図８の例では、魚群Ｆ１０の魚種としてサバが選択されている。

【0102】

アノテーション処理を行うべき魚群がさらに存在する場合、画面Ｐ２に、画面を遷移させるための送りボタンが含まれる。たとえば、図７のステップＳ１０５において、１つのグループから複数の魚群のエコーデータがアノテーション処理に供された場合や、ステップＳ１０４において、優先度が最高順位から所定順位までの複数のグループがアノテーション対象として決定された場合、端末装置５０において、アノテーション処理を行うべき魚群をそれぞれ含む複数のエコー画像が生成される。このような場合、これらのエコー画像を順番に表示させ得るように、画面Ｐ２に送りボタンが表示される。オペレータは、送りボタンを操作してエコー画像を遷移させ、それぞれのエコー画像上のマーカーＭ１０により囲まれた魚群に対し、上記と同様の操作により魚種を設定する。

【0103】

こうして、魚種を設定するための操作を行った後、オペレータは、入力部５０４を介して、確定操作を行う。これにより、オペレータが設定した魚種を含むアノテーションデータが、端末装置５０からサーバ２０に送信される。これに応じて、サーバ２０の制御部２０１は、図７のステップＳ１０７の処理を実行する。

【0104】

＜実施形態の効果＞
実施形態によれば、以下の効果が奏され得る。

【0105】

図７のステップＳ１０１～Ｓ１０５の処理により、アノテーション処理に供される魚群のエコーデータが、優先度に基づいて決定されたグループの魚群のエコーデータに制限される。このため、図８に示したように、アノテーション処理の対象とされる魚群の数が制限され、オペレータにおけるアノテーション処理の負荷を軽減できる。また、図７のステップＳ１０３、Ｓ１０４では、アノテーション処理の対象とされるグループが、魚種判別の精度向上のために規定された優先条件に基づいて決定されるため、魚種判別の精度を向上させ得るグループのアノテーションデータを取得できる。よって、アノテーションデータを効率的に取得でき、魚種判別の精度を効率的に高めることができる。

【0106】

図６（ｂ）を参照して説明したとおり、特徴量は、図３に示した魚種判別のニューラルネットワーク（機械学習モデル３０１）の所定の中間層（ユニット）において魚群のエコーデータから算出される特徴量を含み得る。これにより、各々のグループに同一魚種の魚群のエコーデータが含まれやすくなる。このため、図７のステップＳ１０４において決定されたグループから、同じ魚種のアノテーションデータを効率的に取得できる。

【0107】

図６（ｂ）を参照して説明したとおり、魚群のエコーデータ以外の情報に基づく特徴量を含んでもよい。たとえば、特徴量は、魚群の深度の代表値、および魚群のエコーデータの取得位置の海況に関する所定の値（水温、流速、塩分濃度等）の少なくとも一方を含んでよい。これにより、上記と同様、各々のグループに同一魚種の魚群のエコーデータが含まれやすくなるため、図７のステップＳ１０４において決定されたグループから、同じ魚種のアノテーションデータを効率的に取得できる。

【0108】

図５に示したように、記憶部２０２は、魚種判別の誤りの発生度合いを魚種ごとに記憶し、図７のステップＳ１０３に適用される優先条件は、各々のグループに対応する魚種の誤りの発生度合い（判別誤り率）に基づいて、各々のグループに優先度を設定することを含み得る。これにより、魚種判別に誤りが発生しやすい魚種に対応するグループに、高い優先度が設定されやすくなる。このため、魚種判別に誤りが発生しやすい魚種について、アノテーションデータが優先的に取得されやすくなる。よって、取得されたアノテーションデータによる機械学習により、当該魚種に対する判別誤りを改善でき、魚種全体の判別精度を高めることができる。

【0109】

また、図４に示したように、記憶部２０２は、魚種ごとのアノテーションデータの数を識別可能な情報（データベース）を記憶し、図７のステップＳ１０３に適用される優先条件は、各々のグループに対応する魚種のアノテーションデータの数に基づいて、各々のグループに優先度を設定することを含み得る。これにより、アノテーションデータの数が少ない魚種に対応するグループに、高い優先度が設定されやすくなる。このため、アノテーションデータの数が十分でない魚種について、アノテーションデータが優先的に取得されやすくなる。よって、取得されたアノテーションデータによる機械学習により、当該魚種に対する判別精度を改善でき、魚種全体の判別精度を高めることができる。

【0110】

図７のステップＳ１０７において、制御部２０１は、アノテーション処理に供すると決定したグループ中の所定の魚群のエコーデータについてアノテーションデータを取得したことに基づいて、当該グループに含まれるその他の魚群に、取得したアノテーションデータの魚種を割り当てる。これにより、端末装置５０におけるアノテーションデータの生成作業をさらに簡便化できる。また、各々のグループは、魚種に関する特徴量でグループ化されているため、１つのグループには同じ魚種の魚群が含まれる可能性が高い。このため、上記のように、グループ中の所定の魚群のエコーデータに対して得られた魚種をこのグループのその他の魚群に対して割り当てたとしても、アノテーションデータとしての精度は保たれ得る。よって、簡易且つ効率的に多数のアノテーションデータを生成できる。

【0111】

＜変更例１＞
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。

【0112】

たとえば、上記実施形態では、図７のステップＳ１０５において、アノテーション対象のグループ中の所定の魚群のみについて、エコーデータがアノテーション処理に供されたが、アノテーション対象のグループ中の全ての魚群のエコーデータがアノテーション処理に供されてもよい。この場合、図７のステップＳ１０７は省略される。この構成によっても、アノテーション処理に供されるエコーデータが、ステップＳ１０４で決定されたグループの魚群のエコーデータに制限されるため、端末装置５０におけるアノテーション処理を簡便かつ効率的に行うことができる。

【0113】

＜変更例２＞
上記実施形態では、図７のステップＳ１０７の処理が、ステップＳ１０４で決定されたグループに対してのみ行われたが、ステップＳ１０２でグループ化された他のグループも、図７のステップＳ１０７の処理対象とされてもよい。この場合、図７のフローチャートは、たとえば、図９のように変更され得る。

【0114】

図９のフローチャートでは、図７のフローチャートのステップＳ１０３、Ｓ１０４が省略され、ステップＳ１０５がステップＳ１１１に置き換えられる。ステップＳ１１１において、制御部２０１は、ステップＳ１０２で設定した各々のグループ中の所定の魚群のエコーデータを端末装置５０に送信してアノテーション処理に供する。また、制御部２０１は、各々のグループに対するアノテーションデータを端末装置５０から受信すると（Ｓ１０６：ＹＥＳ）、各々のグループのアノテーションデータに含まれている魚種を、各々のグループの他の魚群の魚種に割り当てる。こうして、制御部２０１は、全てのグループの全ての魚群に対するアノテーションデータを取得する。

【0115】

図９の処理においても、アノテーション処理の対象が、各々のグループ中の一部の魚群に制限されるため、端末装置５０におけるアノテーション処理の作業が簡易化される。また、各々のグループは、魚種に関する特徴量でグループ化されているため、１つのグループには同じ魚種の魚群が含まれる可能性が高い。このため、ステップＳ１０７において、グループ中の所定の魚群のエコーデータに対して得られた魚種をこのグループのその他の魚群に割り当てたとしても、アノテーションデータとしての精度は保たれ得る。よって、簡易且つ効率的に多数のアノテーションデータを生成できる。

【0116】

なお、このように全てのグループがステップＳ１０７の対象とされなくてもよく、たとえば、優先度以外の基準で選択されたグループが、ステップＳ１０７の対象とされてもよい。

【0117】

＜変更例３＞
上記実施形態では、図７の処理が、サーバ２０の制御部２０１において行われたが、これらの処理が、サーバ２０以外の他の装置で行われてもよく、たとえば、端末装置５０の制御部５０１が図７の処理を行ってもよい。

【0118】

この場合、サーバ２０の制御部２０１は、図６（ａ）のデータセットおよび各々の魚群の範囲Ｒを示す情報を端末装置５０に送信する。端末装置５０の制御部５０１は、受信したこれらの情報に基づき、図７のステップＳ１０１～Ｓ１０５の処理を実行し、所定の魚群のエコーデータをアノテーション処理に供する。ステップＳ１０５において、制御部５０１は、所定の魚群のエコーデータを、自身の表示部５０３に表示する。これにより、図８の画面Ｐ２が表示される。

【0119】

画面Ｐ２に対するオペレータの操作によりアノテーションデータが生成されると（Ｓ１０６：ＹＥＳ）、制御部５０１は、ステップＳ１０７の処理を実行する。これにより、ステップＳ１０４で決定されたグループの全ての魚群についてアノテーションデータが生成される。制御部５０１は、生成した全てのアノテーションデータをサーバ２０に送信する。これにより、制御部５０１は、図７の処理を終了する。

【0120】

この構成によっても、上記実施形態１と同様の効果が奏される。同様に、図９の処理が、端末装置５０の制御部５０１によって行われてもよい。これらの場合、端末装置５０が、特許請求の範囲に記載の魚種学習装置に対応する。

【0121】

＜変更例４＞
また、図７の処理が、サーバ２０と端末装置５０とで分担されてもよい。たとえば、図７のステップＳ１０１～Ｓ１０３、Ｓ１０６、Ｓ１０７の処理がサーバ２０の制御部２０１により行われ、ステップＳ１０４、Ｓ１０５の処理が端末装置５０の制御部５０１により行われてもよい。

【0122】

この場合、サーバ２０の制御部２０１は、図６（ａ）のデータセットおよび各々の魚群の範囲とともに、各魚群が属するグループを示す情報と、各グループの優先度とを、端末装置５０に送信する。端末装置５０の制御部５０１は、受信した優先度に基づきアノテーション対象のグループを決定し（Ｓ１０４）、さらに、決定したグループ中の所定の魚群のエコーデータをアノテーション処理に供する（Ｓ１０５）。ステップＳ１０５において、制御部５０１は、上記と同様、自身の表示部５０３に図８の画面Ｐ２を表示させる。

【0123】

ステップＳ１０５の処理に応じてアノテーションデータが生成されると、制御部５０１は、生成したアノテーションデータと、このアノテーションデータがどのグループのエコーデータに対応するものかを示す対応情報とを、サーバ５０に送信する。サーバ２０の制御部２０１は、対応情報により特定されるグループに対してステップＳ１０７の処理を実行する。

【0124】

この構成では、ステップＳ１０４におけるグループの決定基準が、個々の端末装置５０ごとに相違していてもよい。たとえば、各々の端末装置５０を所有するオペレータが、アノテーション処理の対象とする優先度の範囲を任意に設定可能であってもよい。また、最上位の優先度のグループに対してステップＳ１０５の処理によりアノテーション処理の作業が完了した後、制御部５０１が、次の優先度のグループに対して作業を行うかをオペレータに問い合わせ、オペレータがこれを受け入れた場合に次の優先度のグループをアノテーション処理の対象に決定して、再度、ステップＳ１０５の処理を実行してもよい。

【0125】

このように、図７の処理が、サーバ２０と端末装置５０とで分担される場合も、上記実施形態１と同様の効果が奏される。同様に、図９の処理が、サーバ２０の制御部２０１と端末装置５０の制御部５０１とで分担されてもよい。この場合、たとえば、図９のステップＳ１０１、Ｓ１０２がサーバ２０側で行われ、ステップＳ１１１以降の処理が端末装置５０側で行われる。ステップＳ１１１以降の処理は、図９の処理全体を端末装置５０が行う場合の変更例３に係るステップＳ１１１以降の処理と同様である。これらの場合、サーバ２０の制御部２０１および端末装置５０の制御部５０１が、特許請求の範囲に記載の魚種学習システムの制御部に対応する。

【0126】

＜その他の変更例＞
上記実施形態では、魚種ごとのアノテーションデータの数を識別可能な情報として、図４のデータベースが記憶部２０２に記憶されたが、この情報はこれに限られるものではない。たとえば、この情報として、魚種ごとのアノテーションデータの数そのものを示す管理情報が、記憶部２０２に記憶されてもよい。この場合、サーバ２０の制御部２０１は、機械学習に供されるアノテーションデータを新たに取得したことに応じて、当該管理情報を更新する。

【0127】

また、上記実施形態では、図６（ｄ）の優先度を設定するための優先条件として、魚種判別の誤りの発生度合いに基づく優先条件と、アノテーションデータの数に基づく優先条件とが示されたが、優先度を設定するための優先条件は、これらに限られるものではない。魚種判別の精度向上のために規定されたものである限りにおいて、他の優先条件が用いられてもよい。たとえば、アノテーションデータの取得頻度や取得時期（元となるエコーデータの取得時期）に偏りがあることが、優先条件に加味されてもよい。

【0128】

また、上記実施形態では、図６（ａ）および図８に示したように、アノテーションデータを構成する魚群の範囲（時間範囲、深度範囲）が矩形であったが、アノテーションデータを構成する魚群の範囲は、矩形以外の他の形状であってもよく、たとえば、魚群の範囲が、魚群の外縁に沿った形状であってもよい。この場合、上記のように、エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある領域が魚群として抽出され、抽出された魚群の外縁に沿った範囲が、魚群の範囲として抽出される。

【0129】

また、上記実施形態では、機械学習モデル３０１を用いた魚種の判別処理がサーバ２０側で行われたが、この判別処理が水中探知装置１０側で行われてもよい。この場合、アノテーションデータにより更新された機械学習モデル３０１が、随時、水中探知装置１０に送信され、水中探知装置１０に記憶される。水中探知装置１０の制御部ユニット１２は、送受波器１１の受波により取得したエコーデータに基づいて、上記サーバ２０の制御部２０１と同様、機械学習モデル３０１を用いた魚種判別を実行し、判別結果をエコー画像に表示させる。

【0130】

また、上記実施形態では、水中探知装置１０が魚群探知機であったが、水中探知装置１０がソナー等、魚群探知機以外の装置であってもよい。

【0131】

この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜種々の変更可能である。

【符号の説明】

【0132】

６ 魚種学習システム
２０ サーバ（魚種学習装置）
２０１ 制御部
２０２ 記憶部
３０１ 機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】